На 20 ноември OpenAI представи MedChemBench: оценка на задачи от медицинската химия, в които моделите свързват молекулни структури с експериментални сведения. Тестът съдържа 99 задачи, извлечени от 117 публикации и патенти. Компанията отчита 84,5% от наличните точки за GPT-6.2 Astra при xhigh. Това е резултат по конкретна схема за оценяване, а не дял успешно разработени лекарства.
Какво показва подобен тест
Най-полезният въпрос е дали системата прави проверими връзки между наличните данни и предложеното следващо действие. При научна работа правдоподобно обяснение може да бъде недостатъчно, ако се отнася за друга структура или пропуска важно условие. Поради това оценката трябва да позволява разграничаване на различните видове грешки.
Нашият редакционен прочит е, че общата оценка служи като начало на разговора. Научен екип трябва да разбере коя част от задачата моделът решава добре и къде остава зависим от човешка проверка. Усредняването може да прикрие слаб компонент, който е критичен за конкретен проект.
Предложение за проверима употреба
Бихме започнали с вече приключен вътрешен казус, чиито отговори могат да се проверят. На модела се предоставя само информацията, налична в избрана историческа точка. Последващият резултат остава скрит до оценката. Така е по-лесно да се различи полезно предвиждане от убедително обяснение, написано след факта.
За всеки отговор бихме изискали ясна връзка със зададените данни и отделно обозначение на допусканията. Предложено съединение, за което липсва необходимо свойство, трябва да остане несигурна възможност. Това е наш пример за процедура; SIExpo не е извършвал химични експерименти или собствено измерване върху MedChemBench.
Не бихме използвали подобен пилот за автоматично одобряване на лабораторен или клиничен етап. Отговорността за действително изпитване включва други видове доказателства и компетентност. Удобният интерфейс и високата оценка на езиков модел не заместват тези решения.
Особено полезно би било да се пазят отхвърлените предложения и причините за отхвърляне. Ако се отчитат само сполучливите идеи, системата може да изглежда по-надеждна, отколкото е в ежедневната работа. Такъв запис позволява следваща версия да се сравни върху еднакви случаи.
Преди разширяване екипът трябва да определи какво означава успех: по-малко фактически поправки, по-добро приоритизиране или по-кратък преглед. Това са различни цели. Инструмент може да подобри едната, без да промени друга, а тестовата оценка сама не решава коя е най-важна.
MedChemBench е нов инструмент за измерване на научни способности. Стойността му ще зависи от прозрачността на задачите, ограниченията на оценката и последващата проверка от изследователи, а не от превръщането на една тестова стойност в медицинско обещание.



