OpenAI публикува на 18 ноември нов доклад за използването на агенти в собствената си изследователска работа. За задачи, оценени като два до четири часа човешки труд, вътрешната оценка за успех без човешка намеса нараства от 23% през март до 46% през октомври. Авторите предупреждават, че се променя и подборът на делегираните задачи. Данните показват неравномерен напредък, а не изчезване на човешката роля.

Защо сравняването изисква внимание

Независимият контекст идва от METR, но за друга организация. В оценка от 5 ноември изследователите разглеждат ускоряването на AI разработката в Anthropic и подчертават голямата несигурност. Значителна част от най-информативните им доказателства е редактирана от компанията. Този труд показва колко трудно е да се оцени целият процес, без да потвърждава конкретните стойности в новия доклад на OpenAI.

Нашият прочит е, че „задача без намеса“ трябва да бъде определена преди сравняването. Ако един месец агентите получават кратки и добре описани проблеми, а друг — по-сложни, суровият процент смесва няколко промени. Обратно, по-доброто предварително формулиране на задачата може да помогне, дори основният модел да е същият.

Полезно е да се разграничат подготовката, изпълнението и приемането. Човек може да е подбрал входовете и критерия за успех, след което агентът да работи самостоятелно. Накрая отново може да е необходим преглед. Без това разделение думата „автономно“ лесно придобива по-широк смисъл от действително измереното.

От повече активност до повече знание

Условен екип може да пусне два пъти повече експерименти и въпреки това да не получи два пъти повече полезни изводи. Част от опитите могат да повтарят една идея или да бъдат отхвърлени при проверка. Това е наш аналитичен пример, не допълнителна статистика за OpenAI или Anthropic.

За собствено проследяване бихме записвали не само броя на изпълненията, а и колко резултати са приети, колко са преработени и защо. Отделна колона за човешки преглед би показала дали времето просто се е преместило от писане към проверяване. Целта е да се разбере завършеният работен процес, вместо да се награждава само видимата активност.

Какво следва от доклада

Публикуването на методи и ограничения дава по-полезна отправна точка от едно общо твърдение за ускорение. За читателя важният въпрос е кои части от работата вече могат надеждно да бъдат делегирани и кои остават тесни места. Отговорът може да е различен за писане на код, анализ и планиране.

SIExpo не е възпроизвеждал вътрешните оценки. Новината е наличието на по-конкретни данни за реална употреба в лабораторията, с ясно посочени граници. Те подкрепят разговор за променящата се организация на изследванията, без да установяват, че AI вече сам управлява целия научен цикъл.