METR публикува на 20 ноември нов отчет за способности, свързани с AI изследванията. Организацията отчита силно представяне в програмиране и оптимизация, но по-слаба преценка при задачи без ясна емпирична обратна връзка. Това разграничение е съществено за начина, по който се оценява полезността на агентите.

Новият TH2 съдържа 36 задачи в 12 семейства. Сред 34 базови линии за резултат и време три идват от успешно човешко изпълнение, а 31 са оценки. Следователно сравнението не трябва да се описва така, сякаш всяка човешка референция е измерена пряко.

Как се чете времевият хоризонт

По-ранната методология използва човешкото референтно време за задачи, които системата изпълнява с определена вероятност за успех. Това не е продължителността на непрекъснатата работа на агента. Показателят сам по себе си не установява, че цяла професия или работен ден могат да се прехвърлят автоматично.

Нашият прочит е оценката да се свързва с конкретен тип работа. Една добре специфицирана промяна с регресионни тестове и архитектурно решение при непълни изисквания имат различни начини за проверка. Това са авторски примери, а не цитирани задачи от TH2. Убедителният краен текст не е еднакво силно доказателство за успех и в двата случая.

Приемателният критерий идва преди пилота

За вътрешна оценка предлагаме задачите да се разделят според обратната връзка: автоматичен тест, отложено измерване или експертна преценка. За всяка група може предварително да се определи кой потвърждава успеха. Така лесно проверимите задачи няма да прикриват несигурността в останалите чрез един общ среден резултат.

Полезно е човешката референция също да има категория. Измерване, оценка и предположение могат да бъдат показани отделно, с реалистична точност. Това позволява на читателя на отчета да установи колко от сравнението идва от наблюдение и колко от необходима, но несигурна преценка.

Изследване, а не обещание за внедряване

SIExpo не е възпроизвеждал този набор. За конкретна организация следващата стъпка може да бъде ограничен пилот с предварително определен обхват и запазени основания за оценката. При решения без лесен тест е особено важно да се документират допусканията и последствията от грешка.

Новият отчет добавя полезна информация именно защото показва различията между способности и ограничения. По-добрата оценка на агент не изисква всяка задача да получи едно и също ниво на доверие. Изисква да се знае какво е проверено и къде остава човешка преценка.