На 2 ноември OpenAI представи LifeVal, оценка за това как AI модели помагат при задачи от ежедневието. Компанията съобщава, че е използвала оценката, за да следи развитието на своите модели през последната година. Съобщението описва метод за изпитване и показва примери. То не обявява нова услуга, която вече изпълнява всички тези задачи за потребителите.

Как се подбират задачите

Подборът започва с две изследвания за използването на времето, едното за САЩ, а другото международно. OpenAI добавя анкета с 3 995 участници, за да установи при кои дейности хората най-много биха искали помощ. Публикуваните области включват грижа за близки, образование, покупки и достъп до обществени услуги. Разликата между наблюдение на навиците и въпрос за желана помощ има практическо значение. Честата дейност може да бъде лесна, докато рядка административна задача може да изисква повече време и внимание.

Полезният резултат трябва да може да се провери

При търсене на жилище например едно убедително описание не е достатъчно. Полезен резултат би показал актуалната обява, кои условия отговарят на търсенето и какво остава за потвърждение. Ако задачата включва формуляр, отделни етапи са намирането му, попълването и действителното подаване. Това са примери за редакционна оценка на помощника, а не резултати от наш тест на LifeVal.

За екип, който внедрява агент, бихме оценявали поотделно точността на намерената информация, крайния резултат и спазването на разрешенията. Например можем да проверим дали помощникът спира за човешки преглед, когато следващата стъпка би направила поръчка или би изпратила документ. Така една полезна чернова може да получи признание за свършената работа, без да се брои като завършено действие.

Как да се четат резултатите

В публичното съобщение OpenAI дава оценки за отделни примери. Те са фирмени резултати. Публикуваните проценти не дават самостоятелно обща вероятност за успех при произволна задача. За сравнение между помощници биха били нужни съпоставими условия, ясни правила за оценяване и разбивка на грешките. Български екип би имал и отделна задача: да провери работа с местни формуляри, сайтове и език, преди да разчита на резултатите за собствен процес.

*Корица: концептуална AI илюстрация.*