Cohere публикува на 14 октомври сравнение на програмиращи AI екипи. Силен водещ модел с 16 евтини помощници за планиране постига 61,8% средно преминати тестове срещу 63,2% за изцяло силен екип; отчетените разходи са 155 срещу 510 долара за набора.

Това не е процент завършени проекти. Фиксираните размери са изпитани по веднъж; резултатът не гарантира икономия в друг проект.

Каква задача решават агентите

Основната среда е ProgramBench. Първоначалната научна публикация описва 200 задачи, при които агентът трябва да възстанови поведението на програма, разполагайки с изпълнимия оригинал и документация, но не и с изходния му код. Скритите тестове проверяват поведението на новата реализация. Сред примерите са командни инструменти и сложни системи като SQLite и FFmpeg.

Това променя смисъла на думата „планиране“. Агентът не само изготвя списък със стъпки, а изследва как оригиналът реагира на входове и крайни случаи. Откриването на спецификацията е съществена част от работата. Повече изследователи могат да носят нова информация, вместо просто да пишат повече редове код.

За контраст авторите използват и Commit0-Lite. Първоизточникът за Commit0 описва задачи с налична API спецификация и тестове, но липсващи реализации на библиотеки. Така проблемът е различен: когато изискванията вече са предоставени, ползата от допълнително проучване не може да се приема за същата. По-старите benchmark публикации са контекст към новия експеримент, а не новини от тази седмица.

Повече помощници могат да създадат и повече сглобяване

Редакционният ни прочит е, че резултатът трябва да се разглежда като въпрос за недостигащия ресурс. Ако екипът не разбира достатъчно добре програмата, независими проверки на поведението могат да помогнат. Ако ограниченията са ясни, но реализацията е трудна, разделянето на проучването на още части може да остави истинския проблем нерешен.

Има и разлика между паралелно откриване на факти и паралелна промяна на един общ код. Две наблюдения за различни входове могат лесно да се съберат. Две реализации с различни предположения за форматите и грешките изискват съгласуване. Това обяснява какво би трябвало да се измери в собствен пилот, без да доказва автоматично причината за всяка разлика в изследването.

В условен пример екип възстановява малка програма за преобразуване на файлове. Помощниците могат да проверят празни файлове, различни кодировки и невалидни полета, а водещият да обедини наблюденията в една реализация. Успехът е конкретен: известните случаи дават очаквания резултат, а непознатите са проверени с отделни тестове. Броят разменени съобщения не е заместител на тази проверка.

Какво означава цената в публикацията

При пренасяне на подобна идея към реален проект бихме отчели отделно изчислителните разходи, изминалото време и човешкото време за преглед. По-евтиният експеримент може да изисква повече последващи поправки. По-бързият може да е достатъчно ценен въпреки по-висока фактура. Това са различни цели и не трябва да се смесват в едно обещание за ефективност.

Новината е полезна именно защото показва конкретна организация, задача и измерител. Тя подкрепя по-внимателно разпределение на ролите, вместо универсален призив да се добавят агенти. SIExpo не е възпроизвеждала експериментите и представя числата като отчетени от Cohere, със запазени ограничения на тестовата среда.

Проверено от редакцията: 2026-10-15T16:12:02.996741+00:00 (UTC). Корица: AI илюстрация, не документална снимка.