Екипът на CUGA от IBM Research публикува на 3 ноември сравнение на три среди за AI агенти с GLM-5.3-flash. В извадката от 90 AppWorld задачи CUGA завършва 73, Hermes — 42, а Deep Agents — 27. Конфигурациите обаче не са еднакви; CUGA използва специализирана настройка за AppWorld. Това е авторски експеримент на екипа, не независима класация на всички възможни употреби.

Авторите изрично посочват, че в тези изпълнения не са използвани политики. Следователно резултатът не измерва ефективността на механизмите за налагане на бизнес правила. Разделяме двете теми, вместо да представим високата завършеност като доказателство за безопасно внедряване.

Какво прави средата около модела

Нашият редакционен прочит започва от прост пример: помощник трябва да намери поръчка, да прочете статуса ѝ и да предложи следваща стъпка. Моделът избира какво да поиска, но средата определя наличните инструменти, резултата от извикването и продължаването на процеса. Смяна на тази организация може да промени резултата дори когато самият модел остава същият.

Публичното хранилище harbor-eval, към което сочат авторите, е fork на рамката Harbor за оценяване на агенти и среди. То позволява да се проследи използваната технологична основа. Наличието на код не означава, че SIExpo е възпроизвел конкретното сравнение. За собствено повторение бихме записали точни версии, настройки, бюджет и критерии за завършване, преди да сравняваме проценти.

Правило в инструкцията и правило преди действието

Документацията на CUGA отделя насоки като Playbook и Tool Guide от проверки преди изпълнение и одобрение от човек. Политиките се задействат по входа, контекста или използването на инструмент. Това е архитектурно описание на проекта, а не независимо удостоверяване, че всяка конфигурация налага правилата правилно.

Ръководството за ToolGuard уточнява, че генериран проверяващ код може да блокира извикването преди оригиналният инструмент да се изпълни. Без приложено правило за даден инструмент този механизъм не го блокира автоматично. За екипа това създава конкретна задача: да провери не само съдържанието на правилото, но и дали правилният инструмент действително минава през него.

В наш условен пример помощникът може да подготви промяна на клиентски запис, но записването изисква проверка на позволените полета. Убедително обяснение на промяната не е доказателство, че техническият път е ограничен. При пилот бихме изпитали допустим и недопустим случай и бихме наблюдавали дали вторият изобщо достига до приемащата услуга. Тук не съобщаваме за проведен такъв тест.

Същият подход е необходим, когато приложението предлага няколко пътя към сходна операция. Проверката на един видим бутон не установява какво става през друга интеграция. Предложеният от нас преглед би описал действителните пътища за запис и доказателствата, нужни за всеки от тях. Това е препоръка за интеграция, а не още един резултат от benchmark на CUGA.

Човешкото одобрение има собствен жизнен цикъл

Отделното ръководство Tool Approval описва спиране за потвърждение след генериране на кода и възобновяване чрез отговор към агента. Показването на кода е настройка, а автоматичното одобряване след време е отделен параметър с изключена стойност по подразбиране. Затова видим бутон за одобрение не е достатъчен без преглед на конкретната конфигурация.

При внедряване нашата препоръка е одобрението да остава свързано с точното предложено действие. Ако аргументите се променят, човекът трябва да разбира коя операция приема. Също толкова важно е възобновяването след прекъсване: то не трябва да превърне вече изпълнена операция в ново изпращане само защото разговорът е продължил.

Какъв извод позволява сравнението

Изследването дава добър повод изборът на среда за агент да се третира като отделно инженерно решение. За реален пилот бихме измервали завършени задачи, откази и нужда от намеса върху собствен работен поток. Оценката на тези резултати и оценката на ограниченията върху действията трябва да останат отделни. Публикуваните числа подкрепят въпрос за конфигурацията, а не обща гаранция, че един продукт е най-добрият за всяка организация.