IBM Research публикува на 20 октомври 2026 г. резултати за ALTK-Evolve в клиентското обслужване. С GPT-4.1 научени инструкции повишават retail Pass^4 от 57,5% до 67,5%: делът задачи, успешни и в четирите опита. Теглата не се променят. Лидерството е спрямо снимка на класацията от 12 октомври; това е отчет на авторите, който SIExpo не е възпроизвеждал.
Какво се добавя към агента
Документацията на Evolve описва памет, извлечена от траектории, MCP интеграция и разрешаване на противоречия. Тя предупреждава, че локалният dashboard API няма удостоверяване и други локални процеси могат да четат или променят паметта; има вариант за работа без dashboard. Кодът е под Apache-2.0. Тези характеристики на реализацията са отделни от измерения резултат в клиентския тест.
За читателя същественото разграничение е между запомнен текст и доказано полезно правило. Нашето обяснение: ако един помощник научи от неправилно приключен случай грешна процедура, нейното повторение няма да е напредък. Затова бихме проследили откъде идва всяка инструкция, при какви условия важи и кой може да я отмени. Това е редакционна препоръка за оценка, а не допълнителен експеримент на IBM.
Коя версия се сравнява
Актуалното хранилище на Sierra вече описва τ-bench 2.0 и предупреждава, че английските задачи и правила са променени спрямо 1.x. Резултатите не са пряко сравними; старият v1.0.1 остава достъпен за съответните сравнения. Следователно настоящата документация на бенчмарка не превръща октомврийското измерване на IBM в резултат върху новия набор.
Това има практическа последица за предприятие, което избира агент. Процент без версия на задачите и условията на изпълнение трудно помага при решение. Бихме поискали същите заявки, еднакви права за инструментите и запис на крайните промени. Така сравняваме завършената работа, вместо уверения тон на последния отговор. При реално обслужване бихме добавили и случаи, които правилно приключват с предаване към човек.
Какво означава повторяемостта за клиента
Наш пример е заявка за връщане на продукт. Коректният текст и правилно променената поръчка са различни неща. Оценката трябва да установи дали е извършено разрешеното действие и дали клиентът получава точен отчет за него. Примерът и предложените критерии са на редакцията; не твърдим, че сме внедрили тази система или проверили реални клиентски сметки.
По-високият тестов резултат е причина подходът да бъде разгледан внимателно. Той не отменя нуждата от проверка на паметта, граници на достъпа и възможност за връщане към предишна конфигурация. За собствен пилот бихме записали и разхода на завършена задача, както и неуспешните опити. Това би дало по-полезна основа за избор от общо обещание, че агентът се учи сам.
Редакционна проверка: 2026-10-21T06:28:23.702396+00:00 (UTC). Корица: концептуална AI илюстрация, не документална снимка.
