Препринтът Evaluation-Free Recursive Self-Improvement for Coding Agents от 16 ноември предлага Explore-then-Integrate, или ELITE. Методът създава отделни подобрения на агентната програма от един родител и съчетава съвместимите механизми. Авторите не използват резултатите от решаване на крайни задачи, за да избират кандидати вътре в този цикъл; запазват структурни и оперативни проверки. При своята оценка отчитат промяна от 60,0% до 85,6% на SWE-bench Pro в изследваната конфигурация. Това е авторски експериментален резултат, не независимо потвърдено поведение на всяка версия.
Какво точно се променя
Кодиращият агент е повече от езиков модел. Около него има програма, която организира задачата, инструментите и следващите стъпки. Промяна в тази програма може да измени начина, по който системата работи, без да означава обучение на нови тегла. Тук говорим за изследване на агентната реализация, а не за доказателство, че модел сам създава по-интелигентен наследник във всички области.
Редакционен пример е отделяне на две идеи: едната подобрява събирането на контекст, другата — начина, по който се представя неуспешна команда. Те могат да се допълват, но могат и да предполагат различни интерфейси. Сливането изисква проверка на взаимодействието, а не само механично събиране на текстови промени. Примерът обяснява инженерния въпрос; не приписва точно тези промени на експеримента.
Защо „без оценяване“ не означава „без проверка“
Има разлика между това програмата да е изпълнима и това да решава повече полезни задачи. Структурната проверка може да установи, че нужният интерфейс съществува. Оперативна проверка може да покаже, че кратък сценарий се изпълнява. Нито едното автоматично доказва по-добър резултат върху непознат проблем.
Това прави разделението между еволюционния цикъл и крайната оценка съществено. Даден метод може да избягва многократно решаване на задачите при избора на промени, но пак се нуждае от оценяване, за да бъде изобщо защитено твърдението за подобрение. Заглавието на изследването не трябва да се чете като премахване на тази отговорност.
Какво трябва да сравнява един екип
За технически фон проектът SWE-bench описва оценяване чрез реални софтуерни задачи и изпълнение на тестове в подготвена среда. Резултатът зависи и от това кои задачи, версии и условия са използвани. Следователно име на бенчмарк и един процент не изчерпват експерименталната конфигурация.
При практическо сравнение бихме искали да запазим началната версия на агента, бюджета, модела и инструментите. След това всяко изменение може да се провери върху отделен, неизползван за настройване набор. Това са редакционни критерии, не нови резултати на ELITE. Целта е да се отдели полезната промяна в поведението от приспособяването към един удобен тест.
Съвместимите идеи също могат да имат цена
Да се добави механизъм има смисъл само ако ползата оправдава сложността. Ако една промяна намалява броя стъпки, а друга увеличава подготовката преди всяка стъпка, крайният ефект може да зависи от дължината на задачата. По същия начин по-богатият контекст може да помогне на един проблем, но да увеличи разхода при друг. Тези примери са аналитични възможности, които трябва да се измерят.
Затова убедителният отчет би показал не само крайния резултат, а и кои механизми са запазени, как взаимодействат и каква работа изисква целият процес на подобряване. Ако изследването цели да намали разхода за оценяване вътре в цикъла, следващата проверка е дали спестяването остава полезно при различни задачи и повторни изпълнения.
Терминът самоусъвършенстване изисква да назовем обекта на промяната. Програмата може да организира по-ефективно фиксиран модел, без самият модел да е изменен. Дали получената система пренася ползата към друга работа е отделен въпрос.
Повторенията също имат значение: един опит преди и един след промяната могат да смесват случайност с устойчиво подобрение. Полезният запис запазва вариацията и неуспешните опити, а не само най-добрия резултат.
ELITE е интересен като конкретна алтернатива на избор само по получената оценка на всеки кандидат. Наличният резултат подкрепя изследователска посока, но не доказва неограничено самоусъвършенстване. За разработчиците най-полезният въпрос е как променената агентна програма се държи на нова работа — с известна версия, проследими промени и отделна крайна проверка.



