Turing Agent, представен в препринт от 16 ноември, организира формална проверка на изследователска математика. Авторите разделят превода на твърдението и изграждането на формално доказателство. При Formal TCS Bench отчитат приблизително 57–62% успешно вярно формализиране в оценяваните конфигурации. Това е по-тясно и по-смислено твърдение от идеята, че всяка компилирала програма вече доказва първоначалния математически въпрос.

Две задачи, които лесно се смесват

Първо трябва да се опише какво точно се доказва. После трябва да се построи доказателство на това описание. Ако първата стъпка промени смисъла, втората може да бъде технически безупречна и пак да не решава задачата, която човекът е поставил. Формалната система проверява формализираното твърдение, а не неизказаното намерение на автора.

Проектната страница на Turing Agent поставя акцент върху вярността на формализирането и представя работа по теоретична информатика. Тя описва и завършени формални задачи от по-ранна колекция на OpenAI. Това е представяне на авторите, а не независимо извършена от редакцията проверка на всички доказателствени файлове.

Малка промяна в условието, голяма промяна в задачата

Ето редакционен пример. Изразът „за всяко допустимо входно множество съществува решение“ не е същото като „съществува входно множество, за което има решение“. Смяната на реда или обхвата на кванторите може да направи твърдението различно. Ако доказателството е проверено за второто, това не удостоверява първото.

Друг пример е неволно добавено предположение. Ако задачата пита за всички графи, а формализацията допуска само свързани графи, проверката може да е коректна в по-тесния клас. Този пример не е посочена грешка на Turing Agent; показва защо семантичният преглед е самостоятелна задача.

Какво действително проверява Lean

Като технически фон ръководството Theorem Proving in Lean разглежда предложенията и доказателствата като формални обекти, проверявани от системата. Доказателството трябва да има изисквания тип. Това позволява прецизно машинно проверяване на логическата конструкция в рамките на зададените определения и предпоставки.

Тази сила не премахва необходимостта човекът да прочете условието. Правилният тип за неправилно преведен въпрос остава проблем на превода. Затова полезният работен процес съхранява и двете представяния — първоначалното математическо твърдение и неговата формална версия — заедно с причините да се смятат за еквивалентни.

Какво би направило резултата използваем

За математик или разработчик най-полезни биха били проверимите артефакти: точният текст, формалното твърдение, използваните определения, допусканията и изпълнимото доказателство. Това са редакционни критерии за приемане на резултат, не твърдение, че всяка споделена от проекта задача вече е независимо репликирана.

Разделянето на по-малки помощни твърдения може да улесни разбирането, но също създава зависимости, които трябва да останат видими. Ако една лема носи по-силно предположение, то не бива да изчезва от човешкото обяснение на крайния резултат. Четливостта и машинната проверка се допълват: едната помага за смисъла, другата — за точността на формалната верига.

Защо процентът не трябва да се разширява

Посоченият резултат е за конкретен бенчмарк и модели. Той не измерва целия математически труд и не означава, че същият дял от произволни научни проблеми е решим автоматично. Също така завършване на формална проверка на по-рано формулирана задача не бива автоматично да се обявява за откриване на нова теорема.

Обемът на убедително звучащия математически текст не установява автоматично връзката между човешкото условие и формалната версия. Тази връзка сама изисква проверка. Дори познати определения могат да носят допускания, които формалната библиотека изписва изрично.

За преизползване има значение и версията на средата и библиотеките. Запазването ѝ помага на друг изследовател да различи проблем със зависимост от математическо разногласие. Това е редакционно наблюдение, а не нов отчетен резултат.

Turing Agent е интересен с опита си да свърже голямото количество генерирани доказателства с по-строга проверка. Ключовата граница остава ясна: можем да имаме машинно проверена логика и все пак да трябва да проверим дали тя доказва правилното твърдение. Именно запазването на тази граница прави резултата полезен за изследовател, вместо просто впечатляващ като автоматично произведен текст.