Изследване на конкретни задачи
На 6 октомври OpenAI описа сътрудничество с Ironclad за обучение и оценяване на AI агенти в договорни процеси. Изследването включва 11 задачи. Публикуваната средна оценка е 55,0% за GPT‑6 Astra срещу 41,6% за GPT‑5.6 Sol. Това са оценки по критерии, а не процент договори, обработени без грешка. Посочените времеви резултати са симулирани оценки.
Действията остават контролирани
Документацията на Ironclad за Conversational Intake дава полезен продуктов контекст: системата предлага подходящ работен процес, но потребителят трябва да го потвърди. Тя не стартира процес само защото го е препоръчала и не предлага недостъпни за ролята на потребителя процеси. Това описание на функцията не е доказателство, че изследователските резултати са постигнати при всеки клиент.
Нашият редакционен прочит
В многостъпковата работа е важно да се проверява целият завършен процес, включително изключенията. Демонстрация на успешно отделно действие не установява надеждност на всички следващи стъпки. При тази новина по-съществен е методът за проверка на ограниченията, отколкото общото обещание за по-бързо изпълнение.
