На 17 ноември японската Sakana AI представи JFinBench. Оценката съдържа 321 задачи от шест японски изпита за професионална квалификация през 2026 г., включително счетоводство и данъци. Наред с въпроси с избор има кратки и разширени отговори, а ограничен брой задачи включват изображения. Екипът публикува ресурси за изследователи, сред които набор с данни, код и класация.
Какво добавя местният контекст
Финансовото понятие може да е познато в различни държави, но приложимото правило се променя с юрисдикцията и датата. При задача за местна система гладкото обяснение не компенсира неправилно правило. В проведената оценка екипът съобщава, че при версията без външни инструменти Kimi K3.1 Pro е приблизително десет пункта зад GPT‑6 Astra. Авторите свързват много от грешките с познаването на японските правила, освен с изчисленията.
Това са резултати за 12 конкретни модела при определени настройки. При отворени източници, различни версии или друга юрисдикция подреждането може да се промени. Сами по себе си изпитните задачи не показват дали модел може безопасно да обработва клиентско досие или да взема финансово решение.
Как се поддържа тестът актуален
Екипът използва програмни агенти за превръщане на изпитните документи в структурирани задачи. Автор е прегледал всяка задача спрямо оригинала. Този контрол е важен, защото разместена таблица или липсващ ред може да направи задачата невалидна. Обновяването с нови изпити помага за актуалността, но не гарантира, че никоя задача не е попадала в обучаващи данни.
За организация, която оценява AI за работа с местни документи, редакционният извод е да добави собствен набор от реалистични задачи с изрично посочени дата и юрисдикция. Полезно е грешките в изчисление, правилото и прочита на документа да се разглеждат отделно. Така изборът на модел може да стъпи на поведението, което има значение за конкретната работа, без резултатът да се превръща в инвестиционна или данъчна препоръка.
Подходът е приложим и като идея за вътрешно оценяване. Един набор може да проверява дали моделът правилно чете таблица, а друг — дали разпознава срока на действие на правило. Разделянето помага да се види къде е проблемът и какво сравнение има смисъл след обновяване на модела.
Редакционна проверка — 2026-11-18T10:21:35.465083+00:00



