Ai2 представи StateBench в публикация от 3 ноември, след подаването на техническия препринт на 2 ноември. Наборът разглежда как езикови модели проследяват променящи се стойности в дълъг контекст. В описаните опити с водещи модели точността пада силно при най-трудните дълги последователности. Това не е измерване на всички реални разговори и не означава, че всяка задача с голям документ е еднакво трудна.
Намиране на стойност и изчисляване на състояние
Препринтът разделя задачите на четири теоретично мотивирани нива: неизменна стойност, презаписване с нова стойност, промяна според собственото предишно състояние и зависимости между различни променливи. Така един тест за дълъг контекст може да различава търсенето на запис от натрупването на последователни промени. Авторите разглеждат и различия между transformer и рекурентни архитектури, при определени математически допускания.
Наша ежедневна аналогия е движение на пратка. Първият запис може да казва, че тя е в склад А. По-късно е преместена в Б, върната е и е прехвърлена към друга пратка. Въпросът за сегашното местоположение изисква повече от намиране на изречение, съдържащо името ѝ. Това е редакционен пример за разликата, не задача от публикувания набор.
Сравнимите задачи започват от една следа
Публичният код генерира възпроизводими последователности от присвоявания и ги представя в различни повърхностни формати. По-простите семейства се извеждат от обща изходна следа, като се запазват определени характеристики на задачата. Това помага различие във формулировката или броя операции да не се смесва безконтролно с вида на необходимото проследяване.
Картата на набора в Hugging Face показва полета за операции, заявки, крайно състояние и дължини на зависимости. Тя предоставя по-конкретен артефакт за изследване от общо твърдение, че моделът има добра памет. Видимата структура обаче не прави автоматично синтетичните примери представителни за служебни документи или разговори на български.
При повторение на експеримента бихме запазили версията на набора и избраното представяне заедно с резултата. Иначе следващо изпълнение може да изглежда по-добро, докато всъщност използва различна постановка. Важно е сравняваните отговори да се отнасят към едни и същи примери и критерии. Това е предложена практика за сравними изследвания, не доказателство, че ние сме изпълнили StateBench.
Предварително обучение и специализирано обучение
Представянето на Ai2 различава готови модели от по-малки модели, обучени директно върху задачата. Във втория режим рекурентни и хибридни варианти обобщават по-добре към някои по-дълги последователности. Настоящата постановка използва фиксиран брой променливи. Не обхваща автоматично разговор, в който непрекъснато се появяват нови хора, предмети или проекти.
Оттук нашият извод е ограничен: специализираното обучение показва какво може да се научи в конкретен експеримент. То не доказва, че вече използваният корпоративен помощник е придобил същата способност. Също така теоретично свойство на архитектура при зададени допускания не е готово измерване за всяка нейна практическа реализация.
Какво да проверява екипът със собствен помощник
За пилот бихме подготвили няколко истории на промени с предварително известно крайно състояние. Част от тях биха съдържали директни корекции, други — зависимости между два записа. Бихме запазили една и съща информация, но бихме променили разстоянието между свързаните събития. Така може да се наблюдава дали проблемът е в намирането на запис или в прилагането на промяната.
Важно е очакваният отговор да се определи независимо от изпитвания модел. Ако същият помощник създава историята, решава я и обявява успех, липсва полезна външна проверка. За бизнес процес бихме сравнили крайното твърдение и с действителната система, която пази статуса. Това е предложен метод, не извършен от SIExpo тест.
StateBench е полезен принос именно защото разделя трудността на по-конкретни случаи. За читателя практическата поука е, че размерът на контекстния прозорец не е самостоятелна гаранция за правилно текущо състояние. Нужни са подходяща задача, проверим отговор и ясно разграничение между запомнен текст и последователно приложени промени.
