NeuML публикува на 19 ноември Atto — семейство компактни модели за извличане на информация с плътни, разредени и late-interaction представяния. Сред показаните конфигурации има модел с едва 840 параметъра, но той е ColBERT-подобен пример. Не трябва да се представя като универсален заместител на по-голям модел, който свива целия документ в един вектор.
Авторските резултати са върху конкретна част от BEIR, а не върху всички задачи и езици. Картата на отделния модел дава конфигурация и примери за използване; това е по-точната отправна точка от общото име Atto. Нямаме независимо възпроизвеждане или измерване за български корпус.
Защо архитектурата променя сметката
При сравнение на системи за търсене трябва да се разграничават моделът, представянето на документите и операцията по оценяване. Малко тегла не означават непременно малък индекс. Ако се запазва повече информация за отделните части на текста, тя трябва да се съхрани и използва при заявката. Това е причината параметрите да не са достатъчен бюджет за цялото решение.
Практичен избор би започнал с нужния тип търсене. Дали читателят търси точен термин, близък смисъл или документ с полезен отговор? За малък технически архив могат да се съберат реалистични въпроси и предварително оценени релевантни документи. После различните конфигурации се сравняват при еднакви входове, вместо да се избира най-малкото число в моделното име.
Отделно трябва да се измерят времето за изграждане, размерът на индекса и поведението при обновяване на корпуса. При разрастваща се колекция съхранението може да се окаже по-важно от размера на самите тегла. При интерактивно приложение латентността на заявката може да е решаваща. Това са предложени критерии, не резултати от тест на SIExpo.
Примерът за зареждане в прочетената моделна карта използва trust_remote_code. Такава настройка е основание за преглед на изпълнявания код и версията, а не просто синтактична подробност за копиране. В тази публикация не сме зареждали модела и не твърдим одит на реализацията.
Интересното в Atto е експериментът с различни точки между компактност и качество на търсене. За конкретно приложение успехът трябва да се види в намерените документи и общия разход, а не само в параметрите. Именно тази разлика прави новината полезна и предпазва най-малкия демонстрационен пример от превръщане в преувеличен универсален рекорд.



