На 20 ноември Hugging Face представи интеграцията на Inkling 2 Mini от Thinking Machines Lab: мултимодален MoE модел с около 26 млрд. общи и 3 млрд. активни параметри на токен. Средните му слоеве се изпълняват три пъти с едни и същи тегла. Обявена е поддръжка в Transformers, llama.cpp, MLX и SGLang. Посоченият максимален контекст е един милион токена; това не е гаранция за удобна работа с такъв вход на всеки компютър.

Паметта и времето решават различни задачи

Практическият интерес е в компромиса между съхраняваните тегла и извършеното изчисление. Да използваш един и същи компонент повторно спестява място спрямо съхраняването на отделни компоненти за всяка стъпка. Повторението обаче пак трябва да бъде изпълнено. Затова размерът на модела сам по себе си не е достатъчен критерий за покупка на машина или за обещание към клиент.

Картата на модела е необходима за точния вариант, формат и условия за използване. Поддръжката от няколко изпълняващи среди също изисква избор: един екип може да предпочете удобството на настолно приложение, друг — управляван сървър. И в двата случая трябва да се запишат конкретните версии, вместо различни резултати да се приписват единствено на името на модела.

Как бихме оценили подходяща конфигурация

Нашият предложен пилот започва с една реална задача, например извличане на данни от няколко продуктови описания. Входът остава един и същ, а отделно се записват времето до първия отговор, времето до края, използваната памет и грешките във фактите. Тестът не е проведен от SIExpo и тук няма собствено измерване на скоростта.

След това бихме добавили изображение и по-дълъг документ, като наблюдаваме къде системата престава да бъде удобна. Важен е и празният отговор: ако моделът няма достатъчно сведения, трябва да го отбележи. Привидно бърз резултат, който изисква дълга човешка поправка, може да се окаже по-скъп от по-бавна, проверима работа.

За агент с инструменти бихме започнали с достъп само за четене до копие на данните. Записването, изпращането и плащането са отделни разрешения. Локалното изпълнение може да улесни контрола върху информацията, но самото разположение на компютъра не доказва, че всички използвани инструменти работят без външни услуги.

Бихме проверили и възстановяването. Прекъсването трябва да оставя запис кои стъпки са завършени и кои остават неясни. Повторение без такава следа може да дублира по-късно действие, дори самият модел да работи локално.

Новината предлага още един реален избор за локални експерименти. Решението дали е подходящ за конкретна работа трябва да се вземе след проверка на целия работен процес, включително човешката редакция и възстановяването след грешка.