Basecompute описа на 20 ноември fleet режим на Superfluid за локално обслужване на езикови модели през обща крайна точка. Основната идея е репликация: всяка машина държи пълно копие на модела, а разпределителят насочва цели сесии. Това не е събиране на паметта на няколко компютъра, за да се побере един модел, който никой от тях не може да изпълни сам.

Авторите показват експеримент с шест машини и 64 симулирани потребители. Това са авторски измервания, не тест на SIExpo. Не пренасяме числата към произволен модел или мрежа. Същото важи за описаното възстановяване след отпаднал възел: демонстрацията не е гаранция за достъпност на чуждо внедряване.

Кой проблем решава репликацията

Ако една машина вече побира избрания модел, повече подобни възли могат да поемат различни разговори. Ако моделът не се побира никъде, добавянето на още такива реплики не решава този първи проблем. Това разграничение е важно за екипи, които имат няколко свободни компютъра и обмислят обща локална услуга.

Официалното хранилище описва съвместими API и различни поддържани изпълнителни среди. Съвместимият адрес може да улесни включването на клиент, но не доказва пълно съвпадение на всяка опция, формат на инструмент или особеност на стриймването. Затова приемането трябва да включи точно онези заявки, които приложението използва.

Полезен пилот би сравнил една машина и малък набор възли със същия модел, входове и ограничение на изхода. Отделно могат да се измерят първият токен, продължителността на отговора и неуспешните заявки. Броят едновременни потребители трябва да се записва, защото резултат при празна опашка не описва натоварена услуга. Това е предложен тестов план, а не проведено изпитване.

Локалното разполагане също има граници на достъпа. Трябва да е ясно кои машини могат да се присъединят, къде се пазят разговорите и кой контролира общата точка за вход. Локална мрежа не означава автоматично доверие към всеки неин участник. Подобни решения заслужават собствен оперативен преглед.

Потвърдената новина е описаната възможност за разпределяне на сесии между пълни локални реплики. Практическата ѝ стойност зависи от натоварването и наличните устройства. Разликата между „повече обслужени разговори“ и „по-голям модел в обща памет“ остава най-важното условие за правилно четене на този анонс.