Тарек Зиаде публикува на 18 ноември експеримент за изпълнение на голям MoE модел с Transformers чрез стриймване на експерти от SSD. Авторът описва конфигурация на Mac с 32 GB обединена памет и Qwen3.8‑Flash‑Next. Това е отчет на автора за прототип, подкрепен с код, а не независимо потвърден бенчмарк или обещание за произволен лаптоп.

Къде са теглата

Свързаният pull request #50717 е обозначен като доказателство на концепция за offload на експерти. Този статус е важен: обсъждан интерфейс в предложение за промяна не означава функция, която вече присъства в стандартната инсталация. Преди възпроизвеждане трябва да се провери точната версия и състоянието на предложението.

Основната разлика е между съхраняване на всички тегла и държане на нужната част в бърза памет. При MoE маршрутизаторът избира част от експертите за текущото изчисление. Това позволява да се обсъжда йерархия от диск и кеш, но добавя зависимост от това кои данни ще потрябват следващи. Заглавното число за параметрите не е количество, което магически изчезва.

Самото предложение предупреждава, че е написано с AI доказателство на концепция и се нуждае от преработване преди включване. Това ограничение е по-конкретно от общото обозначение „експериментално“. То е причина да се следи развитието на интерфейса, а не да се обещава готова функция на потребителите.

Капацитетът има цена във времето

Нашият прочит е, че такава техника трябва да се оценява едновременно по възможност за зареждане и по време до полезен резултат. Ако активният набор постоянно се сменя, дисковите четения могат да имат по-голямо значение. Ако повтарящите се части остават в кеша, поведението може да е различно. Това е обяснение на инженерния компромис, не измерване на конкретния код.

При сравнение бихме разделили първото изпълнение след стартиране от следващото със същата задача. Бихме записали също свободната памет, размера на контекста, точната квантизация и използвания SSD. Без тези условия две стойности за токени в секунда могат да изглеждат сравними, а да измерват различни режими.

За кого е полезен прототипът

Разработката е интересна за екипи, които изследват границите на локалното изпълнение и могат да поддържат експериментална среда. За работен процес с твърд срок по-полезен е въпросът дали по-малък модел приключва задачата навреме, отколкото дали най-големият модел изобщо тръгва.

SIExpo не е инсталирал този pull request и не е възпроизвеждал резултатите. Проверимата новина е публикуваният технически опит и предложението за интеграция. Пътят от този опит до поддържана, предвидима функция изисква последващо проследяване.