Може ли малък настолен компютър да изпълнява голям езиков модел без постоянна сметка за облачен API? Ryzen AI Halo поставя този въпрос съвсем практически, но отговорът зависи от конкретния модел, представянето на теглата, дължината на разговора и натоварването. „Побира се“ и „работи достатъчно бързо за моята задача“ са две отделни проверки.

Поводът за този авторски разбор е техническият материал на AMD от 12 ноември за Quark и Qwen3.8-Flash-Next. Проверихме и споделения от читател LinkedIn пост на Matt Baskovc от 16 ноември. Клипът отново показва 128 GB конфигурация; не го представяме като днешна премиера. По-новият Halo с PRO 495 е описан от AMD още на 12 октомври. Тук събираме проверени спецификации, ограниченията на публикуваните тестове и собствени изчислителни примери, без да твърдим, че сме тествали машина.

Първо уточнете кое поколение гледате

Официалната конфигурация с Ryzen AI Max+ 395 е с 128 GB LPDDR5x, 16 CPU ядра и 32 нишки, интегрирана Radeon 8060S с 40 изчислителни блока и памет с пропускателна способност 256 GB/s. Страницата посочва 2 TB SSD, 10 Gb Ethernet, Linux или Windows 11 и 120 W TDP. Това е параметър на платформата, а не измерена консумация от контакта за всяка задача.

При Ryzen AI Max+ PRO 495 официалната конфигурация е 192 GB, Radeon 8065S, отново 16 ядра/32 нишки и 40 GPU блока, с 273 GB/s пропускателна способност. И двете кутии са описани като 150 × 150 × 45,4 mm. Разликата в паметта е съществена; не трябва снимка на единия модел да се съчетава със спецификации на другия.

Общият пул се използва от CPU, GPU и останалата система. При PRO 495 AMD заявява до 160 GB за GPU. Това не означава 192 GB отделна видеопамет плюс още 192 GB RAM. Не пренасяме този лимит към 395: за конкретната машина трябва да се проверят BIOS, драйверът и реално видимата алокация. По-голямата RAM не премахва ограниченията на изчисленията или пропускателната способност.

Защо 200B и 300B не са достатъчна спецификация

Рекламните граници на AMD са до 200 милиарда параметъра при 128 GB и до 300B при 192 GB; по-старият анонс изрично свързва големите конфигурации с 4-битово квантоване. Това е ориентир за капацитет, не обещание за еднаква точност, контекст или скорост при всички модели.

Собствена опростена сметка: 200B тегла по 4 бита са 100 милиарда байта, тоест около 93,1 GiB, само за идеално плътно записаните тегла. За 300B получаваме 150 GB, около 139,7 GiB. Реален формат добавя скали, метаданни и понякога слоеве с по-висока точност. Зареденият runtime може да се различава от размера на файловете. Към всичко това идват кеш, буфери, ОС и другите приложения.

Квантоването намалява точността на числовото представяне. Ефектът върху отговорите се проверява за конкретната задача, особено при код и извикване на инструменти. При mixture-of-experts модел активните параметри за един токен са различни от общо съхраняваните параметри. Малък активен дял не означава, че всички останали тегла изчезват от паметта.

Свежият Quark пример показва реалния компромис

В публикацията от 12 ноември AMD описва намаляване на приблизителното съхранение на Qwen конфигурация от 130 до 80 GB чрез компактна замяна на голяма n-gram таблица. По-малкият вариант е изпълнен на Halo. Това е промяна в информацията на модела, не просто безплатно компресиране: ефектът върху точността зависи от задачата.

Числата за точност в този разбор са получени на Instinct системи; не са бенчмарк за скорост или качество на Halo. Картата на модела описва Linux и модифициран vLLM стек. Не превръщаме зададената там контекстна граница в доказана продължителна сесия на настолната машина. Между публикацията и картата има различни препратки към необходимите промени; готова инсталация трябва да фиксира точните версии и да мине собствен тест.

Работният контекст също заема памет

KV кешът запазва междинно представяне на вече обработените токени. При обикновено attention с групирани KV глави опростеният размер е 2 × слоеве × KV глави × размер на глава × байтове × токени × независими последователности. Това е изчислителен пример, не спецификация на Qwen или измерване на Halo.

Ако условно имаме 64 слоя, 8 KV глави, размер 128 и 2 байта, един токен заема 262 144 байта кеш. При 32 768 токена това са 8 GiB за една последователност; при 131 072 са 32 GiB. Четири независими дълги разговора могат да променят бюджета радикално. Архитектури с друг кеш, споделен префикс, квантован кеш или ограничено attention имат различно поведение.

Затова настройката на контекста трябва да произтича от нужната работа. За кратко извличане на данни огромна история може да е излишна. За анализ на много файлове трябва да се измерят както приемането на входа, така и генерирането след него. Документацията на llama.cpp отделя настройките за контекст, типове на KV кеша и паралелни слотове; една стойност за параметри не ги заменя.

Скорост, паралелизъм и софтуер

Първият токен, следващите токени и завършената задача са различни показатели. Дълъг prompt може да направи старта бавен, дори кратка демонстрация да изглежда плавна. При няколко потребители общият throughput може да се повиши, докато отделният човек чака повече. CPU и GPU споделят ресурси с браузър, индексатор, компилатор и други процеси.

TOPS на NPU и FP16 TFLOPS на GPU не са токени в секунда. Не всяка библиотека използва NPU, а поддръжка на Windows и Linux не означава идентични backend-и, оператори и пакети. Старата страница за ROCm 7.2.1 сама препраща към новата унифицирана документация; не я използваме като окончателна актуална матрица за PRO 495. Търси се валидирана комбинация от точен APU, ОС, драйвер, runtime и формат на модела.

Практическият ни критерий за приемане е малък набор от собствени задачи: кратък и дълъг вход, проверим код, структурирано извличане и реалният брой паралелни заявки. Записват се пикова памет, време до първи токен, скорост на генериране, крайна точност и консумация от контакта. Това е предложен протокол, не наш публикуван резултат.

Какво остава локално и колко струва

Локални тегла и локален runtime могат да работят без облачен inference API. Но агентът може отделно да използва търсачка, външни инструменти, телеметрия или облачен fallback. Изтеглянето и обновяването също изискват мрежа. Поверителността идва от целия маршрут на данните, правата и конфигурацията, не от думата „локален“ върху кутията.

Икономиката включва хардуер, данъци, доставка, ток, поддръжка и време за настройване. Наш условен пример: 150 W от контакта за 8 часа дневно са 36 kWh за 30 дни; умножете по действителната си тарифа. При 24 часа са 108 kWh. Тези стойности са аритметика, а не измерена консумация на Halo.

AMD публикува собствен модел за по-ниска тригодишна цена при интензивна употреба. Той не доказва равностойно качество с облачния модел или спестяване за всеки клиент. При рядка работа API може да е по-евтин; при постоянни предвидими задачи и чувствителни данни местната машина може да има силни предимства. Сравнявайте цена на правилно завършена задача, включително повторенията и човешкия преглед.

Към проверката официалният сайт посочва покупка и употреба в САЩ. Не сме потвърдили наличност, крайна цена, доставка или гаранция за България. Halo заслужава внимание заради голямата обща памет в малък корпус. Решението обаче трябва да започне от точния модел и работен процес, а не от най-голямото число на рекламния слайд.

Редакционна проверка: 2026-11-17T07:54:00.882419+00:00.