AWS съобщи на 17 ноември, че SageMaker HyperPod Inference поддържа NVIDIA Dynamo. Интеграцията е насочена към големи модели и разпределено обслужване на заявки. Компанията описва възможност за много възли и за отделни групи работници за обработване на входния контекст и генериране на отговора. Това е продуктова възможност; публикуваните измервания на доставчика не са универсално обещание за ускорение.
Две различни части на една заявка
Входният контекст първо трябва да бъде обработен, а след това моделът генерира следващите токени. Документацията на AWS разграничава общ режим, при който работникът изпълнява и двете части, от разделен режим с отделни групи. При втория KV кешът преминава между тях. Документацията на самия Dynamo описва рамката за разпределено обслужване; тя е технически контекст, а не независимо доказателство за конкретен облачен резултат.
Полезният инженерен въпрос е дали двете фази действително имат различен профил във вашите заявки. Кратък въпрос след дълъг документ може да натоварва системата различно от дълъг отговор при малък вход. Отделните групи позволяват тези режими да се разглеждат самостоятелно, но добавят координация и обмен на състояние.
В документацията изборът се задава чрез dynamoSpec в конфигурацията на endpoint. Управляваните компоненти включват оператори и планиране на свързани GPU задачи. Това отделя описанието на работната конфигурация от самите моделни тегла; услугата не избира автоматично най-подходящия модел за приложението.
Кешът трябва да стигне навреме
Нашият редакционен прочит е, че мрежата става част от изчислителния път. По-бърз работник за една фаза не гарантира по-бърз краен отговор, ако преносът или изчакването на друга група доминират. Затова бихме наблюдавали опашките, времето до първи токен и времето за целия отговор заедно.
За пилот предлагаме да се запази базовата конфигурация и да се сравнят еднакви заявки при еднакво качество. Разделете резултатите по дължина на входа, дължина на изхода и паралелност. Средната стойност сама може да скрие редки, но тежки забавяния, които определят усещането на потребителя.
Управлявано не означава без решения
Екипът все още избира модела, размера на групите и целевото поведение при натоварване. Текущата документация трябва да се провери за налични региони, съвместими образи и параметри. Не пренасяме конфигурация от демонстрация директно в продукционен процес и не обещаваме еднаква цена за всички задачи.
Новината е, че повече от оркестрацията може да бъде поета от управлявана интеграция. Дали разделянето носи полза, се установява с пълната заявка и реалните ограничения на услугата. SIExpo е проверил съобщението и документацията, без да разгръща или бенчмаркира клъстер.



