AWS обяви на 18 ноември GPU поддръжка за Event Functions върху Lambda Managed Instances. Функциите използват G-серия EC2 инстанции и могат да обработват няколко извиквания едновременно в една среда. Обявеното таксуване включва EC2 ресурса, 9,75% такса за управление и 0,20 долара за милион заявки. Това не е цена само за действително изпълнените токени на AI модел.
Управлявано изпълнение с реални ограничения
Документацията уточнява един GPU или една GPU част за изпълняваща среда, контейнерен пакет и контрол върху паралелността. Посочва се и начална EC2 квота от нула vCPU за съответните G/VT On-Demand инстанции. Следователно налична функция в продукта не доказва, че конкретен акаунт вече може да осигури необходимия ресурс.
За екип, който обработва изображения или документи при пристигането им, това предлага още една архитектурна възможност. Събитието може да започне ускорената операция без отделно написана система за предаване към собствен GPU работник. Дали това е подходящо зависи от размера на задачите, честотата и допустимото изчакване.
Паралелността трябва да се измерва заедно с паметта
Нашият инженерен прочит е да се започне от работния набор на една заявка. Няколко едновременни извиквания могат да споделят наличния ускорител, но могат и да конкурират памет и време за изпълнение. Увеличаването на паралелността не е автоматична гаранция за по-кратко чакане на всяка отделна задача.
За приемателен пример бихме сравнили кратък поток, внезапен пик и по-дълга постоянна работа. Записват се времето до старт, общото време до резултат, грешките и максималната памет. Така може да се види дали ограничението е в стартирането, обработването или наличния капацитет.
Сметката е за цялата конфигурация
Изборът трябва да включва неактивните периоди, избраните правила за мащабиране и необходимото време за зареждане на модела. Нашият съвет е първо да се сметне действителният дневен профил на задачите, вместо цената на една идеализирана заявка. Това е методика за сравнение, не публикувано от SIExpo измерване на икономия.
Големият контейнер и наличното място за временни данни също не удостоверяват бърз старт. Ако приложението има твърд срок, той трябва да се провери от събитието до потвърдения резултат, включително първото изпълнение след неактивност.
Новината разширява възможностите за събитийно GPU изчисление. Тя не отменя необходимостта от управление на ресурсния бюджет и проверка на квотите. SIExpo е прегледал съобщението и документацията, без да разгръща функция или да сравнява реални облачни сметки.



