AWS представи на 18 ноември cross-Region inference routing в SageMaker AI. Router може да избира между съществуващи endpoints в различни региони и акаунти, като предпочита локални здрави дестинации. Няма допълнителна такса за маршрутизирането, но ресурсите за обработка и метриките продължават да се таксуват. Приложението получава по-обща точка за извикване на разгърнатия модел.
Какво функцията не пренася автоматично
Ръководството уточнява, че самият router е регионален. При проблем в неговия регион заявки към него могат да се провалят въпреки здравите отдалечени дестинации. Един routing target трябва да обслужва същия модел и формат; липсват response streaming и ограничаване на регион за отделна заявка. Разрешените места следват конфигурацията на дестинациите.
Нашият архитектурен прочит е да се разграничат две задачи: избор на работещ backend и устойчив достъп до точката за избор. Продукт, който решава първата, не трябва да се представя като цялостна защита от регионален отказ. Планът на приложението трябва да описва и поведението при недостъпен router.
Данните следват маршрута
Ако различни заявки имат различни ограничения за местоположение, списъкът с дестинации трябва да ги отразява предварително. Полезно е всяка цел да има записан собственик, версия на модела и позволени региони. Така добавянето на endpoint се разглежда и като промяна в маршрута на данните, не само като техническо разширяване.
Това е проектна препоръка, а не правна оценка за съответствие. Конкретното приложение трябва да следва собствените си договори и правила. Изпращането към по-свободен ресурс само по себе си не е достатъчно основание за промяна на мястото на обработване.
Резервната дестинация също има предел
Router-ът не създава капацитет от нищото. За пилот бихме измерили колко допълнителен товар може да поеме резервният endpoint, докато обслужва и обичайните си заявки. Отчитат се забавянията, отказите и разходът на цялата система. Успешен единичен отговор не показва поведението при по-продължително пренасочване.
Документацията предоставя метаданни за обслужилия ресурс и причината за избора. Те позволяват диагностичният запис да свързва заявка и дестинация без ненужно копиране на потребителското съдържание. Това помага при разграничаване на промяна в маршрута от промяна в поведението на модела.
Практическата новост е намалената нужда от собствена логика за избор между endpoints. Инженерната отговорност за капацитет, допустими региони и възстановяване остава. SIExpo не е разгръщал тази конфигурация и не отчита измерено време за failover.



