На 17 ноември AWS представи Apache Spark Optimization Agent за Amazon EMR Serverless. Той разглежда вече приключило изпълнение и предлага промени според избрана цел за разход или производителност. Инженерът може да използва едно изпълнение или да го сравни с известно добро изпълнение. AWS предлага достъп от конзолата на EMR Serverless и през MCP сървъра на SageMaker Unified Studio.

От данните към предложение

Услугата събира конфигурация, журнали и показатели от Spark. Според AWS препоръките се изчисляват от детерминистичен механизъм и идват с аргументация и наблюдавана телеметрия. Те могат да се отнасят до инфраструктурата, настройките на Spark, кода или подредбата на данните. Системата помага да се установи къде си струва да се гледа първо, например дали натоварването на изпълнителите е неравномерно.

Изборът на цел има практическо значение. По-кратка задача може да използва повече ресурси, а по-икономична конфигурация може да увеличи времето. Екипът трябва да знае кое от двете е основно за конкретния поток и колко влошаване на другия показател би приел.

Как да проверим предложението

Полезно сравнение започва с еднакви входни данни или ясно известна разлика между тях. Ако базовото изпълнение е обработило по-малко записи, просто сравнение на минутите подвежда. Сравнете и самия резултат на задачата, защото бързината няма стойност при непълни резултати. Съхранете първоначалната конфигурация и наблюдавайте няколко последващи изпълнения, включително периоди с по-голям обем.

AWS посочва поддръжка от EMR 7.6 нагоре в регионите с EMR Serverless, с изключение на GovCloud в САЩ и регионите в Китай. Агентът е без допълнителна такса за самата функция. Изпълненията и ресурсите остават отделен въпрос. Достъпът се удостоверява чрез IAM и се записва в CloudTrail. Това позволява на екипите да отделят правото да се анализира историята от разрешенията за промени в производството.

Общата цена има значение на ниво график, не само за единичната задача. Ако по-бързото изпълнение измести чакането към следваща стъпка, ползата може да е ограничена. Лесна проверка е да се проследи кога целият набор става достъпен за следващия екип, наред с ресурсите на отделното Spark изпълнение.

Редакционна проверка — 2026-11-18T10:21:35.465083+00:00