Dharma-AI публикува на 18 ноември предварителен разбор на прогнозирането на време за дообучаване върху 272 реални SFT изпълнения с H200 ускорители. Авторите изследват целия период от получаване на GPU до завършване, без чакането в опашката. Пълната статия още е обявена като предстояща. Резултатите не установяват универсална точност за друг хардуер или друга организация.
Продължителност на изчислението и продължителност на задачата
Интересният инженерен въпрос е какво всъщност резервира операторът. Теоретичното количество операции описва само част от заетото време. Практическата резервация трябва да стигне до артефакта, който следващата задача ще използва. Ако този край е определен различно, дори две правилни оценки могат да изглеждат противоречиви.
Редакционният ни пример е да се запазват отделни моменти за получен ресурс, начало на основната работа и потвърден окончателен резултат. Така може да се види къде има променлива част, вместо цялото закъснение да се припише на модела. Това е предложение за наблюдение, не повторение на публикуван експеримент.
Прогноза, която трябва да работи преди старта
Разборът използва характеристики, известни преди изпълнението. Това е съществено за планиране: оценка, която тайно зависи от бъдещия реален напредък, не може да помогне при първоначалното разпределяне на ресурсите. Авторите посочват ограничена извадка за много дълги изпълнения и необходимост от ново калибриране за различна инфраструктура.
При собствена оценка бихме отделили по-късни реални задачи от тези, използвани за настройване. Полезно е да се вижда не само средната грешка, но и колко често срокът е подценен. За зависим процес редките големи закъснения могат да имат по-голямо значение от малка средна разлика.
Не оптимизирайте числото за сметка на резултата
Нашият прочит е, че по-кратко обучение не е достатъчен критерий само по себе си. Ако времето се намали чрез премахване на нужната проверка, процесът може да завърши по-рано с по-слабо установено качество. Затова сравнявайте продължителността заедно с предварително определените изисквания към крайния модел.
За планиращия екип една практическа полза би била диапазон на очакваното завършване, придружен с ясни случаи извън познатата област. Необичайно голяма задача или сменен софтуерен стек трябва да се отбележат като промяна на условията, вместо прогнозата да се представи със същата увереност.
Новината е публикуваната предварителна работа върху производствени наблюдения. SIExpo не е обучавал предиктора и не потвърждава икономия от негово внедряване. Изводът, който заслужава собствена проверка, е да се измерва целият полезен процес, а не само номиналната изчислителна част.



