VibePrevisBench, представен в препринт от 11 ноември, проверява агенти, които превръщат задание в изпълнима Blender сцена с движение във времето. Авторите описват 242 задачи и анализират 11 кодиращи агента. Сцената може да служи за предварителна визуализация на видео, преди генериране на окончателния му вид.

Тестът съчетава две оценки: Scene Check изпълнява кода и проверява свойства на сцената спрямо скрити факти, а Screen Check използва визуално-езиков оценител за видимото в рендера. Тази двойна проверка е сърцевината на новината; красива картинка не доказва, че задачата е изпълнена.

Два различни вида грешка

Наш пример показва защо разграничението е полезно. В заданието човек трябва да премине зад предмет и после да се появи отдясно. Кодът може да съдържа правилната траектория, но камерата да гледа в друга посока. Обратното също е възможно: кадърът изглежда убедително, докато обектът всъщност се движи по грешен път.

Това не е само козметичен проблем. Когато междинната сцена управлява следваща генерация, поправянето на текстури не е равнозначно на поправяне на постановката. Екип, който оценява само финалното визуално впечатление, може да пропусне нарушение на пространствено или времево условие.

В авторския анализ агентите се справят с по-основни постановъчни действия, но срещат трудности при сложни изисквания и самокорекция. Това не е универсална присъда за всички текущи инструменти. Резултатът зависи от избраните агенти, версията им, задачите и начина на оценяване.

Проверка на корекцията

SIExpo би разграничил „агентът видя рендера“ от „агентът установи и отстрани конкретната грешка“. За приемане на работен процес са нужни наблюдаеми критерии: кой обект, в кой момент и от коя камера трябва да е видим. След поправка същите критерии трябва да се проверят повторно.

Визуален оценител също може да греши. Затова за важни изисквания е полезно да има проверка на данните в сцената и човешка оценка на подходяща извадка. Те отговарят на различни въпроси и не бива автоматично да се сливат в едно число за „качество“.

Не сме изпълнявали тестовия пакет и не сме възпроизвели класиране. Подборът е непокрит изследователски материал в рамките на последната седмица, с ясно посочена дата. Ползата му за разработчици и творчески екипи е конкретна: приемането на генерирано видео трябва да проверява изпълнението на замисъла, а не само гладкостта на картината.

Редакционна проверка: 2026-11-17T07:54:00.882419+00:00.