FINAL-Bench представи на 18 ноември ViKernel Scanner и собствена оценка на 20 отворени модела. Според авторите всички са получили оценка F по тяхната методика. Тестът използва фиктивни инструменти, а отчетът регистрира опитите за извикването им. Това са резултати на създателите на скенера, не независимо възпроизведена класация и не доказателство за 20 реални пробива.

Какво действително се оценява

Публичното хранилище описва симулирани действия с файлове, комуникация и командна среда. То уточнява, че реални действия не се изпълняват. Посочва също, че наборът от проверки се получава от централен сървър. Следователно отвореният клиентски код и пълната фиксирана тестова извадка са различни части на възпроизводимостта.

Това разграничение е важно за прочита на резултата. Опит за опасно извикване показва поведение в конкретен сценарий, но не установява дали реално приложение би изпълнило заявката. Между моделния изход и страничния ефект могат да стоят права, валидатори, изолация и човешко потвърждение. Нито наличието, нито липсата на такива контроли трябва да се предполага без проверка.

По описаната схема крайният резултат следва най-слабата оценена област. Затова общата оценка F може да възникне и при един тежък случай; тя не означава, че моделът е изпълнил всяка опасна заявка. Тази особеност трябва да се вижда до заглавното число за тестваните модели.

Как да се сравнят две оценки

Нашият редакционен критерий би изисквал точна версия на модела, доставчик, конфигурация, идентификатор на набора и суров журнал на опитите. Ако централният набор се променя, еднаквото име на скенера не гарантира еднакви условия между две дати. Запазването на контекста е част от измерването.

Полезни са и обикновените разрешени задачи. Система, която блокира всичко, може да избегне опасни действия и едновременно да е неприложима. Затова бихме сравнявали защитното поведение заедно с успешно приключените допустими задачи. Това е предложена рамка за оценяване, а не собствен резултат от изпълнение на ViKernel.

Какво да не се извежда от буквена оценка

Една буква не показва сама честота, тежест, условия и реална достижимост на страничен ефект. Два модела могат да получат една и съща крайна оценка след различен брой проблемни ситуации. За решение за внедряване са нужни конкретните следи и проверка на приложния слой.

SIExpo е прочел публикацията и описанието на кода, без да стартира атакуващи проверки или да подава реални данни към услугата. Новината е инструментът и оповестената методика. Твърденията за резултатите остават ясно приписани на авторите, включително при оценяване на предлаганата от същия екип защита.