GitHub представи Copilot Evals в публичен preview на 17 ноември. Инструментът създава, изпълнява и сравнява оценки за умения, специализирани агенти и MCP инструменти. Използва локалния Vally, а всяко изпълнение се одобрява преди началото. Обявени са варианти за VS Code, Copilot CLI и приложението, с достъп за Individual, Business и Enterprise.

Официалното хранилище описва запазени отчети и Evals Canvas за преглед на задачите и резултатите. Marketplace уточнява поддръжка на локален Node.js stdio MCP сървър, по един за изпълнение с нов старт. Python и отдалечени MCP сървъри не са поддържани според текущото описание. Следователно общото „тества MCP“ не означава всеки тип интеграция.

Какво трябва да измери собствената задача

Една добра оценка описва не само какъв отговор очаква човекът, но и кои промени са допустими. Като собствен пример предлагаме демонстрационен проект, в който агентът редактира един конфигурационен файл и създава отчет. Успехът изисква правилно съдържание и липса на промени в несвързаните файлове. Красив отчет с неправилен страничен ефект трябва да остане неуспех.

Началното състояние се запазва за всяко сравнение. Ако следващото изпълнение получава по-лесни данни или предварително поправен проект, подобрението не може да се припише само на новото умение. Записът на задачата, входа и конфигурацията позволява различен човек да разбере какво точно се сравнява.

Проверете и непълния резултат

Добавете случай с липсващ файл или временно недостъпен инструмент. Очакваното поведение може да е запазване на частичната работа и ясно посочване на препятствието. Това проверява дали агентът разграничава действително завършване от опит. Не използвайте реални клиентски данни само за да изглежда демонстрацията убедителна.

Повторението е важно, когато поведението се променя между изпълненията. Единичен успех не отхвърля наблюдаван провал. Полезно е преглеждащият да посочи коя конкретна грешка би спряла внедряване и защо тя е съществена за продукта. Тези критерии се задават предварително, вместо да се променят след неудобен резултат.

Границите на preview остават видими

Не сме инсталирали разширението или провеждали описаните примери. Те са предложен начин за оценяване, а не доказателства за ефективност на продукта. Preview дава средства за по-проверим разговор за качеството на агентите. Ползата за конкретен екип зависи от това дали задачите улавят неговите реални грешки и дали запазените следи позволяват смислена проверка.