Технически доклад за K2-Horizon е подаден в arXiv на 16 ноември. Той описва семейство от шест езикови модела и процеса зад тях. Това е нова публикация за разработката; не приемаме датата на доклада за дата на първата поява на всеки отделен модел.
Авторите представят диапазон от плътен модел с 0,9 милиарда параметри до MoE конфигурация с 375 милиарда общи и 23 милиарда активни параметри. Статията е публична с лиценз CC BY 4.0. Достъпът до доклада е проверен; целият заявен пакет от тегла и тренировъчни артефакти не е независимо одитиран от SIExpo.
Какво означава прозрачност на процеса
Описаното отваряне включва междинни контролни точки, данни, логове и код за обучение и оценяване. Авторите обсъждат и инфраструктурни решения, включително xLLM и RL360. Стойността на такъв пакет не е само да бъде стартиран крайният асистент. Той позволява да се пита как дадено поведение се е появило през отделните етапи.
Докладът въвежда Mixture-of-Value Attention, която прилага експертно разпределение към value проекциите на вниманието, и разглежда softplus управление на вниманието. Описаните сравнителни резултати са на авторите. Не сме възпроизвеждали обучението или проверявали заявеното ускорение на Uno адаптерите.
Защо това помага на изследването
Нашият редакционен извод е, че запазената история дава по-добра основа за причинни въпроси. Ако две системи използват различни данни и различен размер едновременно, трудно е да се разбере откъде идва разликата. Контролирани сравнения на последователни версии могат да ограничат част от тази неяснота.
Един полезен пример би бил проверка на конкретна способност преди и след етап на последващо обучение. Ако се променя форматът на отговора, но не и коректността, общият резултат може да изглежда подобрен, без моделът да е научил решението. Това е предложен аналитичен въпрос, а не констатация за K2-Horizon.
Пълният набор от артефакти има и практически условия. Изследователят трябва да знае коя версия съответства на коя оценка, кои скриптове са нужни и какъв ресурс изискват. Наличен линк не доказва, че външен екип може да възпроизведе целия процес в собствената си среда.
Новият доклад е значим като документация за такава проверка. Следващата стъпка за общността е независимо използване на конкретни части от пакета с ясно записан обхват. Така „отворен модел“ може да означава и проверим път до резултата, вместо единствено файл с крайни тегла.



