От последователности към внимание Изследването Attention Is All You Need от 2017 г. предлага архитектура Transformer, която използва механизми за внимание вместо рекурентни и конволюционни слоеве за описаните задачи.
Защо връзките между думите са важни При обработката на език смисълът зависи от контекста. Механизмът за внимание позволява на модела да изчислява връзки между различни части на входната последователност. Това е технически механизъм, а не доказателство за човешко разбиране.
Прочетете първоизточника Публикацията описва архитектурата и конкретни експерименти с машинен превод. Резултатите ѝ трябва да се разглеждат в контекста на тези задачи, а не като обещание за безгрешност на всеки съвременен модел.
Материалът е кратко редакционно въведение към историческо изследване.