Mechanizm Attention
Definicja
Matematyczna operacja w transformerach pozwalająca modelowi dynamicznie ważyć istotność różnych elementów sekwencji w zależności od kontekstu.
Źródło: Płynne pojęcia i poszarpana inteligencja: modele językowe w świetle teorii Douglasa Hofstadtera