Attention mechanism
Në shqip: Mekanizmi i vëmendjes
ShpjegimiSQ
„Vëmendja“ i lejon modelit, për çdo fjalë, të vendosë sa të rëndësishme janë fjalët e tjera të fjalisë. Është ideja kryesore e Transformer-ave (2017) dhe e të gjitha LLM-ve moderne.
EnglishEN
“Attention” lets a model decide, for each word, how important every other word in the sentence is. It's the core idea of Transformers (2017) and all modern LLMs.
Si ta mendosh
Si kur lexon „ajo e mori çantën e saj“ dhe e di menjëherë se „saj“ i referohet „ajo“-s.
Lexoje në anglisht
Like reading “she took her bag” and knowing instantly that “her” refers to “she”.