Long context & the “lost in the middle” problem
Në shqip: Konteksti i gjatë dhe informacioni që humbet
ShpjegimiSQ
Edhe pse modelet sot pranojnë qindra mijëra token-a, nuk e përdorin çdo pjesë njësoj mirë — informacioni në mes të një konteksti shumë të gjatë ndonjëherë injorohet. Vendos gjërat më të rëndësishme në fillim ose në fund.
EnglishEN
Although models now accept hundreds of thousands of tokens, they don't use every part equally well — information in the middle of a very long context is sometimes ignored. Put the most important things at the start or end.
Si ta mendosh
Si të lexosh një libër shumë të gjatë dhe të mbash mend fillimin dhe fundin më mirë se mesin.
Lexoje në anglisht
Like reading a very long book and remembering the start and end better than the middle.