Tokenization
Në shqip: Tokenizimi
ShpjegimiSQ
Para se ta lexojë, LLM-ja e ndan tekstin në „token-a“ — copa fjalësh. Fjalët angleze të zakonshme janë një token; fjalët shqipe shpesh ndahen në disa, prandaj teksti shqip „kushton“ më shumë token-a.
EnglishEN
Before reading text, an LLM splits it into “tokens” — pieces of words. Common English words are one token; Albanian words are often split into several, so Albanian text “costs” more tokens.
Si ta mendosh
Si t'i ndash fjalët e gjata në rrokje.
Lexoje në anglisht
Like splitting long words into syllables.