Token (AI)
Në shqip: Token (IA)
ShpjegimiSQ
Për një LLM, teksti ndahet në copa të vogla që quhen token-a — zakonisht një fjalë ose pjesë fjale. Modeli lexon dhe shkruan token pas token-i, dhe shërbimet IA shpesh e matin përdorimin dhe çmimin me token-a.
EnglishEN
For an LLM, text is split into small pieces called tokens — usually a word or part of a word. The model reads and writes token by token, and AI services often measure usage and price in tokens.
Si ta mendosh
Si kur e pret bukën në feta para se ta hash: modeli s'e „ha“ tekstin të tërë njëherësh, por copë pas cope.
Lexoje në anglisht
Like slicing bread before eating it: the model doesn't “eat” the text all at once, but piece by piece.