Cross-entropy loss
Në shqip: Humbja cross-entropy
ShpjegimiSQ
Cross-entropy është funksioni i humbjes më i përdorur për klasifikim: dënon shumë modelin kur është i sigurt por gaboi. LLM-të trajnohen pikërisht duke minimizuar cross-entropy-në e fjalës së radhës.
EnglishEN
Cross-entropy is the most used loss function for classification: it heavily penalises a model that's confident but wrong. LLMs are trained precisely by minimising the cross-entropy of the next word.
Si ta mendosh
Si një mësues që ul më shumë notën kur je i sigurt në një përgjigje të gabuar.
Lexoje në anglisht
Like a teacher docking more marks when you're confident in a wrong answer.