Mixture of experts (MoE)
Në shqip: Përzierja e ekspertëve
ShpjegimiSQ
Një model MoE ka shumë „ekspertë“ (nënrrjete) dhe për çdo fjalë aktivizon vetëm disa prej tyre. Kështu modeli mund të jetë gjigant në total, por çdo përgjigje kushton sa një model shumë më i vogël.
EnglishEN
An MoE model has many “experts” (sub-networks) and activates only a few for each token. That way the model can be huge overall, but each answer costs about as much as a much smaller model.
Si ta mendosh
Si një spital me shumë specialistë ku ty të viziton vetëm ai që të duhet.
Lexoje në anglisht
Like a hospital with many specialists where only the right one sees you.