Vanishing & exploding gradients
Në shqip: Gradientët që zhduken ose shpërthejnë
ShpjegimiSQ
Në rrjete shumë të thella, gradientët mund të bëhen aq të vegjël (zhduken) ose aq të mëdhenj (shpërthejnë) sa trajnimi ngec. Zgjidhjet: ReLU, „batch normalization“ dhe lidhjet „residual“ (ResNet) — pjesë e çdo rrjeti modern.
EnglishEN
In very deep networks, gradients can become so small (vanish) or so large (explode) that training stalls. The fixes: ReLU, “batch normalisation” and “residual” connections (ResNet) — part of every modern network.
Si ta mendosh
Si një mesazh i pëshpëritur në një rresht të gjatë që humbet ose deformohet deri në fund.
Lexoje në anglisht
Like a whispered message down a long line that fades or gets garbled by the end.