Tag: transformer arkitektur
Causal vs Bidireksjonell Oppmerksomhet i Store Språkmodeller
Et dypdykk i de kritiske kompromissene mellom causal og bidireksjonell oppmerksomhet i moderne transformer-modeller. Vi utforsker hvordan valg av oppmerksomhetsmekanisme påvirker ytelse, hastighet og bruksområder.
Read More
Residual Connections og Layer Normalization i Store Språkmodeller: Grunnleggende for stabil trening
Residual connections og layer normalization er nøkkelen til å trene dype store språkmodeller. Uten dem ville GPT, BERT og Llama ikke eksistert. Her forklarer vi hvordan de fungerer, hva som skiller Pre-LN fra Post-LN, og hvilke praktiske valg du må treffe.
Read More