Tag: transformers
Sinusoidal vs Learned Positional Encoding: Transformer Design for LLMs
A practical guide to positional encoding in Transformers, comparing sinusoidal and learned methods against modern standards like RoPE and ALiLi for large language models.
Read More
Layer Normalization og Residual Paths i Transformers: Stabilisering av LLM-utdanning
Layer Normalization og residual paths er nøkkelen til å trene stabile store språkmodeller. Denne artikkelen forklarer hvordan Pre-LN, RMSNorm og Peri-LN fungerer, hvilken du bør velge, og hvordan de har endret LLM-utvikling i 2026.
Read More
Fra Markov-modeller til transformers: Teknisk historie for generativ AI
En teknisk historie om hvordan generativ AI utviklet seg fra enkle sannsynlighetsmodeller til moderne transformers. Fra Markov-kjeder til GPT-4 og Stable Diffusion - uten hype, bare fakta.
Read More