Hvis du tror at alle store språkmodeller (LLM) ser like ut under panseret i 2025, tar du feil. Den klassiske Transformer fra 2017 er fremdeles ryggmargen, men den har gjennomgått en dramatisk evolusjon. Vi snakker ikke lenger om én enkelt modelltype, men et økosystem av spesialtilpassede arkitekturer som løser spesifikke problemer: lengre kontekst, raskere trening og lavere minnebruk. For utviklere og forskere betyr dette at valget av arkitektur nå er like viktig som valg av treningsdata. La oss se på hva som faktisk skjer i frontlinjen av AI-forskning akkurat nå.
Den nye standarden: RMSNorm, RoPE og SwiGLU
Før vi dykker ned i de eksotiske variantene, må vi forstå grunnlaget. Nesten alle ledende åpne vekter-modeller mellom 2023 og 2025 konvergerer mot en felles "stack". Det handler om tre komponenter som erstatter de eldre metodene fra den opprinnelige Transformer-papiret. For det første bruker nesten alle RMSNorm istedenfor LayerNorm. Det er enklere å beregne og gir ofte bedre stabilitet under trening. For det andre er posisjonell innkoding nærmest universelt basert på RoPE (Rotary Position Embeddings), som lar modellen forstå relative posisjoner mye bedre enn de tidligere absolutte embeddingene. Til slutt har MLP-lagene blitt byttet ut med SwiGLU-aktiveringer, som gir en ekspansjonsfaktor på omtrent 2,67x. Dette lyder kanskje teknisk, men effekten er konkret: disse endringene gjør modellene mer parameter-effektive uten å ofre ytelse.
En annen kritisk detalj er fjerning av bias-ledd i lineære lag. I mange moderne arkitekturer er bias nesten helt borte. Hvorfor? Fordi studier viser at de sjelden bidrar til ytelsen, men koster minne og beregningstid. Når du kombinerer dette med Grouped Query Attention (GQA), der mange query-heads deler færre key-value heads, får du en dramatisk reduksjon i minnebehov under inferens. Tenk på LLaMA-2-70B: den bruker 32 query heads, men bare 8 key-value heads. Det er en 4:1 ratio som sparer enormt med VRAM når du genererer tekst token for token.
FlashAttention-3: Maskinkraft bak hastigheten
Du kan ha den beste arkitekturen, men hvis GPU-en din ikke utnyttes fullt ut, spiller det ingen rolle. Her kommer FlashAttention-3 inn i bildet. Dette er ikke en ny modellarkitektur, men en optimalisert kernel for hvordan oppmerksomhetsmekanismer beregnes på maskinvarenivå. På NVIDIA H100-GPU-er har FlashAttention-3 vist seg å gi 1,5 til 2,0 ganger hastighetsøkning sammenlignet med forgjengeren FlashAttention-2. Men tallene stopper ikke der. I FP16-format kan den nå opptil 740 tera-FLOPS, noe som tilsvarer omtrent 75 % av H100s teoretiske maksimum for oppmerksomhetsarbeidsbelastninger. I FP8-format nærmer den seg 1,2 peta-FLOPS.
Viktigst av alt: FlashAttention-3 er spesielt designet for GQA-arkitekturer. Hvis du kjører en modell med delt key-value heads, får du ytterligere 20-30 % hastighetsgevinst sammenlignet med standard multi-head attention. Dette er avgjørende når kontekstvinduene vokser. Fra 8 000 tokens i tidlige modeller til 256 000 tokens i produksjonssystemer i 2025, blir kvadratisk kompleksitet i oppmerksomhet et stort problem. FlashAttention-løsningen reduserer minneskaleringen fra kvadratisk til lineær ved hjelp av flising og optimaliserte minnetilgangsmønstre. Uten denne typen maskinvareoptimalisering ville lange kontekster vært økonomisk og praktisk umulige.
Mixture-of-Experts (MoE): Bredde uten kostnad
Hvordan skalerer man en modell til hundrevis av milliarder parametere uten at treningstiden eksploderer? Svaret er Sparse Mixture-of-Experts (MoE). I stedet for at hvert token går gjennom hele nettverket, dirigeres det til en liten mengde spesialiserte "eksperter". I Gemini 2.5 Pro, for eksempel, velger et router-nettverk vanligvis bare 2 eksperter ut av dusinvis per lag. Resultatet? Modellen har enorm kapasitet, men beregningskostnaden per token ligner på en tett modell på 10-30 milliarder parametere.
Dette er ikke bare teori. Det er standardpraksis i frontlinje-modeller i 2025. Utfordringen ligger imidlertid i routing. Hvis routeren ikke balanserer lasten riktig, kan noen eksperter bli overbelastede mens andre står tomme. Dette fører til ustabil trening og dårlig ressursutnyttelse. Derfor ser vi nå mer sofistikerte router-mekanismer som aktivt straffer ubalanse. MoE tillater også enorme kontekstvindu - Gemini 2.5 Pro støtter opptil 1 million tokens - fordi hver ekspert kun trenger å håndtere sin lille del av datastrømmen effektivt.
Post-Transformer utfordrerne: Mamba og RWKV
Er Transformer uunnværlig? Mange mener nei. Mamba, en selektiv state-space model (SSM), har dukket opp som en seriøs konkurrent. Mamba ble introdusert sent i 2023 og har siden blitt raffinert gjennom Mamba-2. Kjerneideen er enkel: istedenfor kvadratisk oppmerksomhet, bruker den lineær tid O(n). Det betyr at doble kontekstlengden ikke firedobler beregningstiden, men dobler den bare.
Ytelsen er imponerende. En 3-milliarders Mamba-modell kan matche ytelsen til en Transformer på 6 milliarder parametere, mens den tilbyr 5 ganger høyere inferens-hastighet. Dette er en enorm gevinst for applikasjoner som krever langsomme, lange sekvenser, som kodeanalyse eller dokumentforståelse. RWKV er en annen hybrid, som blander egenskapene til RNN og Transformer. Den kan trenes parallelt som en Transformer, men kjøre med konstant minnebruk per token som en RNN. PRWKV-7-Phi-4-Instruct viser at RWKV kan erstatte oppmerksomhet direkte i eksisterende arkitekturer som Microsofts Phi-4, og spare verdifull VRAM på enheter med begrenset minne.
| Egenskap | Tett Transformer (f.eks. LLaMA) | Sparse MoE (f.eks. Gemini) | State-Space (f.eks. Mamba) | RNN-Hybrid (f.eks. RWKV) |
|---|---|---|---|---|
| Kompleksitet | O(n²) | O(n²) per aktiv ekspert | O(n) | O(n) trening / O(1) inferens |
| Kontekstlengde | Opptil 256K | Opptil 1M+ | Skalerer svært godt (>1M) | Teoretisk uendelig |
| Inferens-minne | Høy (KV-cache vekst) | Moderat (delt KV) | Lav (konstant state) | Veldig lav (konstant state) |
| Typisk bruk | Generell chat/kode | Frontline multimodal | Langsekvens analyse | Edge devices / lav-latens |
Effektivitetsstrategier: Linear og Sparse Attention
Ikke alle vil bytte ut Transformer-kernen helt. Mange forsøker å gjøre den mer effektiv innenfra. Her ser vi teknikker som Lineær Attention, som bruker kjernetriske funksjoner for å omgå softmax-beregningen, og Sparse Attention, der hvert token kun ser på et lokalt vindu eller bestemte mønstre. Longformer og Reformer var tidlige eksempler, men i 2025 ser vi mer sofistikerte varianter som Nyströmformer, som projiserer nøkler og verdier inn i et mindre antall "landmark-tokens".
Disse metodene reduserer kompleksiteten fra O(n²) til former som O(n·k), der k er mye mindre enn n. For en modell med 128 000 tokens kan dette bety en 10-100 x teoretisk besparelse i beregninger. Problemet har historisk vært at kvaliteten lider litt. Men med nye implementeringer og kombinasjonen med global memory tokens (som Perceiver eller Set Transformer), holdes tapet ofte under 1-2 prosentsenheter på benchmarks. Det er en pris mange bedrifter er villige til å betale for å kunne håndtere større datasett på rimeligere maskinvare.
Hva betyr dette for deg?
Hvis du utvikler AI-applikasjoner i dag, bør du ikke automatisk velge den største densen Transformer-modellen. Vurder behovet ditt. Trenger du ekstremt lang kontekst for juridiske dokumenter eller kodebaser? Da kan en Mamba-basert modell eller en MoE-modell med 1M kontekst være bedre. Kjører du på begrenset hardware, som en lokal laptop eller en mobiltelefon? Da er RWKV eller kvantiserte versjoner av GQA-Transformere veien å gå. Og husk: arkitekturen er bare halve suksessen. Implementasjonen av effektive kernels som FlashAttention-3 er like viktig for å få ut ytelsen.
Fremtiden peker mot hybrider. Vi ser allerede forskning som kombinerer MoE med SSM-lag, eller som bruker differentielle metoder for å forbedre stabiliteten i lineær attention. Innovasjonen er langt fra mettet. De neste årene vil sannsynligvis bringe arkitekturer som nærmer seg lineær tid, million-token-kontekst og nærmest perfekt maskinvareutnyttelse. Å holde seg oppdatert på disse variantene er ikke bare akademisk interesse; det er nøkkelen til å bygge konkurransedyktige AI-produkter.
Hvorfor er RMSNorm foretrukket fremfor LayerNorm i moderne LLMs?
RMSNorm er foretrukket fordi det er beregningsmessig lettere og ofte gir bedre generaliseringsevne. Det fjerner beregningen av gjennomsnittet og variansen, og normaliserer bare ved hjelp av rotmidlet kvadrat (root mean square). Dette reduserer overheaden under trening og inferens, noe som er kritisk for store modeller.
Kan Mamba erstatte Transformer helt i fremtiden?
Det er usikkert. Mamba viser overlegen effektivitet for lange sekvenser og har lineær kompleksitet. Men Transformers har fortsatt fordeler i visse oppgaver som krever presis, langsiktig avhengighetsmodellering med høy oppløsning. Det mest sannsynlige scenarioet er at hybrider eller spesialtilpassede modeller dominerer, snarere enn at én arkitektur vinner alt.
Hva er hovedfordelen med Grouped Query Attention (GQA)?
GQA reduserer minnebruken og akselererer inferens betydelig ved å la flere query-heads dele samme sett med key-value heads. Dette reduserer størrelsen på KV-cachen, som er flaskehalsen for lange kontekster, uten å miste vesentlig kvalitet sammenlignet med Multi-Head Attention.
Hvorfor er FlashAttention-3 viktig for 2025-modeller?
FlashAttention-3 er optimalisert for moderne GPU-arkitekturer (som H100) og GQA-mønstre. Den gir opptil 2x hastighetsøkning og bedre numerisk stabilitet i FP8, noe som gjør trening og inferens av modeller med 128K+ kontekstlengde praktisk gjennomførbar og energieffektiv.
Hva er forskjellen på en tett Transformer og en MoE-transformer?
I en tett Transformer behandles hvert token av alle parametere i nettverket. I en Mixture-of-Experts (MoE) transformeres tokenet av et lite utvalg av spesialiserte "eksperter" valgt av en router. Dette gir stor total parametermengde (bredde) men lav beregningskostnad per token, ideelt for skalering til enorme modeller.
Post Comments (9)
Dette er faktisk veldig nyttig for oss som prøver å holde tritt med utviklingen.
Jeg har selv jobbet litt med lokale modeller på laptoppen min, og valget mellom RWKV og en kvantisert Transformer har vært et mareritt av kompromiss. Artikkelen setter ting i perspektiv på en måte som er lett å forstå uten at man trenger en doktorgrad i matematikk. Det føles godt å se at det finnes løsninger som ikke krever en datasenter-maskinpark bare for å kjøre innferens. Takk for at du delte dette.
Endelig noen som skjønner at RMSNorm ikke er bare "nice to have" men kritisk for stabilitet ved store batch sizes 😤
Folk fortsetter å implementere LayerNorm i sine fine-tunes fordi de er lat til å lese paperene, og da lurer de på hvorfor loss-kurven ser ut som et jordskjelv. Og ja, FlashAttention-3 er game over for H100-eiere som ikke oppdaterer kernelene sine. Hvis du sitter på A100s og klager over hastighet, så er det ikke arkitekturen din det er noe galt med, det er maskinvaren din som er foreldet. Vi lever i 2025, ikke 2022 🙄
Hva tenker dere om MoE-routing-problematikken? 🤔
Det virker som om vi bytter fra ett problem (kvadratisk kompleksitet) til et annet (load balancing). Er det virkelig verdt det hvis routeren blir den nye flaskehalsen? Jeg leser ofte at MoE skal være billigere, men i praksis ser jeg mange som sliter med instabilitet under trening. Kanskje vi bør fokusere mer på lineær attention før vi hopper på MoE-toget? 👀
Du sammenligner epler og pærer her. :(
MoE er ikke "billigere", det er dyrt i minne og komplekst i routing. Lineær attention er veien fremover, punktum. Alle disse "hybridene" er bare midlertidige lapper på et system som burde ha blitt kastet for lenge siden. Vi holder fast ved gammelt tankegods fordi vi er redde for endring. Mamba vinner, og resten er støy.
lol @Torolf
du har tydeligvis aldri trent en modell som ikke er toy-data. mamba er fin i teorien men når du prøver å få den til å huske faktua i lange dokumenter så feiler den like hardt som transformer gjør bare på en annen måte. gqa er jo bare en hack for folk som ikke har nok vram. ærlig talt så er hele artikkelen skrevet av noen som aldri har debugga en nan-loss i fp8. pretentious nonsense.
Hei Geir! Tror kanskje du er litt hard på deg selv og andre der? :)
Jeg syns poenget om GQA er viktig nettopp fordi det gjør AI tilgjengelig for flere. Hvis vi alltid må ha 80GB VRAM for å gjøre noe seriøst, så ekskluderer vi jo halvparten av befolkningen fra å delta i innovasjonen. Det er ikke bare "hack", det er demokratisering av beregningskraft. Dessuten, FP8 er ikke perfekt ennå, men det er veien fremover for energieffektivitet. Vi må møtes halvveis mellom perfeksjonisme og pragmatisme, tror jeg.
Så tungt å lese om alle disse optimeringene...
Man føler seg alltid bakpå uansett hva man gjør. Det er som å prøve å fylle et kar med hull i bunnen. Man legger til RMSNorm, så mister man presisjon. Man bruker FlashAttention, så blir koden umulig å vedlikeholde. Man går over til MoE, så blir inferensen ustabil. Hvem er egentlig lykkelig i denne bransjen akkurat nå? Ingen. Vi er alle bare slitne og håper på neste generasjon chips.
Det er greit å føle seg overveldet Hayden, men husk at du ikke trenger å mestre alt samtidig.
Fokuser på ett brukstilfelle om gangen. Hvis du jobber med chat, hold deg til GQA-transformere. Hvis du jobber med lange dokumenter, test Mamba. Du behøver ikke å bygge Gemini 2.5 Pro alene. Ta det rolig, og bygg gradvis opp kompetansen din. Det er bedre å være god på én arkitektur enn middels på ti.
Kompleksitet øker. Enkelhet dør.
Vi optimaliserer bort menneskelig forståelighet for å vinne millisekund. Er det verdt det?