Skaleringslover i NLP: Hvordan større data og modeller skapte moderne LLM-er

Har du noen gang lurt på hvorfor de nyeste AI-modellene plutselig ble så mye smartere? Svaret ligger ikke i magi, men i matematikk. Vi kaller det for skaleringslover. Disse lovene er grunnmuren som gjør at moderne store språkmodeller (LLM-er) fungerer overhodet. Uten dem ville vi fortsatt gjettet oss til hva som funker best når vi trener opp en modell.

Tenk deg at du bygger et hus. Før visste vi ikke hvor mange murstein vi trengte for å få taket til å holde. I dag vet vi nøyaktig hvordan størrelsen på materialet, mengden arbeid og kvaliteten på resultatet henger sammen. Det er akkurat slik skaleringslover fungerer for kunstig intelligens. De gir forskere en formel for å forutse prestasjon før de har brukt milliarder av kroner på energiregninger.

Hva er egentlig skaleringslover?

Skaleringslover er empiriske statistiske regler som beskriver hvordan ytelsen til en nevralt nettverk endres når man øker ressursene. Det høres kanskje tørt ut, men i praksis handler det om fire hovedparametere:

• Modellstørrelse (N): Antall parametre i modellen. Tenk på dette som antall "neuroner" eller justerbare hjerneceller i systemet.
• Datasettstørrelse (D): Mengden tekstdata modellen leser under treningen.
• Beregningskraft (C): Hvor mye energi og prosessorkraft som brukes under treningen.
• Tap eller feilrate (L): Hvor ofte modellen tar feil. Lavere tall betyr bedre modell.

Oppdagelsen var revolusjonerende fordi den viste at disse faktorene ikke påvirker hverandre tilfeldig. De følger en predikterbar kurve. Hvis du dobler beregningskraften din, vet du nøyaktig hvor mye mindre feil modellen vil gjøre. Dette gjorde det mulig å planlegge treningen av gigantiske modeller uten å måtte teste alle mulige kombinasjoner gjennom trial and error.

Den banebrytende oppdagelsen i 2020

Før 2020 trodde mange i forskningsmiljøet at det fantes en "sweet spot" for modellstørrelse. Tanken var at hvis modellen ble for stor, ville den begynne å memorere data istedenfor å lære mønstre - noe vi kaller overfitting. Men da forskerne publiserte artikkelen "Scaling Laws for Neural Language Models" i 2020, ble denne troen knust.

De fant ut at tapet (feilraten) følger en potenslov i forhold til modellstørrelse, datasettstørrelse og beregningskraft. En potenslov betyr at selv små økninger i innsats gir målbare forbedringer, uansett hvor stort du allerede er. Kurven flattet seg ikke ut like fort som man trodde. Den fortsatte å synke jevnt over syv størrelsesordener.

Dette betydde at arkitektoniske detaljer - som hvor bred eller dyp nettdyba var - hadde liten betydning sammenlignet med ren skala. Så lenge du hadde nok data og kraft, kunne du bare skalere opp. Det var dette signalet som satte i gang kappløpet mot stadig større modeller som GPT-3 og senere generasjoner.

Chinchilla-regelen: Å finne balansen

I 2022 kom en ny vending fra DeepMind-forskeren Jordan Hoffmann og teamet hans. De presenterte Chinchilla-skaleringsloven, som endret spillereglene for hvordan vi fordeler ressurser.

Før Chinchilla trodde mange at man skulle lage enormt store modeller og trenge dem raskt på begrenset data. Chinchilla-studien viste det motsatte. For å få best mulig resultat for en gitt mengd beregningskraft, bør du skalere modellstørrelsen og datamengden likt.

Formelen sier kort sagt at optimal modellstørrelse ($N_{opt}$) og optimal datamengde ($D_{opt}$) begge skal vokse proporsjonalt med kvadratroten av beregningskraften ($C$). Altså: $N \propto C^{0.5}$ og $D \propto C^{0.5}$. Dette var en sjokkerende innsikt. Det betød at mange av de store modellene som var trent tidligere, faktisk hadde vært altfor store i forhold til datamengden de fikk. De hadde sløst penger på å bygge «hjernekapasitet» som aldri ble brukt effektivt.

Forutse fremtiden med mindre ressurser

Hvorfor er dette viktig for deg som bruker teknologi? Fordi det senker terskelen for innovasjon. Å trene en toppmodell koster millioner av dollar og krever uker med kjøling av servere. Ingen selskap tør å sette i gang slik en jobb uten å vite om det virker.

Løsningen er enkel: Trene mange små modeller først. Forskere trener dusinvis av mindre versjoner med ulike innstillinger. Deretter passerer de en matematisk kurve over resultatene. Denne kurven kan deretter forlenges (ekstrapoleres) for å spå hvordan en tusen ganger større modell vil oppføre seg.

Denne metoden ble brukt med suksess for å forutse ytelsen til GPT-4. Ved å bruke kun en brøkdel av den nødvendige kraften, kunne forskerne bekrefte at investeringen var verdt det før de startet den dyre prosessen. Det har gjort utviklingen av AI mer ingeniørmessig og mindre spekulativ.

Nye utfordringer: Datakvalitet og inferens

Men historien stopper ikke her. I 2025 begynte nye studier å stille spørsmål ved de gamle reglene. En artikkel publisert i Association for Computational Linguistics hevdet at tradisjonelle skaleringslover ignorerer noe kritisk: kvaliteten på dataene.

Det er ikke lenger bare antall ord som teller. Hvis du fyller en modell med støyende, lavkvalitetsnettlesetekst, vil den ikke bli smartere uansett hvor stor den er. Skaleringsloven holder seg kanskje matematisk korrekt, men praktisk nytte minker hvis datakilden er dårlig. Dette tvinger forskere til å tenke nytt om hvor de henter informasjon fra.

En annen stor endring er skjedd innenfor inferens-tidsskalering. Tidligere la vi all kraft i selve treningen (pre-training). Nå ser vi modeller som OpenAIs o1-serie, som bruker enorm mengde beregningskraft mens de svarer på spørsmål. Modellen "tenker" lenger, tester hypoteser internt, og justerer svaret før den leverer det til deg.

Dette representerer en helt ny type skaleringslov. Her handler det ikke om å lese mer bokstavsalv, men om å bruke mer tid på logikk underveis. Det viser at veien framover ikke bare er større hoder, men smartere prosesser.

Myter om eksponentiell vekst

Det finnes en vanlig misforståelse rundt skaleringslover: at vi får eksponentielle hopp i intelligens for lineære kostnader. Sannheten er mer trøstesløs, men også mer håndterbar. Ytelsesforbedringen følger en eksponentiell nedgang.

Dette betyr at de første 10% av forbedringen er billige. De neste 10% koster mer. Og for å få ytterligere små forbedringer i toppsjiktet, må du investere astronomiske summer. Du kan aldri nå perfekt nøyaktighet, men du kan komme nærmere og nærmere. Det er viktig å forstå dette for å ha realistiske forventninger til hva AI kan klare i morgen versus i år.

Komplett oversikt over nøkkelbegreper

For å sikre at vi har dekket alle vinkler, her er en rask oppsummering av de sentrale entitetene vi har diskutert:

• Store språkmodeller (LLM): Nevralt nettverk trent på store mengder tekst.
• Potenslov: Matematisk relasjon der én variabel er proporsjonal med en effekt av en annen.
• Autoregressiv trening: Metode der modellen forutsier neste ord basert på tidligere ord.
• Kosinus-læringskurve: Strategi for å justere læringsfarten under treningen for bedre stabilitet.
• Inferens: Prosessen der modellen bruker sin læring til å gi svar på nye inputer.

Disse begrepene danner rygggraden i moderne NLP-forskning. Når du leser nyheter om nye AI-modeller, er det sannsynligvis disse prinsippene som står bak kulissene.