Når du skriver en melding på norsk til en AI-assistent, svarer den kanskje på engelsk. Eller kanskje den forstår en fransk setning selv om den aldri har sett nettopp den før. Det er ikke magi, det er resultatet av et enormt skifte i hvordan vi bygger store språkmodeller (LLMs). Tidligere var disse modellene monolinguale - de snakket kun ett språk, vanligvis engelsk. I dag er fremtiden multispråklig.
Vi står midt oppe i en revolusjon innenfor naturlig språkbehandling (NLP). Modeller som tidligere bare var gode på engelsk, kan nå forstå, generere og resonere på hundrevis av språk. Men hvordan fungerer dette egentlig? Og hvorfor sliter noen modeller fortsatt med mindre utbredte språk?
Fra én til mange: Utviklingen av språkmodeller
For å forstå hvor vi er nå, må vi se bakover. De tidlige gigantene som BERT, en encoder-basert modell lansert av Google og GPT-3, en decoder-basert modell fra OpenAI var primært monolinguale. De var ekstremt effektive, men begrenset. Hvis du ville ha AI på japansk eller swahili, trengte du en helt annen modell.
Svingningen kom med modeller som mBERT og XLM-R. Disse var blant de første som trente på korpusser som dekket dusinvis, og senere over 100 språk. Ideeen var enkel men kraftfull: hvis modellen ser nok tekst på ulike språk, lærer den å kjenne igjen mønstre som gjentar seg tvers gjennom språkbarrierene.
Dette la grunnlaget for moderne multispråklige store språkmodeller (MLLMs). I dag ser vi arkitekturer som BLOOM, trent på data fra over 46 språk og PaLM 2, som støtter over 100 språk. Målet er ikke lenger bare å oversette ord, men å forstå mening uansett hvilket språk som brukes.
Hjernen bak maskinen: Tre typer arkitekturer
Ikke alle modeller tenker likt. For å mestre flere språk, bruker forskerne tre hovedtyper av Transformer-arkitekturer. Hver type har sine styrker og svakheter når det gjelder flerspråklighet.
- Kun-encoder-modeller: Eksempler er mBERT og XLM-R. Disse er spesialister på å forstå tekst. De er fantastiske til klassifisering (f.eks. å finne ut om en e-post er spam) og navngitt entitetsgjenkjennelse (å finne navn og steder i teksten). De bruker en metode kalt Masked Language Modeling (MLM), der modellen gjetter manglende ord basert på kontekst.
- Kun-decoder-modeller: Dette inkluderer GPT-3, LLaMA, en open-source modell fra Meta og BLOOM. Disse er genereringsmaskiner. De bygger setninger ord for ord (autoregressivt) og er bedre til å følge instruksjoner, skrive koder og oversette fritt. De bruker Causal Language Modeling (CLM).
- Encoder-decoder-modeller: Modeller som T5 faller her. De har både en del som leser inn data og en del som genererer svar. De er ofte svært robuste for oppgaver som krever at man tar informasjon fra én side og produserer noe nytt på den andre, som sammendrag eller oversettelse.
Valget av arkitektur avgjør mye for hvordan modellen håndterer språkforskjeller. Decoder-modeller er i dag dominerende fordi de er mer fleksible i interaksjon med brukeren.
Hvordan modellen "tenker": Den skjulte engelsksentrisiteten
Her kommer det mest fascinerende funnet fra nyere forskning. Hvordan klarer en modell å forstå spørsmål på norsk, men gi svar på arabisk? En studie publisert i NeurIPS i 2024 introduserte hypotesen om "Multilingual Workflow" (MWork).
Forskerne oppdaget at mange store språkmodeller faktisk konverterer input til en form for "intern engelsk" i mellomlagene. Prosessen ser slik ut:
- Inndata: Du skriver på ditt morsmål.
- Oversettelse til latent rom: I de tidlige lagene av nettverket, oversettes språket mentalt til engelsk-representasjoner. Modellen bruker engelsk som en "lingua franca" for resonnement.
- Resonnement: Modellen løser problemet eller henter informasjonen ved hjelp av denne felles representasjonen.
- Generering: I de siste lagene oversettes svaret tilbake til det språket du ba om.
Dette forklarer hvorfor engelsk ofte dominerer kvaliteten. Hvis engelsk-delen av hjernen er svak, blir hele prosessen svak. Det betyr også at forbedringer i engelsk-kapasiteten ofte drar opp kapasiteten for andre språk automatisk, så lenge forbindelsen mellom språkene er sterk.
Utfordringen med lavressurs-språk
Alt er ikke like greit for alle språk. Vi har et stort dataproblem. Engelsk, kinesisk og spansk har milliarder av nettsteder, bøker og artikler. Andre språk har kanskje bare noen få millioner dokumenter. Dette kalles dataubalanse.
Når en modell trener på ulikt mengde data, blir den god på de rike språkene og middelmådige på de fattige. Dette skaper en prestasjonskløft. En modell kan være nesten perfekt på tysk, men feile ofte på quechua eller malayalam.
Forskere jobber hardt med å fikse dette gjennom strategier som:
- Kurriculum-læring: Modellen starter med lette oppgaver og gradvis vanskeliggjøres, inkludert bevisst prioritering av lavressurs-språk under treningen.
- Dynamisk datasampling: Istedenfor å behandle alle språk likt, justeres samplingraten dynamisk. Språk med lite data får mer oppmerksomhet i treningsprosessen.
- Språk-adaptive lag: Istedenfor å trene om hele modellen, legges til små, spesialiserte lag som tilpasser seg spesifikke språk uten å ødelegge kunnskapen om andre språk.
Modeller som NLLB (No Language Left Behind) fra Meta er bygget spesifikt for å adressere dette gapet og støtter over 200 språk, inkludert mange med svært lite digital tilstedeværelse.
Testing grensene: Oversettelse og null-skudd
Hvor bra er disse modellene egentlig? Et systematisk studie i 2024 sammenlignet populære LLMs som ChatGPT og GPT-4 mot tradisjonelle oversettelsessystemer som Google Translate og NLLB.
Resultatene var blandede. GPT-4 slo NLLB i nesten 41% av oversettelsesretningene. Det er imponerende. Men for lavressurs-språk var gapet fortsatt stort sammenlignet med kommersielle løsninger som Google Translate, som har decennier med spesialisert ingeniørarbeid bak seg.
Det mest interessante var imidlertid fenomenet "zero-shot translation". Dette betyr at modellen kan oversette mellom to språk den aldri har sett parvis sammen under treningen. En LLM kan ta en setning på irsk og oversette den til vietnamesisk, selv om den aldri har trent på irsk-vietnamesisk data direkte. Den gjør dette ved å bruke sin indre, semantisk aligned representasjon (den "engelske" mellommannen nevnt tidligere) som brobygger.
Studien viste også at LLMs kan ignorere instruksjoner hvis de får for mange eksempler (few-shot prompting) som strider mot selve oppgaven. Det viser at mens modellene er smarte, er de ikke alltid logiske på måten vi mennesker forventer.
Fremtiden for global kommunikasjon
Vi beveger oss bort fra tanken på at AI er et verktøy for engelsktalende. Med Reinforcement Learning from Human Feedback (RLHF) på tvers av kulturer, lærer modellene ikke bare grammatikk, men også kulturelle nyanser og sikkerhetsstandarder for ulike regioner.
Dette åpner dører for:
- Lokal helsetjeneste: AI som kan lese medisinske rapporter på lokale dialekter.
- Global utdanning: Personlig tilpassede læreverktøy på barnets eget språk.
- Bedriftsanalyse: Å forstå stemningsanalyse i sosiale medier fra hele verden i sanntid.
Utviklingen av multispråklig NLP handler ikke bare om teknologi. Det handler om rettferdig tilgang til informasjon. Når vi lykkes med å gjøre LLMs virkelig globale, demokratiserer vi kunnskapen. Veien framover handler om å redusere kløften mellom de store og de små språkene, slik at ingen blir etterlatt i den digitale alderen.
Hva er forskjellen på monolingual og multispråklig LLM?
En monolingual LLM er trent kun på ett språk (ofte engelsk) og har begrensede evner utenfor dette. En multispråklig LLM (MLLM) er trent på data fra mange språk samtidig, noe som gir den evnen til å forstå, generere og oversette mellom disse språkene ved å utnytte lingvistiske likheter.
Hvorfor sliter AI med lavressurs-språk?
AI-modeller trenger store mengder tekstdata for å lære. Lavressurs-språk har lite digitalt tilgjengelig materiale (tekster, nettsteder, bøker). Uten nok data kan modellen ikke lære grammatikk og kontekst like godt som for språk som engelsk eller kinesisk, noe som fører til dårligere nøyaktighet.
Er GPT-4 bedre enn Google Translate?
Det avhenger av situasjonen. For høyt ressurs-språk og komplekse oppgaver som kreativ skriving eller sammenhengende dialog, er GPT-4 ofte mer naturlig og fleksibel. For ren, hurtig oversettelse av korte setninger, spesielt i lavressurs-språk, er spesialiserte systemer som Google Translate fortsatt ofte mer pålitelige og konsistente.
Hva mener man med "semantic alignment" i NLP?
Semantic alignment refererer til fenomenet der en AI-modell plasserer setninger med samme betydning, uavhengig av språk, nær hverandre i sitt indre matematiske rom. Dette gjør det mulig for modellen å "forstå" at "cat" på engelsk og "katt" på norsk representerer samme konsept, noe som muliggjør oversettelse uten direkte trening på paret.
Kan LLMs oversette mellom språk de aldri har sett sammen?
Ja, dette kalles zero-shot translation. Ved å bruke sin indre, språk-uavhengige forståelse (ofte basert på engelsk som mellommann), kan en modell oversette fra språk A til språk B selv om den aldri har hatt treningsdata som koblet disse to språkene direkte.