Kalibrering av LLM-utdata på tvers av språk: Hvordan du forbedrer nøyaktighet for ikke-engelsk

Stoler du blindt på at en stor språkmodell (LLM) vet hva den snakker om? De fleste gjør det. Men når modellen bytter fra engelsk til norsk, spansk eller swahili, kollapser ofte tilliten. Modellen kan gi et svar med 95 % sikkerhet, men faktisk ha rett bare i 60 % av tilfellene. Dette kalles mangel på LLM-kalibrering. Uten denne justeringen er AI-systemer farlige å bruke i helsevesen, juridisk rådgivning eller kundeservice der feil har reelle konsekvenser.

Problemet er ikke nødvendigvis at modellene er dumme. Problemet er at de er overtroiske. Forskning viser at mens engelskspråklige modeller har en forventet kalibreringsfeil (ECE) på rundt 5,2 %, skyter dette tallet opp til 18,7 % for lavresurs-språk. Det betyr at jo mindre data modellen har trent på for et bestemt språk, jo mer feiler den i sin egen selvtillit. I denne artikkelen ser vi på hvorfor dette skjer, hvilke tekniske løsninger som finnes i dag, og hvordan du kan implementere dem for å få pålitelige resultater på ditt morsmål.

Hvorfor engelsk fungerer annerledes enn andre språk

For å forstå løsningen, må vi først se på roten av problemet. De fleste store språkmodeller, som mT5, XLM-R og BLOOM, trenes på enorme datasett. Men disse datasettene er ikke jevnt fordelt. Engelsk utgjør typisk mellom 60 % og 90 % av all treningsdataen. Tenk deg en student som lærer seg matematikk ved å lese tusen bøker på engelsk, men kun ti sider på norsk. Når eksamen kommer, vil studenten svare raskt og trygt på engelske spørsmål. På norske spørsmål vil studenten gjette, men kanskje fremstå like sikker fordi de ikke innser hvor lite de vet.

Dette fenomenet kalles asymmetrisk treningsfordeling. En studie publisert i OpenReview i 2023 testet 14 ulike multilinguale modeller på 42 forskjellige språk. Resultatet var entydig: Kalibreringsfeilen økte med 2,3 ganger for hver gang størrelsen på treningskorpusset ble redusert med en størrelsesorden. Hvis et språk som spansk har 1,5 milliarder ord i treningssettet, fungerer kalibreringen rimelig bra. Har et språk som swahili bare 15 millioner ord, blir modellens sannsynlighetsberegninger nesten ubrukelige. Modellen har lært språklege mønstre, men mangler den underliggende forståelsen som trengs for å vurdere usikkerhet korrekt.

Det handler også om arkitektur. Decoder-only-modeller, som Llama-2, viser seg å håndtere in-context learning bedre enn encoder-decoder-modeller når det gjelder kalibrering på tvers av språk. Likevel lider alle arkitekturer av samme grunnleggende svakhet: de generaliserer feil fra engelsk til andre språk uten å justere sine interne konfidensskår.

Tekniske metoder for å fikse kalibreringen

Vi har ikke råd til å vente på at nye modeller trenes med perfekt balansert data. Vi må fikse de modellene vi har i dag. Heldigvis finnes det flere beviste metoder for å kalibrere output etterpå, eller under finjustering (fine-tuning). Her er de mest effektive tilnærmingene basert på forskning fra 2024 og 2025.

1. Temperaturskalaering (Temperature Scaling): Dette er den enkleste post-hoc-metoden. Du tar modellens råoutput og deler den på en "temperatur"-parameter før du beregner sannsynligheten. For å finne riktig temperatur trenger du omtrent 100-500 merkede eksempler per språk. Det er billig og effektivt, men krever at du har tilgang til modellens interne logits.
2. Merkelenging (Label Smoothing) under SFT: Når du finjusterer en modell (Supervised Fine-Tuning), kan du bruke merkelenging. Istedenfor å si at et svar er 100 % riktig, sier du at det er 90 % riktig og 10 % feil. En studie av Huang et al. (mars 2024) viste at dette reduserer kalibreringsfeilen med 22,4 % for romanske språk som spansk og fransk. Effekten er mindre for Niger-Congo-språk (8,7 % reduksjon), noe som viser at språkfamilien spiller en rolle.
3. Venn-Abers-prediktor (IVAP): Denne metoden bygger en ny prediktor som mapper modellens utdata til bedre kalibrerte sannsynligheter. En publikasjon i ML Research Press i februar 2024 viste at IVAP ga 38,7 % lavere kalibreringsfeil enn temperaturskalaering på BoolQ-datasettet ved bruk av Llama-2-7B. Den er spesielt sterk for binære klassifiseringssaker (ja/nei-spørsmål).
4. APRICOT-metoden: Hvis du bruker en kommersiell API (som GPT-4 eller Claude) og ikke har tilgang til modellens indre virkemåte, er APRICOT din beste venn. Metoden trener en hjelpeprediktor som kun bruker tekstinput og -output. Den oppnådde en Brier-score på 0,186 på XQuAD-benchmarken. Fordelen? Den fungerer som en "black-box" løsning. Ulempen? Den presterer 12,3 % dårligere på tonale språk som thailandsk, der kontekstuelle nyanser er kritiske.

Velg metoden basert på dine restriksjoner. Har du tilgang til modellvekter? Bruk merkelenging eller IVAP. Bruker du en lukket API? Se på APRICOT eller task calibration.

Praktisk implementering og kostnader

Å vite teorien er én ting. Å sette det ut i livet er en annen. La oss se på hva det koster og hva det krever av ressurser å kalibrere en modell for et nytt språk.

Hvis du velger veien med finjustering, trenger du ikke tusener av data. Studien fra OpenReview viste at å inkludere bare 500-1 000 oversatte prøver under finjusteringen forbedret kalibreringen med 19,3 % over 24 språk. For en modell på 7 milliarder parametre (som Llama-2-7B) tar dette omtrent 2-3 ekstra GPU-timer på en NVIDIA A100. Det er en rimelig pris å betale for pålitelighet.

Hvis du går for kontekstuell kalibrering, som beskrevet i LearnPrompting-rammeverket, må du lage 5-10 kontekstfrie maler per språk (f.eks. "Input: [MASK] Sentiment:"). Deretter beregner du kalibreringsparametere gjennom gradientdescent. Dette legger til 15-30 minutter med oppsettstid per språk. Ingen ekstra treningskostnader, men manuell arbeidstid.

Latens er også en faktor. Dr. Clara Meister og teamet hennes ved EPFL dokumenterte at IVAP-kalibrering legger til omtrent 12 millisekunder (ms) latens per prediksjon på Llama-2-7B. For de fleste applikasjoner er dette ubetydelig, men for sanntids-chatboter med strenge krav kan det akkumulere seg.

Når bør du stole på modellen?

Selv med de beste metodene vil ingen modell være perfekt. Spørsmålet er når grensen for akseptabel risiko blir overskredet. Professor Graham Neubig ved Carnegie Mellon University fant at «spurious correlations» (tilfeldige sammenhenger) mellom inputtekst og outputetiketter rammer ikke-engelske språk hardest. Modellen tror den forstår, men den gjenkjenner bare språklig sjølang.

En tommelfingerregel fra CMU SEI er følgende: Hvis kalibreringsfeilen overstiger 15 %, er konfidensscorene upålitelige for medisinske eller juridiske applikasjoner. Hvis feilen overstiger 20 %, må du innføre menneskelig verifisering («human-in-the-loop»). I standard flerspråklige modeller skjer dette for 68 % av de ikke-engelske språkene. Basert på AWS Mechanical Turk-priser i Q4 2023, øker dette driftskostnadene med $3,20-$5,70 per 1 000 forespørsler. Det er dyrt, men billigere enn å saksøkes for feilinformasjon.

Gartner predikerer at innen 2025 vil 70 % av enterprise LLM-implementeringer kreve formelle kalibreringsmetrikker. Vi står midt oppe i denne overgangen. Selskaper som Google (med CALM-rammeverket for PaLM 2) og Meta (med språkspesifikke glattingsfaktorer i Llama-3) jobber allerede med dette. Microsoft Azure AI integrerte flerspråklige kalibreringsmetrikker i sitt Responsible AI-dashboard i juni 2024. Trenden er tydelig: Nøyaktighet er ikke lenger nok. Pålitelighet er kravet.

Fremtidige retninger og språkdistanse

Forskningen beveger seg bort fra statiske metoder og mot dynamiske tilnærminger. En lovende metode er å bruke språkdistanse-metrikker. Ved å bruke ISO 639-3-koder kan systemet beregne den filogenetiske distansen mellom treningsdataenes språk og brukerens språk. Preliminære resultater viser 14,2 % bedre kalibrering når man justerer for språkfamilie-nærhet. En modell trent på tysk vil kalibrere bedre på nederlandsk enn på kinesisk, og systemet bør vite dette automatisk.

CPU SEI-teamet utvikler også input-overvåkningsteknikker som flagger lavkonfidens-output ved å måle semantisk likhet mellom input og treningsprøver ved hjelp av LASER-embeddings. Dette oppnår 89,7 % presisjon i å identifisere dårlig kalibrerte svar. Kombinasjonen av bedre kalibrering og smartere overvåkning er nøkkelen til neste generasjon flerspråklige AI-systemer.