Logit Bias og Token Blocking i LLM-er: Styring uten omtrening

Har du noen gang prøvd å få en stor språkmodell (LLM) til å slutte å bruke et bestemt ord, bare for å se at den finner på en kreativ variant likevel? Det er frustrerende. Du skriver «Ikke bruk ordet 'dum'», og modellen svarer med «ikke så smart» eller «litt sløv». Instruksjoner i systemprompten er bra, men de er ikke garanterte. Modeller kan overse dem, spesielt hvis de blir lurt av komplekse spørsmål.

Heldigvis finnes det en mer teknisk løsning som gir deg kirurgisk presisjon over hva modellen faktisk genererer. Det kalles logit bias. Denne metoden lar deg manipulere sannsynligheten for spesifikke ordstykker (tokens) rett før modellen velger sitt neste svar. Du trenger ikke å trene opp modellen på nytt, og du bruker ikke dyrebare ressurser på finjustering. I stedet justerer du tallene i bakgrunnen for å blokkere eller fremme bestemte uttrykk.

Hva er logit bias egentlig?

Før vi dykker ned i koden, må vi forstå hvordan en LLM tenker. Når du sender en forespørsel til en modell som GPT-4 eller Claude, regner den ut en liste med mulige neste ord. Disse mulighetene har hver sin «poengsum» basert på sannsynlighet. I maskinlæringsverdenen kalles disse rå poengsummene for logits.

Logit bias er en parameter i API-et som lar deg legge til eller trekke fra verdier fra disse logits. Tenk på det som en stemmegivende vekting. Hvis du vil hindre modellen i å si «nei», kan du gi tokenet for «nei» en negativ bias. Da synker sjansen for at det blir valgt dramatisk. Hvis du derimot vil at den skal være positiv, kan du gi positive bias-verdier til ord som «bra» eller «flott».

Verdiene varierer vanligvis fra -100 til 100. En verdi på -100 betyr nesten absolutt forbud. En verdi på 100 tvinger modellen til å velge det ordet, uansett hva resten av konteksten sier. Men her kommer fellen: det handler ikke om hele ord. Det handler om tokens.

Tokenisering: Hvorfor «tid» og « tid» er to forskjellige ting

Dette er den viktigste delen å forstå, og også der de fleste utviklere gjør feil. Store språkmodeller leser ikke setninger slik vi gjør. De bryter tekst ned i små bitene kalt tokens. Et enkelt ord kan bestå av flere tokens, eller ett token kan representere deler av flere ord.

La oss ta ordet «tid». I OpenAI's tokenizer kan dette bli ID-en 2435. Men hvis ordet står midt i en setning, med et mellomrom foran, kan det bli en helt annen ID, for eksempel 640. Hvis du bare blokkerer ID 2435, vil modellen fortsatt kunne skrive « tid» fordi det teknisk sett er et annet token for den.

For å blokkere et ord effektivt, må du finne alle variantene:

• Ordet alene (f.eks. «stupid»)
• Ordet med mellomrom foran (f.eks. « stupid»)
• Store bokstaver hvis relevant (f.eks. «Stupid»)
• Eventuelle andre kombinasjoner som tokeniseres annerledes

Uten denne detaljnivået vil modellen finne «loop-holes». Den vil bytte til store bokstaver, eller legge til ekstra mellomrom, bare for å komme seg unna blokaden din. Det er derfor mange eksperter anbefaler verktøy som automatisk genererer disse listene med token-IDer for deg.

Hvordan implementere logit bias i praksis

Implementeringen krever litt forarbeid, men selve API-kallet er enkelt. La oss se på hvordan du gjør dette i Python ved hjelp av OpenAI-biblioteket, siden det er bransjestandarden for dokumentasjon rundt dette.

1. Identifiser mål-ordene: Velg hvilke ord du vil styre. La oss si at du vil hindre bruken av «um» og «uh» i kundestøtte-svar for å gjøre dem mer profesjonelle.
2. Tokeniser ordene: Bruk et verktøy som [OpenAI's tokenizer](https://platform.openai.com/tokenizer) for å finne ID-ene. For « um» kan ID-en være 374, og for « uh» kan den være 489. Husk å sjekke varianter!
3. Lag bias-diktet: Opprett en JSON-struktur der nøklene er token-IDene (som strengeverdier) og verdiene er bias-tallene.
4. Send forespørselen: Legg inn diktet i `logit_bias`-parameteren i API-kallet ditt.

Her er et forenklet eksempel på hvordan kallet ser ut:

import openai

response = openai.ChatCompletion.create(
  model="gpt-4",
  messages=[{"role": "user", "content": "Hva tenker du om ventetiden?"}],
  logit_bias={
    "374": -100,  # Blokkerer " um"
    "489": -100   # Blokkerer " uh"
  }
)

Merk at ID-ene sendes som streng («374»), ikke som tall (374). Dette er en vanlig feil som gir feilmeldinger.

Når bør du bruke logit bias kontra andre metoder?

Det finnes flere måter å styre en LLM på. Hvilken bør du velge? Det avhenger av hvor mye kontroll du trenger og hvor mye arbeid du er villig til å legge ned.

Prompt engineering er raskt, men upålitelig for harde begrensninger. Modellen kan «glemme» instruksjonen hvis spørsmålet blir komplisert nok.

Systemmeldinger er bedre enn enkle prompts, men modeller prioriterer ofte å være «hjelpsom» over å følge negative restriksjoner. Hvis en bruker ber om noe som krever et forbudt ord, kan modellen bryte regelen for å oppfylle forespørselen.

Logit bias er den eneste metoden som opererer på matematisk nivå. Uansett hva brukeren skriver, vil modellen fysisk ikke kunne velge det tokenet hvis biasen er satt til -100. Det er perfekt for sikkerhetssikringer eller når du må unngå konkurrentenes navn i markedsføringsmateriell.

Finjustering er kraftig, men dyr og tidkrevende. Det gir mening hvis du vil endre modellens grunnleggende oppførsel over tusenvis av eksempler. For å bare blokkere fem ord, er logit bias langt mer kostnadseffektivt.

Vanlige fallgruver og hvordan unngå dem

Å bruke logit bias virker enkelt på papiret, men i praksis kan det skape uventede problemer hvis man ikke er forsiktig.

1. Språklig stivhet: Hvis du blokkerer for mange vanlige ord, kan modellen begynne å lyde robotaktig. Å blokkere «ikke» eller «men» kan ødelegge grammatikken. Hold deg til spesifikke, problematiske termer snarere enn grunnord.

2. Kontekstavhengig tokenisering: Som nevnt tidligere, kan «Apple» (merkevaren) og «apple» (frukten) ha samme token-ID, men konteksten avgjør betydningen. Logit bias forstår ikke semantikk; den forstår bare ID-er. Hvis du blokkerer «Apple» for å unngå konkurranse, vil modellen heller ikke kunne snakke om epler. Dette krever at du aksepterer visse kompromisser eller bruker mer avanserte filtreringssystemer etter genereringen.

3. Modellforskjeller: Tokenizeren til OpenAI er ikke den samme som Anthropic eller Meta. En token-ID som fungerer i GPT-4, vil ikke fungere i Claude. Du må alltid bruke tokenizeren som tilhører den spesifikke modellen du kaller.

Fremtiden for output-styring

Industrien beveger seg raskt mot mer intelligente former for kontroll. I dag må vi manuelt håndtere token-varianter, men forskere jobber med «conditional logit biasing». Dette ville tillatt regler som «blokker ordet X, med mindre det brukes i sammenheng Y». Det ville løst problemet med frukt versus merkevare.

Til dags dato er logit bias et kraftig verktøy i verktøykassen til enhver AI-utvikler. Det gir deg en trygghet som prompt engineering aldri kan levere. Ved å forstå mekanismen bak tokens og logits, kan du bygge applikasjoner som ikke bare er smarte, men også sikre og pålitelige.