Du har kanskje sett tallene: GPT-4o koster en brøkdel av hva det gjorde i fjor. Men betyr billigere tokens automatisk at du får mer verdi for pengene? Svaret er nei, hvis du ikke måler riktig. Mange bedrifter feiler fordi de ser på nøyaktighet isolert, uten å regne ut hva hvert eneste korrekte svar faktisk koster dem i lommeboka.
Når vi snakker om store språkmodeller (LLMs) i dag, handler det sjelden bare om hvem som er «smartest». Det handler om effektivitet. Benchmarking av kostnad per korrekt svar (Cost per Correct Answer) er metrikken som avslører hvor mye penger du brenner for å løse et komplekst logikkproblem eller en matteoppgave. I denne artikkelen skal vi se nærmere på hvordan du beregner dette tallet, hvorfor det endrer seg så raskt, og hvilke feller du bør unngå når du velger modell for dine resonnementstunge oppgaver.
Hva er egentlig kostnad per korrekt svar?
La oss definere begrepet før vi går videre. Kostnad per korrekt svar er et mål på den totale monetære kostnaden ved inferens (kjøring av modellen) delt på antall spørsmål modellen svarte riktig på innenfor en bestemt benchmark. Det er ikke nok å vite at en modell har 90 % nøyaktighet på MMLU-benchmarken. Hvis den bruker dobbelt så mange tokens som konkurrenten for å komme dit, kan den være mindre lønnsom for deg.
Formelen er enkel i teorien:
- Total kostnad = (Antall input-tokens × pris per token) + (Antall output-tokens × pris per token)
- Kostnad per korrekt svar = Total kostnad / Antall korrekte svar
Dette tallet blir stadig viktigere ettersom prisen på AI-inferens faller, men volumet av forespørsler øker. For en startup som kjører tusenvis av kundespørsmål i timen, kan forskjellen mellom $0.01 og $0.005 per korrekt svar bety hele fortjenesten.
Hvordan beregne det steg for steg
Du trenger ikke et PhD i data science for å gjøre denne beregningen selv. Her er prosessen vi bruker hos kunder i Boulder og andre tech-huber:
- Velg en standardisert benchmark: Bruk datasett med fasitsvar, som GSM8K for matte eller HumanEval for kode. Dette sikrer at «korrekt» har en objektiv definisjon.
- Kjør modellen med faste innstillinger: Sett temperaturen til null (eller lavt), og bruk konsistente prompter. Hvis du lar modellen «tenke høyt» (chain-of-thought), må du telle alle disse tenketokensene.
- Tell tokens nøye: De fleste API-er rapporterer både prompt-tokens og completion-tokens. Summere disse for hver enkelt forespørsel.
- Konverter til dollar: Slå opp gjeldende prisliste fra leverandøren (f.eks. OpenAI eller Anthropic). Husk at input og output ofte har ulik pris.
- Del på suksessene: Ta totalutgiften din og del den på antallet spørsmål der modellen faktisk traff blink.
Vær oppmerksom på at denne metoden antar at feil svar er verdiløse for deg. I noen tilfeller vil et «nesten-korrekt» svar ha verdi, men for streng benchmarking teller kun binært rett/galt.
Benchmarks som teller for resonnement
Ikke alle benchmarks er like nyttige for å måle kostnadseffektivitet i resonnement. Vi ser på tre hovedtyper:
| Benchmark | Fokusområde | Hvorfor den er relevant for kostnad |
|---|---|---|
| GSM8K | Matteproblemer på barneskolenivå | Krever flere trinn; tester om modellen klarer å holde tråden uten å bruke uendelig med tokens. |
| MMLU | Bred allmennkunnskap og yrkesfag | Mange korte spørsmål; god for å teste hastighet og lav-kostnad-modeller. |
| OckBench | Effektivitet i resonnement | Designet spesifikt for å måle balansen mellom nøyaktighet og token-forbruk. |
OckBench er spesielt interessant fordi den ble lansert nettopp for å adressere problemet vi snakker om. Den belønner ikke bare modeller som er smarte, men modeller som er smarte *og* sparsomme. En modell som bruker 500 tokens for å finne svaret på en matteoppgave, slår en modell som bruker 2000 tokens, selv om begge har samme nøyaktighet.
Prislandskapet: Hva koster det egentlig?
Prisene på AI-markedet er volatile. Rapporten fra Epoch AI i 2024 viste at prisen for å nå GPT-4s ytelse falt med opptil 40 ganger på ett år. Det betyr at dagens «dyre» modell kan være morgendagens budsjettvalg.
Her er et eksempel basert på priser fra midten av 2024 og utover (husk å sjekke dagens satser):
- Claude 3 Haiku: Veldig billig (~$0.25 per million input-tokens). Kan være vinneren for enkle oppgaver hvis nøyaktigheten holder seg akseptabel.
- GPT-4o: Mellomklasse (~$5 per million input). Ofte «sweet spot» for kostnad per korrekt svar fordi den er rask og relativt presis.
- Claude 3 Opus / GPT-4 Turbo: Dyrest (~$15+ per million input). Bare verdt det hvis oppgaven krever ekstrem dybde som billigere modeller feiler på.
Poenget er ikke å velge den billigste modellen blindt. Hvis Claude 3 Haiku har 60 % nøyaktighet på ditt spesifikke datasett, mens GPT-4o har 90 %, kan GPT-4o likevel være billigere per *korrekt* svar hvis du må sende forespørselen til Haiku to eller tre ganger for å få et brukbart resultat.
Feller du må unngå
Jeg har sett flere team bomme fullstendig på grunn av dårlig metodikk. Her er de vanligste fellene:
Chain-of-Thought (CoT) eksplosjonen
Å be modellen om å «tenke steg for steg» øker ofte nøyaktigheten dramatisk på matte og logikk. Men det multipliserer også antall output-tokens. Hvis CoT øker nøyaktigheten fra 70 % til 80 %, men dobler token-bruken, har du kanskje doblet kostnaden per korrekt svar. Du må alltid veie gevinsten mot prisen.
Ignorering av «retry»-logikk
I produksjon sender du kanskje forespørselen på nytt hvis formatet er feil eller svaret virker usannsynlig. Disse retryene koster penger, men de dukker ikke opp i rene benchmark-rapporter. Beregn kostnaden per korrekt svar basert på din faktiske arbeidsflyt, ikke bare én enkelt API-call.
Feil sammenligning av modellslekter
Å sammenligne en liten lokal modell (som Llama 3 8B) med en stor API-modell er urettferdig hvis du ikke inkluderer maskinkostnadene. For lokale modeller er «prisen» leie av GPU-tid eller strøm. Regn ut: (GPU-leie per time / antall forespørsler per time) / nøyaktighet. Ofte viser det seg at API-er er billigere enn man tror for små volum, mens lokale modeller vinner stort ved høyt volum.
Hvordan optimere for lavest mulig kostnad
Så, hvordan senker du kurven? Her er konkrete tiltak:
- Ruter forespørsler: Send enkle spørsmål til en billig modell (Haiku/GPT-3.5). Send komplekse resonnementer til en dyrere modell. Dette kalles «model routing» og kan kutte kostnader med 50-70 %.
- Kort ned promptene: Hvert ord i system-prompten din koster penger på hver eneste forespørsel. Kutt ut overflødig tekst.
- Bruk caching: Hvis mange brukere stiller lignende spørsmål, bruk semantic caching for å returnere tidligere svar uten å ringe modellen på nytt.
- Juster max_tokens: Begrens lengden på svaret hvis du vet at svaret aldri bør være lengre enn 100 ord. Dette forhindrer at modellen «hallusinerer» lange, unødvendige utledninger.
Fremtiden for kostnadsmåling
Vi står midt i en periode hvor AI-kapasitet vokser raskere enn prisen synker. Det betyr at «kostnad per korrekt svar» vil fortsette å falle drastisk. Imidlertid blir oppgavene vi løser også vanskeligere. Agenter som skal planlegge reiser eller analysere juridiske dokumenter bruker hundrevis av tokens per oppgave.
Fremtidens benchmarks, som MMMR (Multi-Modal Reasoning), vil inkludere bildeanalyse og lyd. Da blir kostnadsberegningen enda mer kompleks, siden du må ta hensyn til preprocessing av bilder og video. Hold øye med rapporter fra OckBench og lignende initiativer - de gir deg sannheten bak markedsføringen.
Til syvende og sist: Ikke la deg lure av «state-of-the-art» etiketter. Spør alltid: «Hva koster det meg å få et svar jeg kan stole på?» Det er det eneste tallet som teller i bunnen av regnskapet.
Er kostnad per korrekt svar alltid lavere for mindre modeller?
Nei, ikke nødvendigvis. Mindre modeller er billigere per token, men hvis deres lavere nøyaktighet tvinger deg til å sende flere forespørsler eller manuelt kontrollere svarene oftere, kan den effektive kostnaden per *bruksklart* korrekt svar bli høyere enn for en dyrere, mer presis modell.
Hvordan påvirker Chain-of-Thought (CoT) kostnaden?
CoT øker typisk antall output-tokens betraktelig, noe som direkte øker kostnaden. Gevinsten kommer bare hvis nøyaktighetsgevinsten overstiger kostnadsveksten. For enkle oppgaver er CoT ofte bortkastet penger.
Hvilken benchmark er best for å måle kostnadseffektivitet?
OckBench er designet spesifikt for dette formålet ved å kombinere nøyaktighet og token-effektivitet. For generelle oppgaver kan GSM8K (matte) og MMLU (bred kunnskap) brukes, så lenge du manuelt beregner token-bruk og kostnad.
Bør jeg hoste modeller lokalt for å spare penger?
Lokal hosting kan være billigere ved svært høyt volum, da du betaler for maskinvaren uansett bruk. Ved lavt til middels volum er API-priser ofte lavere enn kostnaden for å vedlikeholde og leie GPU-ressurser døgnet rundt.
Endres prisene på LLM-inferens ofte?
Ja, prisene har falt med opptil 50x per år i enkelte segmenter ifølge Epoch AI. Derfor bør du re-evaluere din «kostnad per korrekt svar»-strategi minst én gang i kvartalet for å sikre at du ikke betaler for gammel teknologi.