Du har nettopp komprimert en stor språkmodell (LLM) for å spare minne og øke hastigheten. Modellen er mindre, raskere, men svarene blir plutselig dårligere. Perpleksiteten stiger, og faktafeilene dukker opp. Er det slutt? Må du bruke uker på full gjenopplæring for å fikse dette? Svaret er nei. I dag finnes det smartere veier til å gjenopprette tapet.
Problemet med naiv komprimering er at vi fjerner eller reduserer presisjonen på vekter som modellen stolte på. Men ny forskning fra 2024 og 2025 viser at vi ikke trenger å starte fra null. Vi kan reparere skaden lokalt, kompensere matematisk, eller til og med lure modellen til å huske bedre gjennom prompt-design. Her er hvordan du faktisk får tilbake nøyaktigheten uten å brenne opp hele GPU-budsjettet ditt.
Hvorfor komprimering koster nøyaktighet
Før vi løser problemet, må vi forstå hva som skjer inni maskinen. De to vanligste metodene for LLM-komprimering er pruning (beskjæring) og kvantisering. Pruning fjerner vektverdiene som bidrar minst til utgangen, mens kvantisering reduserer bitdybden, for eksempel fra 16-bit flyttall til 4-bit heltall.
Når du fjerner vekter, endrer du funksjonen nettverket har lært. Det er som å fjerne deler av hjernen til en ekspert. Hvis du bare fjerner dem og håper på det beste, kollapser ytelsen. Forskning fra Apple Machine Learning Research i 2025, i studien "Do Compressed LLMs Forget Knowledge?", peker på et kritisk poeng: Komprimering rammer ofte kunnskapstunge oppgaver hardest. Modellene "glemmer" ikke nødvendigvis fakta, men de mister evnen til å hente frem den lange halen av informasjon effektivt. Dette betyr at en generell nedgang i perplexity kanskje skjuler store feil i spesifikke spørsmål-svar-oppgaver.
Lokal rekonstruksjon: Den gratis lunsjen
Klassisk visdom sa at etter tung pruning måtte man finjustere hele modellen end-to-end. Det er dyrt og treger mye data. En papir fra OpenReview i 2025, kalt "A Free Lunch in LLM Compression", utfordrer denne antakelsen. Forfatterne viser at du kan gjenopprette nesten all nøyaktighet ved å utføre lokal rekonstruksjon innenfor hver transformer-blokk.
I stedet for å oppdatere alle vekter samtidig, ser du på oppmerksomhetslagene (attention) og MLP-lagene hver for seg. Du rekonstruerer de gjenværende vektene basert på resten av lagets struktur. Resultatet? Ytelsen matcher eller overgår ofte full gjenopplæring, men med en brøkdel av regnekraften. Dette er spesielt nyttig når du bruker enkle beskjæringskriterier som Wanda (Weight and Activation Aware). Hvis du kombinerer enkel pruning med smart lokal rekonstruksjon, får du en Pareto-optimal balanse mellom størrelse og presisjon.
Kvantisering: Kalibrering og kort finjustering
Når du går under 8-bit presisjon, blir ting tricky. Metoder som GPTQ og AWQ er populære for Post-Training Quantization (PTQ), men de er følsomme for kalibreringsdata. Hvis kalibreringssettet ditt ikke representerer den faktiske trafikken din, vil modellen lide, selv om perplexity ser grei ut.
Løsningen starter med bedre data. Bruk større og mer representative kalibreringssett. Men hvis det ikke holder, må du gjøre litt trening. Post-kvantiseringsfinjustering er en middelvei. Du trener den kvanterte modellen i noen hundre til tusen steg. Dette er mye billigere enn full Quantization-Aware Training (QAT), der du simulerer kvantisering under hele treningsprosessen. For modeller på 4-bit eller høyere, gir denne korte finjusteringen ofte nok gjenoppretting til at den er verdt tiden. For enda mer aggressiv komprimering (3-bit eller lavere), blir QAT med Straight-Through Estimator (STE) ofte nødvendig for å unngå drastiske fall i kvalitet.
EoRA: Kompensasjon uten gradienter
Hva om du kunne fikse feilen uten å beregne gradienter i det hele tatt? NVIDIA introduserte i 2024 metoden EoRA (Eigenspace Low-Rank Approximation). Ideén er elegant: Istedenfor å endre de komprimerte vektene direkte, legger du til et lite, lav-rang korreksjonslag som estimerer feilen ΔW.
EoRA opererer i eigenspace og krever minimalt med kalibreringsdata. Prosessen tar minutter, ikke timer. Det fungerer som en "patch" på toppen av den komprimerte modellen. Fordelen er enorm i produksjon: Du slipper kompleksiteten med backpropagation gjennom hele nettverket. Studier viser at EoRA slår eldre SVD-baserte kompensasjonsmetoder på oppgaver som matematikk og logikk, spesielt når modellen både er prunet og kvantisert. Det er en fleksibel løsning som lar deg justere kapasiteten post-komprimering uten å røre selve kjernemodellen.
Prompt-basert gjenoppretting: IDP
Noen ganger er problemet ikke at kunnskapen er borte, men at modellen ikke finner den. Apples studie foreslår at komprimering ofte forskyver kunnskap internt, heller enn å slette den. Deres metode, IDP (Input-Dependent Prompting), utnytter dette ved å designe prompts som styrer modellen mot den interne representasjonen.
IDP matchet eller slo LoRA-finetuning i deres eksperimenter, men med en enorm gevinst: 21x færre ekstra parametre og 60% lavere latens. Hvis du jobber med kunnskapsintensive oppgaver, bør du teste prompt-engineering før du hopper på tunge finjusteringsløyper. Det kan hende du ikke trenger nye vekter i det hele tatt - bare bedre instruksjoner.
| Metode | Regnekostnad | Minnebruk | Best for |
|---|---|---|---|
| Lokal Rekonstruksjon | Lav | Lav | Pruned-modeller, ressursbegrensede miljøer |
| Post-Quantisering Finjustering | Middels | Middels | 4-bit kvantisering, generelle oppgaver |
| EoRA | Veldig Lav | Minimal | Rask prototyping, hybrid komprimering |
| IDP (Prompting) | Ingen (inference-only) | Ingen | Kunnskaps-intensive tasks, lav latens |
| Full QAT | Høy | Høy | Ekstremt aggressive formater (<3-bit) |
Praktisk arbeidsflyt for ingeniører
Så hvordan gjør du dette i praksis? Start alltid med Post-Training Quantization (PTQ) eller standard pruning. Evaluer modellen grundig. Ikke stol bare på perplexity; sjekk task-spesifikke mål som F1-score for QA eller pass@k for kodegenerering. Hvis gapet er lite, prøv først prompt-baserte triks eller EoRA. Det er billig og raskt.
Hvis kvaliteten fortsatt er utilstrekkelig, gå til lokal rekonstruksjon eller kort finjustering. Hold treningsmengden lav - tenk hundrevis av steg, ikke titusenvis. Bare bruk full QAT som siste utvei, fordi kostnaden eksploderer. Husk at komprimering er iterativ. Du vil sannsynligvis sykle gjennom flere runder av justering av presisjon per lag før du lander på den optimale konfigurasjonen.
Fremtiden: Hybrid løsninger
Trenden går mot hybridisering. Vi ser allerede at folk kombinerer lokal rekonstruksjon med begrenset QAT, eller blander prompt-recovery med sparse vekter. Jack Rae fra DeepMind snakket nylig om "Compression for AGI" og påpekte at scaling laws tilsier at vi kommer til å bygge enda større modeller som må komprimeres hardt for å være bærekraftige. Derfor blir disse "gjenopprettings-verktøyene" sentrale i fremtidens AI-infrastruktur.
Du behøver ikke velge én metode. Bygg et sett av moduler. Kanskje bruker du EoRA for å fikse kvantiseringsstøy, og så IDP-prompting for å håndtere kunnskapsforskyvning. Det viktigste er å slutte å se på retrening som en monolittisk, dyr prosess. Det er en samling av presise kirurgiske inngrep som kan holdes billige og effektive.
Hva er forskjellen på pruning og kvantisering?
Pruning fjerner helt vekter eller nevroner fra modellen, noe som skaper sparsomhet. Kvantisering reduserer numerisk presisjon på de gjenværende vektene (f.eks. fra FP16 til INT4). Begge reduserer modellstørrelsen, men på ulike måter, og de påvirker ofte nøyaktigheten forskjellig.
Trenger jeg alltid full finjustering etter komprimering?
Nei. Nyere metoder som lokal rekonstruksjon, EoRA og prompt-basert recovery (som IDP) kan gjenopprette mye av nøyaktigheten uten full end-to-end finjustering. Full finjustering eller QAT bør reserveres for tilfeller hvor andre metoder ikke gir akseptabel ytelse.
Hva er EoRA?
EoRA (Eigenspace Low-Rank Approximation) er en metode utviklet av NVIDIA som kompenserer for komprimeringsfeil ved å legge til et lite, lav-rang korreksjonslag. Det krever ingen gradient-beregninger og kan kjøres på minutter med minimalt kalibreringsdata.
Hvorfor er kalibreringsdata viktig ved kvantisering?
Kvantiseringsteknikker som GPTQ og AWQ bruker kalibreringsdata til å estimere aktiveringsfordelinger og bestemme skaleringsfaktorer. Hvis dataene ikke representerer den virkelige bruken av modellen, vil kvantiseringen introdusere store feil som ikke kan fikses senere uten omfattende retrening.
Kan prompting erstatte retrening?
For enkelte oppgaver, spesielt kunnskaps-intensive, ja. Apples IDP-metode viste at input-avhengig prompting kunne gjenopprette ytelse like godt som LoRA-finetuning, men med betydelig lavere parameterkostnad og latens. Det fungerer best når kunnskapen er "forskjøvet" internt, ikke helt slettet.