Tag: tokenisering
Hvordan store språkmodeller bruker sannsynlighet for å velge ord
Oppdag hvordan store språkmodeller (LLM) bruker sannsynlighet, tokenisering og decoding-strategier som temperatur og top-p for å generere tekst. En enkel guide til matematikken bak AI.
Read More
Hvordan kontekstvinduer fungerer i store språkmodeller og hvorfor de begrenser lange dokumenter
Lær hvordan kontekstvinduer i store språkmodeller fungerer, hvorfor de begrenser behandling av lange dokumenter, og hvilke strategier som kan brukes for å overvinne disse utfordringene effektivt.
Read More
Store språkmodeller: Hovedmekanismer og evner forklart
Store språkmodeller forstår og genererer språk som mennesker. Denne artikkelen forklarer hvordan Transformer-arkitekturen, attention-mekanismen og tokenisering gjør det mulig, samt hvilke bruksområder og begrensninger de har i 2025.
Read More