Tag: transformer
Causal Masking i decoder-only store språkmodeller: Forhindre informasjonslekkasje
Causal masking er den tekniske grunnsteinen som gjør at språkmodeller som GPT-4 og Llama 3 kan skrive sammenhengende tekst uten å "se" fremtidige ord. Den forhindrer informasjonslekkasje og er avgjørende for autoregressiv generering.
Read More