Selvovervåket læring er grunnlaget for moderne store språkmodeller som GPT og BERT. Den lar modeller lære språk fra umerkede data ved å gjette manglende ord - og er den viktigste fasen i treningen av AI som forstår og skriver menneskelig tekst.
Transfer learning i NLP har gjort det mulig å bygge avanserte språkmodeller med minimal data og ressurser. BERT, GPT-3 og andre forhåndstrained modeller har revolutionert hvordan vi forstår og bruker språk - fra chatbotter til medisinsk analyse.