Wie funktionieren Sprachmodelle?

Was Sprachmodelle verstehen und generieren, kann man aus zwei Perspektiven betrachten. Einerseits verstehen und generieren sie Texte (die grammatikalisch korrekt und inhaltlich plausibel und kohärent sind), und andererseits verstehen und generieren sie Worte, aus denen die Texte am Ende aufgebaut sind. Dabei ist das Ganze (der Text) natürlich mehr als die Summe seiner Teile (der Worte). Konzeptionell stehen zwischen Texten und Worten die Sätze, deren syntaktische Struktur ihre Bedeutung mitbestimmt – über die Bedeutung der Worte hinaus, aus denen sie bestehen –, und deren wechselseitige Beziehungen auf der anderen Seite die Bedeutung des Textes mitbestimmen.