Das Kapitel bietet einen grundlegenden Überblick über die Funktionsweise großer Sprachmodelle (Large Language Models=LLMs) und verortet sie systematisch innerhalb des breiteren Feldes der Künstlichen Intelligenz. Es erläutert zentrale Begriffe wie Tokenisierung, Embedding, Attention und Sampling und erklärt, wie Modelle wie ChatGPT sprachliche Ausgaben auf Basis statistischer Wahrscheinlichkeiten erzeugen. Die zugrunde liegende Transformer-Architektur wird schrittweise beschrieben und in ihrer Relevanz für Textverarbeitung eingeordnet. Darüber hinaus werden zentrale technische Begrenzungen wie Kontextlänge, Halluzinationen, Bias und mangelndes Weltverständnis thematisiert. Es wird verdeutlicht, dass es sich bei LLMs trotz hoher Ausdrucksfähigkeit weiterhin um schwache KI handelt, da ihnen bewusstes Verstehen fehlt. Ziel des Kapitels ist es, Studierenden ein technisches Grundverständnis für die Funktionsweise dieser Systeme zu vermitteln – als Grundlage für eine reflektierte und verantwortungsvolle Nutzung im wissenschaftlichen Arbeiten, auch ohne technisches Vorwissen. Dazu gehört die Fähigkeit, zentrale Konzepte nachzuvollziehen, die Leistungsfähigkeit einzuordnen und systembedingte Grenzen kritisch zu erkennen.

错误:搜索内容不能为空,请输入英文关键词
错误:关键词超出字数限制,请精简
高级检索

Technischer Hintergrund: Große Sprachmodelle (LLM)

  • Fabian Lang

摘要

Das Kapitel bietet einen grundlegenden Überblick über die Funktionsweise großer Sprachmodelle (Large Language Models=LLMs) und verortet sie systematisch innerhalb des breiteren Feldes der Künstlichen Intelligenz. Es erläutert zentrale Begriffe wie Tokenisierung, Embedding, Attention und Sampling und erklärt, wie Modelle wie ChatGPT sprachliche Ausgaben auf Basis statistischer Wahrscheinlichkeiten erzeugen. Die zugrunde liegende Transformer-Architektur wird schrittweise beschrieben und in ihrer Relevanz für Textverarbeitung eingeordnet. Darüber hinaus werden zentrale technische Begrenzungen wie Kontextlänge, Halluzinationen, Bias und mangelndes Weltverständnis thematisiert. Es wird verdeutlicht, dass es sich bei LLMs trotz hoher Ausdrucksfähigkeit weiterhin um schwache KI handelt, da ihnen bewusstes Verstehen fehlt. Ziel des Kapitels ist es, Studierenden ein technisches Grundverständnis für die Funktionsweise dieser Systeme zu vermitteln – als Grundlage für eine reflektierte und verantwortungsvolle Nutzung im wissenschaftlichen Arbeiten, auch ohne technisches Vorwissen. Dazu gehört die Fähigkeit, zentrale Konzepte nachzuvollziehen, die Leistungsfähigkeit einzuordnen und systembedingte Grenzen kritisch zu erkennen.