Die Erfolge von Systemen der generativen KI haben Spekulationen verstärkt, dass diese Entwicklungen auch zu einer Superintelligenz führen könnten. Solche Spekulationen und damit verbundene Risiken sind Gegenstand dieses Kapitels. Vorhersagen zu spektakulären Erfolgen gab es bereits sehr früh in der KI-Forschung, auch dass solche Systeme unser Intelligenzniveau erreichen oder sogar übertreffen könnten. Es gibt zwar theoretische Grenzen, die ein technisches System nicht überschreiten kann, aber diese Grenzen gelten auch für Menschen. Die überraschende Leistungsfähigkeit von ChatGPT hat bereits kurz nach deren Veröffentlichung zu deutlichen Warnungen von KI-Wissenschaftlern geführt, sogar mit dem Hinweis, dass solche Systeme das Überleben der Menschheit bedrohen könnten. Auch in verschiedenen Büchern von KI-Experten wird die Problematik einer möglichen Superintelligenz thematisiert. Auf einige dieser Quellen wird in diesem Kapitel kurz eingegangen. Je mehr Autonomie solche KI-Systeme erlangen, desto schwieriger wird eine menschliche Kontrolle dieser Systeme. Besonders wichtig sind daher Forschungen zur KI-Sicherheit, aber auch Vereinbarungen zur Regulierung von KI-Anwendungen und vielleicht auch von Forschungsaktivitäten.