Die beeindruckenden Fortschritte der KI-basierten Textgenerierung in jüngster Zeit werfen die Frage auf, ob die neuen Systeme die von ihnen hervorgebrachten Inhalte verstehen oder ob sie lediglich „stochastische Papageien“ sind, wie es Skeptiker gerne ausdrücken. Obwohl es keine umfassende und allgemein akzeptierte operationale Definition von „Verstehen“ gibt, bieten sich mathematische Themen zur Annäherung an diese Frage an, weil in der Mathematik zumindest Einigkeit über „richtig“ und „falsch“ besteht und präzise Formulierungen möglich sind, so dass eine vergleichsweise objektive Bewertung der Ausgaben möglich ist. In diesem Kapitel wird die derzeit aktuelle Version von ChatGPT (Stand August 2023, basierend auf GPT-4 mit dem Wolfram-Plugin) exemplarisch mit mathematischen Fragen konfrontiert und die Qualität der Antworten wird evaluiert. Der Fokus liegt dabei nicht auf dem Rechnen und dem Lösen von typischen Prüfungsaufgaben, sondern auf konzeptionellen Fragen zur wissenschaftlichen Mathematik und auf logischen Schlussfolgerungen.