Erklärbarkeit

In diesem Kapitel wird aufgezeigt, dass es für viele Anwendungen von Verfahren des maschinellen Lernens wichtig ist, dass die Ausgaben von gelernten Modellen nachvollziehbar sind, etwa um unfaire Verzerrungen im Modell zu identifizieren, die bestimmte Personengruppen beachteiligen oder um zu prüfen, ob ein Modell irrelevante Merkmale zur Vorhersage nutzt (Kluger Hans Effekt). Dies ist insbesondere für Blackbox-Modelle wie neuronale Netze relevant. Das Thema Erklärbare KI (eXplainable AI, XAI) wird anhand von ausgewählten Ansätzen eingeführt. LIME wird als Vertreter der Methoden für Merkmals-Relevanz vorgestellt. Hier wird gezeigt, wie Mittels sogenannter perturbierter Beispiele nachvollzogen werden kann, welche Merkmale in der Eingabe ein Modell hauptsächlich für seine Entscheidung für eine Klasse genutzt hat. Als zweiter methodischer Zugang zur Erklärbarkeit werden kontrafaktische Erklärungen eingeführt. Abschließend wird die Modelltreue von Erklärungen diskutiert.