Auswertung und Einsatz der Ergebnisse

Bislang haben Anna und Karl nur die Treffergenauigkeit berechnet, um die Leistungsfähigkeit der trainierten Modelle zu bewerten. Jetzt lernen sie neue Gütemaße kennen: Spezifität & Sensitivität, Precision & Recall, F-Maß, Receiver Operating Characteristic (ROC) und Area under ROC curve (AURC). Die Konfusionsmatrix hilft ihnen, sich schnell einen Überblick zu Treffern und Fehlern des Klassifizierers zu verschaffen. Die neuen Gütemaße benutzen die beiden Trainees, um ein differenzierteres Bild von der Modell-Performance zu bekommen. Die Wirklichkeit ist nämlich kein Kaggle-Wettbewerb. Das Gelernte wenden sie direkt auf die drei neuen Datenvarianten mit den neuen Features an. Mit Hilfe der bekannten Methode k-Nearest Neighbor führen Anna und Karl erneut mehrere Parameterstudien zu k auf Basis der 10-fachen stratifizierten Kreuzvalidierung durch. Wer von den beiden findet das bessere Modell?