Modellierung mit k-Nearest Neighbor

Anna und Karl nehmen sich nun die Phase 4 (Modeling) von CRISP-DM vor. Max stellt ihnen als erste Methode den Lazy Learner k-Nearest Neighbor (kNN) vor. Die k nächsten Nachbarn stimmen darüber ab, zu welcher Klasse ein neues Datenobjekt gehören soll. Diese Methode kann jedoch nur metrische Daten verarbeiten. Denn um die nächsten Nachbarn zu ermitteln, muss kNN Abstände zwischen den Datenobjekten berechnen. Der Einfachheit halber benutzen die beiden Trainees deshalb nur die numerischen Attribute der Titanic-Passagiere. Außerdem müssen die Attributwerte vergleichbar sein, also eine ähnliche Größenordnung aufweisen. Deshalb verwenden Anna und Karl eine Min-Max-Normierung. Zur Modellbildung können sie den Parameter k variieren und eine Parameterstudie durchführen. Das Ziel ist, eine möglichst gute Einstellung für k zu finden. Hierzu benötigen die beiden Trainees ein Test-Design. Der Kaggle-Wettbewerb gibt bereits die Partitionierung und das Sampling von Training und Test vor. Allerdings brauchen sie zusätzlich Validierungsdaten, um die Ergebnisse ihrer Parameterstudie zu bewerten. Sie lernen die Vor- und Nachteile der stratifizierten k-fachen Kreuzvalidierung kennen.