Modellvalidierung und -auswahl

Kap. 4 diskutierte ERM als einen prinzipiellen Ansatz zum Erlernen einer guten Hypothese aus einem Hypothesenraum oder Modell. ERM-basierte Methoden lernen eine Hypothese \(\hat{h} \in \mathcal {H}\) die einen minimalen durchschnittlichen Verlust bei einigen beschrifteten Datenpunkten verursacht, die als Trainingsset dienen. Wir bezeichnen den durchschnittlichen Verlust, den eine Hypothese im Trainingsset verursacht, als Trainingsfehler. Der minimale durchschnittliche Verlust, der von einer Hypothese erzielt wird, die das ERM löst, könnte als Trainingsfehler der gesamten ML-Methode bezeichnet werden. ERM macht nur Sinn, wenn der Trainingsfehler einer Hypothese ein guter Indikator für ihren Verlust bei Datenpunkten außerhalb des Trainingssets ist. Ob der Trainingsfehler einer Hypothese ein zuverlässiger Indikator für ihre Leistung außerhalb des Trainingssets ist, hängt von den statistischen Eigenschaften der Datenpunkte und dem von der ML-Methode verwendeten Hypothesenraum ab.