Empirische Risikominimierung

Kap. 2 diskutierte drei Hauptkomponenten von ML (siehe Abb. 2.1): Datenpunkte, die durch Merkmale \(\mathbf{x}\in \mathcal {X}\) und Labels \( y\in \mathcal {Y}\) charakterisiert sind, einen Hypothesenraum \(\mathcal {H}\) von rechnerisch machbaren Vorhersagekarten \(\mathcal {X}\rightarrow \mathcal {Y}\) , und eine Verlustfunktion \(L({(\mathbf{x},y)},{h})\) , die die Diskrepanz zwischen den Vorhersagen einer Hypothese h und tatsächlichen Datenpunkten misst. Idealerweise möchten wir eine Hypothese \(h \in \mathcal {H}\) erlernen, so dass \(L({(\mathbf{x},y)},{h})\) für jeden Datenpunkt \((\mathbf{x},y)\) klein ist. In der Praxis können wir den Verlust jedoch nur für eine endliche Menge von beschrifteten Datenpunkten messen, die als Trainingsset dient.