Kapazität

In dem vorherigen Kapitel haben wir untersucht, wie man den Informationsgehalt der Trainingsdaten in Bits schätzt. Da der Zweck eines Modells darin besteht, die experimentellen Ergebnisse in eine Regel zu verallgemeinern, die zukünftige Experimente vorhersagen kann, würden die meisten Menschen intuitiv zustimmen, dass ein Modell nicht komplexer sein sollte als die Trainingsdaten. Wir haben diese Intuition in Kap. 2, insbesondere Abschn. 2.2.1 eingeführt. Formeller ausgedrückt, sollte der Informationsgehalt der Trainingsdaten eine Obergrenze für die Komplexität des Modells geben. Aber wie misst man die Komplexität eines Modells? Um die Komplexität des Modells zu messen, benötigen wir den Begriff der Modellkapazität, welcher das Thema dieses Kapitels ist.