Kapazität von neuronalen Netzwerken

Kap. 5 stellte mehrere Vorstellungen von Kapazität für eine lineare Trenneinheit vor, die das einzelne Neuron mit seiner Punktprodukt-Schwelle einschließt. Dieses Kapitel zeigt, wie man die speichergleiche Kapazität eines einzelnen Neurons auf ein Netzwerk von Neuronen verallgemeinern kann. Diese Frage hat viele Ansätze in der Maschinenlerngemeinschaft hervorgerufen, einschließlich Bereiche wie „neurale Architektursuche“ oder das breitere Feld der „Hyperparameter-Optimierung (HPO)“. Wie jedoch in Kap. 5 erklärt, können zwei Modelle der gleichen Kapazität die exakt gleichen Funktionen darstellen. Das Verständnis, wie es eine analytische Lösung für die Kapazität von neuronalen Netzwerken geben kann, wird erleichtert, indem man sich an die Geschichte des Neurons als (bio-)elektrisches Schaltungselement, das als Energieschwelle fungiert, erinnert. Frühe Implementierungen von Neuronen (Widrow und Hoff 1960) waren rein hardwarebasiert und neuronale Netzwerke waren daher elektrische Schaltungen, die von Elektroingenieuren entworfen wurden. In der Elektrotechnik ist das Verständnis von Netzwerken aus elektrischen Komponenten analytisch, in der Regel durch Betrachtung ihrer Verbindung in Serie oder parallel, Standardtheorie und -praxis. Es sollte daher keine Überraschung sein, dass neuronale Netzwerke auf die gleiche Weise verstanden werden können. Glücklicherweise ermöglicht uns die Informationstheorie, uns mathematisch von der Notwendigkeit zu abstrahieren, zur Elektrotechnik zurückkehren zu müssen.