Der Fluch des Trainings und der Segen der hohen Dimensionalität

Dieses Kapitel stellt die wichtigsten technischen Herausforderungen für eine rigorose Ingenieursdisziplin vor, die den wissenschaftlichen Prozess automatisiert. Die größte Herausforderung für das in diesem Buch und vielen anderen Theorien Vorgestellte ist die durch das Training eingeführte Unsicherheit. Die Tatsache, dass das Training nicht garantiert auf ein globales Minimum konvergiert, lässt uns Ingenieursgenauigkeit durch eine verschwommene Linse betrachten. Damit verbunden ist die zweite Herausforderung, die auch eine Chance ist: das Verhalten von Modellen in hoher Dimensionalität. Die Reproduzierbarkeit, die in Kap. 15 beschrieben wird, wäre trivial zu implementieren, wenn das Training jedes Mal garantiert auf ein globales Optimum konvergieren würde. Die Erklärbarkeit (siehe Kap. 14) wäre viel einfacher, wenn eine direkte Reduzierung der Informationen vom Eingang zum Ausgang, das heißt, eine direkte Reduzierung in niedrigere dimensionale Räume, immer die Lösung sein könnte. Die Modellierung mit höheren dimensionalen Räumen, das heißt, die Einführung von virtuellen Dimensionen, ermöglicht jedoch die Erstellung sogenannter Einbettungen, die Probleme lösen, die sonst schlecht gestellt sind (siehe Definition 2.8 und die Diskussion in den Abschn. 9.4 und 11.3.3).