Im Kontext des ML bezeichnet die Optimierung die iterative Anpassung der Modellparameter. Der Optimierungsprozess zielt darauf ab, die Vorhersagegenauigkeit eines Modells zu erhöhen, indem die Diskrepanz zwischen den Vorhersagen und den tatsächlichen Werten – gemessen durch eine Loss-Funktion – minimiert wird. Die Anpassung der Parameter erfolgt schrittweise anhand eines gewählten Optimierers, der Richtung und Schrittweite der Änderungen vorgibt. Zusätzlich wird das Hyperparameter-Tuning als wichtiger Aspekt der Modelloptimierung beschrieben. Hyperparameter, die nicht aus den Daten gelernt, sondern durch Trial-and-Error festgelegt werden, beeinflussen den maschinellen Lernprozess maßgeblich. Methoden zur Hyperparametersuche umfassen Grid Search, Random Search und Bayesianische Optimierung. Während Grid Search systematisch alle Kombinationen und Random Search zufällige Kombinationen testet, zielt die Bayesianische Optimierung darauf ab, aus früheren Iterationen zu lernen und die Suche zu beschleunigen. Hyperparameter-Tuning ist essenziell zur Optimierung der Modellleistung, allerdings ist es computational aufwendig und erfordert Erfahrung mit ML.