Gradientenbasiertes Lernen

Im Folgenden betrachten wir ML-Methoden, die einen parametrisierten Hypothesenraum verwenden \(\mathcal {H}\) . Jede Hypothese \(h^{(\mathbf{w})} \in \mathcal {H}\) in diesem Raum ist durch einen spezifischen Gewichtsvektor charakterisiert \(\mathbf{w}\in \mathbb {R}^{n}\) . Darüber hinaus betrachten wir ML-Methoden, die eine Verlustfunktion verwenden \(L({(\mathbf{x},y)},{h^{(\mathbf{w})}})\) so dass der durchschnittliche Verlust oder das empirische Risiko \( f(\mathbf{w}) :=(1/m) \sum _{i=1}^{m} L({(\mathbf{x}^{(i)},y^{(i)})},{h^{(\mathbf{w})}})\) reibungslos vom Gewichtsvektor abhängt \(\mathbf{w}\) .