Hauptkomponentenanalyse

Die Merkmalsvektoren der zu klassifizierenden Objekte haben häufig eine riesige Dimension. Für eine effiziente Verarbeitung dieser Vektoren ist aber eine moderate Dimension wünschenswert. In diesem Kapitel behandeln wir ein wichtiges Verfahren zur Dimensionsreduktion – die Hauptkomponentenanalyse. Diese wird begründet mit einer bestmöglichen linearen Approximation durch einen niedrig-dimensionalen affinen Teilraum bzw. äquivalent dazu durch Varianzmaximierung der orthogonalen Projektionen auf einen affinen Teilraum. Es wird bewiesen, dass der optimale affine Teilraum den Mittelwert der Merkmalsvektoren enthält und der zugehörige Teilvektorraum durch Eigenvektoren zu den gewünscht vielen größten Eigenwerten einer aus den Daten gebildeten Matrix aufgespannt wird. Schließlich werden noch durch eine einfache Idee gewisse Nichtlinearitäten zugelassen.