In unserem täglichen Leben treffen wir ständig Entscheidungen, bei denen wir bestrebt sind, die besten Ergebnisse unter gegebenen Bedingungen zu erzielen. Die mathematische Disziplin der Optimierung beschäftigt sich mit eben dieser Aufgabe, die besten Lösungen für komplexe Probleme zu finden. Die Optimierung kann grundlegend in drei Klassen unterteilt werden, die sich jeweils in der Art des Suchraumes unterscheiden.