Kombinatorik und Wahrscheinlichkeitsrechnung

Das Kapitel beginnt mit einer kurzen Einführung in Kombinatorik, mit den wichtigsten von Urnenmodellen abgeleiteten Zählmethoden. Darauf aufbauend werden Binomialkoeffizienten definiert und die binomialen und multinomialen Lehrsätze hergeleitet, mit denen man z. B. die Anzahl Koeffizienten mehrdimensionaler Polynome bestimmen kann, die häufig als Modellfunktionen im Bereich Data Science und Maschinelles Lernen verwendet werden. Danach folgt eine Einführung in die Wahrscheinlichkeitsrechnung und Statistik. Wir definieren Wahrscheinlichkeitsräume mit den Kolmogoroff-Axiomen sowie (diskrete und kontinuierliche) Zufallsvariablen, Wahrscheinlichkeitsverteilungen, Dichte sowie die Begriffe Erwartungswert und Varianz. Wir behandeln beispielhaft Bernoulli- und Binomialverteilung sowie die Gleichverteilung und uni-/multivariate Gauß-Verteilung. Wir diskutieren, wie man statistische Fehler etwa mit Hilfe der Error Function abschätzen kann und leiten wichtige Ungleichungen her (wie z. B. Markov-, Tschebyscheff- und Jensen-Ungleichungen). Abschließend wird eine kurze Einführung in die Informationstheorie gegeben. Insbesondere definieren wir wichtige Begriffe wie Entropie, Transinformation und Kullback-Leibler-Divergenz und leiten ihre Eigenschaften und Rechenregeln her.