Tools für Probabilistisches Machine Learning
Tools for Probabilistic Machine Learning

Das Modul soll den Studenten die theoretischen und praktischen Aspekte des probabilistischen Machine Learning vermitteln. Eine breite Auswahl an Werkzeugen aus der Schätztheorie wird so präsentiert, dass jeweils sowohl ein formal-akademisches als auch anschaulich-intuitives Verständnis des grundlegenden Prinzips entsteht. Des Weiteren soll die Funktionalität der aktuellen Implementierungen in den einschlägigen Bibliotheken überblickt werden. Im Fokus steht die Befähigung zur Problemlösung vielfältiger Aufgaben durch bausteinartige Verknüpfung einzelner numerischer und theoretischer Tools zu einer formal korrekten und numerisch berechenbaren Verarbeitungspipeline. Dabei wird jeweils auch die Zuverlässigkeit und Glaubwürdigkeit der Ergebnisse beleuchtet. All das wird von einer rein digitalen Übung mit Rechen- und Programmieraufgaben unterstützt.  

Vorgestellte numerische Werkzeuge sind Interpolation, Regression (linear and spline, kernel method, Gaussian process, neural network), Differenzierung (finite differences, automatic differentiation), Nullstellen finden (bisection, Newton-Raphson, secant method), nichtlineare Optimierung (steepest descent, Newton, BFGS, Levenberg-Marquardt, KKT), Sampling (independent random, MCMC, deterministic, control variates, low-discrepancy), Kubatur (Monte Carlo, quasi-Monte Carlo) und gewöhnliche Differentialgleichungen (Euler, Runge-Kutta). 

Vorgestellte theoretische Werkzeuge sind Least Squares, Maximum-Likelihood, fehlertolerante Schätzung, Bayessche Inferenz, Expectation Maximization, Message Passing. 

Die praktischen Problemstellungen, die mit diesen Werkzeugen gelöst werden können, beinhalten Dichteschätzung, Klassifikation, Navigation (RSS, GNSS), Lokalisierung (radar, bearings-only, TDOA multilateration), allgemeine Zustandsschätzung (KF, EKF, UKF, PF), Regelung (NMPC). Ein wichtiger Aspekt ist jeweils auch die Aufteilung der Probleme in lineare und nichtlineare Teile mit effizienter separater Bearbeitung. 

Teilnehmerinnen und Teilnehmer dieses Kurses haben einen breiten Überblick über Werkzeuge der probabilistischen Parameter- und Zustandsschätzung mittels Machine Learning und können diese zur Lösung verschiedenster Probleme kreativ miteinander verketten.

• Vorlesungs-Folien
• Digitale Vorlesungs-Mitschriebe
• Vorlesungs-Skript
• Digitale Übung
• Deisenroth, Mathematics for Machine Learning
• Bishop, Pattern Recognition and Machine Learning

Pro Woche:

• 2 SWS Präsenzzeit
• 2h Nachbereitung
• 6h Digitale Übung mit Programmieraufgaben
• 2h Klausurvorbereitung

≙ 12h/Woche bzw. 180h/Semester

• Anthropomatik und Kognitive Systeme
• Robotik und Automation
• Wahlbereich Informatik

Kenntnisse einer höheren Programmiersprache mit ausgereiften Bibliotheken zum wissenschaftlich-numerischen Rechnen (z.B. Julia, Matlab, Python) sind von Vorteil.

Die Erfolgskontrolle erfolgt in Form einer mündlichen Prüfung im Umfang von i.d.R. 20 Minuten nach § 4 Abs. 2 Nr. 2 SPO.

Außerdem müssen mindestens 85% der digitalen Übungsaufgaben korrekt gelöst werden. Dies kann jederzeit durchgeführt und beliebig oft wiederholt werden. Es handelt sich um eine Studienleistung nach § 4 Abs. 3 SPO.