Stochastische Informationsverarbeitung

  • Typ: Vorlesung (V) mit Übung (Ü)
  • Zielgruppe: Master: ab 1. Semester, Bachelor: ab 5. Semester
  • Lehrstuhl: Lehrstuhl für Intelligente Sensor-Aktor-Systeme (ISAS)
  • Semester: WS 20/21
  • Ort:

    Zoom Meeting, [evtl 30.22 Gaede-Hörsaal]  (V)

    Zoom Meeting, [evtl 50.20 Raum  148]  (Ü)

  • Zeit:

    Donnerstag 14:00–15:30 (V)
    Mittwoch 16:00–17:30 (Ü)

  • Beginn: 05.11.2020 (V), 11.11.2020 (Ü)
  • Dozent:

    Prof. Dr.-Ing. Uwe Hanebeck  (V)
    Daniel Frisch (Ü)

  • SWS: 3
  • ECTS: 6
  • LVNr.: 24113
  • Prüfung: siehe unten
Bemerkungen

Die SI vermittelt die fundamentalen und formalen Grundlagen der Zustandsschätzung rund um Prädiktion und Filterung. So stellt sie einen optimalen Einstieg in die Vorlesungen des ISAS dar.

Umgekehrt können Vorkenntnisse aus

  • Lokalisierung mobiler Agenten (LMA) [LV-Nr. 24613] und
  • Informationsverarbeitung in Sensornetzwerken (IIS) [LV-Nr. 24102],

aber je nach Lerntyp trotzdem hilfreich sein – dort werden mehr konkrete Anwendungen beleuchtet. Sämtliche Inhalte werden in allen unseren Vorlesungen grundsätzlich von Anfang an hergeleitet und ausführlich erklärt; es ist also möglich in SI, LMA oder IIS einzusteigen. 

 

Tatsächlich vorausgesetzt werden in SI lediglich die Grundbegriffe der Wahrscheinlichkeitstheorie bzw. Stochastik. Auf unserem ersten Übungsblatt werden diese kurz eingeführt, sodass Sie Ihre dahingenden Vorkenntnisse schnell wiederholen und überprüfen können. 

  • Übungsblatt 01 mit Theorieteil über die Grundlagen der Wahrscheinlichkeitsrechnung
Beschreibung

Einen unterhaltsamen und anschaulichen Einblick in die Welt der Zustandsschätzung und ihrer Anwendungen bietet dieses Video anlässlich der Mondlandung inklusive dem ersten Einsatz des Kalmanfilters vor 50 Jahren.

 

Die SI vermittelt zunächst für

  • nichtlineare wertediskrete Systeme
  • sowie lineare wertekontinuierliche Systeme

einfache und praktisch anwendbare Schätzer.

Daraufhin wird der allgemeine Schätzer für

  • wertekontinuierliche nichtlineare Systeme

hergeleitet. Es wird aufgezeigt, warum dieser in der Regel nicht praktisch umsetzbar ist und wie man ihn stattdessen approximieren kann.

 

Zur Handhabung komplexer dynamischer Systeme, wie sie beispielsweise aus der Robotik bekannt sind, werden typischerweise sowohl Systemmodelle als auch die zeitlichen Verläufe der Systemzustände benötigt. Sowohl für die Systemidentifikation als auch für die Zustandsrekonstruktion liegen dabei im Allgemeinen lediglich verrauschte Daten vor.

 

Für kontinuierliche Zustandsräume ist eine exakte Berechnung der gesuchten Wahrscheinlichkeitsdichten allerdings nur in wenigen Spezialfällen möglich. Allgemeine nichtlineare Systeme werden in der Praxis daher oft durch vereinfachende Annahmen auf diese Spezialfälle zurückgeführt. Das eine Extrem ist dabei eine Linearisierung mit nachfolgender Anwendung der linearen Schätztheorie, was jedoch häufig zu unbefriedigenden Ergebnissen führt. Das andere Extrem sind numerische Approximationsverfahren, welche die gewünschten Verteilungsdichten nur an diskreten Punkten des Zustandsraums auswerten. Obwohl das Arbeitsprinzip dieser Verfahren in der Regel recht einfach ist, stellt sich eine praktische Implementierung häufig als schwierig und speziell für höherdimensionale Systeme als rechenaufwändig heraus.

 

Als Mittelweg wären daher oft analytische nichtlineare Schätzverfahren wünschenswert. In dieser Vorlesung werden die Hauptschwierigkeiten bei der Entwicklung derartiger Schätzverfahren dargestellt und entsprechende Lösungsbausteine vorgestellt. Basierend auf diesen Bausteinen werden exemplarisch einige analytische Schätzverfahren im Detail diskutiert, welche sich sehr gut für die praktische Implementierung eignen und dabei einen guten Kompromiss zwischen Rechenaufwand und Leistungsfähigkeit bieten. Weiterhin werden nützliche Anwendungen dieser Schätzverfahren diskutiert. Dabei werden sowohl bekannte Verfahren als auch Ergebnisse aktueller Forschungsarbeiten vorgestellt.

Literaturhinweise
  • Digitale Vorlesungsmitschriebe (diese sind – zusammen mit den mündlichen Bemerkungen – auch maßgeblich für die Prüfung)
  • Skript zur Vorlesung (inkl. Angaben zu weiterführender Literatur)
  • Übungsblätter
  • Digitale Übungsmitschriebe
  • Tutorial-Paper zu Faktorgraphen
Lehrinhalt

In diesem Modul werden Modelle und Zustandsschätzer für wertediskrete und -kontinuierliche lineare sowie allgemeine Systeme behandelt. Für wertediskrete und -kontinuierliche lineare Systeme werden Prädiktion und Filterung eingeführt (HMM, Kalman Filter). Zusätzlich wird für wertediskrete Systeme die Glättung untersucht. Bei der Modellierung von allgemeinen statischen und dynamischen Systemen wird ausgehend von einer generativen eine probabilistische Systembeschreibung entwickelt. Unterschiedliche Arten des Rauscheinflusses (additiv, multiplikativ) sowie verschiedene Dichterepräsentationen werden untersucht. Die grundlegenden Methoden der Zustandsschätzung für allgemeine Systeme sowie die Herausforderungen bei der Implementierung generischer Schätzer werden vorgestellt. Die Vorlesung schließt mit einem Ausblick auf den Stand der Forschung und neuartige Schätzer.

Struktur
  • Wertediskrete Systeme
    • Statische Systeme
    • Dynamische Systeme: Markov-Kette, Messmodell
    • Zustandsschätzung im Hidden Markov Model
  • Lineare wertekontinuierliche Systeme
    • Statische Systeme
    • Dynamische Systeme: Systemmodell mit Markov-Eigenschaft, Messmodell 
    • Zustandsschätzung: Kalman Filter
  • Allgemeine Systeme
    • Statische Systeme: Repräsentation der Ein- und Ausgänge durch Dichten
    • Dynamische Systeme: Systemmodell, Messmodell
  • Repräsentation von Wahrscheinlichkeitsdichten
    • Normalverteilung: Momente und zentrale Momente, Kullback-Leibler-Divergenz
    • Gaussian Mixture Density 
    • Exponentialverteilungen
  • Generatives und probabilistisches Modell
    • Delta-Distribution
    • Transformation von generativem Modell (Systemgleichung) zu probabilistischem Modell (bedingte Dichte)
      • additives Rauschen
      • multiplikatives Rauschen
    • Vorwärtsinferenz (Prädiktion)
  • Allgemeiner Schätzer
    • Vorwärtsinferenz
    • Vereinfachte Prädiktion mit Mixture unabhängiger Dichten
    • Rückwärtsinferenz mit deterministischen Messungen 
  • Faktorgraphen 
  • Aktuelle Forschungsgebiete
    • Distanzmaße für Dichten
    • Deterministic Sampling
Beispiel

Übung zum allgemeinen Schätzer

Arbeitsbelastung

180 h

Zielgruppe

Master: ab 1. Semester, Bachelor: ab 5. Semester

Ziel

Die Studierenden sollen die Handhabung komplexer dynamischer Systeme erlernen und insbesondere Probleme der Rekonstruktion gesuchter Größen aus unsicheren Daten analysieren und mathematisch korrekt beschreiben können. Ausgehend von speziellen Systemen werden die grundlegenden Probleme der Zustandsschätzung für allgemeine Systeme behandelt und mögliche Lösungswege aufgezeigt. 

Vertiefungsgebiete
  • Theoretische Grundlagen
  • Anthropomatik und Kognitive Systeme
  • Robotik und Automation
Prüfung

Die Erfolgskontrolle erfolgt in Form einer mündlichen Prüfung. Prüfungsrelevant sind alle während den Vorlesungen vermittelten Inhalte (mündlich und digitale Vorlesungsmitschriebe). Zusatzinformationen aus dem Skript (zu den direkt in der Vorlesung behandelten Themen) können ebenfalls relevant sein.

 

Zur Vereinbarung eines Termins kontaktieren Sie bitte Frau Dr. Gambichler:

dagmar.gambichler@kit.edu CC uwe.hanebeck@kit.edu

Bitte geben Sie dabei den gewünschten Zeitraum, Ihre Matrikelnummer, Studiengang und SPO an.

Die Prüfungen finden in Geb. 50.20, Raum 148 statt.

 

Termine SI

Woche Mittwoch (16:00-17:30) Donnerstag (14:00-15:30)
KW45: 02.11.2020 – 08.11.2020   01. Vorlesung (05.11.) [Zoom]
KW46: 09.11.2020 – 15.11.2020 01. Übung (11.11.) [Zoom] 02. Vorlesung (12.11.) [Zoom]
KW47: 16.11.2020 – 22.11.2020 02. Übung (18.11.) [Zoom] 03. Vorlesung (19.11.) [Zoom]
KW48: 23.11.2020 – 29.11.2020 03. Übung (25.11.) [Zoom] 04. Vorlesung (26.11.) [Zoom]
KW49: 30.11.2020 – 06.12.2020 04. Übung (02.12.) [Zoom] 05. Vorlesung (03.12.) [Zoom]
KW50: 07.12.2020 – 13.12.2020 05. Übung (09.12.) [Zoom] 06. Vorlesung (10.12.) [Zoom]
KW51: 14.12.2020 – 20.12.2020 06. Übung (16.12.) [Zoom] 07. Vorlesung (17.12.) [Zoom]
KW52: 21.12.2020 – 27.12.2020   Weihnachtsferien
KW53: 28.12.2020 – 03.01.2021   Weihnachtsferien
KW01: 04.01.2021 – 10.01.2021   08. Vorlesung (07.01.)
KW02: 11.01.2021 – 17.01.2021 07. Übung (13.01.) 09. Vorlesung (14.01.)
KW03: 18.01.2021 – 24.01.2021 08. Übung (20.01.) 10. Vorlesung (21.01.)
KW04: 25.01.2021 – 31.01.2021 09. Übung (27.01.) 11. Vorlesung (28.01.)
KW05: 01.02.2021 – 07.02.2021 10. Übung (03.02.) 12. Vorlesung (04.02.)
KW06: 08.02.2021 – 14.02.2021 11. Übung (10.02.) 13. Vorlesung (11.02.)
KW07: 15.02.2021 – 21.02.2021 12. Übung (17.02.) 14. Vorlesung (18.02.)