Projekt 1 - Cloud-Runner für Deterministische Samples

Einleitung:

Wir am ISAS entwickeln neuartige, deterministische Sampling-Methoden, wobei die Samples gleichmäßiger verteilt sind als bei den weitverbreiteten zufälligen Samples. Dies ermöglicht schnellere Konvergenz und weniger Rechenaufwand, wo immer diese Samples angewendet werden, z.B. in der numerischen Integration. Die Berechnung dieser Samples selbst kostet jedoch oft einen höheren Rechen- und Programmieraufwand. Wir wollen daher einen Server bereitstellen, auf dem man diese Samples über eine Web-API unkompliziert abrufen kann. Auf diese Weise kann man auch recht einfach einen Cache realisieren, der für die gleiche Konfiguration (Anzahl Samples, Dimension, Wahrscheinlichkeitsdichte) die Samples nicht immer wieder neu berechnet, sondern aus dem Cache ausliefert (z.B. Nginx Reverse Proxy). Ein Prototyp ist bereits realisiert (github.com/KIT-ISAS/Cloudrunner) und wird in der bwCloud gehostet.

Aufgaben:

  • Einrichten eines Reverse Proxy Servers
  • Einbinden weiterer Sampling-Methoden
  • Weiterentwicklung der Web-API
  • Wrapper-Codeschnipsel zum Aufruf für verschiedene Programmiersprachen

Voraussetzungen:

  • Grundkenntnisse in Python, Julia oder Matlab
  • Interesse an Webservern
github.com/KIT-ISAS/Cloudrunner
https://github.com/KIT-ISAS/Cloudrunner

Projekt 2 - Kalibrierfreie Visualisierung einer raumgroßen haptischen Schnittstelle in Virtual Reality

Einleitung:

Am Lehrstuhl für Intelligente Sensor-Aktor-Systeme steht mit HapticGiant eine weltweit einmalige kinästhetische haptische Schnittstelle zur Verfügung. Mit dieser Schnittstelle können Kräfte und Drehmomente, die während der Interaktion mit Objekten in Augmented oder Virtual Reality Anwendungen auftreten, auf realistische Art fühlbar gemacht werden. Für ein hoch immersive Erlebnis ist jedoch eine exakte Ausrichtung zwischen der haptischen Schnittstelle und der virtuellen Umgebung zu ermitteln. Aktuell ist der dafür ein aufwendiger Kalibrierprozess nötig, der aufgrund von Drifteffekten in kurzen Abständen wiederholt werden muss. Erste Experimente haben jedoch gezeigt, dass eine Automatisierung basierend auf der Registrierung von Punktwolken möglich ist. Ziel des Praktikums ist es daher, ein fortlaufendes Registrierungsverfahren auf einer Meta Quest Pro Mixed Reality Brille zu implementieren. Darauf aufbauend soll die Brille für einfache, echtzeitfähige 3D Visualisierungen verwendet werden.

Aufgaben:

  • Konzeption eines fortlaufenden Registrierungsverfahrens
  • Implementierung des Verfahrens auf einer Meta Quest Pro
  • Anbindung des Verfahrens an HapticGiant
  • Erstellung einer einfachen Visualisierungsanwendung für 3D-Robotermodelle/li>

Voraussetzungen:

  • Kenntnisse in C++ oder C#
  • Grundkenntnisse in Robotik
  • bevorzugt: Erfahrung mit ROS und Unreal Engine/Unity 3D

Projekt 3 - C++ Implementierung der Sample-Reduzierung

Einleitung:

Wir am ISAS entwickeln neuartige, deterministische Sampling-Methoden, wobei die Samples gleichmäßiger verteilt sind als bei den weitverbreiteten zufälligen Samples. Dies ermöglicht schnellere Konvergenz und weniger Rechenaufwand, wo immer diese Samples angewendet werden, z.B. in der numerischen Integration. Besonders universell einsetzbar ist die Sample-Reduzierung, bei der viele zufällige Samples auf wenige “schöne” Samples reduziert werden. Dies wird auch von anderen Forschern weltweit eingesetzt. Ein Problem ist die Bereitstellung einer Implementierung, da jeder andere Programmiersprachen verwendet. Eine effiziente C++ Programmierung könnte sehr leicht von allen Sprachen aus aufgerufen werden.

Aufgaben:

  • Einlesen und Verstehen der LCD-basierten Sample Reduction
  • evtl. Prototyp in einer höheren Programmiersprache Ihrer Wahl
  • C++ Implementierung
  • evtl. Wrapper-Codeschnipsel zum Aufruf für verschiedene Programmiersprachen

Voraussetzungen:

  • Grundkenntnisse in C++
  • Interesse am wissenschaftlichen Rechnen
Uwe D. Hanebeck, Optimal Reduction of Multivariate Dirac Mixture Densities
Uwe D. Hanebeck, Optimal Reduction of Multivariate Dirac Mixture Densities

Projekt 4 – Spline-basierte Schätzung multivariater Dichten unter Nebenbedingungen

Einleitung:

Die Konstruktion einer kontinuierlichen Wahrscheinlichkeitsdichtefunktion (pdf) aus einer Reihe von Stichproben ist eine häufige Herausforderung in der Statistik. Hierbei sind bestimmte Annahmen über die Stichproben oder die zugrunde liegende Verteilung erforderlich, da die Stichproben allein nicht genügend Informationen liefern, um eine pdf eindeutig zu rekonstruieren. In [1] haben wir eine Methode zur Dichteschätzung eingeführt, die auf der Annahme beruht, dass jede Stichprobe den gleichen Anteil der Wahrscheinlichkeitsmasse der zugrunde liegenden Verteilung repräsentiert. Die geschätzte pdf wird als polynomiales Splines parametrisiert. Unter Verwendung dieser Parametrisierung wird dann ein Optimierungsproblem formuliert, das die Rauheit der geschätzten Dichte minimiert und gleichzeitig Nebenbedingungen für die entsprechende kumulative Verteilungsfunktion (cdf) einhält. Dieser Ansatz zeigt vielversprechende Ergebnisse für eindimensionale Probleme. Ziel dieses Projekts ist es, die Methode auf multivariate Dichteschätzungen zu erweitern. Die primären Herausforderungen bestehen darin, eine geeignete Diskretisierung des Definitionsbereichs der Dichte zu bestimmen, einen geeigneten Typ von Splines auszuwählen und sicherzustellen, dass die Regionen um jede Stichprobe herum die gleiche Menge an Wahrscheinlichkeitsmasse enthalten.

Aufgaben:

  • Literaturrecherche zur Schätzung multivariater Dichten
  • Erweiterung der bestehenden Methode [1] für multivariate Dichten
  • Evaluation und Vergleich der Methode mit anderen Verfahren aus der Literatur

Voraussetzungen:

  • Grundlagen der Wahrscheinlichkeitsrechnung und Stochastik
  • Programmiererfahrung mit Julia oder Python
  • Bevorzugt: Erfahrung mit Polygonnetzen oder Spline-Interpolation

Literatur:

  • [1] Dominik Prossel, Uwe D. Hanebeck, Spline-Based Density Estimation Minimizing Fisher Information, 2024 (Link)
WS24/25 Praktikum Projekt 4

Projekt 5 – Modellprädiktive Regelung in der Praxis

Projekt 5 – Modellprädiktive Regelung in der Praxis

  

Einleitung:

Zum vergrößern des Videos bitte hier klicken.

Modellprädiktive Regelung (MPC) ist eine fortschrittliche Methode der Regelungstechnik, die auf der Modellierung des zu regelnden Systems basiert. Ziel ist es, durch die Vorhersage zukünftiger Systemzustände optimale Stellgrößen zu berechnen. Diese Technik findet Anwendung in verschiedenen Bereichen wie der Automobilindustrie und der Robotik. Das Projekt bietet eine spannende Gelegenheit, tief in die Theorie und Praxis der MPC einzutauchen und praktische Erfahrungen mit verschiedenen Implementierungsbibliotheken zu sammeln.

Aufgaben:

  • Einarbeitung in die Funktionsweise verschiedener Ansätze der deterministischen modellprädiktiven Regelung
  • Implementierung mit verschiedenen Bibliotheken wie NumPy, SciPy, CasADI, Google JAX
  • Evaluation bezüglich z. B. Güte, Geschwindigkeit, Einfachheit der Implementierung, Limitierungen

Voraussetzungen:

  • Grundkenntnisse in Python
  • Bevorzugt: Erfahrung mit NumPy, SciPy, CasADI, Google JAX
  • Vorkenntnisse in Regelungstechnik vorteilhaft

Projekt 6 – Reinforcement Learning und Stochastic Optimal Control für eine intelligente Ansteuerung eines Multi-Aktoren-Array Sortierers

Einleitung:

Am ISAS werden Verfahren des Reinforcement Learning und des Stochastic Optimal Control für den Einsatz in einem neuartigen, kürzlich zum Patent angemeldeten Schüttgutsortierer untersucht. Die Schüttgutsortierung ist eine Schlüsseltechnologie zur Trennung von Partikelströmen, welche u. a. im Recycling (Kunststoffe, Gläser, Bauschuttabfälle, etc.) und zur Etablierung einer nachhaltigen Kreislaufwirtschaft eine tragende Rolle spielt. Im Unterschied zu bisherigen Sortierern, welche Schüttgutpartikel an einer Reihe Druckluftdüsen separieren, besteht der neue Sortierer aus mehreren Reihen mechanischer Aktoren. Hierdurch ergeben sich mehrere Möglichkeiten zur Trennung der Partikel, wovon eine optimale identifiziert werden soll. Ziel der Forschung ist es, durch intelligente Ansteuerung ähnlich hohe Massenströme wie in herkömmlichen Sortierern zu sortieren, die Betriebskosten jedoch durch Verzicht auf Druckluft um Faktor vier bis fünf zu reduzieren.

In diesem Praktikum sollen zwei Verfahren zur Lösung des entstehenden sequentiellen Entscheidungsproblems weiterentwickelt werden. Es handelt sich hierbei um das Least-Squares-Temporal Difference Learning sowie um eine eigens entworfene problemspezifische Baumsuche. Für beide Verfahren existieren bereits Implementierungen für eine vereinfachte Problemstellung. Diese sollen nun mathematisch und algorithmisch aufgewertet und auf ein Simulationsmodell des Sortierers sowie auf das Realsystem übertragen werden.

Aufgaben:

  • Einarbeitung in die bisherigen Verfahren des Reinforcement Learning und des Stochastic Optimal Control, insbesondere in das Linear Least-Squares Temporal Difference Learning
  • Anpassung der Algorithmen für den Einsatz im Sortierer und Implementierung der Ansätze
  • Evaluation am Simulationsmodell
  • Übertrag auf den Prototypen und praktische Erprobung an diesem (optional)

Voraussetzungen:

  • Grundkenntnisse in Python
  • Grundkenntnisse in Reinforcement Learning oder Model Predictive Control
WS24/25 Praktikum Projekt 6

Projekt 7 – Accurate Neural Surface Reconstruction from Sparse Views and Noisy Poses

Einleitung:

Neural Radiance Fields (NeRF) haben erhebliche Nachteile bei der Oberflächenrekonstruktion starrer, statischer Körper aus Multi-View-Bildern. Sie erfordern eine große Anzahl an Multi-View-Bildern mit präzisen Kamerapositionen, benötigen stundenlanges Training und modellieren Oberflächen mittels einer Dichtefunktion, was zu verrauschten und niedrigauflösenden Ergebnissen führt. In der Praxis ist es oft nicht möglich, viele hochauflösende feature-reiche Bilder mit genauen Kameradaten zu erhalten. Dies macht die qualitativ hochwertige Oberflächenrekonstruktion aus wenigen Ansichten mit verrauschten Kamerapositionen besonders herausfordernd, insbesondere bei feature-armen Daten, die die 3D-Rekonstruktion zusätzlich erschweren.

Aufgaben:

  • Literaturrecherche zum Lernen von Neuraler Oberflächenrekonstruktion
  • Erarbeitung einer Methode für das Sparse-View-Regime
  • Entwicklung eines Ansatzes zur effizienten Optimierung von Kameraparametern
  • Auswählen von mindestens einer expliziten und impliziten Oberflächenrepräsentation
  • Evaluation der gesamten Pipeline auf öffentlichen und eigenen Datensätzen

Voraussetzungen:

  • Gute Kenntnisse in Python
  • Grundkenntnisse im maschinellen Lernen
  • Unabhängiges Lernen und Teamarbeit

Literatur:

  • [1] Wang P et al.: Learning neural implicit surfaces by volume rendering for multi-view reconstruction (Link)
  • [2] Truong P et al.: Neural radiance fields from sparse and noisy poses (Link)
  • [3] Bian J W et al.: Pose residual field for accurate neural surface reconstruction (Link)
WS24/25 Praktikum Projekt 7
Source: Oechsle M, Peng S, Geiger A. Unisurf: Unifying neural implicit surfaces and radiance fields for multi-view reconstruction Link: https://moechsle.github.io/unisurf/