Praktikum Forschungsprojekt: Anthropomatik praktisch erfahren

  • Typ: Praktikum (P)
  • Semester: SS 2019
  • Dozent: Prof. Dr.-Ing. Uwe Hanebeck
    Ajit Basarur
  • SWS: 4
  • LVNr.: 24871

Praktikum Forschungsprojekt: Anthropomatik praktisch erfahren

Das Ziel des Praktikums Forschungsprojekt: Anthropomatik praktisch erfahren ist es, Studenten die Möglichkeit zu geben, in aktuelle Forschungsgebiete hineinzuschnuppern. Dabei sollen in Gruppen von jeweils zwei bis drei Studenten Soft- und/oder Hardware-Projekte erstellt werden. Die zu bearbeitenden Aufgaben kommen aus den Forschungsbereichen verteilte Messsysteme, Robotik, Mensch-Roboter-Kooperation, Telepräsenz- und Assistenzsysteme. Das Praktikum gibt interessierten Studenten die Möglichkeit, Erfahrungen sowohl im wissenschaftlichen Arbeiten als auch im Projektmanagement zu sammeln.

In dem Praktikum können folgende Fähigkeiten erlernt und vertieft werden:

  • Umsetzung von theoretischen Methoden in reale Systeme
  • Erstellung von technischen Spezifikationen
  • Projekt- und Zeitmanagement
  • Entwicklung von Lösungsstrategien im Team
  • Präsentation von Zwischen- und Endergebnissen (in Poster- und Folienvorträgen sowie einem Abschlussbericht)

Das Praktikum (4 SWS) besteht aus 2 Lehrveranstaltungen: einem praktischen Teil (mit 2 SWS), welcher die konkrete Implementierung der Aufgabenstellung des Praktikums durch die Studenten beinhaltet, und einem theoretischen Teil (mit 2 SWS). In diesem Teil des Praktikums vermitteln die wissenschaftlichen Mitarbeiter den Studenten die Theorie für das jeweilige Projekt. Außerdem diskutieren die Mitarbeiter mit den Studenten in persönlichen Gesprächen mögliche Lösungen zu Problemen, die bei der Implementierung auftreten. Beide Teile sind nur in Kombination belegbar.

Am Tag der Informatik 2010, 2015 und 2016 wurde das Praktikum Forschungsprojekt "Anthropomatik praktisch erfahren" als bestbeurteiltes Praktikum ausgezeichnet.

Praktikum

Themengebiete

Projekt Thema Betreuer
1

Acoustic Source Localization with UWB Audio

Daniel Frisch, Kailai Li, Susanne Radtke

2

Combined LIDAR and RGBD-Camera Setup for SLAM

Kailai Li, Daniel Frisch

3

Indoor Localization Using Geomagnetic Field

Ajit Basarur, Jana Mayer

4

Online Gaussian Processes for Geomagnetic Field

Jana Mayer, Ajit Basarur

5

Omnimover Navigation Using AruCo Markers

, Ajit Basarur

6

Ajit Basarur, ,

7

Ajit Basarur, 
8

Benjamin Noack
9

, Yaroslav Akhremtsev
10

Susanne Radtke, Kailai Li, Benjamin Noack
11

Kailai Li, Susanne Radtke
12

Johannes Westermann, Benjamin Noack

Projekt 1

Acoustic Source Localization with UWB Audio

Introduction

Acoustic source localization is applied in military, robotics, and medical context. Objects are located using sound waves: the direction of arrival as well as the source distance can be estimated. Acoustic source localization can be divided into passive and active methods. In a passive method, the incoming sound emitted by a distant object is detected and localized. In active method, a sound wave is generated and its reflection or echo from a distant object is used for localization. An example of active localization is Sound Navigation and Ranging (SONAR), which is extensively used under water.

In the framework of this project, arrays of digital omnidirectional MEMS-based microphones are placed in a bounded region called sensor nodes, and the microphone arrays receive sounds from a moving source such as a speaker. Each microphone array is connected to a BeagleBoard-X15. During previous labs, a sensor node was built on a printed circuit board and successfully connected to the BeagleBoard-X15 under Linux.

Tasks

In the current lab, we will emit boradband "click" sounds and catch only the first incoming "click" at the receiver to avoid reflection issues. We will also build a network of sensor nodes that send their detections via LAN to a computer running Matlab. Different directional estimation and multilateration approaches will be tested, among them a patented association-free multilateration technique resulting from a cooperation between ISAS and Air Traffic Control provider Frequentis Comsoft in Durlach. In order to have a ground truth while tracking the the sound source, we will also perform experiments with the robot arm in the Holodeck at ISAS.

Color Information from a Beamer
Microphone Array

Projekt 2

Combined LIDAR and RGBD-Camera Setup for SLAM

Introduction

Simultaneous localization and mapping (SLAM) for 6-DoF motion plays a key role in various application scenarios, e.g., autonomous driving, robotic perception as well as navigation, among which stereo cameras and LIDAR are the most powerful and widely used sensors. We already have a directional SLAM framework that has been successively tested with the well-known public stereo camera datasets KITTI (autonomous car driving) and EuRoC (drone flight). The next step is to install a LIDAR stereo camera system on our own novel robotic platform, the OmniMover. We use the Robot Operating System (ROS).

The lab project is divided into the following working packages:

  • Assess our existing Kinect sensors regarding their connectivity
  • Access the Kinects from PC to adjust their properties and receive images
  • Feed the RGBD images to our directional SLAM framework
  • Include additional sensors: LIDAR and/or IMU
  • Sensor synchronization
  • Make an evaluation with the whole setup on the OmniMover

 

KITTI_LIDAR
Lidar reading from KITTI dataset

Projekt 3

Indoor Localization Using Geomagnetic Field

Introduction

Geomagnetic field exhibits unique signatures due to perturbations in an indoor environment. These signatures can be harvested for indoor SLAM applications. The localization part of SLAM can be achieved using cross-correlation. The signatures obtained from a moving robot is compared with a prior recorded map and thereby an approximate location is observed.

Work Description:

At ISAS, we have developed an Omnimover-Robot for indoor-SLAM applications. The Omnimover-Robot is used for both magnetic map generation and navigation purposes. Initially a dense magnetic map of an indoor environment is recorded. With the assistance from pre-recorded dense map, the Omnimover navigates in the indoor environment and makes multiple measurements of geomagnetic field. For navigation purposes, Omnimover uses constant velocity motion models.  The measurement equation or state observer is implemented using nonlinear cross-correlation function. The position information from state space model and nonlinear measurement equation are fused using nonlinear stochastic filters such as Unscented Kalman Filter (UKF), Particle Filter (PF) etc.

Tasks

  • Generate a dense magnetic map of an indoor environment (Results from previous semestes can be reused)
  • Select a state-space system model for Omnimover for example, constant velocity motion model
  • Implement nonlinear measurement equations using cross-correlation
  • Apply nonlinear stochastic filters such as UKF and PF for the localization of Omnimover

 

Student can make use of MATLAB nonlinear estimation toolbox

GP_Magnetic_Map_SLAM App Developer Magazine
Geomagnetic Field Map of an Indoor Location

Projekt 4

Online Gaussian Processes for Geomagnetic Fields

Introduction

Earth is encompassed by a geomagnetic field, which has been used for navigation with the help of magnetic compass. Due to man-made structures, geomagnetic field is perturbed resulting in the changes of its intensity and direction. However, these perturbations are location-specific and can be harvested for simultaneous localization and mapping (SLAM) applications.  For SLAM applications, ​creation of a magnetic map for an indoor location is necessary.  There are different approaches to create this magnetic map and in this project, Gaussian processes are applied.

 

Work Description

During last semester a platform for magnetic field measurements was set up. We use a low cost passive magnetic sensor for the measurements of the magnetic field.  The position of the platform is determined using a 2D LiDAR. In this project a map of the magnetic field in an indoor environment should be created applying an Online Gaussian Process. In the Online Gaussian Process, you start with a set of training data and incorporate new training data in an efficient way.

calculated.

Tasks

  • Record a map of an indoor environment (Implementations from previous semester can be reused)
  • Apply an Online Gaussian Process
  • Optimize properties of the online Gaussian Process
  • Find a minimum set of measurements to reach a sufficient certainty in the map
Beispielaufbau. DLR
Projection of Geomagnetic Field

Projekt 5

Omnimover Navigation Using a Hololens

Introduction

The ISAS chair has been building a robotic platform called "Omnimover", capable of moving in any direction and rotating while carrying a load. The next objective is to develop a navigation module to lead the Omnimover to a given position, while also avoiding obstacles on the way. This involves four challenges: 1) developing an interface that allows the user to set a target, 2) finding where the platform is, 3) finding which obstacles are on the way, and 4) establishing a sequence of commands (forward, rotate, and so on) to reach the target. Several sensors are provided to solve this task, including color cameras, depth sensors, a Microsoft Hololens, and HTC Vive trackers.

Tasks

  • Implement a mechanism to localize Aruco markers using camera data (for example, a Hololens).
  • Localize the Omnimover using an Aruco or a HTC Vive tracker.
  • Develop a GUI using the Hololens to set a target and follow the Omnimover.
  • Find obstacles, using the Hololens depth sensor or auxiliary Aruco markers.
  • Create a path to the target that avoids the obstacles.
  • Send the corresponding commands to the Omnimover.
Example of Direct Sparse Odometry (DSO) ISAS
Omnimover

Projekt 6

Object Recognition Using Deep Learning and Machine Learning Methods

Introduction

In co-operation with PFW Aerospace and in the framework of Industry 4.0, automation of warehouse tools and component parts are explored. In this context, 3D object recognition and classification methods for component parts are being developed. There are different approaches present for recognition and classification of 3D objects. The classical approach has been pattern matching. The recent advances in the field of machine learning and deep learning have enabled their widespread application. In this industry co-operation project, we will apply state-of-the-art deep learning and machine learning techniques to recognize and classify 3D objects using high-resolution and high-quality 2D images. The specific 3D objects to be recognized in this project are non-regular pipes that have maximum diameter of 10 cm.

Tasks

  • Capture high-quality and high-resolution 2D images of irregular pipes
  • Literature survey about building a Deep Neural Network (DNN) model for 3D object recognition
  • Build from the scratch a DNN model. The DNN model should define the number of convolution (CNN) layers, the number of pooling layers, and the output layer
  • Train DNN model to recognize the pipes. This will be a supervised learning method
  • Test the model for different types of pipes

 
Note: For building a DNN model, AlexNet can be used as a reference.

An example of a Deep Learning Model https://github.com/timzhang642/3D-Machine-Learning
Example for a Deep Neural Network Model

Projekt 7

Pattern Projection on Non-Planar Surface Using Laser Scanners

Introduction

In the context of Industry 4.0 framework, automation of warehouse tools and component parts are explored. The automation includes steps such as process planning, 3D object recognition, assistance in marking and/or labelling of the component parts etc. In the industry environment, the recognized component parts such as pipes should be marked with a pre-defined label. This project deals with the marking and labelling using either 2-axis/3-axis laser scanners or digital light processing (DLP) projectors.

Labelling and marking is achieved by projecting a known pattern of light on the component part. The worker in the Industry follows the pattern and labels accordingly. The pattern projection is straight-forward on a 2D planar surface. This can be achieved using either DLP projectors or two-axis laser scanners. For non-planar 2D surfaces, the pattern projection is a more complicated phenomena and it involves the knowledge of Geometry and projection concepts. For the projection on non-planar surface, three-axis laser scanners are required.

Tasks

  • Literature survey about the laser scanners and digital light processing (DLP) projectors
  • Literature survey about the projection of patterns on  2D planar surfaces and manifolds
  • Selection of a suitable two-axis/three-axis laser scanner or a DLP projector
  • Setup a workstation for the projection of patterns on 3D component parts
  • Project a pre-defined patterns on pipes and make an assessment of the quality of projection

 

Indoor Geomagnetic field-based SLAM Z-laser, FARO laser, www.damow.net
Laser Pattern Projection Example

Projekt 8

Precise Localization of Omnimover using Tachymeter

Introduction

As part of a cooperation project with the Geodetic Institute Karlsruhe, an autonomous robot system for the measurement of ground elevation profiles is being developed. This requires a precise tracking of the robot, with accuracies in the millimeter to submillimeter range to be achieved. With conventional sensors for robot localization, these requirements cannot be met. Therefore, geodetic measuring instruments, so-called electronic Tachymeters, should be used. Based on these measurement systems, adapted methods for sensor data fusion as well as path planning are developed. In particular, the robot system should be able to approach a grid of points in space precisely where the height profile is to be measured. The high accuracy and sampling rate of the instrument requires the development of advanced real-time tracking and control algorithms and allows new insights in the area of ​​localization.

Tasks

The lab project is divided into the following working packages:

  • Construction of the robot platform or adapting the existing OmniMover robot from ISAS lab for this purpose
  • Setup of a precise measurement system using Tachymeter
  • Development of tracking methods and path planning algorithms for the measurement of height profile
  • Performance of experiments and evaluations

 

Diese Arbeit wird gemeinsam mit dem Geodätisches Institut Karlsruhe (GIK) betreut.

Kameras KIT, Karlsruhe
Tachymeter Setup Example

Projekt 9

Graph-Optimization Algorithms for Real-Time Multitarget Tracking

Einleitung

Bei sogenannten optischen Bandsortieranlagen werden Teilchen auf Basis visueller Eigenschaften klassifiziert. Bei der Anlage, so wie sie vom Fraunhofer IOSB lizenziert wird, werden durch richtiges Timing und gezieltes Aktivieren von Druckluftdüsen eine Klasse der Teilchen „ausgeblasen“, um so die beiden Klassen voneinander zu trennen. Aufgrund von Verzögerungen ist es aber nicht möglich, die Klassifikation und das Ausblasen gleichzeitig zu vollziehen. Deshalb muss die Position der Teilchen nach ihrer Klassifikation prädiziert (vorhergesagt) werden.

 Um akkurate Prädiktionen zu ermöglichen, haben wir kürzlich vorgeschlagen, die Teilchen auf dem Band mit einer Flächenkamera zu beobachten. Mittels sogenannter Multitarget-Tracking-Verfahren kann das Bewegungsverhalten aller Partikel erkannt und für die Prädiktion genutzt werden. Eine zentrale Herausforderung im Multitarget-Tracking stellt der Schritt da, bei dem die Beobachtungen aus unterschiedlichen Bildern den jeweiligen Schüttgutteilchen zugewiesen werden. Dieses Problem kann als ein Linear Assignment Problem gesehen werden, für welches Löser in O(N^3) existieren. Bei großen Anzahlen von Partikeln kann die Laufzeit der Algorithmen dazu führen, dass nicht die komplette Framerate der Kamera genutzt werden kann.

 

Aufgabenstellung

Linear Assignment Problems sind nahe verwandt mit Matching-Problemen für Bipartite Graphen. Für solche Probleme wurden am Institut für theoretische Informatik (ITI) des KITs Algorithmen entworfen, die eine approximative Lösung in deutlich geringerer Laufzeit ermöglichen. Im Rahmen dieses Praktikums sollen bestehende Algorithmen des ITI in C++ in das Tracking-Framework des ISAS, vorliegend in Matlab, integriert werden. Zur Integration kann das mex-Framework von Matlab verwendet werden. Nachdem die Integration der Algorithmen erfolgt ist, soll der Einfluss der approximativen Lösung auf die Ergebnisse des Trackings untersucht werden. Somit soll ermittelt werden, ob durch die approximativen Algorithmen höhere Frameraten genutzt werden können, ohne dass daraus signifikante Einbußen beim Tracking resultieren.

 

Diese Arbeit wird gemeinsam mit dem Lehrstuhl von Peter Sanders am ITI betreut.

 

Schematische Darstellung einer Bandsortieranlage mit installierter Flächenkamer
project9_bild

Projekt 10

Indoor-Localization using UWB

Introduction

Indoor-Localization is a critical task in many applications, such as robotics or tracking and requires often more precision than outdoor applications. Recently, localization technologies based on Ultra-wideband (UWB) became more widely available. Especially in industrial applications, the usage of UWB-localization is preferred, since the emitted signal strength is relatively low and it shows better performance compared to other methods.

The position is estimated by using Time of Flight between the Anchors and the Tags.  The measurement is transmitted to a server and usually filtered by a Kalman filter to reduce uncertainty and noise. Although UWB-based localization is relatively precise, the method can be further enhanced using additional sensor data, such as an inertial measurement unit (IMU).

In this Praktikum, an Indoor-localization using UWB should be developed. The precision of the implemented position algorithm should be further enhanced by using an IMU. Afterwards the achieved precision should be tested.

 Tasks

  • Implement a filtering algorithm based on Time-difference of Arrival
  • Implement an improved localization algorithm using an IMU
  • Investigate the position error of the implemented algorithm using a global reference system (e.g. the HTC Vive)
Indoor-Localization using UWB
Indoor-Localization using UWB

Projekt 11

LiDAR-based Extended Object Tracking and Segmentation

Introduction

Extended object tracking (EoT) denotes the technique of simultaneous object tracking and shape  estimation. It plays a fundamental role in application scenarios such as autonomous driving, object recognation as well as scene perception and understanding. The light detection and ranging (LiDAR) sensor provides 360 degree field of view and more accurate and robust preception compared to cameras. Moreover, performing EoT in a distributed way in a network topology can provide better estimation result.

 In this project, a LiDAR-based EoT system will be developed and evaluated for moving object recognition and segmentation. More specifically, the projected is divided into the following working packages:

 Tasks

  • Guided literature review for extended object tracking and distributed estimation.
  • Development of an EoT module using RPLiDAR and Raspberry Pi
  • Extension of the single EoT module into a distributed framework of LiDAR network 
  • Experiment of the system for moving object recognition and segmentation.
ARCore A2 ARCore
ARCORE A2

Projekt 12

Test Setup for Temperature Distribution Estimation

Introduction

In the future, semi-autonomous robots will be used for decontamination in contaminated, hazardous environments. The knowledge of the location-dependent pollutant distribution is crucial in order to be able to completely remove the toxic substances, on the one hand, and to minimize the expensive disposal of unpolluted material, on the other hand. The measurement of the local pollutant concentration is very complex and can only be carried out in a few places. Therefore, it is crucial to obtain a lot of information from a few measurements and to select the measuring points in such a way that the information content is maximized and the uncertainty about the pollutant distribution is minimized. For the reconstruction of the pollutant distribution mathematical models of physical processes are used, which are mostly based on partial differential equations (PDE).

Heat conduction can also be described by a partial differential equation, so that methods for estimating pollutant distributions can be tested and evaluated on the basis of temperature distribution in a medium.

 Tasks

In this internship, a test setup for distributed temperature measurement in a solid medium is to be developed and set up, as well as a visualization of the temperature curves.

  • Design and construction of a test setup
  • Planning and implementation of a sensor network for distributed temperature measurement unsing Arduino, OneWire Bus, RaspberryPi, …
  • Developement of an interface to connect the test setup to a computer
  • Visualization of the measurement data and simple reconstruction of the temperature distribution
Temperature Distribution Estimation ISAS KIT
Temperature Distribution Estimation

Weitere Informationen zum Praktikum

Anrechenbarkeit

Vertiefungsgebiete

  • Theoretische Grundlagen

  • Robotik und Automation

  • Anthropomatik und Kognitive Systeme

Master- und Bachelorstudiengang

Die erbrachte Leistung wird mit 8 LP angerechnet.

Seminar zum Praktikum

Optional kann im Rahmen des Praktikums zusätzlich ein Seminarschein erworben werden.

Hierzu muss vertiefend zu dem bearbeiteten Praktikumsprojekt

  • ein eigenständiger Vortrag gehalten werden und
  • eine Seminar-Ausarbeitung erstellt werden.

Das Thema ist individuell mit dem betreuenden Mitarbeiter abzusprechen. Eine Teilnahme an diesem speziellen Seminar ist nur in Kombination mit dem Praktikum möglich. Am ISAS wird aber noch ein reguläres Seminar angeboten.

Termin und Ort

Die Einführungsveranstaltung findet am Freitag, 26.04.2019 um 14:00 Uhr in Raum 148, Gebäude 50.20 statt.

Weitere Termine:

  • Projektvorstellung: Fr. 03.05.2019 14:00 Uhr in Raum 148, Gebäude 50.20
  • Zwischenpräsentation: Fr. 14.06.2019 14:00 Uhr in Raum 148, Gebäude 50.20
  • Endpräsentation: Fr. 26.07.2019 14:00 Uhr in Raum 148, Gebäude 50.20


Anmeldung

  • Die Anmeldung erfolgt per E-mail an Ajit Basarur. Für die Anmeldung sind folgende Informationen erforderlich:
    • Name, Vorname
    • E-Mail-Adresse
    • Matrikelnummer
    • Studiengang und Typ (Bachelor/Master)
    • Semester
    • gewünschtes Projekt
  • Jeder Student wählt bei der Anmeldung in einer Liste sein Wunschthema aus. Sollten alle Themen vergeben sein, gibt es für jedes Projekt Nachrückplätze.
  • Bei der Einführungsveranstaltung wird der Ablauf des Praktikums erläutert. Es müssen alle angemeldeten Studenten anwesend sein. Die Projekte, die nicht vergeben wurden, werden an diesem Termin nicht angemeldeten Studenten angeboten.

Koordination:

Vorlagen für Vorträge und Ausarbeitung

  • Folienvorlage für die 1. Präsentation.
  • Folienvorlage für die 2. Präsentation.
  • LaTeX-Vorlage für die Ausarbeitung.

Weitere Informationen zum Praktikum

Ziel des Forschungsprojekts

Im Praktikum Forschungsprojekt: Anthropomatik praktisch erfahren kann man zusammen mit anderen Studierenden im Team Soft- und/oder Hardware zu aktuellen und spannenden Forschungsthemen des Lehrstuhls erstellen. Dabei werden theoretische Verfahren auf reale Systeme übertragen und somit ein wichtiger Beitrag zur Forschung geleistet.

Zur Verfügung stehende Hilfsmittel für die Umsetzung des Projekts

Für Hardwareprojekte stehen unsere gut ausgestatteten Werkstätten zur Verfügung. Zusammen mit unseren technischen Mitarbeitern können dort mechanische Komponenten sowie elektronische Schaltungen aufgebaut werden. Hierfür steht unter anderem eine moderne Leiterplattenfräse, ein 3D-Drucker sowie ein SMD-Arbeitsplatz zur Verfügung.

Zur Erstellung von Software stehen unsere Poolrechner sowie Server mit den benötigten Werkzeugen und Compilern zur Verfügung. Die Programmiersprachen variieren je nach Projekt.

In jedem Fall stehen die motivierten Mitarbeiter, die das jeweilige Projekt betreuen, mit Rat und Tat zur Seite.

Ablauf des Forschungsprojekts

Bei der Einführungsveranstaltung stellen die Betreuer Details zu den Projekten vor. Vorangemeldete Studenten können vorab ihr Projekt schon auswählen. Sind noch Plätze frei, können auch noch nicht-vorangemeldete Studenten nachrücken.

In der darauffolgenden Woche erstellt das so gebildete Team gemeinsam einen Projektplan, in dem das Vorgehen und der zeitliche Ablauf dargestellt ist. In dem Projektplan werden neben den notwendigen Zwischenschritten auch die verschiedenen Meilensteine definiert und eine Zeiteinteilung vorgenommen. Der Projektplan wird bei einem zweiten Treffen (Erstpräsentation) präsentiert.

Dann geht es an die Lösung der Aufgabe. In der Mitte des Semesters findet eine Zwischenpräsentation statt, bei der das Team seine Zwischenergebnisse präsentiert. Am Ende des Semesters gibt es eine Endpräsentation. Bei den Präsentationen gibt es Feedback und Tipps zum weiteren Vorgehen. Zur Abrundung des Projektes wird eine schriftliche Ausarbeitung erstellt.

Anforderungen

  • Einarbeitung in die gegebene Problemstellung und Entwicklung von Lösungsstrategien im Team.
  • Für die erfolgreiche Bearbeitung der spannenden Forschungsthemen muss man ca. 9-12h pro Woche einplanen.
  • Im Rahmen des Praktikums werden zwei Kurzvorträge und eine Posterpräsentation gehalten.
  • Am Ende des Semesters
    • sollte die Projektaufgabe vollständig gelöst sein,
    • muss die gewählte Lösungsstrategie in einer Ausarbeitung dokumentiert werden.

Auszeichnung des Praktikums

Das Praktikum wurde im Wintersemester 2005/2006, im Sommersemester 2007 und im Wintersemester 2009/2010 als bestbeurteiltes Praktikum ausgezeichnet.