Diese Website verwendet nur technisch notwendige Cookies. In der Datenschutzerklärung können Sie mehr dazu erfahren.

Zum Hauptinhalt springen
Logo, Startseite der Hochschule der Medien

Internationales Projekt

Virtual-Reality-App zum Verstehen von Sensoren

Im Rahmen des interdisziplinären Projekts "Immersive Media for Robotics" konzipiert ein studentisches Projektteam der Hochschule der Medien (HdM) gemeinsam mit Studierenden der Oregon State University (OSU) eine spezielle Virtual-Reality-App, die im Bereich der Robotik einen Mehrwert schaffen soll. Dabei sollen die Nutzer für die Bildverarbeitung von Sensoren (z. B. Näherungsschalter, Radar, Tiefenkamera) und zugehörige Sachverhalte sensibilisiert werden und ein Verständnis dafür entwickeln. Die Funktionsweise und insbesondere die Einschränkungen solcher Sensoren werden visuell in einem dreidimensionalen Virtual-Reality-Umfeld veranschaulicht.

Das studentische Projektteam der HdM entwickelt die Virtual-Reality-App in Zusammenarbeit mit Studierenden der OSU. (Foto: Chris Becerra)
Das studentische Projektteam der HdM entwickelt die Virtual-Reality-App in Zusammenarbeit mit Studierenden der OSU. (Foto: Chris Becerra)
Zu Beginn des Wintersemesters 2019/2020 starteten neun Studierende aus den Studiengängen Informationsdesign, Online-Medien-Management sowie Wirtschaftsinformatik und digitale Medien mit Dr. Kresimir Vidackovic, Professor im Studiengang Online-Medien-Management, der das Projekt betreut, zu einer Summer School nach Oregon. Der Besuch an der Oregon State University  markiert die Kick-off-Phase des interdisziplinären Projekts.

Problematiken von Sensoren

In Oregon angekommen, lernten die HdM-Studierenden ihre US-amerikanischen Kommilitonen der OSU aus den Studiengängen Computer Science und New Media Communicatons kennen, die gemeinsam mit ihnen das Projekt umsetzen. Die HdM-Studierenden bekamen vom Collaborative Robotics and Intelligent Systems (CoRIS) Institute der OSU Informationen zu Sensoren und deren Verwendung in Robotern. Dabei wurde dem Projektteam schnell die Problematik, die mit Sensoren verbunden ist, klar: Sensoren können beispielsweise Menschen nicht als solche erkennen, sondern lediglich anhand von Mustern vorgegebene Objekte registrieren bzw. daraus folgende Annahmen treffen. Umwelteinflüsse, wie etwa Reflektionen verursacht durch Lichteinstrahlung, schränken zusätzlich deren Genauigkeit ein. Basierend auf der Funktionsweise der Sensoren und der zugehörigen Signalverarbeitung wurde dem Projektteam das Thema Machine Learning (ML) als Teilgebiet von Künstlicher Intelligenz (KI) nähergebracht und eine kritische Auseinandersetzung damit angeregt.

Projektvorstellung auf der MediaNight

So sieht der Nutzer seine Umgebung durch die VR-Brille.
So sieht der Nutzer seine Umgebung durch die VR-Brille.
In mehreren Brainstormings folgten anschließend erste Ideen für mögliche Anwendungen - alle mit einer Gemeinsamkeit: der Nutzer soll auf spielerische Art und Weise sein Umfeld erkunden. Die Konzeptideen der einzelnen Teams wurden dann im Laufe des Wintersemesters 2019/2020 verfeinert und sollen zum Ende des Sommersemesters 2020 zu einer funktionsfähigen Virtual-Reality-Applikation umgesetzt werden. Die ersten Ergebnisse des Projekts wurden bei der MediaNight des Wintersemesters präsentiert: Eine Virtual-Reality-Anwendung, in der der Nutzer die Funktionsweise der Sensoren von Robotern kennenlernt, indem er diese zunächst in einer virtuellen Werkstatt ausprobieren und ihre Stärken und Schwächen in Erfahrung bringen kann.

Spielerisch ans Thema heranführen

Die Darstellung der Sensoren in der App.
Die Darstellung der Sensoren in der App.
In einem Shop kann der Nutzer auch verschiedene Sensoren erwerben, z.B. Radar, Lidar, Sonar oder einen Kamerasensor, und seinen Roboter mit diesen ausstatten. Anschließend schlüpft er in die Rolle des Roboters und muss in verschiedenen Levels Aufgaben im Rahmen von Minigames mit Hilfe dieser Sensoren erledigen: Darunter einen Parcours bewältigen, ohne diesen mit seinen eigenen Augen zu sehen, sondern nur durch Nutzung eines gewählten Sensors. In weiteren Minigames müssen Objekte gefunden und korrekt kombiniert werden oder fliegenden Objekten ausgewichen werden. Da der Nutzer alle verfügbaren Sensoren zur Bewältigung der Aufgaben wählen kann, erlernt er die Funktionsweise der Sensoren im praktischen Einsatz. Somit besitzt die Anwendung zwar einen spielerischen Charakter, hat aber einen Nutzen im seriösen Kontext, da politische Entscheider im Bereich autonome Fahrzeuge und Roboter beispielsweise die Entscheidung über den vorgeschriebenen Einsatz von Sensoren auf diese Weise fundierter herleiten können.

Für das Sommersemester 2020 ist ein Besuch der Studierenden der OSU an der HdM geplant, um hier mit ihren deutschen Kommilitonen an dem interdisziplinären Projekt zu arbeiten.

 

(c) Startseitenfoto: Chris Becerra

VERÖFFENTLICHT AM

09. März 2020

KONTAKT

Prof. Dr.-Ing. Kresimir Vidackovic

Professor

Online-Medien-Management

Telefon: 0711 8923-3179

E-Mail: vidackovic@hdm-stuttgart.de

ARCHIV

Studium
WAS DENKEN SIE DARÜBER?