Institute for Applied Artificial Intelligence
Kurzbeschreibung
Das Institut für Angewandte Künstliche Intelligenz ist bestrebt, KI in die Anwendung zu bringen und so die Lücke zwischen Forschung einerseits und Unternehmen und Gesellschaft andererseits zu schließen. Indem das IAAI den Überblick über aktuelle KI Entwicklungen behält, aktuelle Forschungsergebnisse bewertet und ihr Potenzial für Unternehmensanwendungen versteht, trägt es dazu bei, KI als Schlüsseltechnologie der Zukunft zu etablieren.
URL
Forschungsprojekt/ Forschungsthema 2
Transformer-basiertes Entscheidungslernen für Management-Prozesse
Beschreibung
Ausgangspunkt
Der Decision Transformer (DT) stellt einen neuartigen Ansatz im Reinforcement Learning (RL) dar, der auf der Transformer-Architektur basiert. Im Unterschied zu traditionellen RL-Methoden, die direkt auf die Maximierung von Belohnungen abzielen, formuliert der DT das Lernproblem als sequentielle Modellierungsaufgabe: Das Modell erhält als Eingabe einen Zielwert für den Return-to-Go und lernt, welche Abfolgen von Aktionen in der Vergangenheit zu ähnlichen Ergebnissen geführt haben (Chen et al., 2021). Diese Herangehensweise erlaubt es, insbesondere in Szenarien mit spärlichen Belohnungen und langfristigen Abhängigkeiten leistungsfähige Strategien zu erlernen (Chen et al., 2021).
Ziele und mögliches Vorgehen
Ziel des Projekts ist es zu untersuchen, ob sich sequenzbasierte Entscheidungsmodelle wie der Decision Transformer erfolgreich auf nicht-technische, praxisnahe Entscheidungsprozesse übertragen lassen. Im Zentrum steht die Frage, ob solche Modelle in der Lage sind, aus historischen Entscheidungsfolgen zielgerichtete Handlungsvorschläge abzuleiten.
Zu diesem Zweck soll ein experimentelles System entwickelt werden, das Entscheidungsverläufe in einer simulierten Umgebung abbildet. Auf Basis der simulierten Abläufe sollen strukturierte Entscheidungsdaten erzeugt werden, die sich für das Training eines Decision Transformers eignen. Anschließend soll getestet werden, ob das Modell auf Basis neuer Ausgangssituationen passende Aktionsstrategien vorschlagen kann.
Projektstatus
Die Studierenden im Master of Media Research würden ein experimentelles Setup entwerfen, um den Decision Transformer auf einen neuen Anwendungsbereich (Management) zu übertragen. Es handelt sich um ein exploratives Projekt ohne direkte Vorarbeiten.
Mögliche Forschungsfragen:
- Lässt sich der Decision Transformer auf Managementprozesse übertragen?
- Wie muss eine Simulationsumgebung gestaltet sein, um aussagekräftige Trainingsdaten für sequenzielles Entscheidungslernen zu generieren?
- Wie unterscheidet sich die Performance des Decision Transformers je nach Datenqualität (z. B. Noise, unvollständige Sequenzen)?
- Welche Rolle spielt die Wahl des Return-to-Go bei der Steuerung der Handlungsempfehlungen?
- Wie interpretierbar und transparent sind vom DT vorgeschlagene Aktionssequenzen in einem Managementkontext?
Name und Kontaktdaten
Prof. Dr. David Klotz, klotzd@hdm-stuttgart.de
Fachrichtung, Studiengänge
Informatik / Angewandte Informatik, Medieninformatik, Wirtschaftsinformatik, Mobile Medien
Notwendiges Vorwissen
Programmierkenntnisse in Python, Grundlagen maschinellen Lernens insb. Reinforcement learning
Weitere interessante Informationen / Links
Chen, L., Lu, K., Rajeswaran, A., Lee, K., Grover, A., Laskin, M., Abbeel, P., Srinivas, A., & Mordatch, I. (2021). Decision Transformer: Reinforcement Learning via Sequence Modeling. Advances in Neural Information Processing Systems, 34, 15084–15097.
https://proceedings.neurips.ccpaper/2021hash/7f489f642a0ddb10272b5c31057f0663-Abstract.html