Das Projekt- und Medienarchiv der HdM

Beschreibung

Ziel des Projekts ist der Aufbau einer modularen Toolchain zur Aufbereitung, Indexierung und Abfrage technischer Dokumentationen in einem multimodalen RAG-Setup. Dabei werden strukturierte und unstrukturierte Datenquellen wie PDFs mit technischen Zeichnungen, Textbeschreibungen oder Diagrammen verarbeitet. Die Pipeline beinhaltet Schritte zur Extraktion, Chunking, semantischen Anreicherung sowie Vektorisierung der Inhalte, die anschließend in einer Vektor-Datenbank gespeichert werden.

Besonderes Augenmerk liegt auf der Handhabung multimodaler Inhalte: Texte und Bilder sollen gleichermaßen zur Beantwortung von Anfragen herangezogen werden. Die Lösung erlaubt es, ein Large Language Model (LLM) über eine Retrieval-Komponente gezielt mit kontextuell relevanten Ausschnitten aus den ursprünglichen Spezifikationen zu versorgen. Dadurch können auch komplexe, technische Fragestellungen mit höherer Genauigkeit beantwortet werden als bei herkömmlichen LLM-Anwendungen.