Endslate.AI ist ein im Rahmen einer Masterarbeit und der Förderung des Startup-Centers der HdM entstandenes Innovationsprojekt, das sich mit
Workflow-Vereinfachungen im Filmschnittprozess beschäftigt. Dabei handelt es sich um KI-basierte
Audio-/ Videosynchronisation anhand von Filmklappen.
Aktuell gibt es drei verschiedene Workflows für die Synchronisation von separat aufgenommenen Bild- und Tondaten: das händische Anlegen der
Clips aneinander (sehr zeitintensiv), die automatisierte Synchronisation via Tonspuren (nicht zuverlässig, man benötigt ein Mikrofon an der
Kamera) und die automatisierte Synchronisation via Timecode (nicht zuverlässig, setzt spezialisierte Hardware am Set voraus, um die sich
intensiv gekümmert werden muss).
Endslate.AI umgeht jegliche Unannehmlichkeiten dieser Workflows, indem die Filmklappe als analoge Quelle
für alle zur Synchronisation notwendigen Daten mit Hilfe einer künstlichen Intelligenz ausgewertet wird. Konkret wird das Bildmaterial nach
Filmklappen durchsucht, um Metadaten wie Szene und Take zu erkennen. Das Audiomaterial wird nach denselben Informationen durchsucht, sodass eine Zuordnung von Bild- und Tondateien zueinander möglich ist. Durch die visuelle und auditive Erkennung
des Klappenschlages ist eine Synchronisierung ohne zusätzliche Hardware möglich.
Projektarbeit
SS2020
Computer Science and Media (Master)
Team |
Daniel Bruckner, Johannes Horn, Matvey Fridman (Endslate.AI), Christian Hofmann (Endslate.AI) |
Betreuer |
Matvey Fridman, Christian Hofmann, Johannes Maucher |
Adobe Premiere Pro
TensorFlow
PlaidML
Jupyter Notebook
PyInstaller
Supervisely
Javascript
Python
HTML
CSS