Das Projekt- und Medienarchiv der HdM

Endslate.AI - AI-based Audio Video Sync

Endslate.AI ist ein im Rahmen einer Masterarbeit und der Förderung des Startup-Centers der HdM entstandenes Innovationsprojekt, das sich mit Workflow-Vereinfachungen im Filmschnittprozess beschäftigt. Dabei handelt es sich um KI-basierte Audio-/ Videosynchronisation anhand von Filmklappen.
Loading the player...

Beschreibung

Endslate.AI ist ein im Rahmen einer Masterarbeit und der Förderung des Startup-Centers der HdM entstandenes Innovationsprojekt, das sich mit
Workflow-Vereinfachungen im Filmschnittprozess beschäftigt. Dabei handelt es sich um KI-basierte
Audio-/ Videosynchronisation anhand von Filmklappen.



Aktuell gibt es drei verschiedene Workflows für die Synchronisation von separat aufgenommenen Bild- und Tondaten: das händische Anlegen der
Clips aneinander (sehr zeitintensiv), die automatisierte Synchronisation via Tonspuren (nicht zuverlässig, man benötigt ein Mikrofon an der
Kamera) und die automatisierte Synchronisation via Timecode (nicht zuverlässig, setzt spezialisierte Hardware am Set voraus, um die sich
intensiv gekümmert werden muss).



Endslate.AI umgeht jegliche Unannehmlichkeiten dieser Workflows, indem die Filmklappe als analoge Quelle
für alle zur Synchronisation notwendigen Daten mit Hilfe einer künstlichen Intelligenz ausgewertet wird. Konkret wird das Bildmaterial nach
Filmklappen durchsucht, um Metadaten wie Szene und Take zu erkennen. Das Audiomaterial wird nach denselben Informationen durchsucht, sodass eine Zuordnung von Bild- und Tondateien zueinander möglich ist. Durch die visuelle und auditive Erkennung
des Klappenschlages ist eine Synchronisierung ohne zusätzliche Hardware möglich.

Externe Links




Projektart

Projektarbeit

Semester

SS2020

Beteiligte Studiengänge

Computer Science and Media (Master)

Team
Daniel Bruckner, Johannes Horn, Matvey Fridman (Endslate.AI), Christian Hofmann (Endslate.AI)
Betreuer
Matvey Fridman, Christian Hofmann, Johannes Maucher
Ansprechpartner

Daniel Bruckner

danielbruckner@t-online.de

http://www.endslate.ai/

Software

Adobe Premiere Pro

TensorFlow

PlaidML

Jupyter Notebook

PyInstaller

Supervisely

Programmierung

Javascript

Python

HTML

CSS