Flawless

Die audiovisuelle Trennung durchbrechen: Wie Flawless mit TrueSync die Regeln der mehrsprachigen Synchronisation neu schreibt

Im Zuge des großen Trends zur globalen Distribution von Film und Fernsehen besteht ein seit langem bestehendes Problem für die Branche: Wenn ein hochwertig produzierter Film oder eine Serie in eine Fremdsprache synchronisiert wird, bleiben die Lippenbewegungen der Schauspieler auf der Leinwand weiterhin an der Mundform der Originalsprache haften. Diese „Diskrepanz zwischen Ton und Bild" wird vom Publikum zwar stillschweigend akzeptiert, untergräbt jedoch unablässig das immersive Erlebnis. Die von Flawless eingeführte TrueSync-Technologie zielt genau auf dieses branchenweite Problem ab und versucht, die audiovisuelle Trennung bei synchronisierten Filmen mithilfe von generativer KI endgültig zu beseitigen.

Kernvorteil: Der qualitative Sprung von der „Lippensynchronisation" zur „Lippen-Neuformung"

Die Kernkompetenz von Flawless entspringt seiner eigens entwickelten TrueSync-Deep-Learning-Engine. Dabei handelt es sich nicht um eine einfache, texturartige Manipulation der Mundpartie, sondern um eine bildgenaue Neuzeichnung der Gesichtsbewegungen des Schauspielers mittels dreidimensionaler Gesichtsmodellierung und Licht-Rekonstruktion. Das Revolutionäre an dieser Technologie besteht darin, dass sie die Mikroexpressionen, die Hauttextur und das Zusammenspiel von Licht und Schatten der ursprünglichen Darbietung vollständig bewahrt und lediglich die Lippenform, den Unterkiefer sowie die daran gekoppelten Muskelgruppen an die Ausspracheregeln der Zielsprache anpasst.

Das bedeutet, dass koreanische Dialogzeilen nicht mehr mit der Mundform der koreanischen Originalstimme unterlegt werden, sondern mit einer durch präzises Phonem-Mapping auf natürliche Weise erzeugten Abfolge von spanischen, japanischen oder sogar arabischen Lippenformen. Das Endergebnis erreicht eine filmreife Genauigkeit und verabschiedet sich endgültig von dem störenden Gefühl herkömmlicher Synchronisationen, bei denen „der Ton bereits endet, die Lippen sich aber noch bewegen". Die visuelle Glaubwürdigkeit synchronisierter Filme erreicht damit erstmals das Niveau von nativem Filmmaterial.

Zielgruppe: Ein universelles Werkzeug – vom Hollywood-Blockbuster bis zum einzelnen Content Creator

Die hohe Präzision von Flawless macht die Technologie zur natürlichen Wahl für professionelle Szenarien mit strengen visuellen Anforderungen:

• Streaming-Plattformen und Distributoren: Inhaltsanbieter wie Netflix und Disney+ können die mehrsprachige Lokalisierung von Serien im Stapelbetrieb durchführen, wodurch kostspielige Neuaufnahmen entfallen und gleichzeitig ein barrierefreies Seherlebnis ohne störende Untertitel ermöglicht wird.
• Filmstudios und Postproduktionshäuser: Einsatz bei der Synchronisation von Blockbustern in weniger verbreitete Sprachen im Rahmen globaler Marketingkampagnen, als Echtzeit-Referenz für Schauspieler bereits in der Drehphase oder sogar zur Korrektur von Mundform-Fehlern bei am Set aufgenommenem Ton.
• Spieleentwicklung und virtuelle Produktion: Ermöglicht die Echtzeit-Erzeugung mehrsprachiger Lippenbewegungen für CGI-Charaktere, virtuelle Idols oder Videospiel-Zwischensequenzen und verkürzt den manuellen Abstimmungszyklus bei der Lokalisierung drastisch.
• Social-Media-Creators und Bildungsinhalte-Produzenten: Durch einen vereinfachten Workflow kann selbst eine einzelne Person ihre Videoinhalte in hoher Qualität in mehrere Sprachen übersetzen, um ein breiteres internationales Publikum zu erreichen – und das ohne Abstriche beim Gesichtsrealismus.

Nutzererfahrung: Geringere fachliche Hürden bei unverändert kompromissloser Präzision

Beim Betreten der Benutzeroberfläche von Flawless fällt sofort das tiefe Verständnis für die Postproduktions-Pipeline der Filmbranche auf. Das System unterstützt den Import gängiger Videoformate und Schnittprojektdateien, sodass der bestehende Arbeitsablauf nicht unterbrochen werden muss. Während des Verarbeitungsprozesses erkennt die KI automatisch die Sprecher und extrahiert die Gesichtsmerkmale. Der Anwender muss lediglich die Zielsprache angeben, und das System erstellt in kurzer Zeit eine Vorschau. In Tests zeigte sich nach der Konvertierung einer englischen Rede ins Französische eine hohe Übereinstimmung der Lippenbewegungen mit dem Ausspracherhythmus; die Überdeckungsverhältnisse von Lippen, Zähnen und Zunge wurden realistisch reproduziert. Nur bei bildgenauer Vergrößerung ließen sich äußerst feine Synthesespuren erkennen.

Hinsichtlich der Rendering-Geschwindigkeit wurde die Bearbeitungszeit pro Minute für Full-HD-Material im Vergleich zu früheren professionellen Syntheseverfahren um über 70 % reduziert, zudem wird Batch-Verarbeitung in der Warteschlange unterstützt. Noch beeindruckender ist die Fähigkeit zur Erhaltung der Emotionen: Die durch Lachen, Flüstern oder wütendes Brüllen des Schauspielers verursachten dynamischen Veränderungen der Wangen und Nasolabialfalten werden adaptiv an die neue Mundform angepasst, ohne den Nebeneffekt eines „starren Ausdrucks". Für Teams, die auf Effizienz angewiesen sind, macht dieser Ansatz, technische Komplexität in eine übersichtliche Assistentenführung zu verpacken, die anspruchsvolle Synthesearbeit nicht länger zum exklusiven Handwerk weniger technischer Spezialisten.

Zusammenfassend lässt sich sagen, dass Flawless längst kein neuartiges Laborkonzept mehr ist, sondern ein Produktivitätswerkzeug, das derzeit von weltweit führenden Content-Unternehmen validiert wird. Es zielt präzise auf das Segment der KI-Filmanwendungen mit der höchsten kommerziellen Rendite ab und verleiht dem Idealmodell „Einmal drehen, weltweit ausstrahlen" eine visuelle Haltbarkeit ganz ohne Kompromisse. Wenn die Zukunft der mehrsprachigen Synchronisation tatsächlich in der nahtlosen Vereinigung von Bild und Ton liegt, dann hat Flawless zweifellos bereits die derzeit überzeugendste Antwort darauf vorgelegt.