Für die Produktion der visuellen Effekte (VFX) und computergenerierten Grafiken (CGI) entschied sich Scorsese für die Firma Industrial Light & Magic (ILM). Das 1975 von George Lucas gegründete Unternehmen ist für die visuellen Spezialeffekte der berühmtesten Kassenschlager Hollywoods verantwortlich oder war daran beteiligt: Star Wars, Titanic, Jurassic Park, Harry Potter, Fluch der Karibik, Avengers und eine lange Liste weiterer Titel, die wir wohl alle gesehen haben. Dieses Unternehmen ist mit einem Jahresumsatz von etwa 450 Millionen Dollar einer der größten VFX-Produzenten in den Vereinigten Staaten. Diese Zahl verblasst im Vergleich zu den 259 Milliarden Dollar, mit denen die Industrie für Animationen, visuelle Effekte und Videospiele im Jahr 2018 bewertet wurde. Eine Branche, die dank der Verfügbarkeit erschwinglicher Internetzugänge, der Verbreitung der Smartphones und Video-on-Demand-Systeme in den letzten Jahren exponentiell gewachsen ist.

Vielleicht liegt dies daran, dass diese Branche die perfekte Verbindung zwischen Kunst und Technologie darstellt, was die Kreativität fördert, eindeutig ist jedoch, dass die Industrie der Spezialeffekte eine ständige Quelle für Innovationen ist, wie z. B. die Einfärbung von Videosequenzen, um im Januar gedrehten Szenen Frühlingstöne zu verleihen, die Simulation von Flüssigkeiten, um Wasser oder Explosionen zu rendern, künstliche Intelligenz, um ein Heer von Orks zu animieren, wobei jeder einzelne sein eigenes Verhalten hat, oder Motion-Capture-Technologie, um einen virtuellen Avatar zu animieren, um nur einige zu nennen.

Im Fall von „The Irishman“ war ILM mit der Entwicklung eines neuen Systems zur Verjüngung der Darsteller beauftragt. Für diejenigen, die den Film noch nicht gesehen haben: Er spielt zwischen 1949 und 2000, zu unterschiedlichen Zeiten im Leben der Charaktere. Dort finden wir also zum Beispiel einen 39-jährigen Pacino. Bis ILM den Auftrag erhielt, gab es hauptsächlich zwei Technologien zur Verjüngung von Darstellern.

Die erste Technologie besteht darin, ein virtuelles Double des Schauspielers aus Bildern unterschiedlicher Gesichtsbewegungen des Schauspielers zu erzeugen. Das Mova-Kamerasystem ist ein Beispiel für ein solches System. Das virtuelle Double des Schauspielers wird dem Bild des Schauspielers überlagert und das Produktionsteam animiert das Double durch manuelle Veränderung seiner Eigenschaften. Dieses System hat den Nachteil, dass die Interpretation an Realismus und Authentizität verliert, da nicht der Schauspieler agiert, sondern ein Team von Technikern, die das virtuelle Double manuell animieren. Auf diese Weise wurde zum Beispiel im Film „Der seltsame Fall des Benjamin Button“ mit Brad Pitt gearbeitet. Der gesamte Prozess dauerte zwei Jahre und erforderte mehr als 155 Personen.

Die zweite Technik beginnt wie bei der vorherigen damit, ein virtuelles Double des Schauspielers zu erzeugen, indem sein Gesicht gescannt und mithilfe von Bildern früherer Darstellungen modifiziert wird. In diesem Fall jedoch animiert der Schauspieler selbst das virtuelle Double mit eigenen Gesichtsausdrücken. Dazu trägt er eine Bewegungserkennungsvorrichtung, die aus einem Helm mit mehreren auf das Gesicht gerichteten Kameras und Markierungen (gezeichnete Punkte) auf dem Gesicht besteht. Diese Vorrichtung erfasst die Verschiebungen dieser Punkte auf dem Gesicht und animiert entsprechend das digitale Double. Dieses System hat den Nachteil, dass bestimmte Mimiken verloren gehen (unzureichende Genauigkeit der Marker) und damit die Qualität der Interpretation vermindert wird. Zudem zwingt das den Darsteller dazu, während der Dreharbeiten einen Helm mit mehreren Kameras zu tragen, und das Gesicht voller Flecken, was ihm die Darstellung erschwert. Im kürzlich angelaufenen Film „Gemini Man“ mit Will Smith kommt dieses System zum Einsatz.

In „The Irishman“ wollte Scorsese, dass seine Schauspieler frei agieren konnten, ohne baumelnde Ausrüstung und Marker im Gesicht, um kein einziges Detail ihrer Darbietung zu verpassen. Also machte sich das ILM daran, ein neues System zu entwickeln, das aus einem während der Dreharbeiten liebevoll „das dreiköpfige Monster“ genannten Kamerasatz und einer Bildverarbeitungssoftware namens Flux bestand.

Die Kameraplattform besteht aus verschiedenen Elementen. In der Mitte sitzt eine 8k-Produktionskamera RED Helium zur Aufnahme der Videosequenzen. An ihren beiden Seiten sind zwei hochauflösende ARRI Alexa Mini-Kameras angebracht, die nur das Infrarotlicht aufnehmen und mit der Zentralkamera synchronisiert sind. Diese Kameras werden „Zeugen-Kameras“ genannt. Dieses System erfasst den Gesichtsausdruck des Schauspielers aus zwei Winkeln und erzeugt ein Infrarot-Stereobild. Die Szene wird außerdem mit Infrarot-Scheinwerfern beleuchtet, um Schatten in diesem Spektrum zu vermeiden. Dieses Licht ist für die Produktionskamera unsichtbar. Diese Beleuchtung hilft den Zeugen-Kameras, die volumetrischen Informationen des Gesichts des Schauspielers ohne Verwendung von Markern besser zu erfassen.

Zusätzlich zu diesen drei Kameras wird in einem vorherigen Vorbereitungsprozess ein LIDAR-Scan durchgeführt, um die genaue Position aller natürlichen und künstlichen Lichtpunkte zu ermitteln, und die gesamte Szene wird in HDRI aufgenommen, um die Lichtintensität und -farbe dieser Punkte zu ermitteln.

Dieser gesamte Datensatz wird für jedes Einzelbild (Frame) der gefilmten Sequenz erfasst und zur Verarbeitung in die Flux-Software gespeist. Diese Software kombiniert die Infrarotbilder mit dem realen Bild, der Beleuchtung und der Schattierung der Szene, und erzeugt eine virtuelle Maske (wie ein Netz) über dem realen Gesicht des Schauspielers. Dieses Netz ist ein geometrisches Modell des Gesichts des Schauspielers für jedes Bild und wird dazu verwendet, die Form des jungen digitalen Doubles des Schauspielers anzupassen.
 

Dieses digitale Double wird zuvor mit zwei kommerziellen Geräten erstellt: Disney's Jellyfish, um Hunderte von Posen des Gesichts des Schauspielers zu erfassen, und die Software Light Stage, die die Details der Haut wie Textur und Porosität erfasst. Aus diesem digitalen Double des realen Alters werden vier Modelle unterschiedlichen Alters für jeden Schauspieler erstellt. In erster Linie durch Zeichnen von Texturen, Setzen oder Entfernen von Falten, usw.

Obwohl die Flux-Software ein brillantes Beispiel für die Fusion vieler Daten ist, waren trotzdem erhebliche manuelle Nachbearbeitungen nötig, um Diskrepanzen im jungen Double der Schauspieler zu korrigieren. Zur Unterstützung dieses manuellen Postproduktionsprozesses entwickelte ILM zwei Tools.

Erstens, ein Katalog oder Archiv mit Bildern und Videos aus der Filmkarriere der einzelnen Schauspieler mit Angaben zu Nase, Mund, Augen usw. Dieser Katalog ist ein detailliertes Nachschlagewerk, das in der Postproduktion verwendet werden kann, um bei Bedarf „junge“ Gesichtselemente in die Sequenzen zu integrieren.

Zweitens wurde ein Werkzeug auf der Basis von Maschinellem Lernen entwickelt, mit dem das Archiv gescannt und die der zu bearbeitenden Sequenz am ähnlichsten Bild- oder Videosequenz nach verschiedenen Kriterien wie Beleuchtung, Winkel, Augen usw. lokalisiert werden kann. Der schnelle Zugriff auf diese Bilder hilft dem Postproduktionsteam, die durch Flux erzeugten Diskrepanzen zu korrigieren.

Zu den Hauptvorteilen dieses neuen, von ILM entwickelten Systems gehört, dass es nicht invasiv ist und für Nahaufnahmen verwendet werden kann, bei denen die Erfassung der Darstellung wichtig ist, im Gegensatz zu den anderen bisher verwendeten Verjüngungssystemen, bei denen der Schwerpunkt auf der Aktion liegt. Darüber hinaus kann der Schauspieler so auf natürliche Weise im Set zusammen mit den anderen Schauspielern gefilmt werden, nicht auf einem speziellen Motion-Capture-Set oder mit einem komischen Helm und dem Gesicht voller Punkte.

Vielleicht hat Ihnen der Film ja nicht gefallen, und wir können der Vorgehensweise von Netflix zur Teilnahme an der Oscar-Ausschreibung mehr oder weniger zustimmen, aber zweifellos hat ILM da eine neue Technik aus dem Hut gezaubert, die sich durchsetzen wird. Gut möglich, dass sie in Zukunft so miniaturisiert und automatisiert wird, dass sie in unsere Mobiltelefone integriert werden kann. Dann würde das sicherlich zum am weitesten verbreitete Filter auf Instagram.

Autor: Víctor Gaspar Martín