Poza obsadą, Scorsese wybrał firmę Industrial Light & Magic (ILM) do produkcji efektów wizualnych (VFX) i grafiki generowanej komputerowo (CGI). Założona w 1975 roku przez George'a Lucasa firma była i jest zaangażowana w tworzenie efektów wizualnych najbardziej znanych hollywoodzkich hitów: Star Wars, Titanic, Jurassic Park, Harry Potter, Piraci z Karaibów, Avengers i wiele innych, które wszystkim się spodobały. Firma ta jest jednym z największych producentów VFX w Stanach Zjednoczonych, z rocznym obrotem około 450 milionów dolarów. Ta liczba blednie w porównaniu z 259 miliardami dolarów, na które wyceniono przemysł animacji, efektów wizualnych i gier wideo w 2018 roku. Branża, w której w ostatnich latach nastąpił gwałtowny wzrost dzięki przystępnemu cenowo dostępowi do Internetu, powszechnemu użyciu smartfonów i systemom wideo na żądanie.

Być może jest to idealne połączenie sztuki i technologii, a to zachęca do kreatywności, ale w rzeczywistości branża efektów wizualnych jest stałym źródłem innowacji, takich jak kolorowanie sekwencji wideo, aby nadać wiosenne barwy scenom kręconym w styczniu; symulacja cieczy, aby oddać przepływ wody czy wybuchy; sztuczna inteligencja do animacji armii orków, gdzie każdy z nich zachowuje się w inny sposób lub technika przechwytywania ruchu do animacji wirtualnego awatara, a to tylko niektóre z nich.

W przypadku „Irlandczyka” ILM odpowiadała za opracowanie nowego systemu odmładzania aktorów. Dla tych, którzy nie widzieli filmu, jego akcja toczy się w latach 1949-2000 i rozgrywa się w różnych momentach życia bohaterów. Zobaczymy tu na przykład 39-letniego Pacino. Do czasu otrzymania przez ILM tego zadania, istniały głównie dwie technologie odmładzania aktorów.

Pierwsza technologia polega na stworzeniu wirtualnego sobowtóra aktora, przy czym uchwycone obrazy twarzy aktora odwzorowują jego mimikę. Przykładem takiego systemu jest system kamer Mova. Po wygenerowaniu wirtualnego sobowtóra aktora, obraz nakładany jest na obraz aktora, a zespół produkcyjny animuje go ręcznie, modyfikując jego cechy. Ten system ma tę wadę, że gra traci realizm i autentyczność, ponieważ nie gra aktor, tylko zespół techników, którzy ręcznie dokonuje animacji wirtualnego sobowtóra. Na przykład film „Ciekawy przypadek Benjamina Buttona” z Bradem Pittem wygenerowano w ten sposób. Cały proces trwał dwa lata i wymagał pracy ponad 155 osób.

&nbspW przypadku drugiej technologii także zaczyna się od stworzenia wirtualnego sobowtóra aktora, poprzez skanowanie jego twarzy i modyfikowanie jej obrazami z poprzednich planów zdjęciowych. W tym przypadku jednak animacji wirtualnego sobowtóra, dokonuje sam aktor poprzez swoją mimikę. W tym celu jest on wyposażony w urządzenie do rejestracji ruchu, które składa się z kasku z kilkoma kamerami skierowanymi na twarz oraz znacznikami (rysowanymi punktami) na twarzy. Urządzenie rejestruje przemieszczanie tych punktów na twarzy, a co za tym idzie, animuje cyfrowego sobowtóra. Wadą tego systemu jest utrata niektórych wyrazów twarzy spowodowana brakiem dokładności znaczników, a tym samym obniżenie jakości interpretacji. Ponadto, podczas zdjęć zmuszasz aktora do noszenia kasku z kilkoma kamerami, a twarz jest pełna zaznaczonych punktów, co utrudnia mu odgrywanie roli. System ten wykorzystano do produkcji mającego niedawno premierę filmu „Bliźniak” z Willem Smithem  .

W swoim filmie „Irlandczyk” Scorsese chciał, aby jego aktorzy mogli swobodnie grać, nie nosząc na twarzach sprzętu i znaczników, i aby nie stracić ani jednego szczegółu ich interpretacji. Firma ILM postanowiła więc opracować nowy system składający się z zestawu kamer, który podczas filmowania został czule nazwany „trójgłowym potworem” oraz oprogramowania do przetwarzania obrazu o nazwie Flux.

Platforma kamer posiada różne elementy. Kamera produkcyjna RED Helium 8k do nagrywania sekwencji wideo jest umieszczona centralnie. Z dwóch stron rozmieszczone są dwie kamery ARRI Alexa mini o wysokiej rozdzielczości, zmodyfikowane tak, aby rejestrowały tylko światło podczerwone oraz zsynchronizowane z kamerą centralną. Te kamery są nazywane „kamerami świadkami” (ang. witness camera). System ten rejestruje twarz aktora pod dwoma kątami, generując obraz stereo w podczerwieni. Plan jest również oświetlony reflektorami podczerwieni, aby uniknąć cieni w tym spektrum, światła niewidocznego również dla kamery produkcyjnej. Oświetlenie to pomaga kamerom świadkom lepiej uchwycić wolumetryczne informacje o twarzy aktora bez użycia znaczników.

Oprócz tych trzech kamer, istnieje wcześniejszy proces przygotowania, w ramach którego wykonuje się skanowanie za pomocą urządzenia LIDAR w celu uzyskania dokładnego położenia wszystkich punktów naturalnego i sztucznego światła, a cały plan jest rejestrowany za pomocą techniki HDRI w celu uzyskania intensywności i koloru światła tych punktów.

Cały ten zestaw danych jest uzyskiwany dla każdej klatki filmowanej sekwencji i przesyłany do oprogramowania Flux w celu przetworzenia. Oprogramowanie to łączy obrazy w podczerwieni z obrazem rzeczywistym, oświetleniem sceny i cieniem, tworząc wirtualną maskę (lub siatkę) nałożoną na prawdziwą twarz aktora. Ta siatka jest geometrycznym modelem twarzy aktora dla każdego obrazu i jest używana do deformowania cyfrowego młodego sobowtóra aktora.
 

Ten cyfrowy sobowtór został wcześniej stworzony przy użyciu dwóch komercyjnych urządzeń: 1) Meduzy Disneya, aby uchwycić setki ujęć twarzy aktora oraz 2) oprogramowania Light Stage, aby uzyskać szczegóły skóry, tekstury i porowatości. Na podstawie współczesnego cyfrowego sobowtóra powstają cztery modele dla każdego aktora w różnym wieku. Zasadniczo polega to na malowaniu faktur, nanoszeniu lub usuwaniu zmarszczek, itp.

Chociaż oprogramowanie Flux jest genialnym przykładem fuzji danych, było też sporo ręcznej pracy postprodukcyjnej w celu skorygowania rozbieżności w młodym sobowtórze aktora. Aby wspomóc ręczny proces postprodukcji tego podręcznika, ILM stworzyła dwa narzędzia.

Po pierwsze, katalog lub repozytorium obrazów i nagrań wideo z kariery filmowej każdego aktora ze szczegółami dotyczącymi nosa, ust, oczu itp. Katalog ten jest szczegółowym odniesieniem, które w postprodukcji może być wykorzystane do włączenia „młodych” rysów twarzy do sekwencji w razie potrzeb.

Po drugie, stworzono narzędzie, które wykorzystuje naukę maszynowe do skanowania repozytorium i zlokalizowania obrazu lub sekwencji wideo, która najbardziej przypomina sekwencję, nad którą prowadzone są prace, według różnych kryteriów, takich jak: oświetlenie, kąt, oczy itp. Szybki dostęp do tych obrazów pomaga zespołowi postprodukcyjnemu skorygować rozbieżności generowane przez oprogramowanie Flux.

Jedną z głównych zalet tego nowego systemu stworzonego przez ILM jest to, że nie jest on inwazyjny i może być stosowany do ujęć z bliska, gdzie istotne jest uchwycenie gry aktorów, w przeciwieństwie do innych systemów odmładzających stosowanych dotychczas, w których nacisk kładzie się na akcję. Ponadto pozwala on aktorowi na naturalną grę na planie z innymi aktorami, a nie z użyciem specjalnego zestawu do rejestrowania ruchu lub poprzez stosowanie specjalnych kasków z twarzą oznakowaną kropkami.

Może niezupełnie spodobał nam się film i może niezupełnie zgadzać się z działaniami Netflixu, aby móc uczestniczyć w ceremonii rozdania Oskarów, ale bez wątpienia ILM wyjęła nową technikę z kapelusza, która z nami pozostanie. Kto wie, czy w przyszłości możliwe będzie jeszcze dalsze zminiaturyzowanie i zautomatyzowanie tej techniki i jej zastosowanie w telefonach komórkowych. Dla wielu osób byłby to z pewnością najczęściej stosowany filtr w Instagramie.

Autor: Víctor Gaspar Martín