Més enllà del repartiment, Scorsese ha elegit l’empresa Industrial Light & Magic (ILM) per a la producció dels efectes visuals (VFX) i gràfics generats per computador (CGI). Fundada el 1975 per George Lucas, l’empresa és l’encarregada, o ha participat, en els efectes visuals de les superproduccions més conegudes de Hollywood: ‘Star Wars’, ‘Titanic’, ‘Jurassic Park’, ‘Harry Potter’, ‘Pirates del Carib’, ‘Avengers’ i un llarg etcètera de títols dels quals ha gaudit tothom. Aquesta empresa és una de les grans productores de VFX dels Estats Units, amb una facturació anual d’uns 450 milions de dòlars. Xifra que empal·lideix si es compara amb els 259 mil milions de dòlars en els quals es va valorar el 2018 la indústria de l’animació, dels efectes visuals i del videojoc. Una indústria amb un creixement exponencial en els últims anys gràcies a la disponibilitat d’accés econòmic a internet, la penetració dels telèfons intel·ligents i els sistemes de vídeo sota demanda.

Potser és perquè és una intersecció perfecta entre art i tecnologia, i això fomenta la creativitat, però la realitat és que la indústria dels efectes visuals és una font constant d’innovacions, com l’acoloriment de les seqüències de vídeo per donar tons primaverals a escenes gravades al gener, la simulació de fluids per renderitzar aigua o explosions, la intel·ligència artificial per animar un exèrcit d’orcs en què cadascun té un comportament propi, o la tecnologia de captura de moviments per animar un avatar virtual, per esmentar-ne algunes.

En el cas de ‘L’irlandès’, ILM va ser l’encarregada de desenvolupar un nou sistema per rejovenir els actors. Per als que no hagin vist la pel·lícula, aquesta té lloc entre l’any 1949 i l’any 2000, i s’ambienta en diferents moments de la vida dels personatges. Hi podem trobar, per exemple, un Pacino amb 39 anys. Fins que ILM va rebre l’encàrrec, principalment hi havia dues tecnologies per rejovenir els actors.

La primera tecnologia consisteix a crear un doble virtual de l’actor, amb les imatges capturades del rostre de l’actor fent diferents moviments facials. El sistema de càmeres Mova és un exemple d’aquest tipus de sistemes. Una vegada generat el doble virtual de l’actor, aquest se superposa a la imatge de l’actor, i és l’equip de producció qui anima el doble manualment i en modifica les característiques. Aquest sistema té el desavantatge que la interpretació perd realisme i autenticitat, ja que no és un actor qui interpreta, sinó un equip de tècnics el que manualment anima el doble virtual. Per exemple, la pel·lícula ‘El curiós cas de Benjamin Button’ amb Brad Pitt va ser generada d’aquesta manera. El procés complet va trigar dos anys a completar-se, i va necessitar més de 155 persones.

En la segona tecnologia, com en l’anterior, es comença creant un doble virtual de l’actor, a partir de l’escaneig de la seva cara, i es modifica amb imatges d’actuacions prèvies. En aquest cas, tanmateix, per animar el doble virtual, ho fa el mateix actor a partir de les seves expressions facials. Per a això se l’equipa amb un dispositiu de captació de moviment que consisteix en un casc amb diverses càmeres enfocant-lo a la cara, i marcadors (punts dibuixats) a la cara. El dispositiu captura el desplaçament d’aquests punts al seu rostre, i anima conseqüentment el doble digital. Aquest sistema té el desavantatge que certes expressions facials es perden (precisió dels marcadors) i, per tant, la qualitat de la interpretació es redueix. A més, obligues l’actor a portar durant el rodatge un casc amb diverses càmeres, i la cara plena de punts, la qual cosa dificulta la seva interpretació. La pel·lícula ‘Gemini Man’, que s'ha estrenat fa poc amb Will Smith com a protagonista, utilitza aquest sistema.

A ‘L’irlandès’, Scorsese volia que els seus actors poguessin interpretar lliurement sense portar equips penjant i marcadors a la cara, i que no es perdés ni un sol detall de la seva interpretació. Així doncs, ILM va començar a desenvolupar un nou sistema format per 1) un conjunt de càmeres que afectuosament durant el rodatge es va anomenar el “monstre dels tres caps” (“three headed monster”), i 2) un programari de processament d’imatges que rep el nom de Flux.

La plataforma de càmeres disposa de diferents elements. Situada al centre, una càmera de producció RED Helium 8k per enregistrar la seqüència de vídeo. Als dos costats es disposen dues càmeres ARRI Alexa mini d’alta resolució, modificades per registrar únicament la llum infraroja, i sincronitzades amb la càmera central. Aquestes càmeres s’anomenen “càmeres testimoni” (o “witness camera”). Aquest sistema captura l’actuació facial de l’actor des de dos angles i genera una imatge estèreo infraroja. L’escena també és il·luminada amb focus infrarojos, per evitar ombres en aquest espectre, llum que a més és invisible per a la càmera de producció. Aquesta il·luminació ajuda les càmeres testimoni a capturar millor la informació volumètrica de la cara de l’actor sense utilitzar marcadors.

Addicionalment a aquestes tres càmeres, hi ha un procés previ de preparació en què es fa un escàner amb LIDAR per obtenir la posició exacta de tots els punts de llum natural i artificial, i es captura en HDRI tota l’escena per obtenir la intensitat i el color de la llum dels punts esmentats.

Tot aquest conjunt de dades s’obté per a cada fotograma (“frame”) de la seqüència que s’estigui filmant, i s’envia al programari Flux per processar-lo. Aquest programari combina les imatges infraroges amb la imatge real, la il·luminació de l’escena i el shading, per crear una màscara (o malla) virtual superposada a la cara real de l’actor. Aquesta malla és un model geomètric de la cara de l’actor per a cada imatge, i s’utilitza per deformar el doble digital jove de l’actor.
 

Aquest doble digital es crea prèviament amb dos equips comercials 1) Medusa de Disney, per a la captura de centenars de posats de la cara de l’actor, i 2) el programari Light Stage, per obtenir la pell, la textura i els detalls de porositat. A partir del doble digital contemporani, es creen quatre models per a cada actor en diferents edats. Bàsicament, pintant textures, posant-hi o traient-ne arrugues, etc.

Encara que el programari Flux és un exemple brillant de fusió de dades, també hi ha hagut bastant treball manual de postproducció per corregir discrepàncies en el doble jove dels actors. Per ajudar en aquest procés manual de postproducció, ILM va crear dues eines.

En primer lloc, un catàleg o repositori d’imatges i vídeos de la carrera cinematogràfica de cada actor amb detalls del nas, la boca, els ulls, etc. Aquest catàleg és una referència detallada que en postproducció es pot utilitzar per incorporar elements facials “joves” en les seqüències en què calgui.

En segon lloc, es va crear una eina que utilitza l’aprenentatge màquina per escanejar el repositori i localitzar la imatge o seqüència de vídeo que més s’assembli a la seqüència que s’estigui treballant, segons diversos criteris com: il·luminació, angle, ulls, etc. L’accés ràpid a aquestes imatges ajuda l’equip de postproducció a corregir les discrepàncies generades per Flux.

Un dels principals avantatges d’aquest nou sistema creat per ILM és que no és intrusiu, i es pot utilitzar per a plans propers en què capturar l’actuació és important, a diferència d’altres sistemes de rejoveniment utilitzats fins ara en què l’èmfasi és en l’acció. A més, permet a l’actor gravar de manera natural a l’escena, amb la resta d’actors, i no en un plató especial de captura de moviments, o carregant cascos especials amb la cara pintada de punts.

Potser la pel·lícula no ens hagi agradat, i podrem estar més o menys d’acord amb les accions de Netflix per poder participar en els Oscars, però sens dubte ILM ha ideat una nova tècnica que ha arribat per quedar-se. Qui sap si en el futur es podrà miniaturitzar i automatitzar encara més, i incorporar-la als nostres telèfons mòbils. Sens dubte, seria el filtre més utilitzat per molts a Instagram.

Autor: Víctor Gaspar Martín