A tecnologia prolonga a idade da reforma em Hollywood
No passado mês de novembro a Netflix estreou com êxito o filme ‘O irlandês’, produzido e dirigido por Martin Scorsese, e baseado no livro biográfico 'I heard you paint houses’, de Charles Brandt. O elenco de luxo composto por Robert De Niro, Al Pacino e Joe Pesci narra a história de Frank Sheeran (De Niro) um camionista que se torna assassino contratado para o mafioso Russell Bufalino (Pesci) e o líder sindical Jimmy Hoffa (Pacino).
Além do elenco, Scorsese escolheu a empresa Industrial Light & Magic (ILM) para a produção dos efeitos visuais (VFX) e gráficos gerados por computador (CGI). Fundada em 1975 por George Lucas, a empresa foi a responsável, ou participou, nos efeitos visuais das superproduções mais conhecidas de Hollywood: Star Wars, Titanic, Jurassic Park, Harry Potter, Piratas das Caraíbas, Avengers e um longo etecetera de títulos vistos por todos. Esta empresa é uma das grandes produtoras de VFX dos Estados Unidos, com uma faturação anual de uns 450 milhões de dólares. Cifra que empalidece se a compararmos com os 259 mil milhões de dólares em que foi avaliada, em 2018, a indústria da animação, dos efeitos visuais e dos jogos de computador. Uma indústria com um crescimento exponencial nos últimos anos graças à disponibilidade de acesso económico à Internet, à penetração dos telefones inteligentes e os sistemas de vídeo a pedido.
Talvez seja porque é uma intersecção perfeita entre arte e tecnologia, e isso fomenta a criatividade, mas a realidade é que a indústria dos efeitos visuais é uma fonte constante de inovações como o colorir das sequências de vídeo para dar tons primaveris a cenas gravadas em janeiro, a simulação de fluidos para renderizar água ou explosões, a inteligência artificial para animar um exército de orcos onde cada um dispõe de comportamento próprio, ou a tecnologia de captura de movimentos para animar um avatar virtual, só para mencionar algumas.
No caso de ‘O irlandês’, a ILM foi a responsável por desenvolver um novo sistema para rejuvenescer os atores. Para os que não tenham visto o filme, ocorre entre o ano 1949 e o ano 2000 e este desenvolve-se em diferentes momentos da vida das personagens. Nele podemos encontrar, por exemplo, um Pacino com 39 anos. Até a ILM receber este pedido existiam, principalmente, duas tecnologias para rejuvenescer os atores.
A primeira tecnologia consiste em criar um duplo virtual do ator, com as imagens capturadas do rosto do ator a realizar diferentes movimentos faciais. O sistema de câmaras Mova é um exemplo deste tipo de sistemas. Uma vez gerado o duplo virtual do ator, este sobrepõe-se à imagem do ator, e é a equipa de produção que anima o duplo manualmente, modificando as suas características. Este sistema tem a desvantagem de a interpretação perder realismo e autenticidade, uma vez que não é um ator que interpreta, mas uma equipa de técnicos que manualmente anima o duplo virtual. Por exemplo, o filme “O curioso caso de Benjamin Button” com Brad Pitt foi gerado esta técnica. O processo completo demorou dois anos a ser terminado e foram necessárias mais de 155 pessoas.
Na segunda tecnologia, tal como na anterior, começa-se pela criação de um duplo virtual do ator a partir da digitalização da sua cara, e modificando-o com imagens de atuações prévias. Neste caso, no entanto, para animar o duplo virtual, é o próprio ator que o faz a partir das suas expressões faciais. Para isso, é equipado com um dispositivo de captura de movimento que consiste num capacete com várias câmaras focando a cara e os marcadores (pontos desenhados na cara). O dispositivo captura o deslocamento desses pontos no seu rosto e, consequentemente, anima o duplo digital. Este sistema tem a desvantagem que certas expressões faciais se perdem (precisão dos marcadores) e, portanto, a qualidade da interpretação é reduzida. Além disso, obriga o ator a levar durante a rodagem um capacete com várias câmaras e a cara cheia de pontos, o que dificulta a sua interpretação. O recentemente estreado filme “Gemini Man” com Will Smith, utiliza este sistema.
Em “O irlandês”, Scorsese queria que os seus atores pudessem interpretar livremente sem equipamentos pendurados e marcadores na cara, e que não se perdesse nem um só detalhe da sua interpretação. Assim, a ILM começou a desenvolver um novo sistema composto de 1) um conjunto de câmaras que carinhosamente durante a rodagem se chamou o “monstro das três cabeças” (“three headed monster”), e 2) um software de processamento de imagens chamado Flux.
A plataforma de câmaras dispõe de diferentes elementos. Situada no centro, uma câmara de produção RED Helium 8k para gravação da sequência de vídeo. Aos seus dois lados dispõem-se duas câmaras ARRI Alexa mini de alta resolução, modificadas para registar unicamente a luz infravermelha e sincronizadas com a câmara central. A estas câmaras chama-se “câmaras testemunha” (ou witness camera). Este sistema captura a atuação facial do ator a partir de dois ângulos, gerando uma imagem estéreo infravermelha. A cena também é iluminada com focos infravermelhos para evitar sombras nesse espetro, luz que, para além disso, é invisível para a câmara de produção. Esta iluminação ajuda as câmaras testemunha a capturar melhor a informação volumétrica da cara do ator sem usar marcadores.
Adicionalmente a estas três câmaras, existe um processamento prévio de preparação onde se realiza uma digitalização com LIDAR para obter a posição exata de todos os pontos de luz naturais e artificiais e se captura em HDRI toda a cena para obter a intensidade e a cor da luz dos referidos pontos.
Todo este conjunto de dados é obtido para cada fotograma (frame) da sequência que se esteja a filmar, e envia-se ao software Flux para o seu processamento. Este software combina as imagens infravermelhas com a imagem real, a iluminação da cena e o sombreamento para criar uma máscara (ou malha) virtual sobreposta à cara real do ator. Esta malha é um modelo geométrico da cara do ator para cada imagem, e usa-se para deformar o duplo digital jovem do ator.
Este duplo digital cria-se previamente com duas equipas comerciais 1) Medusa da Disney, para a captura de centenas de poses da cara do ator, e 2) o software Light Stage para obter a pele, textura e detalhes de porosidade. A partir do duplo digital contemporâneo, criam-se quatro modelos para cada ator em diferentes idades. Basicamente pintando texturas, pondo ou tirando rugas, etc.
Apesar de o software Flux ser um brilhante exemplo de fusão de dados, também houve bastante trabalho manual de pós-produção para corrigir discrepâncias no duplo jovem dos atores. Para ajudar neste processo manual de pós-produção, a ILM criou duas ferramentas.
Em primeiro lugar, um catálogo ou repositório de imagens e vídeos da carreira cinematográfica de cada ator com detalhes do nariz, boca, olhos, etc. Este catálogo é uma referência detalhada que em pós-produção se pode utilizar para incorporar elementos faciais “jovens” nas sequências onde seja necessário.
Em segundo lugar, criou-se uma ferramenta que usa a aprendizagem máquina para digitalizar o repositório e localizar a imagem ou sequência de vídeo que mais se pareça à sequência que se esteja a trabalhar, segundo vários critérios como: iluminação, ângulo, olhos, etc. O acesso rápido a estas imagens ajuda a equipa de pós-produção a corrigir as discrepâncias geradas pelo Flux.
Entre as principais vantagens deste novo sistema criado pela ILM é que não é intrusivo e se pode usar para planos próximos em que capturar a atuação é importante, diferentemente de outros sistemas de rejuvenescimento usados até ao momento nos quais a ênfase está na ação. Além disso, permite ao ator gravar a cena de forma natural, com os restantes atores, e não num estúdio especial de captura de movimentos, ou a usar capacetes especiais com a cara pintada com pontos.
Talvez não tenhamos gostado do filme, e poderemos estar mais ou menos de acordo com as ações da Netflix para poder participar nos Oscar, mas, sem dúvida, a ILM tirou da cartola uma nova técnica que chegou para ficar. Quem sabe se, no futuro, se poderá miniaturizar e automatizar ainda mais, e incorporá-la nos nossos telemóveis. Seria, sem dúvida, o filtro mais utilizado por muitos no Instagram.
Autor: Víctor Gaspar Martín