Matheus GalvãoA nova ferramenta Audio2Face da Nvidia converte arquivos de áudio em animação facial de maneira automatizada. Em uma variedade de vídeos tutoriais, modelos 3D ganham vida com um lip sync relativamente preciso.
Os personagens nos vídeos (veja abaixo) podem parecer um pouco estranhos, mas suas performances podem ser refinadas com vários parâmetros. A Nvidia se orgulha de que a ferramenta acabará funcionando com todos os idiomas. Ela também suporta importação e exportação com a ferramenta Metahuman Creator da Unreal para a criação de seres virtuais.
Audio2Face faz parte da nova plataforma Omniverse da Nvidia. Se esse nome me faz lembrar, é porque soa como “metaverso”, o conceito de um mundo digital interconectado promovido pela Microsoft e Meta (antigo Facebook). Omniverse da Nvidia está de fato sendo apresentado como a pedra angular do metaverso: a plataforma, que agora está mudando de testes beta para disponibilidade geral, é usada para desenvolver mundos virtuais e permitir que as pessoas colaborem dentro deles.
A utilidade de softwares como o Audio2Face para o metaverso é clara: na semana passada, a Microsoft anunciou que seu software de reuniões Teams em breve incorporará avatares digitais, que serão animados em tempo real de acordo com a fala dos usuários.
Mas a animação facial em tempo real tem cada vez mais aplicações em outros lugares, de personagens de videogame a seres virtuais e os canais de programas tradicionalmente animados. O lip sync é um aspecto demorado da animação, e a Nvidia espera que os estúdios o adotem como uma ferramenta para economizar tempo.
Fonte: Cartoon Brew – Nvidia’s New Tool Uses Sound Files To Animate Faces In Real Time