Matheus GalvãoPesquisadores da Universidade de Washington desenvolveram uma nova técnica para criar animações em 3D a partir de uma única foto. Eles estão chamando de “Photo Wake-Up” e o vídeo de demonstração abaixo dá uma ideia clara do que pode ser realizado com essa técnica. A pesquisa do Photo Wake-Up foi apoiada pelo Facebook, Google, Huawei e Reality Lab Huawei Fellowship.
A técnica é demonstrada usando uma variedade de inputs de uma única imagem, incluindo fotografias, ilustrações realistas, desenhos cartoon e formas humanas abstratas. As figuras são animadas de várias maneiras, como caminhar em direção à tela, correr, sentar e pular.
Em um artigo que detalha o processo (download PDF ), os pesquisadores – Chung-Yi Weng, Brian Curless e Ira Kemelmacher-Shlizerman – explicam que grande parte do desenvolvimento técnico necessário para isso já existe. Essas técnicas existentes incluem segmentar uma pessoa a partir de uma imagem, estimar um esqueleto 2D e encaixar um modelo 3d articulado e morfável na imagem parada. Os pesquisadores da UofW basearam-se nessa pesquisa anterior, tentando que as figuras animadas se ajustassem mais de perto às silhuetas em 2D e criassem personagens mais naturais.
Na imagem acima, os pesquisadores mostram como a oclusão funciona. A partir da imagem de entrada (a) e sua silhueta correspondente e modelo da parte do corpo SMPL projetado , eles recuperam um mapa de labels da parte do corpo inicial (b). Depois de identificar os pontos nos limites da oclusão, eles constroem uma máscara de oclusão (áreas mais claras em (c) e depois a refinam para construir o mapa final da label do corpo (d). As regiões da parte do corpo próximas das oclusões têm limites “falsos”, mostrados em vermelho. Esses limites falsos (f) são removidos e substituídos por versões transformadas dos limites do SMPL (g) .Eles podem reconstruir o corpo parte por parte (h) e montá-lo na malha final (i).
A oclusão se encaixa nesta pipeline de produção mais ampla:
Os criadores da técnica apontam que a animação 3D pode ser usada em experiências de realidade virtual ou aumentada, por isso é fácil visualizar a possível aplicação de tal tecnologia em contextos educacionais e de jogos, bem como trabalhos específicos, como trazer uma obra de arte para a vida em um museu. Os pesquisadores “acreditam que o método não apenas possibilita novas maneiras de as pessoas desfrutarem e interagirem com fotos, mas também sugere um caminho para a reconstrução de um avatar virtual a partir de uma única imagem, proporcionando insights sobre o estado da arte da modelagem humana a partir de uma única foto.
É importante notar que atualmente há muitas pesquisas complementares sendo feitas em recriações automatizadas de imagens fotorrealistas de CG e movimento naturalista – por exemplo, aqui e aqui . Se tudo parece um pouco rude neste ponto, lembre-se que grande parte da tecnologia nos atuais softwares cg e vfx também começou como projetos de pesquisa peculiares em um laboratório de ciência da computação. E quando essas tecnologias evoluem para um padrão mais elevado e as pessoas começam a criar animações críveis dos seres humanos a partir de imagens fixas, elas geram todo tipo de dilema ético que nenhum desses cientistas parece particularmente interessado em reconhecer ou considerar como parte de sua prática de pesquisa.
FONTE: Cartoon Brew