Daniel CavalcantiO Animate Anyone é uma nova ferramenta de transformação de imagem em vídeo para animação de personagens desenvolvida pelo grupo de pesquisa da Alibaba. Basicamente, você pode pegar uma imagem estática de uma pessoa ou personagem e, usando essa ferramenta, pode posicionar e aplicar movimentos à imagem. Desse modo, o que é bem interessante para artistas é a capacidade de ter uma imagem estática de um personagem 3D ou 2D em uma pose T e aplicar animação a ela.
Um personagem animado a partir de uma imagem estática
Saca só o que a equipe de desenvolvimento falou no artigo explicando a ferramenta:
“A Animação de Personagens tem como objetivo gerar vídeos de personagens a partir de imagens estáticas através de sinais de controle. Atualmente, os modelos de difusão tornaram-se predominantes na pesquisa de geração visual, graças às suas robustas capacidades generativas. No entanto, desafios persistem no campo de imagem-para-vídeo, especialmente na animação de personagens, onde manter temporalmente a consistência com informações detalhadas do personagem continua sendo um problema formidável. Neste artigo, aproveitamos o poder dos modelos de difusão e propomos uma estrutura inovadora adaptada para animação de personagens.”
“Para preservar a consistência de características intricadas de aparência a partir de uma imagem de referência, projetamos o ReferenceNet para mesclar características detalhadas por meio de atenção espacial. Para garantir controlabilidade e continuidade, introduzimos um guia eficiente de pose para direcionar os movimentos do personagem e empregamos uma abordagem temporal eficaz para garantir transições suaves entre os quadros de vídeo. Expandindo os dados de treinamento, nossa abordagem pode animar personagens arbitrários, proporcionando resultados superiores na animação de personagens em comparação com outros métodos de imagem-para-vídeo. Além disso, avaliamos nosso método em benchmarks para vídeos de moda e síntese de dança humana, alcançando resultados de ponta.”
Apesar da tecnologia ainda estar nos seus primeiros passos, os resultados são realmente impressionantes. Está animado ou assustado com a evolução da IA na animação? Deixa lá nos comentários.
Caso queira curtir uma animação feita “somente por pessoas”, saca só esse documentário animado aqui.
Boa semana!
Daniel desligando.