Verônica | EmiriO Google Research compartilhou detalhes sobre o Lumiere, um novo gerador de vídeos alimentado por Inteligência Artificial.
Ele aproveita um processo de difusão de imagens pra transformar em descrições textuais e assim gerar as animações dessas imagens. Refinando gradualmente com o prompt de texto fornecido.
Como ele se difere de outros modelos de generador de vídeos?
Outros programas, como o Runway, Stable Video Diffusion ou Emu, juntam vídeos a partir de um frame estático criados pelo modelo, limitando assim a quantidade de movimento em um clip. Semelhante ao processo de montar um flipbook, uma página de cada vez.
Porém, o Lumiere cria um frame fundamental a partir do prompt de entrada e em seguida utiliza o modelo STUNet para gerar o vídeo por inteiro. Permitindo que ele produza mais quadros de animação e movimentos mais suaves.
As possibilidades do Lumiere
Texto para vídeo: cria um vídeo a partir de prompts de comando.
Imagem para vídeo: dá movimento e profundidade a fotografias e imagens estáticas.
Estilos: cria e/ou imita estilos artísticos.
Cinemagrafias: anima apenas uma parte específica da imagem.
O Google e a IA
Desde o início da era das Inteligências Artificiais, havia grandes expectativas em relação a como o Google introduzirias novas ferramentas. Porém, ele nunca foi um grande “jogador” na categoria de texto para vídeo, mas tem lançado aos poucos modelos de IA cada vez mais avançados e tendo uma abordagem multimodal.
O Gemini, por exemplo, eventualmente trará o gerador de imagem para o Bard. O Lumiere por enquanto não está disponível para teste, mas já podemos ver a capacidade que o Google tem em desenvolver plataformas de vídeos gerados por IA.
E o futuro?
As questões éticas sempre estiveram presentes quando falamos de Inteligência Artificial.
Sabemos que há muitas desvantagens com esse tipo de tecnologia que utilizada imagens de terceiros. Em seu site dedicado ao Lumiere, a equipe de pesquisa do Google reconhece esses riscos.
“Nosso objetivo princial neste trabalho é possibilitar que usuários novatos gerem conteúdo visual de maneira criatica e flexível. No entanto, existe o risco de uso indevido para criar conteúdo falso ou prejudicial com a nossa tecnologia, e acreditamos ser crucial desenvolver e aplicar ferramentas para detectar viéses e casos de uso maliciosos, a fim de garantir um uso seguro e justo”
Vale lembrar que recentemente, o Twitter suspendeu pesquisas por “Taylor Swift”, após uma inundação de imagens explícitas geradas por IA da cantora.
E claro, os artistas também estão preocupados com a origem desses dados utilizados no treinamento do Lumiere, e se algum dia o programa substituiria os animadores humanos.