Image Animation: Animación de personajes históricos

A propósito de Fiestas Patrias, ¿te gustaría animar el retrato de un personaje histórico peruano? Ahora es posible, gracias a algoritmos de Deep Learning y Computer Vision que permiten que los retratos puedan hacer movimientos y gestos a partir de un video. A esta técnica se le denomina Image Animation y está teniendo un gran impacto en la generación de nuevos contenidos digitales a partir de imágenes.

¿Qué es Image Animation?

Esta técnica consiste en generar una secuencia de video para que algún objeto (rostro, persona, animal, caricatura, escultura, entre otros) en una imagen se anime de acuerdo al movimiento de un video de contexto similar (es decir que contenga el mismo objeto) de manera automática.

Este algoritmo fue desarrollado por investigadores del  Departamento de Ingeniería de la Información y Ciencias de la Computación (DISI) de la Universidad de Trento. Luego, fue presentado como artículo de investigación en una de las conferencias destacadas de Inteligencia Artificial denominada NeurIPS en el 2019 bajo el nombre de First Order Motion Model for Image Animation. Los resultados que alcanzaron los investigadores son impactantes pues parece que los videos de los retratos son reales si se les mira de manera independiente. Cabe resaltar, que el algoritmo no solamente se utiliza para animar retratos de personas sino que también se aplica para caricaturas, estatuas y esculturas.

Animación de retratos de personajes de la serie Games of Thrones en base a un gesto de Donald Trump. Fuente: First Order Motion Model for Image Animation

¿Cómo funciona este algoritmo?

Para que este algoritmo, basado en una red neuronal artificial, sea capaz de animar una imagen, primero se le entrenó con una gran colección de videos. Estos contienen objetos de rostros de personas, de caricaturas o de dibujos con diversos gestos así como animales y personas en movimiento, entre otros para aprender a transferir las animaciones a una imagen de contexto similar. Por ello, en cada frame del video se identificó puntos claves del objeto (para el caso de rostros se tiene las coordenadas de los ojos, cejas, nariz, boca, etc) para luego transferir esa posición a una imagen. Este proceso se hace de manera iterativa hasta que el video original finalice y hasta que se genere un video a partir de la imagen.

Para ver más sobre el aprendizaje y funcionamiento de este algoritmo se puede consultar a First Order Motion Model for Image Animation.

Animando los retratos de personajes históricos peruanos mediante Image Animation

A propósito de la celebración de Fiestas Patrias, Neurometrics ha utilizado este novedoso algoritmo para recrear los retratos de algunos personajes históricos del Perú. Se hizo un video corto de una persona moviendo la cabeza y realizando algunos gestos y luego se transfirió estos patrones de movimiento al retrato de cada personaje. Debido al costo computacional del algoritmo de Deep Learning, fue necesario utilizar una GPU (Unidades de Procesamiento Gráfico) para el procesamiento. Estas tarjetas gráficas permiten acelerar el procesamiento de los algoritmos y obtener en corto tiempo los resultados.

Asimismo, en la animación participaron personajes como Jorge Basadre, José Olaya, Francisco Bolognesi y Miguel Grau. En la animación se puede observar que cada personaje se mueve de la misma manera en que lo hace la persona del video. Cabe resaltar que existen condiciones para obtener buenos resultados como la posición del rostro y la calidad tanto del retrato como del video.

Animación de retratos de personajes históricos usando Image Animation. Fuente: Neurometrics

Un dato más sobre Image Animation

Esta técnica se está usando para suplantar identidades en diversas reuniones virtuales como el caso de las plataformas Zoom, Skype, Teams y Slack. Y es que algunos desarrolladores han creado una extensión denominada Avatarify para habilitar una extensión de Image Animation en estas plataformas en tiempo real. En tal sentido, se puede usar el retrato de alguna persona conocida para que se mueva de acuerdo a los movimientos, gestos y audio del verdadero participante de la reunión.

Por otro lado, es cierto que aún se puede diferenciar entre un video animado con Inteligencia Artificial y uno real. Sin embargo, a medida que pasa el tiempo, la tecnología computacional sigue avanzando y los algoritmos de Deep Learning se vuelven más sofisticados aún. Todo esto hará que los algoritmos alcancen un mayor rendimiento y mejor calidad en los resultados haciendo que en algún momento pasen desapercibidos con mucha facilidad por el ojo del ser humano.

Retrato de Elon Musk siendo animado por una persona real usando Image Animation en la plataforma Zoom. Fuente: Avatarify

Conclusiones

Poco a poco, la Inteligencia Artificial va tomando un papel importante en nuestra vida, ofreciendo nuevas experiencias. El hecho de que un algoritmo pueda animar a un retrato de manera automática tiene un gran impacto en diferentes ámbitos de la industria que van desde el entretenimiento hasta la política. La mejora y precisión constante de estos algoritmos hacen que muchas de las habilidades del ser humano sean replicadas exactamente e incluso mejor.

Se pueden hacer cosas maravillosas con la Inteligencia Artificial, Image Animation es una de las tantas bondades que ofrece esta área de investigación. Por ello, es posible utilizar estas tecnologías para resolver grandes problemas sociales pero también pueden generar confusión y caos en la sociedad si se usan de una manera inapropiada como en el caso del algoritmo creador de videos falsos, hablamos de los Deepfakes.

Neisser Alonzo Ale
Neisser Alonzo Ale

Data Scientist