Todas las expresiones faciales y de manera continua a partir de una sola imagen

Se ha conseguido con un nuevo método computacional desarrollado por un equipo de IRI (CSIC-UPC). El avance ha sido premiado en la conferencia internacional ECCV 2018, la más importante en el ámbito de la visión por computador.

 

 

La imagen recuadrada en verde, a la izquierda, es la imagen estática desde la que se parte. El resto de imágenes sucesivas son aquellas que se consiguen tras la aplicación del código.  Investigadores del Instituto de Robótica e Informática Industrial (RI)  -centro mixto del Consejo Superior de Investigaciones Científicas (CSIC) y de la Universitat Politècnica de Catalunya (UPC)-  han creado el primer sistema que logra reproducir, animar expresiones faciales y generar continuidad en el movimiento del rostro a partir de una sola imagen estática. Un avance que abre las puertas a nuevas aplicaciones para la industria del cine y las tecnologías multimedia, entre otros.

Albert Pumarola (estudiante de doctorado de la UPC y autor del proyecto), Francesc Moreno-Noguer (investigador del CSIC responsable del proyecto), Antonio Agudo (CSIC) y Alberto Sanfeliu (UPC) son los investigadores del IRI que, con la colaboración de Aleix Martínez, de la Ohio State University (Estados Unidos) han desarrollado un novedoso sistema para reproducir de forma ilimitada las expresiones faciales partiendo de una sola imagen.

El sistema se basa en las denominadas ‘unidades de acción’, elementos de la arquitectura de computación que describen los movimientos anatómicos faciales que definen una expresión humana con toda su complejidad y variaciones. 

A partir de este planteamiento metodológico, los investigadores han logrado controlar la magnitud de la activación de cada ‘unidad de acción’ y generar expresiones nuevas al combinarlas. Los resultados permiten sintetizar un número infinito de expresiones faciales anatómicamente coherentes como nunca antes se había conseguido.

El proyecto parte de las técnicas más avanzadas para sintetizar la expresión facial, concretamente de las denominadas GAN (por las siglas en inglés de Generative Adversarial Networks), que permiten, por ejemplo, generar un conjunto de imágenes de personas que comparten la misma expresión. Hasta el momento, estas técnicas sólo permiten reproducir un número limitado de expresiones, determinado por el contenido del conjunto de datos.

El sistema desarrollado por el IRI no sólo permite crear nuevas expresiones a partir de una sola imagen, sino que propone una estrategia no supervisada sobre el tipo de imágenes que se generan. Es decir, permite que, por primera vez, el sistema aprenda de imágenes no optimizadas o retocadas y que, por ejemplo, tengan un fondo cambiante o estén mal iluminadas, tal y como se encuentran en los entornos reales.

Los investigadores consideran que esta estrategia ayuda a al sistema a sintetizar un abanico más amplio de las expresiones faciales causadas por movimientos musculares anatómicamente factibles, a la vez que le dota de la capacidad de abordar imágenes en estado natural.

La implementación de este sistema abre a la puerta a nuevas aplicaciones en sectores tan dinámicos como la industria del cine, las tecnologías fotográficas y multimedia, la moda o el comercio electrónico.

Distinción internacional

Los resultados de esta investigación se recogen en el artículo “GANimation: Anatomically-aware Facial Animation from a Single Image” (GANimation: Animación facial anatómica desde una sola imagen), distinguido como el ‘Best Paper Award Honorable Mention en la European Conference on Computer Vision (ECCV 2018), el encuentro más importante del sector de la visión por computador.  Celebrada el pasado septiembre en Múnich, Alemania, la ECCV congrega, cada dos años, a representantes de compañías como Google, Facebook, Microsoft o Amazon,, así como a académicos de prestigio internacional de universidades de alrededor del mundo.

La publicación científica que recoge este avance ha sido fruto de la colaboración con el investigador Aleix Martinez, que visitó el IRI en el marco del Programa de Visitas de Excelencia María de Maeztu.

Actualmente, el IRI es el único centro de investigación en el área de la robótica  que cuenta con el sello de excelencia científica María de Maeztu, otorgado por la Agencia Estatal de Investigación.

Artículo presentado y premiado en la conferencia ECCV 2018:
https://www.albertpumarola.com/publications/files/pumarola2018ganimation.pdf

Página de Albert Pumarola con algunos ejemplos:
https://www.albertpumarola.com/research/GANimation/index.html