Si bien el tracking óptico de cabeza es relativamente sencillo de conseguir (a través de las múltiples librerías en open que ya hay disponibles en internet), por ahora llegar a un afinado tracking de cara en tiempo real resulta muy complicado.
Lo importante para las aplicaciones que vayan a utilizarlo es conseguir mantener las proporciones de las facciones encontradas: ojos, nariz y boca, de manera que se pueda mantener una coherencia entre los modelos 3D y la distancia real a la que se encuentra la persona. Además, debe ser robusto ante la variedad de rostros a detectar y funcionar bien independientemente de quién lo esté utlizando sin excesivos procesos de calibrado.
Hasta ahora había probado diversas aplicaciones de tracking de cara que cubrían sus limitaciones y el jitter con filtrados o complejas calibraciones. Un ejemplo de este tipo de aplicaciones:
El virtual mirror de Rayban, con el que te puedes probar distintos modelos de gafas:
Sin embargo, hoy he experimentado con una nueva librería para el tracking de cara que funciona realmente bien (mejor que cualquiera de las que había probado hasta ahora). Se trata de faceapi, disponible para descarga en su versión no comercial desde faceapi.com
Esta librería realiza una detección muy rápida de distintos puntos de interés del rostro. Así tenemos información de la posición de ojos, nariz y boca, pero en su versión avanzada incluso podemos detectar las cejas y los labios. Esto permitiría realizar aplicaciones de motion en tiempo real, con la posibilidad de mover modelos 3D sólo con nuestra gesticulación.
Aquí tenemos un ejemplo de lo que podríamos conseguir con esta librería (atentos al último ejemplo que es realmente impresionante):
Este tipo de herramientas abren grandes posibilidades tanto para animación como para la industria de videojuegos. Se me ocurre por ejemplo, uno de los clásicos Multijugador donde además de controlar las acciones de tus personajes, puedas hablar y gesticular directamente con tu expresión.
