Rastreo eficaz y preciso de objetos tridimensionales.

Un procedimiento de rastreo de un objeto en un flujo de imágenes de entrada,

comprendiendo dicho procedimientoaplicar iterativamente las etapas de:

(a) representar un modelo de objeto tridimensional, según un vector de estado predicho previamente a partir de un buclede rastreo anterior, o un vector de estado proveniente de una etapa de inicialización;

(b) extraer una serie de rasgos puntuales de dicho objeto representado;

(c) localizar los correspondientes rasgos puntuales en dicho flujo de imágenes de entrada;

(d) obtener un nuevo vector de estado predicho a partir de dicho rasgo puntual localizado en el flujo de imágenes deentrada.

Rastreo eficaz y preciso de objetos tridimensionales Campo de la invención La presente invención se refiere a procedimientos para la medición de la postura tridimensional (3D) de un objeto tridimensional. La invención ha sido desarrollada principalmente para su uso en el contexto del rastreo del rostro humano y será descrita a continuación en la presente memoria con referencia a esta aplicación. Sin embargo, se apreciará que la invención no está limitada a este campo específico de uso.

Antecedentes de la invención Cualquier exposición de la tecnología anterior a lo largo de la especificación no debería ser considerada en modo alguno como una admisión de que tal tecnología anterior sea ampliamente conocida, o de que forme parte del conocimiento general común en el campo. El rastreo de rostros y rasgos faciales, tales como los ojos de una persona, ha atraído considerable interés durante la década anterior, según los ordenadores han llegado a ser lo suficientemente potentes como para habilitar soluciones prácticas para este problema. Hay dos enfoques conocidos que han sido propuestos para resolver este problema. El primer enfoque es un enfoque geométrico, utilizando rasgos puntuales tridimensionales en el rostro y un razonamiento geométrico para obtener la postura tridimensional. El segundo es una optimización no lineal de los parámetros de un modelo de apariencia. El primer enfoque, que usa rasgos puntuales, tiene la ventaja de ser determinístico. Los enfoques no iterativos brindan un tiempo breve y predecible para calcular la solución, y han sido populares para sistemas de tiempo real. Edwards et al (patente estadounidense Nº 7.043.056) revelan una propuesta típica de esta metodología. El segundo enfoque es un problema de optimización iterativa, no lineal, que, en general, es cara en términos de cálculo. Los trueques, en términos de precisión predecible de convergencia, son requeridos para lograr tiempos de cálculo predecibles. Según los parámetros de la modalidad de apariencia, una ventaja de este enfoque es que puede lograrse una mejor fidelidad de rastreo. Se entiende que la apariencia del objeto observado puede ser modelada y predicha más precisamente que con el enfoque de rasgos puntuales. Cootes et al 2001 (T. Cootes, G. Edwards y C. Taylor, “Modelos de apariencia activa”, Transacciones del IEEE sobre Análisis de Patrones e Inteligencia de Máquinas, 23 (6) :681-685, 2001) , Cootes et al 2002 (T. Cootes, G. Wheeler, K.Walker y C. Taylor, “Modelos de apariencia activa basados en vistas”, Cálculo de Imagen y Visión, 20:657-664, 2002) y Matthews et al (I. Matthews y S. Baker, “Modelos de apariencia activa revisitados”, Revista Internacional de Visión por Ordenador, Vol. 60, Nº 2, Noviembre, 2004, págs. 135 a 164) revelan una típica implementación de esta metodología. De la Torre et al (F. De la Torre y M. Black, “Análisis de componentes robusto y parametrizado: teoría y aplicaciones de modelos bidimensionales de apariencia facial”, Visión por Ordenador y Comprensión de Imágenes 91 (2003) 53 a 71) revela el uso de un modelo de apariencia activa bidimensional específico de la persona, que no es capaz de rastrear una persona en tres dimensiones. Dornaika et al (F. Dornaika y J. Ahlberg “Adaptación de modelo facial usando correlación robusta y modelos de apariencia activa”, Anales del Sexto Taller del IEEE sobre Aplicaciones de la Visión por Ordenador, 2002 (WACV 2002) , 3 a 7) y Hu et al (C. Hu, R. Feris y M. Turk “Redes de Ondículas Activas para Alineación de Rostros”, Anales de la Conferencia Británica de Visión por Máquina, Norwich, 2003) revelan la división de una cara representada en sub-rasgos, pero no logran modelar ni explotar la naturaleza solapada de los rasgos faciales. Un ejemplo típico para estas oclusiones ocurre cuando el rostro es visto en una visión de semi-perfil, donde la cresta de la nariz forma un borde sobre la mejilla opuesta. Los sistemas anteriores están limitados a la vista no ocluida de los rasgos, y fallan en cuanto los rasgos comienzan a solaparse, debido a la proyección de los rasgos faciales en la imagen. Debería apreciarse que los retos técnicos asociados a este problema son considerables, en particular, dado que un objeto como el rostro humano tiene grandes variaciones entre individuos, y el rostro es un objeto sumamente expresivo. Existe la necesidad en la técnica del rastreo automático de rostros humanos en secuencias de vídeo.

Resumen de la invención Es un objeto de la presente invención proporcionar una forma mejorada del rastreo de objetos tridimensionales. De acuerdo a un primer aspecto de la presente invención, se proporciona un procedimiento de rastreo de un objeto en un flujo de imágenes de entrada, comprendiendo el procedimiento aplicar iterativamente las etapas de: (a) representar un modelo de objeto tridimensional según un vector de estado anteriormente predicho, a partir de un bucle de rastreo previo,

o del vector de estado de una etapa de inicialización; (b) extraer una serie de rasgos puntuales del objeto representado; (c) localizar los correspondientes rasgos puntuales en el flujo de imágenes de entrada; (d) obtener un nuevo vector de estado predicho a partir de las ubicaciones de rasgos puntuales en el flujo de imágenes de entrada. Este procedimiento también puede incluir etapas de inicialización de (i) creación de un modelo tridimensional del objeto a

rastrear; (ii) detección inicial de la posición de los objetos dentro de un flujo de imágenes de entrada. La etapa (d) incluye preferiblemente la etapa adicional de: seleccionar un conjunto de rasgos congruentes, seguida por un filtrado de Kalman de los rasgos, para proporcionar el nuevo vector de estado.

El objeto puede comprender un rostro y el vector de estado puede comprender la postura tridimensional del rostro. En una realización, la selección de un conjunto de rasgos comprende la selección por consenso de muestras aleatorias (RANSAC) de los rasgos. La etapa de localización, preferiblemente, puede incluir utilizar un proceso de correlación cruzada normalizada para localizar los rasgos puntuales.

Debería apreciarse que las realizaciones de la presente invención han sido desarrolladas principalmente en el contexto del rastreo del rostro humano. Sin embargo, la presente invención es aplicable a otros dominios, donde la postura tridimensional de un objeto arbitrario ha de ser medida visualmente. De acuerdo a un segundo aspecto de la presente invención, se proporciona un procedimiento según cualquier procedimiento anteriormente descrito del rastreo de un objeto en un flujo de imágenes de entrada, comprendiendo el procedimiento las etapas de:

(i) crear un modelo tridimensional del objeto a rastrear;

(ii) localizar puntos de rasgos iniciales en un flujo inicial de imágenes de entrada; y

(iii) calcular un vector de estado inicial indicativo de la ubicación del objeto dentro del flujo de imágenes de entrada, en donde el vector de estado inicial se calcula minimizando el error de cuadrados entre los puntos de rasgos localizados iniciales y los correspondientes puntos de rasgos iniciales del modelo tridimensional proyectado en el plano de imágenes.

En el procedimiento, optativamente, en la etapa (a) , el modelo del objeto concuerda, bien con el vector de estado predicho calculado en la etapa (d) de una iteración previa, o bien con el vector de estado inicial calculado en la etapa (ii) , en donde la representación incluye calcular una máscara para el flujo de imágenes de entrada, para distinguir entre píxeles de fondo y de frente; y / o incluye, en la etapa (b) , calcular un número predefinido de rasgos puntuales del objeto representado, en donde el número predefinido de ubicaciones con la mayor angulosidad son seleccionadas como rasgos a partir de la imagen representada de la iteración previa para la siguiente etapa de localización. La etapa de localización, preferiblemente, usa una correlación de plantilla enmascarada normalizada para calcular los nuevos rasgos puntuales localizados.

El nuevo vector de estado, preferiblemente, es calculado usando la selección por Consenso de Muestras Aleatorias, y seguido por un filtro de Kalman, para estimar el nuevo vector de estado. El filtro de Kalman, preferiblemente, usa un modelo de movimiento de aceleración constante del objeto para predecir el nuevo vector de estado del objeto a partir de vectores de estado previamente calculados y de los nuevos rasgos puntuales localizados.

De acuerdo a un tercer aspecto de la revelación, se proporciona un programa de ordenador o producto de programa de ordenador que comprende un conjunto de instrucciones para llevar a cabo un procedimiento... [Seguir leyendo]

1. Un procedimiento de rastreo de un objeto en un flujo de imágenes de entrada, comprendiendo dicho procedimiento aplicar iterativamente las etapas de:

(a) representar un modelo de objeto tridimensional, según un vector de estado predicho previamente a partir de un bucle de rastreo anterior, o un vector de estado proveniente de una etapa de inicialización;

(b) extraer una serie de rasgos puntuales de dicho objeto representado;

(c) localizar los correspondientes rasgos puntuales en dicho flujo de imágenes de entrada;

(d) obtener un nuevo vector de estado predicho a partir de dicho rasgo puntual localizado en el flujo de imágenes de entrada.

2. Un procedimiento según la reivindicación 1, que comprende adicionalmente una etapa de inicialización de

(i) creación de un modelo tridimensional de dicho objeto a rastrear;

(ii) detección inicial de la posición de dichos objetos dentro de dicho flujo de imágenes de entrada.

3. Un procedimiento según la reivindicación 1, en el cual dicha etapa (d) incluye adicionalmente la etapa de seleccionar un conjunto de rasgos congruentes, seguida por un filtrado de Kalman de dichos rasgos para obtener dicho nuevo vector de estado.

4. Un procedimiento según la reivindicación 1, en el cual dicho objeto comprende un rostro.

5. Un procedimiento según la reivindicación 4, en el cual dicho vector de estado comprende la postura tridimensional de dicho rostro.

6. Un procedimiento según la reivindicación 3, en el cual la selección de un conjunto de rasgos comprende la selección por consenso de muestras aleatorias (RANSAC) de dichos rasgos.

7. Un procedimiento según la reivindicación 1, en el cual dicha etapa de localización incluye utilizar un proceso normalizado de correlación cruzada para localizar dichos rasgos puntuales.

8. Un procedimiento según la reivindicación 1, que incluye las etapas de inicialización de:

(i) crear un modelo tridimensional de dicho objeto a rastrear;

(ii) localizar puntos iniciales de rasgos en dicho flujo inicial de imágenes de entrada; y

(iii) calcular un vector de estado inicial indicativo de dicha ubicación de objeto dentro de dicho flujo de imágenes de entrada, en donde dicho vector de estado inicial es calculado minimizando el error de cuadrados entre dichos puntos iniciales de rasgos localizados y los correspondientes puntos iniciales de rasgos de dicho modelo tridimensional proyectado en el plano R (p) de imágenes.

9. Un procedimiento según la reivindicación 8, en el cual, en la etapa (a) , dicho modelo de objeto concuerda, bien con dicho vector de estado predicho calculado en la etapa (d) de una iteración anterior, o bien con dicho vector de estado inicial calculado en la etapa (ii) , y en el cual dicha representación incluye calcular una máscara para dicho flujo de imágenes de entrada, para distinguir entre píxeles de fondo y de frente.

10. Un procedimiento según la reivindicación 9, en el cual la etapa (b) incluye calcular un número predefinido de rasgos puntuales a partir de dicho objeto representado, en el cual dicho número predefinido de ubicaciones con la mayor angulosidad son seleccionadas como rasgos de dicha imagen representada de la iteración anterior, para la siguiente etapa de localización.

11. Un procedimiento según la reivindicación 8, en el cual dicha etapa de localización usa una correlación de plantilla normalizada enmascarada para calcular dichos nuevos rasgos puntuales localizados.

12. Un procedimiento según la reivindicación 8 o la reivindicación 9, en el cual dicho nuevo vector de estado es calculado usando la selección por Consenso de Muestras Aleatorias, y seguida por un filtro de Kalman para estimar dicho nuevo vector de estado.

13. Un procedimiento según la reivindicación 12, en el cual dicho filtro de Kalman utiliza un modelo de movimiento de aceleración constante de dicho objeto para predecir dicho nuevo vector de estado de dicho objeto a partir de vectores de estado anteriormente calculados, y dichos nuevos rasgos puntuales localizados.

14. Un sistema para rastrear un objeto en un flujo de imágenes de entrada, comprendiendo el sistema un procesador adaptado para recibir un flujo de imágenes de entrada, y dicho procesador está adicionalmente adaptado para realizar las

etapas de:

(i) crear un modelo tridimensional del objeto a rastrear;

(ii) localizar puntos iniciales de rasgos en dicho flujo inicial de imágenes de entrada;

(iii) calcular un vector de estado inicial indicativo de la ubicación de dicho objeto dentro de dicho flujo de imágenes de entrada, en donde dicho vector de estado inicial es calculado minimizando el error de cuadrados entre dichos puntos iniciales de rasgos localizados y los correspondientes puntos de rasgos iniciales de dicho modelo tridimensional proyectado en el plano de imágenes R (p) ;

(a) representar un modelo de objeto tridimensional, en donde dicho modelo de objeto concuerda, bien con dicho vector de estado predicho calculado en la etapa (d) de una iteración previa, o bien con dicho vector de estado inicial calculado en la etapa (ii) , en donde dicha representación incluye calcular una máscara para dicho flujo de imágenes de entrada, para distinguir entre píxeles de fondo y de frente;

(b) calcular un número predefinido de rasgos puntuales a partir de dicho objeto representado, en donde dicho número predefinido de ubicaciones con la mayor angulosidad son seleccionadas como rasgos a partir de dicha imagen representada de la iteración previa para la siguiente etapa de localización;

(c) localizar los correspondientes rasgos puntuales en dicho flujo de imágenes de entrada;

(d) calcular un nuevo vector de estado a partir de dichos rasgos puntuales localizados en dicho flujo de imágenes de entrada; y

(e) realizar iterativamente las etapas (a) a (d) para proporcionar en cada iteración dicho nuevo vector de estado actualizado a partir de dichos rasgos puntuales localizados.

15. Un sistema según la reivindicación 14, en el cual dicho procesador está adaptado para realizar una correlación de plantilla normalizada enmascarada para calcular dichos nuevos rasgos puntuales localizados.

16. Un sistema según la reivindicación 14, en el cual dicho procesador está adaptado para aplicar dichos nuevos rasgos puntuales localizados en un filtro de Kalman, para calcular dicho nuevo vector de estado.