Un procedimiento para reconocimiento de objetos de un objeto tridimensional (307),

3D, que comprende lasetapas de:

- obtener al menos una representación bidimensional (606), 2D, de dicho objeto;

- detectar características de imagen en dicha representación 2D (606) obtenida;

- inferir una forma 3D dispersa correspondiente a las características de imagen utilizando unarepresentración vectorial latente de dicha forma 3D dispersa y utilizando un modelo de formaestadístico multi-perspectiva.

caracterizado por comprender además las etapas de

- extender la forma 3D dispersa a una forma 3D densa encajando la superficie a dicha forma 3Ddispersa utilizando un modelo de forma estadístico aprendido que consiste en una superficie mediacompleta del objeto para regularizar dicha forma de superficie de forma específica para una clasede objetos;

- comparar la forma 3D densa con formas 3D de referencia (605) obtenidas previamente; y por lotanto

- identificar un objeto individual de la clase de objetos.

Reconocimiento de objetos 3D

5 Campo de la invención

La presente invención se refiere a reconocimiento automático de objetos y en particular a reconocimiento automático de objetos 3D utilizando información estadística de forma.

Antecedentes de la invención

Existen procedimientos extremadamente fiables para identificación personal utilizando datos biométricos tales como, por ejemplo, huellas digitales, patrones retinales o características únicas similares del sujeto que dependen de la colaboración del sujeto. El reconocimiento facial puede ser una manera efectiva de identificar a una persona sin la colaboración o conocimiento de la persona. Existen dos problemas generales principales para un sistema de reconocimiento facial: identificar a una persona, es decir, determinar la identidad a partir de imágenes, y verificar la identidad de una persona, es decir, certificar que una persona es quién dice ser. Aplicaciones específicas son, por ejemplo, inmigración, documentos de identidad, pasaportes, acceso a un computador, seguridad en intranet, vigilancia mediante video y sistemas de acceso. La presente invención pretende incrementar las prestaciones y eficiencia de tales sistemas utilizando información geométrica disponible a través del uso de modelos estadísticos de forma.

En el área de modelos estadísticos de forma, la invención se refiere a los Modelos Activos de Forma (ASM) introducidos por Cootes y Taylor, ([1]: Cootes T.F. y Taylor C.J., “Active Shape model Search using Grey-level Models: A Quantitative Evaluation”, Conferencia Británica de Visión Artificial, páginas 639-648, 1993) . Una distinción es que los ASM han sido 25 utilizados para inferir formas 2D a partir de observaciones 2D o formas 3D a partir de informaciones 3D mientras que la invención utiliza observaciones 2D, es decir, imágenes, para inferir formas 3D. Además, las observaciones son desde múltiples puntos de vista (uno o más dispositivos de imagen) algo que el ASM estándar no trata. Cootes y Taylor tienen un número de patentes en este área, de las cuales las más relevantes son (WO02103618A1 – Modelo Estadístico) en donde se trata la parametrización de formas 2D ó 3D, (WO0135326A1 – Identificación de Clase de Objeto, Verificación o Síntesis de Imagen de Objeto) en donde una clase de objeto se identifica en imágenes y (WO02097720A1 – Identificación de Objeto) en la que los objetos se identifican utilizando versiones modificadas de ASM y técnicas relacionadas. También relacionado está Cootes et al. ([2]: Cootes T.F., Wheeler G.V., Walker K.N y Taylor C.J., “Viewbased Active Appearance Models”, Image and Vision Computing, 20 (9-10) , páginas 657-664; 2002) en donde se utilizan los modelos multi-perspectiva pero el modelo no contiene datos 3D explícitos o consistentes. Existen también procedimientos para deformar un modelo 3D del objeto para encajar las proyecciones 2D del objeto en las imágenes tal como en Blanz y Vetter ([3] Blanz V. y Vetter T., “Face Recognition based on Fitting a 3D Morphable Model”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 25 (9) , páginas 1063-1073, 2003.) . Estos procedimientos son computacionalmente muy costosos y a menudo requieren intervención manual. Las patentes relacionadas son US6556196/EP1039417 (Procedimientos y aparatos para el procesado de imágenes) que describe un procedimiento de transformar un modelo 3D de forma que sea una representación 3D del objeto en la imagen mediante la minimización del error de proyección en la imagen.

Un problema común para el reconocimiento basado en imagen es detectar la forma 2D del objeto en la imagen, es decir, encontrar la región relevante de la imagen. Los procedimientos recientes para detectar objetos en imágenes incluyen 45 habitualmente escanear la imagen a distintas escalas en busca de patrones de imagen específicos del objeto y luego utilizar un clasificador para decidir si la región es relevante o no. Los últimos desarrollos sugieren el uso de Máquinas de Vectores de Soporte (SVM) para esta tarea. Un elemento clave es la extracción de características de imagen, es decir, partes de la imagen tales como esquinas, bordes u otros puntos interesantes. Esto se hace habitualmente utilizando esquemas basados en correlación que usan plantillas o procedimientos basados en los bordes que utilizan gradientes. Para una visión general de procedimientos para reconocimiento facial y extracción de características de imagen, véase Zhao y Chellapa ([4]: Zhao W., Chellapa R., Rosenfeld A y Phillips P.J, “Face Recognition: A Literature Survey”, informe técnico CAR-TR-948, 2000.) y las referencias en este documento. En [4], se presenta también un resumen de los procedimientos actuales basados en imagen para reconocimiento facial.

55 Al usar procedimientos basados en imagen para identificación y verificación existen dos problemas principales, variación de la iluminación y variación de la pose. La variación de la iluminación afectará a todos los procedimientos basados en correlación en los que se comparan partes de la imagen ya que los valores de los píxeles pueden variar con iluminación cambiante. Las reflexiones especulares pueden llevar a grandes cambios en la intensidad de pixel. La variación de pose ocurre debido a que la proyección en la imagen puede cambiar dramáticamente al rotar el objeto. Estos dos problemas han sido documentados en muchos sistemas de reconocimiento facial y son inevitables cuando las imágenes se adquieren en entornos no controlados. La mayoría de los procedimientos conocidos fallan en resolver estos problemas de forma robusta.

El problema de iluminación es gestionado por la invención ya que no se lleva a cabo correlación de imagen o 65 comparación de partes de imagen. En vez, se computan características de imagen como esquinas que son robustos a cambios de intensidad, lo que hace la reconstrucción de forma, en gran parte, insensible a la iluminación y a las reflexiones especulares. La invención gestiona el problema de la pose usando cualquier número de imágenes con pose diferentes para entrenar el modelo estadístico. Cualquier subconjunto de las imágenes, tan pequeño como una única imagen, puede utilizarse para inferir la forma 3D del objeto.

El artículo titulado “Inferring 3D structure with a Statistical Image-based Shape Model” de Grauman K et al. (Proceedings of the Eight IEEE International Conference on Computer Vision, Niza, Francia, Octubre 13-16, 2003, volumen 2, páginas 641-648, XP010662422, ISBN:0-7695-1950-4) describe un enfoque basado en imagen para inferir parámetros de la estructura 3D utilizando un modelo probabilístico “forma + estructura”. La forma 3D de una clase de objetos se representa mediante conjuntos de contornos a partir de vistas de silueta observados simultáneamente a partir de múltiples cámaras calibradas. Las reconstrucciones bayesianas de nuevas formas son entonces estimadas utilizando una densidad anterior construida con un modelo de mezclas y un análisis probabilístico de componentes principales. El modelo de forma se expande para incorporar características estructurales de interés; ejemplos novedosos con falta de parámetros de estructura se reconstruyen entonces para obtener estimaciones de estos parámetros. Hacer coincidir el modelo y la inferencia de parámetros, se hace completamente en el dominio de la imagen y no requiere una construcción 3D explícita. El modelo de forma permite una estimación precisa de la estructura a pesar de errores de segmentación o falta de vistas en las siluetas de entrada, y funciona incluso con solo una única vista de entrada. Utilizando un conjunto de datos de imágenes de peatones generadas con un modelo sintético, las localizaciones 3D de l9 articulaciones en el cuerpo basadas en los contornos de silueta de imágenes reales puede inferirse de forma precisa.

RESUMEN DE LA INVENCIÓN

La invención consiste en un modelo estadístico de las variaciones de forma en una clase de objetos que relaciona la proyección en dos dimensiones (2D) en imágenes a la forma en tres dimensiones (3D) del objeto y el uso de la información de forma 3D para identificación o verificación del objeto. Además, la presente invención se refiere a un 25 dispositivo o sistema de procesado de imagen para implementar tal procedimiento. El procedimiento es completamente automático y puede usarse para, por ejemplo, identificación biométrica a partir de imágenes de caras o identificación de objetos en por ejemplo imágenes de Rayos X en seguridad aeroportuaria. La forma 3D recuperada es la forma más probable consistente... [Seguir leyendo]

1. Un procedimiento para reconocimiento de objetos de un objeto tridimensional (307) , 3D, que comprende las etapas de:

- obtener al menos una representación bidimensional (606) , 2D, de dicho objeto;

- detectar características de imagen en dicha representación 2D (606) obtenida;

- inferir una forma 3D dispersa correspondiente a las características de imagen utilizando una representración vectorial latente de dicha forma 3D dispersa y utilizando un modelo de forma estadístico multi-perspectiva. caracterizado por comprender además las etapas de

- extender la forma 3D dispersa a una forma 3D densa encajando la superficie a dicha forma 3D dispersa utilizando un modelo de forma estadístico aprendido que consiste en una superficie media completa del objeto para regularizar dicha forma de superficie de forma específica para una clase

de objetos;

- comparar la forma 3D densa con formas 3D de referencia (605) obtenidas previamente; y por lo tanto

- identificar un objeto individual de la clase de objetos.

2. El procedimiento según la reivindicación 1, en el que dicha forma 3D dispersa se infiere a partir de características 2D.

3. El procedimiento según la reivindicaciones 1 a 2, en el que dicha clase de objetos contiene objetos no

rígidos y dicho modelo de forma estadístico es aprendido utilizando datos 2D y 3D específicos para posibles 25 deformaciones de los objetos en dicha clase de objetos no rígidos.

4. El procedimiento según cualquiera de las reivindicaciones 1 a 3, que comprende además la etapa de verificar la identidad de un objeto individual de una clase de objetos o ayudar en la verificación de la identidad de un objeto individual utilizando dicha forma 3D densa.

5. El procedimiento según las reivindicaciones 1 a 4, en el que dicho objeto (607) puede ser uno o varios de: una cara humana, un cuerpo humano, órgano (s) interno (s) de un cuerpo humano, vasos sanguíneos, animales, órganos internos de un animal, un tumor, producto (s) manufacturado (s) de un proceso industrial,

un vehículo, una aeronave, un barco, objeto (s) militar (es) .

6. El procedimiento según la reivindicación 1, en el que dichas formas 3D de referencia (605) se almacenan en al menos uno de una memoria no volátil, servidor de base de datos y tarjeta de identificación personal.

7. Un dispositivo (400) para reconocimiento de objetos de un objeto tridimensional (607) , 3D, que comprende:

- medios para obtener al menos una representación bidimensional (606) , 2D, de dicho objeto;

- medios para detectar características de imagen en dicha representación 2D (606) obtenida;

45 -medios para inferir una forma 3D dispersa correspondiente a las características de imagen utilizando una representación vectorial latente de dicha forma 3D dispersa y utilizando un modelo de forma estadístico multi-perspectiva. caracterizado por comprender además medios para

- extender la forma 3D dispersa a una forma 3D densa encajando la superficie a dicha forma 3D dispersa utilizando un modelo de forma estadístico aprendido que consiste en una superficie media completa del objeto para regularizar dicha forma de superficie de forma específica para una clase de objetos;

- comparar la forma 3D densa con formas 3D de referencia (605) obtenidas previamente, y por lo

tanto 55 identificar un objeto individual de la clase de objetos.

8. El dispositivo (400) según la reivindicación 7, en el que dicha forma 3D dispersa se infiere a partir de características 2D.

9. El dispositivo (400) según la reivindicaciones 7 a 8, en el que dicha clase de objetos contiene objetos no rígidos y dicho modelo de forma estadístico es aprendido utilizando datos 2D y 3D específicos para posibles deformaciones de los objetos en dicha clase de objetos no rígidos.

10. El dispositivo (400) según cualquiera de las reivindicaciones 7 a 9, que comprende además la etapa de

verificar la identidad de un objeto individual de una clase de objetos o ayudar en la verificación de la identidad de un objeto individual utilizando dicha forma 3D densa.

11. El dispositivo (400) según las reivindicaciones 7 a 10, en el que dicho objeto (607) puede ser uno o varios

de: una cara humana, un cuerpo humano, órgano (s) interno (s) de un cuerpo humano, vasos sanguíneos, animales, órganos internos de un animal, un tumor, producto (s) manufacturado (s) de un proceso industrial, un vehículo, una aeronave, un barco, objeto (s) militar (es) .

12. El dispositivo (400) según las reivindicación 11, en el que dichas formas 3D densas de vasos sanguíneos o órganos recuperadas a partir de proyecciones 2D, por ejemplo, utilizando imágenes de Rayos X, se utilizan para navegar catéteres dirigibles o ayudar a médicos mostrando dicha forma 3D densa.

13. El dispositivo (400) según las reivindicación 11, en el que dichas formas 3D densas de características faciales se utilizan para identificar o para verificar la identidad de un individuo en un sistema de control de 15 acceso o sistema de seguridad, resultando en la aceptación o rechazo de dicho individuo.

14. El dispositivo (400) según las reivindicación 8, que comprende además una interfaz para comunicarse con una tarjeta de identificación personal en la que se almacenan dichas formas 3D de referencia.

15. Un programa de ordenador almacenado en un medio legible por ordenador (402) que comprende una pluralidad de instrucciones que cuando son ejecutadas por una unidad de computación (901) hace que la unidad de computación lleve a cabo el procedimiento de cualquiera de las reivindicaciones 1 a 6.

16. Un sistema para reconocimiento de objetos de un objeto tridimensional, 3D, que comprende: 25

- un dispositivo (400) según la reivindicación 7; y

- medios para responder (604) a un resultado de dichos medios de comparación.

17. El sistema según la reivindicación 16, que comprende además medios para identificar y/o verificar un objeto individual de una clase de objetos o ayudar en dicha identificación y/o verificación de dicho individuo utilizando dicha forma 3D densa.

18. El sistema según la reivindicación 16, en el que dichas formas de referencia 3D se almacenan en al menos uno de una memoria no volátil, servidor de base de datos y tarjeta de identificación personal. 35