DISPOSITIVO Y PROCEDIMIENTO AUTOMATICO PARA ESTABLECER EL SEXO AL QUE PERTENECEN LOS ROSTROS QUE APARECEN EN IMAGENES.

Dispositivo y procedimiento automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes que comprende una etapa de entrenamiento y una de clasificación.

El enfrenamiento comprende: preprocesar imágenes de entrenamiento; construir un clasificador biclase, hombre y mujer, en el espacio unidimensional resultado de un procedimiento de Análisis de componentes Principales (PCA) seguido de un procedimiento de Análisis Discriminante Lineal de Fisher (LDA), siendo el paso clave la elección del conjunto de los autovectores de PCA que mejor discriminan mediante validación cruzada. La etapa de clasificación comprende: preprocesar una imagen; proyectar la imagen sobre el espacio de proyección PCA y LDA utilizando la proyección más discriminante obtenida en el entrenamiento; y clasificar el valor unidimensional resultante de la proyección mediante el clasificador del entrenamiento

Tipo: Patente de Invención. Resumen de patente/invención. Número de Solicitud: P201030025.

Solicitante: UNIVERSIDAD POLITECNICA DE MADRID
UNIVERSIDAD REY JUAN CARLOS.

Nacionalidad solicitante: España.

Provincia: MADRID.

Inventor/es: BEKIOS CALFA,JUAN, BAUMELA MOLINA,LUIS, BUENAPOSDADA BIENCINTO,JOSE MIGUEL.

Fecha de Solicitud: 14 de Enero de 2010.

Fecha de Publicación: 21 de Septiembre de 2010.

Fecha de Concesión: 7 de Septiembre de 2010.

Clasificación Internacional de Patentes:

G06K9/46A1R
G06K9/62C1P1

Clasificación PCT:

G06K9/00 FISICA. › G06 CALCULO; CONTEO. › G06K RECONOCIMIENTO DE DATOS; PRESENTACION DE DATOS; SOPORTES DE REGISTROS; MANIPULACION DE SOPORTES DE REGISTROS (impresión per se B41J). › Métodos o disposiciones para la lectura o el reconocimiento de caracteres impresos o escritos o el reconocimiento de formas, p. ej. de huellas dactilares (métodos y disposiciones para la lectura de grafos o para la conversión de patrones de parámetros mecánicos, p.e. la fuerza o la presencia, en señales eléctricas G06K 11/00; reconocimiento de la voz G10L 15/00).

DISPOSITIVO Y PROCEDIMIENTO AUTOMATICO PARA ESTABLECER EL SEXO AL QUE PERTENECEN LOS ROSTROS QUE APARECEN EN IMAGENES.

Fragmento de la descripción:

Dispositivo y procedimiento automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes.

Campo de la invención

La presente invención pertenece al campo técnico de la inteligencia artificial, concretamente al campo de la visión por computador la cual tiene como objeto el reconocimiento de imágenes o patrones de una escena o imagen.

Estado de la técnica

La clasificación de imágenes faciales según su género ha atraído la atención de los investigadores en Visión por Computadora y Reconocimiento de Patrones durante años, siendo SEXNET de Golomb en 1991 el primer intento de reconocer el sexo al que pertenece una cara. A partir de entonces se han desarrollado numerosos trabajos relacionados con este tema, concretamente, se han producido importantes avances en las áreas de la detección automática de rostros en imágenes y el seguimiento automático de los mismos en una secuencia de vídeo, lo que ha multiplicado la aparición de aplicaciones prácticas del análisis facial automático como la detección de rostros, sonrisas o parpadeos en cámaras digitales de fotografía. Los sistemas empotrados de procesamiento de caras como esos poseen recursos de cómputo muy limitados y es crucial para su éxito el desarrollo de procedimientos eficientes de análisis facial.

La patente US6990217 presenta un método global de clasificación de rostros en imágenes según el sexo al que pertenezcan. En ella el entrenamiento se realiza mediante SVM (Support Vector Machine) con un kernel de Funciones de Base Radial los cuales definen un hiperplano con el fin de separar los grupos correspondientes a hombres y mujeres. Tras el entrenamiento, se realiza la clasificación de imágenes mediante el hiperplano definido por SVM.

La patente US7505621 presenta un sistema y un método para la extracción automática de información demográfica a partir de imágenes. El sistema detecta la cara en una imagen, localiza las diferentes componentes, extrae características de las componentes y clasifica las componentes para identificar la edad, el sexo o el origen étnico de la persona o personas de la imagen. En esta patente se demuestra que usar componentes para la clasificación demográfica ofrece mejores resultados que los obtenidos por las técnicas actualmente conocidas. Además, el sistema y el método descritos se pueden utilizar para extraer información demográfica de manera más robusta en entornos donde existe un alto grado de variabilidad de tamaño, forma, color, textura, posición y oclusión. Esta invención realiza una fusión de clasificadores a nivel de componentes utilizando un clasificador multinivel para fusionar resultados de varios clasificadores de componentes demográficas.

En general, el problema de la clasificación de género en imágenes se realiza de dos formas:

1) global, utilizando la imagen de la cara completa como atributo de clasificación después de haberla recortado, normalizado su tamaño y normalizada su iluminación,
2) basada en características, extrayendo una serie de elementos discriminantes de la imagen facial.

Hasta la fecha, los mejores resultados con clasificadores globales se han obtenido en la patente US6990217 utilizando un clasificador de Máquinas de Vectores Soporte (SVM) y un kernel de Funciones de Base Radial (RBF), a este clasificador se le denominará SVM+RBF. Utilizando SVM+RBF se reportó un 96,6% de acierto en la clasificación utilizando 1775 imágenes de la base de datos FERET utilizando imágenes normalizadas y recortadas y validación cruzada con 5 grupos. Sin embargo, Baluja y Rowley ("Boosting sex identification performance", International Journal of Computer Vision, 71(1)) detectaron un sesgo en la estimación de la patente US6990217 causado por la existencia de imágenes con la misma persona en diferentes grupos (mismo individuo presente en algún grupo de entrenamiento y en el de prueba). Baluja y Rowley consiguieron un 93,5% de acierto en un experimento similar al de dicha patente con alineación manual de las imágenes y una validación cruzada realizada con la presencia de cada individuo únicamente en uno de los grupos.

Las aproximaciones basadas en características utilizan, desde diferencias de niveles de gris de dos píxeles, rectángulos parecidos a wavelets de Haar, bancos de filtros multiescala, hasta Patrones Binarios Locales (LBP) para reconocer el sexo al que pertenece una cara. Shakhnarovich, Viola y Moghaddam ("A unified learning framework for real time face detection and classification", Actas de la IEEE International Conference on Automatic Face and Gesture Recognition, FG 2002) obtuvieron un 79% y un 79,2% de tasa de acierto en clasificación de sexo y etnia en un conjunto de imágenes difíciles descargadas de Internet. Para ello utilizaron rectángulos parecidos a wavelets de Haar y una aproximación basada en AdaBoost para seleccionar las características más discriminantes que permite clasificar la imagen de una cara 50 veces más rápido que las aproximaciones basadas en SVM. Baluja y Rowley utilizan comparaciones directas de los niveles de gris de dos píxeles como clasificadores básicos en un esquema de aprendizaje basado en AdaBoost. Utilizando imágenes de caras alineadas manualmente sacadas de los conjuntos "fa" y "fb" de la base de datos FERET obtienen una tasa de acierto del 94%. Su clasificador es aproximadamente 50 veces más rápido que la solución basada en SVM+RBF de la patente US6990217.

Una conclusión importante de los resultados aparecidos en la literatura es que es bastante difícil compararlos, dado que los investigadores no utilizan la misma base de datos y, cuando la utilizan, frecuentemente no usan las mismas imágenes. Esta es la razón por la que Mäkinen y Raisamo realizaron un gran número de experimentos sobre reconocimiento de sexo ("Evaluation of gender classification methods with automatically detected and aligned faces", IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(3)). Sin embargo, sus pruebas se realizaron con muy pocas imágenes (411), con lo que no se pueden extraer conclusiones definitivas de su trabajo.

Por otro lado, sí que podemos asumir que los procedimientos con mejor tasa de clasificación se encuentran en una tasa de 93% de acierto de la patente US6990217 con SVM+RBF, y de Baluja y Rowley con AdaBoost sobre la base de datos FERET.

La tasa de acierto no es la única variable importante a considerar. La eficiencia computacional es también un aspecto importante, dado que la implantación masiva de dispositivos de análisis demográfico con visión por computadora necesitará procedimientos de clasificación que puedan funcionar, por ejemplo, en cámaras en red o en teléfonos móviles. Hasta ahora, sólo los procedimientos basados en AdaBoost de Baluja y Shakhnarovich para la clasificación de sexo podían cubrir este requisito de eficiencia computacional.

Sin embargo, era deseable un dispositivo y un procedimiento automático para establecer el sexo al que pertenecen los rostros en las imágenes, que se caracterizasen por su sencillez y que utilizaran menos recursos de cómputo, obteniendo resultados capaces de competir con los ofrecidos por los ya existentes.

Descripción de la invención

La presente invención resuelve los problemas existentes en el estado de la técnica mediante el uso de un clasificador basado en uno de los métodos más sencillos de clasificación lineal: Análisis de Componentes Principales (PCA) seguido del Análisis Discriminante Lineal de Fisher (LDA) utilizando un clasificador Bayesiano en el espacio de dimensión reducida que se obtiene del LDA siendo la selección de las características de PCA más discriminantes el paso crucial para el aumento del rendimiento.

A continuación se explicará el funcionamiento del mismo.

Análisis Discriminante Lineal de Fisher (LDA)

Dado un problema de clasificación multiclase con c clases y p vectores ejemplo de dimensión n, el LDA permite obtener una matriz de proyección lineal de los p vectores en un subespacio de dimensión como mucho d=c-1 en la que el ratio entre la separación dentro de cada clase y la separación entre las clases es máximo. Los vectores de la base del subespacio transformado, w_i, se obtienen maximizando la siguiente función objetivo:

donde S_B y S_w son, respectivamente, las matrices...

Reivindicaciones:

1. Procedimiento automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, caracterizado porque comprende:

una etapa de entrenamiento que a su vez comprende:
a)preprocesar una pluralidad de imágenes de entrada para adecuarlas a su posterior procesamiento; b)dividir las imágenes de entrada en N grupos para realizar un procedimiento de validación cruzada obteniendo N-1 grupos de imágenes de entrenamiento para entrenar un clasificador y un grupo de imágenes de prueba para probar dicho clasificador; c)realizar Análisis de Componentes Principales (PCA) sobre las imágenes de entrenamiento, I, correspondientes a los N-1 grupos obtenidos en la etapa b); d)elegir K autovectores del PCA, con K=1 en la primera iteración de la etapa de entrenamiento; e)obtener M, matriz de la base del PCA, cuyas columnas son los K autovectores elegidos en la etapa d); f)obtener Q, matriz media de las imágenes de entrenamiento I; g)proyectar las imágenes de entrenamiento I sobre el espacio PCA obteniendo un vector de coeficientes i igual a i=M^T(I-Q) por cada imagen de entrenamiento I; h)ejecutar el Análisis Discriminante Lineal de Fisher (LDA) sobre el conjunto de vectores de coeficientes i provenientes de la etapa g), obteniendo como resultado la matriz de proyección, W, sobre el espacio LDA; i)proyectar cada imagen de las imágenes de entrenamiento, I, sobre el espacio unidimensional de LDA obtenido según m=WM^T(I-Q)=P(I-Q), donde P=WM^T es la matriz de proyección PCA y LDA; j)construir un clasificador biclase utilizando los vectores de m correspondientes a cada imagen de las imágenes de entrenamiento I; k)clasificar las imágenes del grupo de prueba con el clasificador construido en la etapa j) calculando y almacenando la tasa de acierto del grupo de prueba correspondiente; l)volver al paso c) hasta utilizar cada uno de los N grupos una vez como grupo de prueba para la validación cruzada; m)calcular la media de las tasas de acierto de las N pruebas realizadas; n)actualizar K sumándole una unidad hasta K igual al número de píxeles de las imágenes de entrada y volver al paso b); o)elegir la matriz de proyección PCA y LDA, P, y la matriz media de las imágenes de entrenamiento, Q, con mayor tasa de acierto; p)construir un segundo clasificador biclase utilizando la totalidad de imágenes de entrada y las matrices P y Q elegidas en la etapa o); una etapa de clasificación que a su vez comprende:
q)preprocesar una imagen Im; r)proyectar la imagen Im, utilizando la matriz de proyección PCA y LDA, P, y la matriz media de las imágenes de entrenamiento, Q, elegidas en la etapa o) del entrenamiento, mediante m'=P(Im-Q); s)clasificar m' con el segundo clasificador construido en la etapa p).

2. Procedimiento automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, según la reivindicación anterior, caracterizado porque la elección de los K autovectores del PCA se realiza seleccionando entre:

un método basado en autovalores que comprende:
ordenar los autovectores del PCA de mayor a menor autovalor asociado; tomar iterativamente K autovectores, incrementando en cada iteración el valor de K en una unidad, para obtener el número de autovectores del PCA que mayor tasa de acierto obtenga en la clasifica- ción; un método basado en la discriminación entre las clases del clasificador de cada autovector del PCA que comprende:
ordenar los autovectores del PCA de mayor a menor valor asociado según un criterio de discriminación entre las clases respecto a las que se clasifica; tomar iterativamente K autovectores, incrementando en cada iteración el valor de K en una unidad, para obtener el número de autovectores del PCA que mayor tasa de acierto obtenga en la clasifica- ción.

3. Procedimiento automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, según la reivindicación 2, caracterizado porque la elección de los K autovectores del PCA a partir de la discriminación entre las clases del clasificador, se calcula sumando las correlaciones al cuadrado de cada uno de los autovectores del PCA elegidos en el paso d), con cada uno de los autovectores de la matriz de covarianzas de los vectores media de cada clase.

4. Procedimiento automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, según cualquiera de las reivindicaciones anteriores, caracterizado porque el preprocesamiento de las imágenes de entrada comprende las siguientes etapas:

ejecutar un procedimiento de detección de caras localizando el área que contiene puntos de interés;
normalizar el tamaño de las imágenes de entrada;
ecualizar el histograma asociado a las imágenes de entrada normalizadas;
aplicar una máscara para eliminar el fondo de las imágenes normalizadas y ecualizadas.

5. Dispositivo automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, caracterizado porque comprende:

unos medios de adquisición de imágenes configurados para capturar imágenes y conectados a unos medios de procesamiento;
los medios de procesamiento configurados para la realización de dos etapas:
una etapa de entrenamiento que a su vez comprende: t)preprocesar una pluralidad de imágenes de entrada para adecuarlas a su posterior procesamiento; u)dividir las imágenes de entrada en N grupos para realizar un procedimiento de validación cruzada obteniendo N-1 grupos de imágenes de entrenamiento para entrenar un clasificador y un grupo de imágenes de prueba para probar dicho clasificador; v)realizar Análisis de Componentes Principales (PCA) sobre las imágenes de entrenamiento, I, correspondientes a los N-1 grupos obtenidos en la etapa u); w)elegir K autovectores del PCA, con K=1 en la primera iteración de la etapa de entrenamiento; x)obtener M, matriz de la base del PCA, cuyas columnas son los K autovectores elegidos en la etapa w); y)obtener Q, matriz media de las imágenes de entrenamiento I; z)proyectar las imágenes de entrenamiento I sobre el espacio PCA obteniendo un vector de coeficientes i igual a i=M^T(I-Q) por cada imagen de entrenamiento I; aa)ejecutar el Análisis Discriminante Lineal de Fisher (LDA) sobre el conjunto de vectores de coeficientes i provenientes de la etapa g), obteniendo como resultado la matriz de proyección, W, sobre el espacio LDA; bb)proyectar cada imagen de las imágenes de entrenamiento, I, sobre el espacio unidimensional de LDA obtenido según m=WM^T(I-Q)=P(I-Q), donde P=WM^T es la matriz de proyección PCA y LDA; cc)construir un clasificador biclase utilizando los vectores de m correspondientes a cada imagen de las imágenes de entrenamiento I; dd)clasificar las imágenes del grupo de prueba con el clasificador construido en la etapa cc) calculando y almacenando la tasa de acierto del grupo de prueba correspondiente; ee)volver al paso v) hasta utilizar cada uno de los N grupos una vez como grupo de prueba para la validación cruzada; ff)calcular la media de las tasas de acierto de las N pruebas realizadas; gg)actualizar K sumándole una unidad hasta K igual al número de píxeles de las imágenes de entrada y volver al paso u); hh)elegir la matriz de proyección PCA y LDA, P, y la matriz media de las imágenes de entrenamiento, Q, con mayor tasa de acierto; ii)construir un segundo clasificador biclase utilizando la totalidad de imágenes de entrada y las matrices P y Q elegidas en la etapa hh); una etapa de clasificación que a su vez comprende: jj)preprocesar una imagen Im; kk)proyectar la imagen Im, utilizando la matriz de proyección PCA y LDA, P, y la matriz media de las imágenes de entrenamiento, Q, elegidas en la etapa hh) del entrenamiento, mediante m=P(Im-Q); ll)clasificar m con el segundo clasificador construido en la etapa ii).

6. Dispositivo automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, según la reivindicación 5, caracterizado porque los medios de procesamiento están configurados para elegir los K autovectores del PCA, seleccionando entre:

7. Dispositivo automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, según la reivindicación 6, caracterizado porque los medios de procesamiento encargados de elegir los K autovectores del PCA a partir de la discriminación entre las clases del clasificador, están configurados para calcular dicha discriminación sumando las correlaciones al cuadrado de cada uno de los autovectores del PCA elegidos en el paso w), con cada uno de los autovectores de la matriz de covarianzas de los vectores media de cada clase.

8. Dispositivo automático para establecer el sexo al que pertenecen los rostros que aparecen en imágenes, según cualquiera de las reivindicaciones 5-7, caracterizado porque los medios de procesamiento están configurados para realizar el preprocesamiento de las imágenes de entrada comprendiendo dicho preprocesamiento las siguientes etapas:

Patentes similares o relacionadas:

Método y aparato de autentificación de identidad, terminal y servidor, del 29 de Julio de 2020, de Advanced New Technologies Co., Ltd: Un método de autenticación de identidad, en donde el método comprende: adquirir información de rasgos faciales de un usuario y utilizar la información […]

Sistema de generación de marcador y método, del 29 de Julio de 2020, de NEC CORPORATION: Un sistema de generación de marcador que comprende: medios de entrada de imagen de vídeo para proporcionar como entrada una imagen de vídeo; […]

Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa, del 29 de Julio de 2020, de RAKUTEN, INC: Dispositivo de procesamiento de imágenes, que comprende: medios de obtención de imágenes captadas para la lectura de datos […]

PROCEDIMIENTO Y DISPOSITIVO DE REGISTRO AUTOMÁTICO DE LA LOCOMOCIÓN DE NEMATODOS U ORGANISMOS PEQUEÑOS DE TAMAÑOS SIMILARES POR INTERFEROMETRÍA TEMPORAL DE MICROHACES DE LUZ, del 23 de Julio de 2020, de PHYLUMTECH S.A: Procedimiento y dispositivo de registro automático de la locomoción de nematodos u organismos pequeños de tamaños similares por interferometría temporal de microhaces […]

MÉTODO PARA LA ELIMINACIÓN DEL SESGO EN SISTEMAS DE RECONOCIMIENTO BIOMÉTRICO, del 2 de Julio de 2020, de UNIVERSIDAD AUTONOMA DE MADRID: Método para eliminación del sesgo (por edad, etnia o género) en sistemas de reconocimiento biométrico, que comprende definir un conjunto de M muestras de Y personas […]

Cámara inteligente para compartir fotografías automáticamente, del 1 de Julio de 2020, de QUALCOMM INCORPORATED: Un procedimiento para compartir una imagen final utilizando un dispositivo, en el que el procedimiento es realizado por un servidor y comprende: […]

Método, dispositivo de generación de imagen y sistema para generar una medición de autenticidad de un objeto, del 1 de Julio de 2020, de SICPA HOLDING SA: Un método, llevado a cabo por un dispositivo de generación de imagen , para generar una medición de autenticidad de un objeto o para contribuir en la generación […]

Estimación de una postura basada en la silueta, del 24 de Junio de 2020, de VIZRT AG: Un método implementado por ordenador para estimar una postura de un modelo de objeto articulado , en el que el modelo de objeto articulado […]