Indexación automatizada asistida de forma manual de imágenes usando reconocimiento facial.

Un procedimiento para indexar imágenes faciales en una colección de imágenes de acuerdo con las personas queestán representadas en la colección,

que comprende:

- indexar de forma automática las imágenes faciales para dar una multiplicidad de conjuntos de imágenesusando reconocimiento de rostros, determinándose que cada conjunto de la cual comprende unas imágenesfaciales representativas de la misma persona;

- presentar los conjuntos de imágenes a un operador;

- recibir una acción procedente del operador para un conjunto de imágenes para crear un conjunto resultante deimágenes, en el que la acción se elige del grupo que consiste en: i) permanecer tal como está, ii) escindir, iii)despiezar, y iv) reservar para una inspección manual;

en el que las imágenes que se escinden forman un nuevo conjunto de imágenes y las imágenes escindidas seasignan como procedentes de otra persona reteniendo su asociación entre sí, y

en el que las imágenes de un conjunto despiezado se escinden en conjuntos individuales, comprendiendo cada unouna única imagen,

- presentar al operador un primer conjunto resultante de imágenes con otro conjunto resultante de imágenes enfunción de la similitud, en el que el operador determina de forma manual si el primer conjunto de imágenes y elsegundo conjunto de imágenes comprenden unas imágenes faciales que representan la misma persona; y

- fusionar los conjuntos de imágenes resultantes si el operador determina que las imágenes representan lamisma persona.

Indexación automatizada asistida de forma manual de imágenes usando reconocimiento facial

Campo de la técnica La presente invención se refiere a la indexación automatizada de fotografías de acuerdo con las personas representadas dentro de la fotografía, usando reconocimiento facial automatizado con asistencia manual.

Antecedentes El uso del reconocimiento facial para la indexación de imágenes está en la actualidad bien establecido en la técnica anterior. Un ejemplo de tal técnica anterior se da en la patente de los EE. UU. 6.526.158 a nombre de Goldberg, y que se proporciona a modo de ejemplo adicionalmente en la patente de los EE. UU. 6.819.783 a nombre de Goldberg, y col.

Ha de observarse, no obstante, que el reconocimiento facial completamente automatizado es imperfecto, y está caracterizado por dos tipos de errores. En el primer caso se encuentran los errores por falsos positivos, en los que los rostros que proceden de dos personas diferentes se asignan como procedentes de la misma persona. En el segundo caso se encuentran los errores por falsos negativos, en los que los rostros que proceden de la misma persona se asignan como procedentes de dos personas separadas. Usualmente puede compensarse un tipo de error con el otro -es decir, es posible, en general, reducir los errores de falsos negativos aumentando los errores por falsos positivos y, a la inversa, reducir los errores por falsos positivos aumentando los errores por falsos negativos. Es posible eliminar en conjunto los errores por falsos positivos, no asignando nunca dos rostros como procedentes de la misma persona y es posible, de forma similar, eliminar los errores por falsos negativos asignando todos los rostros como procedentes de la misma persona. Estos casos extremos no son, no obstante, de importancia práctica y, en general, todos los procedimientos de reconocimiento facial automatizado existirán, generalmente, con errores tanto por falsos positivos como por falsos negativos.

Para conseguir el objetivo de una colección indexada completamente de imágenes, se requiere asistencia manual. Esta asistencia manual puede proceder de una persona que conoce las identidades reales de las personas representadas en la colección de imágenes, tal como en la indexación de una colección de imágenes privada. Como alternativa, como podría tener lugar en la fotografía de acontecimientos (por ejemplo, con la generación de imágenes en cruceros) , las fases finales de la indexación podrían estar, en su lugar, asistidas por un empleado de la compañía de generación de imágenes en cruceros.

La dificultad en tal procesamiento manual puede apreciarse cuando se consideran los números de imágenes que pueden estar presentes dentro de una colección. Por ejemplo, en un crucero de una semana de duración de una embarcación con más de 3.000 pasajeros, pueden tomarse más de 25.000 imágenes, comprendiendo 60.000 rostros o más (un promedio de 2-3 personas por imagen) . El número de posibles coincidencias de rostro a rostro puede ser entonces superior a 3.000 millones. El reconocimiento facial automatizado es imperfecto y, dependiendo de si son aceptables más falsos positivos o más falsos negativos, el número de conjuntos de rostros que han de revisarse con el fin de establecer un conjunto perfectamente o casi perfectamente indexado puede ser de tantos como decenas de miles, conllevando cientos de horas de trabajo. Incluso una colección personal de pocos miles de 45 imágenes puede conllevar una cantidad de tiempo, reduciendo el atractivo del reconocimiento facial en la indexación de imágenes.

Se pretende que los procedimientos y las composiciones de la presente invención superen estas y otras deficiencias, tal como se describe en las realizaciones a continuación.

El documento DAS M Y COL: “Automatic face-based image grouping for albuming.” SYSTEMS, MAN AND CYBERNETICS, 2003. IEEE INTERNATIONAL CONFERENCE ON; [IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS], IEEE, PISCATAWAY, NJ, EE. UU., vol. 4, 5 de octubre de 2003 (05-102003) , páginas 3726-3731, XP010668196 ISBN: 978-0-7803-7952-7 da a conocer un procedimiento para indexar

imágenes faciales en una colección de imágenes de acuerdo con las personas que están representadas por las imágenes faciales, que comprende indexar de forma automática las imágenes faciales en la colección con el fin de crear una multiplicidad de conjuntos de imágenes de rostros, en el que cada conjunto comprende unas imágenes faciales que se determina que representan la misma persona, y en el que los conjuntos comprenden unos errores que se eligen del grupo que consiste en errores por falsos positivos y errores por falsos negativos, y presentar a un operador un conjunto, en el que el operador determina de forma manual si la totalidad de las imágenes faciales en el conjunto representan la misma persona.

El documento WO 2004/072897 A da a conocer un sistema semiautomatizado para agrupar imágenes faciales, de acuerdo con el cual el usuario tiene la posibilidad de fusionar de forma manual diferentes agrupaciones que -de 65 acuerdo con su juicio -muestran la misma persona.

El documento FotoFile: A consumer multimedia organization and retrieval system, PROCEEDINGS OF CHI: ACM CONFERENCE ON HUMAN FACTORS IN COMPUTING SYSTEMS, 1999 da a conocer un procedimiento mediante el cual un reconocimiento de rostros se realiza de tal modo que, para cada fotografía en la que el sistema automatizado no está absolutamente seguro de si la persona se ha identificado correctamente, se solicita que el

usuario confirme las coincidencias de rostros antes de que las anotaciones asociadas con estos rostros se validen. Por lo tanto, el usuario tiene que comprobar cada una de las fotografías y accionar una información sobre herramientas mediante el ratón con el fin de proceder con esta fotografía específica. Esta etapa tiene que repetirse hasta que se haya confirmado o denegado la última fotografía.

Girgensohn y colaboradores, en el documento “Leveraging Face Recognition Technology to Find and Organize Photos” (2004) describen unos procedimientos para usar el reconocimiento de rostros para mejorar la velocidad y la precisión del hallazgo y la organización de fotografías. Estos indican el uso de paneles de vistas en miniatura faciales, que se clasifican en función de la similitud con una imagen objetivo que representa una persona objetivo. A medida que se añaden vistas en miniatura al conjunto de vistas en miniatura etiquetado con la persona objetivo,

mejora la precisión del reconocimiento de rostros, y las vistas en miniatura adicionales se etiquetan como relacionadas con la persona objetivo, la cual puede añadirse entonces a la colección de imágenes que representan la persona.

Sumario de la invención Un objeto de la presente invención es reducir la cantidad de tiempo que se requiere para asistir de forma manual la indexación automatizada de imágenes usando reconocimiento facial, para reducir el número de comparaciones manuales que se requieren para completar la indexación automatizada de imágenes usando reconocimiento facial y para mejorar la precisión de la indexación automatizada asistida de forma manual de imágenes usando reconocimiento facial.

De acuerdo con la invención, el objeto se soluciona mediante las características de las reivindicaciones independientes, las reivindicaciones secundarias respectivas contienen desarrollos preferidos adicionales de la invención.

Para conseguir los objetos anteriores y otros, y de acuerdo con los fines de la presente invención, tal como se incorpora y se describe ampliamente el presente documento, la presente invención se dirige a un procedimiento para indexar imágenes faciales en una colección de imágenes de acuerdo con las personas que están representadas por las imágenes faciales. El procedimiento puede comprender indexar de forma automática las imágenes faciales en la 35 colección con el fin de crear una multiplicidad de conjuntos de imágenes faciales, en el que cada conjunto comprende unas imágenes faciales que se determina que representan la misma persona, y en el que los conjuntos comprenden unos errores que se eligen del grupo que consiste en errores por falsos positivos y errores por falsos negativos. Este puede comprender también presentar a un operador un conjunto, en el que el operador determina de forma manual si la totalidad de las imágenes faciales en el conjunto representan la misma persona y escindir de forma manual un conjunto que representa más de una persona para dar una multiplicidad de conjuntos, cada uno de los cuales consiste en unas imágenes faciales que representan una única persona. Este puede comprender además presentar al operador por lo menos... [Seguir leyendo]

1. Un procedimiento para indexar imágenes faciales en una colección de imágenes de acuerdo con las personas que están representadas en la colección, que comprende:

- indexar de forma automática las imágenes faciales para dar una multiplicidad de conjuntos de imágenes usando reconocimiento de rostros, determinándose que cada conjunto de la cual comprende unas imágenes faciales representativas de la misma persona; -presentar los conjuntos de imágenes a un operador;

-recibir una acción procedente del operador para un conjunto de imágenes para crear un conjunto resultante de imágenes, en el que la acción se elige del grupo que consiste en: i) permanecer tal como está, ii) escindir, iii) despiezar, y iv) reservar para una inspección manual;

en el que las imágenes que se escinden forman un nuevo conjunto de imágenes y las imágenes escindidas se asignan como procedentes de otra persona reteniendo su asociación entre sí, y en el que las imágenes de un conjunto despiezado se escinden en conjuntos individuales, comprendiendo cada uno una única imagen,

-presentar al operador un primer conjunto resultante de imágenes con otro conjunto resultante de imágenes en

función de la similitud, en el que el operador determina de forma manual si el primer conjunto de imágenes y el segundo conjunto de imágenes comprenden unas imágenes faciales que representan la misma persona; y -fusionar los conjuntos de imágenes resultantes si el operador determina que las imágenes representan la misma persona.

2. El procedimiento de acuerdo con la reivindicación 1, en el que las imágenes que se despiezan se asocian con otro conjunto de imágenes en función de la similitud a partir de una indexación automatizada.