Identificación de personas usando múltiples tipos de entradas.

Un procedimiento para detección de hablantes que comprende:

identificar (310) una serie de características (410,

470) que comprende al menos una característica (420, 430,450) de un primer tipo de entrada y al menos una característica (420, 430, 450) de un segundo tipo de entradadonde el segundo tipo es diferente del primer tipo, en el cual el primer tipo de entrada o el segundo tipo deentrada incluye un entrada de audio (120) y en el cual se calcula una característica para cuantificar algúnelemento del tipo correspondiente de entrada en un tiempo particular; y

generar (315) un clasificador (785, 855) para la detección de hablantes usando un algoritmo de aprendizaje(745), en el cual el clasificador está constituido por un subconjunto de características, siendo denominado elsubconjunto de características como nodo del clasificador y seleccionado por el algoritmo de aprendizaje,asegurándose también de que los nodos que requieren menos cálculo están situados en el clasificador de talmanera que son evaluados antes que los nodos que requieren más calculo ponderando los nodos mientras segenera el clasificador.

Identificación de personas usando múltiples tipos de entradas

Antecedentes

Existe una gran diversidad de situaciones en la cuales es deseable identificar personas, incluyendo personas que están

hablando, usando sistemas que están, al menos, automatizados. Algunos sistemas existentes que identifican hablantes usan audio-por ejemplo, podrían usar localización de fuentes sonoras”, que incluye procesar la entrada a partir de múltiples micrófonos en diferentes localizaciones para intentar identificar la dirección o las direcciones a partir de las cuales se origina el habla. Algunos otros sistemas intentan mejorar la precisión de procedimientos similares a la localización de la fuente de sonido llevando a cabo “la fusión del nivel de decisión”, donde se combinan los datos

procedentes de múltiples entradas en el punto en que se toman las decisiones acerca de la detección de personas o hablantes.

El documento US 204/263636 A1 se refiere a un sistema y un procedimiento para realizar teleconferencias y grabar reuniones. Una matriz de micrófonos puede estar integrada con una cámara de 360 grados. El sistema puede entonces capturar la señal de audio de toda de la sala de reuniones, usar localización de fuente sonora (SSL) para encontrar la

dirección del hablante, y el sistema de reunión distribuido puede usar tanto SSL basado en audio como seguimiento de personas basado en visión para detectar hablantes. Asimismo se describe el seguimiento multiseñal para el seguimiento y detección de personas.

Sumario

Un objeto de la presente invención es proporcionar un procedimiento y un sistema para la identificación de personas, 20 incluyendo hablantes.

Este objeto se resuleve por la materia objeto de las reivindicaciones independientes.

Se proporcionan realizaciones en las reivindicaciones dependientes.

Identificación de personas usando múltiples tipos de entradas

En lo sucesivo se presenta un sumario simplificado de la divulgación con el fin de proporcionar una comprensión básica 25 al lector. Este sumario no es una visión general de la divulgación y no identifica elementos clave o críticos de la invención

o delimita el alcance de la invención. Su único propósito es presentar algunos conceptos divulgados en el presente documento de una forma simplificada como un preludio de la descripción más detallada que se presentará más tarde.

En el presente documento se describen varias tecnologías y técnicas dirigidas a la identificación de personas, incluyendo los hablantes. Tales tecnologías y técnicas incluyen la identificación de un grupo de “características“ de identificación a

partir de múltiples tipos de entrada, o modalidades (trayectorias a través de las cuales un sistema informático puede reconocer la entrada) , que incluye tanto entrada de audio como de vídeo; y la generación de un “clasificador” que incluye un subconjunto de características del grupo de características donde el subconjunto de características es seleccionado de manera que el clasificador identifica eficientemente regiones donde las personas o hablantes pueden existir.

Descripción de los dibujos

La figura 1 ilustra un diagrama ejemplar generalizado que muestra un sistema en el que se puede llevar a cabo la detección de personas. La figura 2 ilustra una representación gráfica de una imagen ejemplar así como regiones ejemplares que se pueden identificar por contener personas o hablantes. La figura 3 ilustra un flujo operativo ejemplar generalizado que incluye varias operaciones que se puede llevar a

cabo cuando se identifica una persona. La figura 4 ilustra un diagrama ejemplar generalizado que muestra algunas características ejemplares que pueden ser identificadas y usadas en algunas implementaciones. La figura 5 ilustra algunas características ejemplares de vídeo. La figura 6 ilustra un rectángulo de características ejemplares representativas que incluye algunas

45 características ejemplares de vídeo. La figura 7 ilustra un diagrama ejemplar generalizado que muestra un sistema en el que se puede llevar a cabo la generación de un clasificador para detección de personas o hablantes. La figura 8 ilustra un diagrama ejemplar generalizado que muestra un sistema en el que se puede llevar a cabo la detección de personas o hablantes.

50 La figura 9 ilustra algunas representaciones ejemplares de ventanas de detección que se pueden usar como parte del procedimiento de detección de personas o hablantes. La figura 10 ilustra un dispositivo informático ejemplar en el que se pueden aplicar las diversas tecnologías descritas en el presente documento

Descripción detallada

La presente invención se extiende a varias tecnologías y técnicas dirigidas a la identificación de personas incluidos hablantes. Mas en particular, en el presente documento se describen, entre otras cosas, procedimientos y sistemas que facilitan la identificación de personas usando múltiples tipos de entradas donde los múltiples tipos de entradas son considerados un principio del procedimiento de detección, en lugar de combinarse al final del procedimiento de detección.

Volviendo ahora a la figura 1, en la misma se ilustra un diagrama ejemplar generalizado que muestra un sistema 100 en el que se puede llevar a cabo la detección de personas. Esta descripción de la figura 1 se hace con referencia a la figura

10. Sin embargo, cabe entender que los elementos descritos con referencia a la figura 1 no están destinados a limitarse a ser usados con los elementos descritos con referencia a esta otra figura. Asimismo, aunque el diagrama ejemplar de la figura 1 indica elementos particulares, en algunas implementaciones no todos estos elementos pueden existir, y en algunas implementaciones pueden existir elementos adicionales.

Incluido en la figura 1 se encuentran uno o más dispositivos de entrada de vídeo 110, uno o más dispositivos de entrada de audio 120, uno o u otros más dispositivos de entrada 130, datos de vídeo 140, datos de audio 150, otros datos 160, un detector de personas 170 aplicado en un dispositivo detector 165, un dispositivo auxiliar 175, y la salida del detector de personas, cualesquiera personas o hablantes 180 detectados.

El detector 170 acepta la entrada, que puede entonces usar para intentar identificar una o más personas 180, incluyendo personas que están hablando, o “hablantes”. El detector puede usar una variedad de mecanismos para intentar identificar personas incluyendo los mencionados más en detalle en el presente documento. En algunas implementaciones, el detector puede utilizar mecanismos de detección determinados en otro lugar, mientras que en otras implementaciones el detector puede tanto determinar cómo ejecutar los mecanismos de detección. El detector puede usar una variedad de entradas, incluyendo datos de vídeo 140, datos de audio 150, y otros datos 160.

El o los dispositivos de entrada de vídeo 110 pueden comprender una variedad de dispositivos de entrada de vídeo, incluyendo una variedad de cámaras y tipos de cámaras con una gama de funcionalidad. En una implementación, los dispositivos de entrada de vídeo 110 pueden incluir múltiples cámaras situadas en una disposición circular para de este modo proporcionar una visión de 360º. En otras implementaciones, la misma visión de 360º se puede proporcionar por una única cámara, quizás con una sola lente. En otras implementaciones adicionales, el o los dispositivos de entrada de vídeo pueden proporcionar una visión que cubre un intervalo inferior a 360º.

Al menos parte de la salida del o los dispositivos de entrada de vídeo 110 son los datos de vídeo 140. Estos datos pueden incluir múltiples tramas individuales de datos de vídeo, donde cada trama comprende una imagen constituida por múltiples píxeles. Por ejemplo, una cámara que es capaz de producir vídeo a una velocidad de 30 tramas de vídeo por segundo puede producir como salida 30 imágenes cada segundo. En algunas implementaciones, cada imagen producida por la cámara puede ser conocida como la “imagen de base” (para diferenciarla de otras imágenes calculadas, como las imágenes diferenciales de corto plazo y las imágenes promedio de largo plazo explicadas en lo sucesivo) . Obsérvese que... [Seguir leyendo]

1. Un procedimiento para detección de hablantes que comprende:

identificar (310) una serie de características (410, 470) que comprende al menos una característica (420, 430, 450) de un primer tipo de entrada y al menos una característica (420, 430, 450) de un segundo tipo de entrada donde el segundo tipo es diferente del primer tipo, en el cual el primer tipo de entrada o el segundo tipo de entrada incluye un entrada de audio (120) y en el cual se calcula una característica para cuantificar algún elemento del tipo correspondiente de entrada en un tiempo particular; y generar (315) un clasificador (785, 855) para la detección de hablantes usando un algoritmo de aprendizaje (745) , en el cual el clasificador está constituido por un subconjunto de características, siendo denominado el subconjunto de características como nodo del clasificador y seleccionado por el algoritmo de aprendizaje, asegurándose también de que los nodos que requieren menos cálculo están situados en el clasificador de tal manera que son evaluados antes que los nodos que requieren más calculo ponderando los nodos mientras se genera el clasificador.

2. El procedimiento de la reivindicación 1, que comprende, además:

evaluar (320) el clasificador para detectar una persona (320) .

3. El procedimiento de la reivindicación 1 en el cual la serie de características incluye una característica de audio (420) asociad a una localización de fuente sonora, SSL, entrada que proporciona una función de probabilidad SSL, y en el que la característica de audio (420) es calculada con una función seleccionada a partir de las siguientes funciones:

en las que Lgmax es el valor máximo de la función de probabilidad SSL en toda la función de probabilidad SSL, Lgmin es el valor mínimo de la función de probabilidad SSL en toda la función de probabilidad SSL, y para cada ventana de detección, Llmax es el valor máximo de la función de probabilidad SSL en la ventana de detección, Llmin es el valor mínimo de la función de probabilidad SSL en la ventana de detección, Llavg es el valor medio de la función de probabilidad SSL en la ventana de detección, Llmid es el valor de la función de probabilidad SSL en el punto medio de la ventana de detección,

y Lrest

max es el valor máximo de la función de probabilidad SSL fuera de la ventana de detección.

4. El procedimiento de la reivindicación 1 en el cual el primer tipo de entrada o el segundo tipo de entrada incluye una entrada de vídeo (110) y la serie de características incluye una característica de vídeo (430) definida por un rectángulo.

5. El procedimiento de la reivindicación 1 en el cual el algoritmo de aprendizaje (745) comprende el algoritmo AdaBoost.

6. Un medio legible por ordenador que almacena instrucciones ejecutables por ordenador que, cuando se aplican por un procesador, hacen que el procesador lleve a cabo el procedimiento de una de las reivindicaciones 1 a 5.

7. Un sistema para la detección de hablantes que comprende:

un dispositivo de entrada de vídeo (110) que produce datos de vídeo (140) ; un dispositivo de entrada de audio (120) que produce datos de audio (150) ; y un dispositivo detector (165) que incluye un detector (170) configurado para aceptar los datos de vídeo y los datos de audio y evaluar un clasificador para detectar una persona donde el clasificador ha sido creado:

identificando una serie de características (310) que comprende al menos una característica asociada a una primera entrada que corresponde a los datos de vídeo y al menos una característica asociada a una segunda entrada que corresponde a los datos de audio, en el cual una característica se calcula en un tiempo particular para cuantificar algún elemento del tipo correspondiente de entrada; y generando el clasificador usando un algoritmo de aprendizaje en el cual el clasificador está constituido por un subconjunto de características de la serie de características, siendo el subconjunto de características denominado como nodos del clasificador y siendo seleccionado por el algoritmo de aprendizaje, incluyendo asegurar también que los nodos que requieren menos cálculo están situados

en el clasificador de tal manera que son evaluados antes que los nodos que requieren más calculo ponderando los nodos mientras se genera el clasificador.

8. El sistema de la reivindicación 7 que comprende, además:

un dispositivo auxiliar (175) que proporciona almacenamiento para al menos una porción de los datos de vídeo

o al menos una porción de los datos de audio.

9. El sistema de la reivindicación 7 en el que los datos de audio incluyen datos de localización de fuente sonora y la serie de características incluye una característica de audio (420) asociada a una función seleccionada a partir de las siguientes funciones:

en las que Lgmax es el valor máximo de la función de probabilidad SSL en toda la función de probabilidad SSL, Lgmin es el valor mínimo de la función de probabilidad SSL en toda la función de probabilidad SSL, y para cada ventana de detección, Llmax es el valor máximo de la función de probabilidad SSL en la ventana de detección, Llmin es el valor mínimo de la función de probabilidad SSL en la ventana de detección, Llavg es el valor medio de la función de probabilidad SSL en la ventana de detección, Llmid es el valor de la función de probabilidad SSL en el punto medio de la ventana de

detección, y Lrest max es el valor máximo de la función de probabilidad SSL fuera de la ventana de detección.