Sistema de detección de la posición de las manos de un conductor.

La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento.

A partir de las imágenes de las manos, captadas por una cámara, este procedimiento permite predecir una posible falta de atención del conductor y mandarle un mensaje de alerta. El dispositivo también se puede utilizar para reproducir las causas de un accidente o entrenar a conductores.

Sistema de detección de la posición de las manos de un conductor.

Campo de la técnica al que pertenece la invención Sistemas de ayuda a la conducción, en especial aquellos dedicados a aumentar la seguridad del conductor y de otros vehículos.

Estado de la técnica La distracción en los conductores está presente en un 30% de los accidentes de tráfico y es responsable en la actualidad de un gran número de fatalidades. El estudio de las distracciones de los conductores es un problema muy complejo debido a la gran cantidad de factores que pueden influir en él. Dentro de todos ellos probablemente uno de los más importantes está relacionado con el comportamiento del conductor.

Tres son los elementos que intervienen en un accidente de tráfico: el vehículo, la carretera y el conductor. De estos, el comportamiento del conductor es el ha tenido menor atención en el pasado. Las carreteras han mejorado mucho en los últimos tiempos: nuevos tipos de asfaltos, con superiores características técnicas, mejora en la señalización vial o diseños del trazado más apropiados para la conducción son algunas de las mejoras que se han desarrollado en este campo. Los fabricantes de vehículos también han aumentado las medidas de seguridad, tanto activas como pasivas, creando nuevos sistemas electrónicos o mecánicos que hacen que el comportamiento del vehículo sea más seguro.

En los últimos años, el estudio del conductor se ha centrado sobre todo en la detección de somnolencia, empleándose una amplia gama de técnicas. Medidas fisiológicas basadas en los electro-encefalogramas (EEG)

[A. Kircher, M. Uddman, J. Sandin, Vehicle control and drowsiness, Tech. Rep. VTI-922A, Swedish National Road and Transport Research Institute, 2002.] son las que proporcionan los mejores datos para la detección de esta situación. El principal problema es que son muy intrusivas para el sujeto que está conduciendo.

Un sistema menos intrusivo es la detección de los ojos del conductor. La mayoría de los sistemas de este tipo consideran una o dos cámaras para seguir la cabeza y los ojos del sujeto [Y. Matsumoto, A. Zelinsky, An algorithm for real-time stereo vision implementation of head pose and gaze direction measurements, Procs. IEEE 4th Int. Conf. Face and Gesture Recognition, 2000, pp. 499–505.]o [T. D'Orazio, M. Leo, C. Guaragnella, A. Distante, A visual approach for driver inattention detection, Pattern Recognit. 40 (8) (2007) 2341–2355.], por citar alguno. Algunas empresas comercializan sistemas para su instalación en vehículos [Smart Eye AB, Image capturing device with reflex reduction, Patent, EP 1349487B1].

Otra alternativa es la monitorización de la posición lateral del vehículo, en el interior de su carril, y el tiempo de cruce de un carril a otro, como elementos que se tienen en cuenta para evaluar la atención de conducción del vehículo [Volvo Car Corp. o A.G. Daimler]. Estas técnicas no son invasivas, y muestran resultados fiables.

La presente invención propone una alternativa a estos sistemas basada en el seguimiento de las manos del conductor del vehículo. Es por ello que el problema técnico que resuelve esta invención es el desarrollo de un sistema de alerta del comportamiento de un conductor basado en la detección y seguimiento de las manos de un conductor, que no sea intrusivo, que trabaje en tiempo real y tenga un coste computacional muy bajo.

Descripción detallada de la invención La invención consiste en un nuevo procedimiento para la detección de la posición de las manos de un conductor y del dispositivo físico que realiza este procedimiento.

La figura 1 muestra las principales etapas de este procedimiento. El primer paso es detectar la posición de las áreas de interés a estudiar, esto es aquellas donde se buscarán las manos para conocer su localización: el freno de mano, el cambio de marchas y el volante (101) , para ello hay tres posibles formas de hacerlo:

a) Con una foto inicial, se dibujan las zonas de interés y se obtienen las coordenadas del volante, freno de mano y cambio.

b) Usar las primeras imágenes para hacer seguimiento de las manos e ir almacenando las trayectorias.

Los puntos donde más veces están las manos son los puntos de interés. El número de imágenes puede ser variable, dependiendo de las circunstancias de conducción, pero un rango entre 15.000 y 40.000 imágenes sería suficiente –este equivale a un tiempo de conducción entre 15 y 30 minutos-. Este mecanismo tiene la ventaja adicional de poder detectar otras áreas de interés, como pueden ser la radio, el GPS o el teléfono móvil a través del movimiento frecuente de las manos en estos dispositivos.

El sistema va aprendiendo a partir de los movimientos del conductor.

c) Una combinación de las dos anteriores: comenzar con una estimación inicial basada en una fotografía y luego confirmar estas posiciones a partir del seguimiento de las manos.

Una vez definidas las áreas de interés donde el sistema buscará las manos, el procedimiento detecta las zonas de sombra que hay en ellas y las superpone sobre la imagen del volante, cambio y freno de mano. A este procedimiento le llamaremos Umbral de Detección Global (GTD) . Como resultado se obtienen las áreas de oclusión, ver la figura 3.

Si el número de oclusiones es mayor de dos, que es el número deseable, para cada una de ellas se obtiene el área asociada a su imagen digital, que se llamará “candidato” (103) . En este paso se eliminan los errores producidos por los brillos en el volante o las manos. Para calcular la posición final de las manos, que llamaremos “puntos finales”, se eliminan aquellos que son menores que un determinado valor fijado (104) . El área de los candidatos se mide por su número de pixeles, siendo entre 15 y 30 el valor umbral para descartarlos,

dependiendo de las circunstancias. Un valor típico son 20 pixeles.

Si la distancia entre candidatos adyacentes es menor que un determinado valor, los dos candidatos se unen (105) . Esta distancia también se mide en pixeles y está en torno a los 10 pixeles. Si después de este proceso únicamente queda un candidato este se considera un “punto final” (106) .

Si quedan dos puntos es necesario determinar si corresponden a una sola mano o a dos. La figura 2 muestra el procedimiento que se sigue en este caso. Se calcula una hipotética elipse que contenga, dentro de sí, las dos oclusiones (303) , de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones. Por otra parte, se calcula en la imagen inicial otra elipse igual. Si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es mayor del 50% entonces los dos candidatos representan la misma mano (305) . Por ejemplo, este es el caso de una mano y un brazo “separados” por un reloj de pulsera. Si el valor es menor del umbral entonces cada candidato representa una mano (307) , este es el caso de que las dos manos están en diferentes partes del volante.

Un caso particular es cuando no se detectan las dos manos en el volante (106, 306) , en ese caso se busca en otras áreas de interés, como pueden ser el cambio de marchas o el freno de mano (306) .

Un método alternativo de detección de las manos, al que llamamos Umbral de Detección Local (LTD) , propone un nuevo mecanismo para digitalizar el volante y realizar las búsquedas de potenciales candidatos.

El volante se divide en cuatro áreas de interés (204) donde se realizarán las búsquedas de las manos de manera independiente, en cada una de estas nuevas áreas. Para cada una se define un valor umbral de nivel de gris (blanco sobre el negro del volante) que se utilizara para decidir que oclusiones se convertirán finalmente en “puntos finales” (205) . Este valor será del 50%.

Se buscan oclusiones en cada uno de los cuadrantes, con sus respectivos umbrales, y se seleccionan los candidatos (206) . Como último paso se localizan las manos (207) , de la misma manera que se ha hecho en el procedimiento anterior. Igualmente, en aquellas ocasiones donde hay que evaluar si dos oclusiones corresponden a una sola mano o a dos se utiliza el procedimiento descrito en la figura 2.

Para mejorar los dos mecanismos anteriores (GTD y LTD) , una vez detectadas las manos, se realiza su seguimiento utilizando el procedimiento llamado Camshift [Bradski, GR.: Computer visión face tracking for use in a perceptual user interface. Intel Technology Journal, 2nd Quarter, 1998]. Este es un procedimiento bien conocido en este campo de la técnica, por lo que no se describe en esta solicitud de patente. Si alguna de las manos se pierde durante el proceso de...

1. Procedimiento de detección de la posición de las manos del conductor de un vehículo caracterizado por que comprende las siguientes etapas:

- detección (101) de la posición del volante, cambio de marchas y freno de mano;

- detección (102) , en imágenes registradas en el espectro de frecuencia infrarrojo, de las áreas de oclusión en el volante, mediante la detección de zonas de sombra en las imágenes y su superposición sobre una imagen del volante;

- si el número de oclusiones detectadas es mayor de dos, obtener (103) para cada una de ellas el área asociada a su imagen digital, que será un candidato para la posición de las manos;

- eliminar los candidatos (104) cuyas áreas en píxeles son menores que un umbral determinado;

- si la distancia entre dos candidatos adyacentes es menor que un determinado valor, unir los dos candidatos (105) ;

- iniciar un proceso de localización de las manos (106) por el cual:

• si solamente queda un candidato, ésta es la posición de una de las manos;

• si quedan dos candidatos:

calcular (303) una hipotética elipse que contenga dentro de sí las dos oclusiones, de forma que de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones, y

calcular otra elipse igual en la imagen inicial;

si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es menor que un determinado umbral, entonces cada candidato representa una mano (307) , en caso contrario los dos candidatos representan la misma mano (305) ;

• si no se detectan las dos manos en el volante, se realiza una búsqueda en el cambio de marchas y el freno de mano (306) .

2. Procedimiento de detección de posición de las manos del conductor de un vehículo según la reivindicación 1, caracterizado por que el umbral para eliminar los candidatos cuyas áreas son menores que un determinado valor está comprendido entre 15 y 30 pixeles.

3. Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones anteriores, caracterizado por que la unión de los dos candidatos (105) se realiza si la distancia entre dos candidatos adyacentes es menor que 10 píxeles.

4. Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende:

- integración y procesamiento de los datos obtenidos de la posición del volante, el cambio de marchas, el freno de manos, las oclusiones en el volante y los datos de funcionamiento del vehículo;

- generación de un aviso a partir de los datos procesados.

5. Procedimiento de detección de posición de las manos del conductor de un vehículo, según cualquiera de las reivindicaciones anteriores, caracterizado por que el seguimiento de la posición de las manos, una vez detectadas, se hace utilizando un algoritmo camshif.

6. Procedimiento de detección de la posición de las manos del conductor de un vehículo, caracterizado por que comprende las siguientes etapas:

- detección (101) de la posición del volante, cambio de marchas y freno de mano;

- detección (102) , en imágenes registradas en el espectro de frecuencia infrarrojo, de las áreas de oclusión en el volante, mediante la detección de zonas de sombra en las imágenes y su superposición sobre una imagen del volante;

- si el número de oclusiones detectadas es mayor de dos, obtener (103) para cada una de ellas el área asociada a su imagen digital, que será un candidato para la posición de las manos;

- dividir el volante en cuatro áreas de interés (204) ;

- definir un umbral de oclusión (205) , valor umbral de nivel de gris, para cada una de las áreas de interés definidas;

- buscar las áreas de oclusión en cada región de interés en función de sus respectivos umbrales, que serán los candidatos (206) para la posición de las manos;

- iniciar un proceso de localización de las manos (207) por el cual:

• si solamente queda un candidato, ésta es la posición de una de las manos;

• si quedan dos candidatos:

calcular (303) una hipotética elipse que contenga dentro de sí las dos oclusiones, de forma que de forma que su eje mayor sea la distancia entre los centros de las dos oclusiones, y

calcular otra elipse igual en la imagen inicial;

si el porcentaje del área (304) de los candidatos dentro de la elipse de la imagen inicial es menor que un determinado umbral, entonces cada candidato representa una mano (307) , en caso contrario los dos candidatos representan la misma mano (305) ;

• si no se detectan las dos manos en el volante, se realiza una búsqueda en el cambio de marchas y el freno de mano (306) .

7. Procedimiento de detección de la posición de las manos del conductor de un vehículo según la reivindicación 6, caracterizado por que el umbral de oclusión (205) es del 50%.

8. Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones 6 a 7, caracterizado por que comprende:

- integración y procesamiento de los datos obtenidos de la posición del volante, el cambio de marchas, el freno de manos, las oclusiones en el volante y los datos de funcionamiento del vehículo;

- generación de un aviso a partir de los datos procesados.

9. Procedimiento de detección de posición de las manos del conductor de un vehículo según cualquiera de las reivindicaciones 6 a 8, caracterizado porque el seguimiento de la posición de las manos, una vez detectadas, se hace utilizando un algoritmo camshif.

10. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, que implementa el procedimiento según cualquiera de las reivindicaciones anteriores, caracterizado porque consta de los siguientes elementos: un sistema de iluminación infrarrojo, un sistema de captación de imágenes en el espectro infrarrojo y un dispositivo electrónico para el procesamiento de los datos obtenidos tanto del vehículo como del dispositivo de captación infrarrojo.

11. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el sistema de iluminación consta al menos de un iluminador infrarrojo y un difusor de luz, que trabaja en este espectro.

12. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 11, caracterizado porque el iluminador infrarrojo emite en una longitud de onda comprendida entre 840 y 860 nm.

13. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el sistema de captación de imágenes digitales es capaz de registrar el espectro infrarrojo.

14. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según las reivindicaciones de la 10 a la 13, caracterizado porque el sistema de captación de imágenes y el de iluminación está situados en la parte superior del interior de la cabina del vehículo.

15. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la reivindicación 10, caracterizado porque el dispositivo electrónico que procesa los datos consta de una memoria de almacenamiento de datos, una unidad de proceso de los datos, un bus de comunicaciones y al menos un interface de entrada/salida.

16. Dispositivo para la detección y seguimiento de las manos del conductor en un vehículo, según la

reivindicación 15, caracterizado porque la unidad de proceso de los datos se puede comunicar de forma inalámbrica con algunos de los dispositivos de captación de datos.

Figura 3

(a) Resultado final (b) Máscara del área del (c) Oclusiones en el (d) Puntos finales. volante volante Figura 4