Control ocular de aparato informático.

Una disposición para controlar un aparato informático (130) asociado a un visor gráfico (120),

presentando el visor (12) una representación de al menos un componente de GUI (220) que está adaptado para ser manipulado en base a comandos generados por un usuario, y al menos uno de dichos, al menos uno, componentes de GUI (220a, ..., 220n) está adaptado para generar al menos una respectiva señal de control de salida (Cs, ..., Ca) tras una manipulación por el usuario del componente (220a, ..., 220n), comprendiendo la disposición un motor de sucesos (210) adaptado para recibir una señal de datos de rastreo ocular (DOJO) que describe un punto de atención (x, y) de un usuario (110) en el visor (120) y, basado al menos en la señal de datos de rastreo ocular (DOJO), producir un conjunto de señales de salida de sucesos no controladores de cursor (D-HIi) que influyen sobre dicho al menos un componente de GUI (220), describiendo cada señal de salida de sucesos no controladores de cursor (D-HIi) un aspecto particular de la actividad ocular del usuario (110) con respecto al visor (120), caracterizada porque el motor de sucesos (210) está adaptado para:

recibir una solicitud de señal de control (Ra, ..., Rn) desde cada uno de dichos, al menos uno, componentes de GUI (220a, ..., 220n), definiendo la solicitud de señal de control (Ra, ..., Rn) un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor (D-HIi), que es requerido por el componente de GUI (220a, ..., 220n) para funcionar según se pretende,

producir las señales de salida de sucesos (D-HIi) que son solicitadas por dichos, al menos uno, componentes de GUI (220a, ..., 220n) en la solicitud de señal de control (Ra, ..., Rn), y

suministrar las señales de salida de sucesos no controladores de cursor (D-HIi) a dicho al menos un componente de GUI (220a, ..., 220n) de acuerdo a cada respectiva solicitud de señal de control (Ra, ..., Rn).

Control ocular de aparato Informático

Los antecedentes de la invención y la técnica anterior

La presente invención se refiere, en general, a sistemas de rastreo ocular basados en ordenador. Más específicamente, la invención se refiere a una disposición para controlar un aparato informático de acuerdo al preámbulo de la reivindicación 1 y a un correspondiente método de acuerdo al preámbulo de la reivindicación 11. La invención también se refiere a un programa de ordenador de acuerdo a la reivindicación 21 y a un medio legible por ordenador de acuerdo a la reivindicación 22.

La interacción entre humanos y ordenadores fue revolucionada por la introducción de la interfaz gráfica de usuario (GUI). En concreto, mediante ello, se proporcionó un medio eficaz para presentar información a un usuario con un ancho de banda que superaba extensamente cualquier canal anterior. A través de los años, la velocidad a la cual puede ser presentada la información ha aumentado además mediante pantallas en color, visores ampliados, objetos gráficos inteligentes (por ejemplo, ventanas emergentes), marcadores de ventana, menús, barras de herramientas y sonidos. Durante este tiempo, sin embargo, los dispositivos de entrada han permanecido esencialmente inalterados, es decir, el teclado y el dispositivo puntero (por ejemplo, ratón, bola de rastreo o panel táctil). En años recientes, han sido introducidos los dispositivos de escritura manual (por ejemplo, en forma de un lápiz o bolígrafo gráfico). No obstante, si bien el ancho de banda de salida se ha multiplicado varias veces, el equivalente de entrada ha estado esencialmente inalterado. En consecuencia, ha ocurrido una grave asimetría en el ancho de banda de comunicación en la interacción entre humanos y ordenadores.

A fin de reducir esta brecha del ancho de banda, se han hecho varios intentos para usar dispositivos de rastreo ocular. Sin embargo, en muchos casos estos dispositivos erran el objetivo en uno o varios aspectos. Un problema es que las soluciones de la técnica anterior no logran adoptar una visión integral de las interfaces de entrada al ordenador. Por ello, pueden ser impuestas tareas motrices comparativamente pesadas sobre los ojos, que, de hecho, son órganos estrictamente perceptivos. Habitualmente, esto lleva a síntomas de fatiga y un cierto grado de incomodidad experimentado por el usuario. Esto es específicamente cierto si se usa un rastreador ocular para controlar un cursos en un visor gráfico y, por diversos motivos, el rastreador ocular no logra rastrear suficientemente bien el punto de observación del usuario, por lo que hay un desajuste entre el punto efectivo de observación del usuario y la posición con respecto a la cual es controlado el cursor.

En lugar de controlar directamente el cursor, puede usarse una señal de observación ocular para seleccionar una posición inicial adecuada del cursor. El documento US 6.204.828 revela un sistema integrado de colocación de

cursor por mirada, o manualmente, que ayuda a un operador a colocar un cursor integrando una señal de

observación ocular y una entrada manual. Cuando se detecta una activación mecánica de un dispositivo del operador, el cursor se coloca en una posición inicial que está predeterminada con respecto al área de observación actual del operador. De ese modo, se logra una función de cursos amigable para el usuario.

El documento US 6.401.050 describe un sistema de interacción visual para una estación de vigilancia a bordo de un barco. Aquí, una cámara de rastreo ocular monitoriza el recorrido visual de un operador, la ubicación de la mirada, el tiempo de permanencia, la velocidad del parpadeo y el tamaño de la pupila, para determinar si debería efectuarse una indicación adicional al operador para dirigir la atención del operador a un objeto importante en la pantalla.

El documento US 5.649.061 revela un dispositivo para estimar una decisión mental para seleccionar una indicación visual a partir de la fijación ocular de un espectador y el correspondiente potencial cerebral evocado por el suceso. Un rastreador ocular registra una dirección de visión y, en base a ello, pueden ser determinadas propiedades de fijación, en términos de duración, tamaños de pupila iniciales y finales, saltos y parpadeos. Se extrae un

correspondiente potencial cerebral evocado por un único suceso, y una red neural artificial estima un interés de

selección en el punto de atención de la mirada. Después de entrenar la red neural artificial, el dispositivo puede luego ser usado para controlar un ordenador solamente por medio de la observación ocular.

También se han hecho unos pocos intentos para abstraer datos de entrada generados por el usuario en información de alto nivel, para controlar un ordenador. Por ejemplo, el documento US 2004/0001100 describe una interfaz multimodal de usuario, donde se posibilita un procesamiento flexible de una entrada de usuario sin tener que conmutar manualmente entre distintas modalidades de entrada. En cambio, dentro de los flujos de datos se distinguen distintas categorías de información, según un contexto en el cual se generan los flujos de datos.

Aunque esta estrategia puede mejorar efectivamente la eficacia de la interacción entre hombre y máquina, no ha sido presentada aún ninguna solución multimodal, según la cual los datos de rastreo ocular sean procesados efectivamente. Por el contrario, con solamente muy pocas excepciones, cada una de las interfaces de rastreo ocular de hoy está adaptada para una tarea específica solamente. De tal modo, cualquier procesamiento de datos de rastreo ocular con respecto a una primera aplicación no puede ser reutilizado por una segunda aplicación, y viceversa. Por tanto, si se usan múltiples aplicaciones ocularmente controladas en un único ordenador, se requiere

habitualmente un canal de control específico para cada aplicación.

Sumario de la invención

El objeto de la presente invención, por lo tanto, es proporcionar un medio integral de control de un aparato informático en base a la actividad ocular de un usuario, lo que alivia los problemas anteriores y por ello ofrece una eficaz interacción entre hombre y máquina con una cantidad mínima de doble procesamiento.

De acuerdo a un aspecto de la invención, el objeto es logrado por la disposición según lo inicialmente descrito, en el que el motor de sucesos está adaptado para recibir una solicitud de señal de control desde cada uno entre dichos, al menos uno, componentes de GUI. La solicitud de señal de control define un subconjunto del conjunto de señales de salida de sucesos no controladores del cursor, que es requerido por el componente de GUI en cuestión. El motor de sucesos también está adaptado para suministrar señales de salida de sucesos no controladores del cursor a dichos, al menos uno, componentes de GUI, de acuerdo a cada respectiva solicitud de señal de control.

Esta disposición es ventajosa porque por ella se logra una interfaz muy flexible hacia aplicaciones cualesquiera que sean controlables por medio de señales de rastreo ocular. Se cree que esto, a su vez, estimula el desarrollo de nuevas aplicaciones de ese tipo y, en consecuencia, hace posible mejoras adicionales de la interacción entre humanos y ordenadores. Además, los recursos de procesamiento del ordenador son liberados para fines alternativos, ya que una señal de datos de rastreo ocular de alto nivel, obtenida con respecto a una aplicación, puede ser reutilizada por una o más aplicaciones adicionales.

De acuerdo a una realización preferida de este aspecto de la invención, el aparato informático también está adaptado para recibir una señal de control de cursor y, en respuesta a la señal de control de cursor, controlar un puntero gráfico en el visor. Así, por ejemplo, el motor de sucesos y la señal de control del cursor pueden interactuar conjuntamente con componentes de GUI representados en el visor, de modo que se logre una interacción muy intuitiva entre el hombre y la máquina.

De acuerdo a otra realización preferida de este aspecto de la invención, al menos un componente de GUI está adaptado para generar al menos una respectiva señal de control de salida, tras una manipulación por el usuario del componente. Esto significa que, manipulando un componente de GUI, el usuario puede hacer que el aparato Informático genere señales salientes para una o más unidades externas, tales como una impresora, una cámara, etc. Naturalmente, esta es una característica sumamente deseable. Además, el hecho de que uno o más componentes de GUI puedan generar una señal de control de salida no excluye que, con respecto a uno o más componentes de GUI, las señales de salida de sucesos... [Seguir leyendo]

1. Una disposición para controlar un aparato informático (130) asociado a un visor gráfico (120), presentando el visor (12) una representación de al menos un componente de GUI (220) que está adaptado para ser manipulado en base a comandos generados por un usuario, y al menos uno de dichos, al menos uno, componentes de GUI (220a,..., 220n) está adaptado para generar al menos una respectiva señal de control de salida (Cs,..., Ca) tras una manipulación por el usuario del componente (220a,..., 220n), comprendiendo la disposición un motor de sucesos (210) adaptado para recibir una señal de datos de rastreo ocular (Dojo) que describe un punto de atención (x, y) de un usuario (110) en el visor (120) y, basado al menos en la señal de datos de rastreo ocular (Dojo), producir un conjunto de señales de salida de sucesos no controladores de cursor (D-HI¡) que influyen sobre dicho al menos un componente de GUI (220), describiendo cada señal de salida de sucesos no controladores de cursor (D-HI¡) un aspecto particular de la actividad ocular del usuario (110) con respecto al visor (120), caracterizada porque el motor de sucesos (210) está adaptado para:

recibir una solicitud de señal de control (Ra,..., Rn) desde cada uno de dichos, al menos uno, componentes de GUI (220a,..., 220n), definiendo la solicitud de señal de control (Ra,..., Rn) un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor (D-HI¡), que es requerido por el componente de GUI (220a,..., 220n) para funcionar según se pretende,

producir las señales de salida de sucesos (D-HI¡) que son solicitadas por dichos, al menos uno, componentes de GUI (220a,..., 220n) en la solicitud de señal de control (Ra,..., Rn), y

suministrar las señales de salida de sucesos no controladores de cursor (D-HI¡) a dicho al menos un componente de GUI (220a,..., 220n) de acuerdo a cada respectiva solicitud de señal de control (Ra,..., Rn).

2. Una disposición de acuerdo a la reivindicación 1, caracterizada porque el aparato informático (130) está adaptado

para:

recibir una señal de control de cursor (K), y

controlar un puntero gráfico en el visor (120) en respuesta a la señal de control de cursor (K).

3. Una disposición de acuerdo a una cualquiera de las reivindicaciones precedentes, caracterizada porque el motor de sucesos (210) está adaptado para producir al menos una primera señal de las señales de salida de sucesos no controladores de cursor (D-HI¡), en base a un desarrollo dinámico de la señal de datos de rastreo ocular (Dojo).

4. Una disposición de acuerdo a la reivindicación 3, caracterizada porque la primera señal representa un patrón de mirada específico sobre el visor (120).

5. Una disposición de acuerdo a la reivindicación 4, caracterizada porque al menos un componente de GUI (220a,..., 220n) está adaptado para interpretar la primera señal como una intención estimada del usuario (110), y activar una manipulación por el usuario del componente (220a,..., 220n) en respuesta a la intención estimada.

6. Una disposición de acuerdo a una cualquiera de las reivindicaciones 4 o 5, caracterizada porque al menos un componente de GUI (220a,..., 220n) está adaptado para interpretar la primera señal como un nivel de atención estimado del usuario (110), y activar una manipulación por el usuario del componente (220a,..., 220n) en respuesta al nivel de atención estimado.

7. Una disposición de acuerdo a una cualquiera de las reivindicaciones 4 a 6, caracterizada porque al menos un componente de GUI (220a,..., 220n) está adaptado para interpretar la primera señal como un parámetro de estado mental del usuario (110), y activar una manipulación por el usuario del componente (220a,..., 220n) en respuesta al parámetro de estado mental.

8. Una disposición de acuerdo a una cualquiera de las reivindicaciones precedentes, caracterizada porque el motor de sucesos (210) está adaptado para recibir al menos una señal de entrada auxiliar (Dj) y producir el conjunto de señales de salida de sucesos no controladores de cursor (D-HI¡) sobre la base adicional de dicha al menos una señal de entrada auxiliar (Dj).

9. Una disposición de acuerdo a una cualquiera de las reivindicaciones precedentes, caracterizada porque dicha al menos una señal auxiliar (Dj) se origina en al menos uno entre un botón, un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos, una expresión facial y una señal de EEG.

10. Un método de control de un aparato informático (130) asociado al visor gráfico (120), representando el visor (120) al menos un componente de GUI (220) que está adaptado para ser manipulado en base a comandos generados por el usuario, estando cada componente de GUI (220a,..., 220n) adaptado para generar al menos una respectiva señal de control de salida (Ca,..., Ca) tras una manipulación por el usuario del componente (220a,...,

220n), comprendiendo el método:

recibir una señal de datos de rastreo ocular (Dojo) que describe un punto de atención (x, y) de un usuario (110) en el visor (120), y

producir un conjunto de señales de salida de sucesos no controladores de cursor (D-Hl¡), en base, al menos, a la señal de datos de rastreo ocular (Dojo), influyendo el conjunto de señales de salida de sucesos no controladores de cursor (D-Hl¡) sobre dicho al menos un componente de GUI (220), y describiendo cada señal de salida de sucesos no controladores de cursor (D-Hl¡) un aspecto específico de la actividad ocular del usuario (110) con respecto al visor (120);

el método caracterizado por:

recibir una solicitud de señal de control (Ra,.... Rn) desde cada uno de dichos, al menos uno, componentes de GUI (220a,..., 220n), definiendo la solicitud de señal de control (Ra,..., Rn) un subconjunto del conjunto de señales de salida de sucesos no controladores de cursor (D-HI¡), que es requerido por el componente de GUI (220a,..., 220n) para funcionar como se pretende;

producir las señales de salida de sucesos (D-Hl¡) que son solicitadas por dicho al menos un componente de GUI (220a,..., 220n) en la solicitud de señal de control (Ra,.... Rn), y

suministrar señales de salida de sucesos no controladores de cursor (D-HI¡) a dicho al menos un componente de GUI (220a,..., 220n) de acuerdo a cada respectiva solicitud de señal de control (Ra,..., Rn).

11. Un método de acuerdo a la reivindicación 10, caracterizado por recibir una señal de control de cursor (K) y controlar un puntero gráfico en el visor (120) en respuesta a la señal de control de cursor (K).

12. Un método de acuerdo a una cualquiera de las reivindicaciones 10 u 11, caracterizado por producir al menos una primera señal de las señales de salida de sucesos no controladores de cursor (D-HI¡) en base a un desarrollo dinámico de la señal de datos de rastreo ocular (Dojo).

13. Un método de acuerdo a la reivindicación 12, caracterizado por representar la primera señal un patrón de mirada específico sobre el visor (120).

14. Un método de acuerdo a la reivindicación 13, caracterizado por estar al menos un componente de GUI (220a,..., 220n) adaptado para interpretar la primera señal como una intención estimada del usuario (110), y activar una manipulación por el usuario del componente (220a,..., 220n) en respuesta a la intención estimada.

15. Un método de acuerdo a una cualquiera de las reivindicaciones 13 o 14, caracterizado por estar al menos un componente de GUI (220a,..., 220n) adaptado para interpretar la primera señal como un nivel de atención estimado del usuario (110), y activar una manipulación por el usuario del componente (220a,..., 220n) en respuesta al nivel de atención estimado.

16. Un método de acuerdo a una cualquiera de las reivindicaciones 13 a 15, caracterizado por estar al menos un componente de GUI (220a,..., 220n) adaptado para interpretar la primera señal como un parámetro de estado mental del usuario (110), y activar una manipulación por el usuario del componente (220a,..., 220n) en respuesta al parámetro de estado mental.

17. Un método de acuerdo a una cualquiera de las reivindicaciones 10 a 16, caracterizado por: recibir al menos una señal de entrada auxiliar (Dj), y

producir el conjunto de señales de salida de sucesos no controladores de cursor (D-HI¡) sobre la base adicional de dicha al menos una señal de entrada auxiliar (Dj).

18. Un método de acuerdo a una cualquiera de las reivindicaciones 10 a 17, caracterizado por estar dicha al menos una señal de entrada auxiliar (Dj) originada en al menos uno entre un botón, un conmutador, una señal del habla, un patrón de movimiento de un miembro de entrada, un patrón de gestos, una expresión facial y una señal de EEG.

19. Un programa de ordenador directamente cargable en la memoria interna de un ordenador, que comprende software para controlar las etapas de cualquiera de las reivindicaciones 10 a 18 cuando dicho programa es ejecutado en el ordenador.

20. Un medio legible por ordenador, que tiene un programa grabado en el mismo, donde el programa es para hacer que un ordenador controle las etapas de cualquiera de las reivindicaciones 10 a 18.