Aparato para crear, grabar y formatear documentos de texto usando control con la mirada y método asociado.

Método para el procesamiento de documentos de texto basado en el posicionamiento optimizado del cursor,

en untexto mostrado, a realizar mediante el procesamiento electrónico de datos e información proporcionados por unmedio para visualización de datos que comprende un dispositivo de seguimiento del ojo, comprendiendo dichométodo las siguientes etapas:

a) La interfaz de usuario, adaptada para permitir que el usuario interaccione con el dispositivo de seguimientodel ojo asociado a dicho procesador electrónico, se muestra (20) en un medio de visualización adecuadoasociado con dicho medio de procesamiento electrónico de datos e información;

b) Las coordenadas de la mirada del usuario, como datos iniciales, se calculan (21) a partir de dicho dispositivode seguimiento del ojo, y representan las coordinadas de la mirada, a lo largo de los dos ejes cartesianos,obtenidas con la frecuencia típica de dicho dispositivo de seguimiento del ojo,

c) Los datos iniciales relacionados con dichas coordenadas se filtran (22) de manera que son más estables yadecuados para proporcionar información sobre las fijaciones del usuario, es decir, el número de miradas delusuario alrededor de una cierta área;

d) Los datos filtrados procedentes de la etapa previa se envían al Módulo (23) de Acción de Ajuste;

g) El Módulo (30) de Gestión de Eventos procesa el evento entrante a través de un mapeado entre sí mismo yla respuesta de la aplicación, de manera que cada evento/acción está asociado con una accióncorrespondiente en la interfaz de usuario que implica un cambio de datos y, en un caso, un cambio de la propiainterfaz de usuario.

h) El Módulo (31) de Gestión de Eventos envía tal información al Módulo de Gestión de Estados.

i) El Módulo (32) de Gestión de Estados procesa tal información y actualiza su estado interno en base a lainformación recibida.

j) El Módulo (33) de Gestión de Interfaz requiere los datos para la actualización del Módulo de Gestión deEstados y produce una interfaz de usuario.

k) El Módulo (34) de Gestión de Interfaz espera los siguientes datos de entrada,

f) Se repiten las etapas desde la b),

caracterizado por que dicha etapa j) comprende las siguientes etapas:

l) El Módulo de Gestión de Interfaz solicita (41) datos para la actualización del Módulo de Gestión de Estados yproduce una ventana semitransparente, relacionada con el área de fijación, que se mueve sobre el textosiguiendo la mirada del usuario, y un conjunto de botones, en una barra lateral, que puede seleccionarse,correspondiendo cada uno de ellos a las palabras incluidas en el área de fijación.

m) El Módulo (42) de Gestión de Eventos recibe como entrada el evento relacionado con la selección de unaprimera palabra elegida entre los botones en la barra lateral, determina la respuesta de la aplicación y envía talinformación al Módulo de Gestión de Estados.

n) El Módulo (43) de Gestión de Estados procesa tal información y actualiza su propio estado.

o) El Módulo (44) de Gestión de Interfaz solicita datos para la actualización del Módulo de Gestión de Estados ycoloca dicho cursor en el comienzo de o al final de dicha primera palabra elegida en la etapa m) previa.

Aparato para crear, grabar y formatear documentos de texto usando control con la mirada y método asociado

Campo de la invención [0001] La presente invención se refiere al campo de las técnicas de interacción en interfaces de un sistema de control con la mirada y, en particular, a un nuevo sistema que permite crear, grabar y formatear un documento de texto usando dispositivos de seguimiento del ojo a través de un método de posicionamiento rápido del cursor.

Estado de la técnica [0002] Un objetivo de la investigación en el campo de la interacción ser humano-ordenador ha sido y es, hasta ahora, el aumento del ancho de banda de las comunicaciones entre el usuario y la máquina, debido a que con la introducción de la GUI (interfaz gráfica de usuario) , el ancho de banda de los datos de salida ha aumentado, mientras que el ancho de banda de los datos de entrada ha permanecido más o menos igual.

Para este fin se han realizado diversos intentos usando un seguimiento del ojo para disminuir el espacio entre el ancho de banda de las comunicaciones de entrada y salida y, puesto que la tecnología se ha hecho robusta,

precisa y económicamente suficiente, hay ahora una necesidad de una interfaz real ser humano-ordenador que haga uso de entradas desde dispositivos de seguimiento del ojo en el desarrollo de la solicitud.

Por lo tanto, es necesario encontrar "técnicas de interacción" adecuadas para movimientos oculares, de manera que se cree un diálogo usuario-ordenador, natural y ventajoso, puesto que una interfaz de usuario basada en tal entrada es potencialmente más rápida y requiere menor esfuerzo con respecto a las interfaces actuales.

Esta interfaz es difícil de desarrollar por muchas razones y, en particular, debido a que los ojos son órganos perceptivos y la mirada se mueve sobre la pantalla también cuando el usuario registra información y no desea producir ningún tipo de orden de control. Además, el usuario, que puede ser una persona con minusvalías, puede tener dificultades para controlar su propia mirada con una precisión suficientemente alta para controlar el ordenador según lo desee, y esto se acentúa particularmente si los objetos a controlar en la pantalla son pequeños.

En el estado de la técnica hay muchos sistemas que, de diferentes maneras, han intentado desarrollar métodos de interacción basados en la gestión completa de la emulación del ratón. En particular, algunos de ellos proporcionan un movimiento de puntero como una función del movimiento de la mirada.

Un ejemplo es la solicitud de patente internacional WO2007/017500 que desvela un dispositivo de seguimiento del ojo convencional para un sistema informático que ejecuta las etapas de mostrar una interfaz de usuario, seguir las coordenadas de la mirada y procesar datos relacionados con dichas coordenadas de la mirada para determinar qué acción hay que realizar de acuerdo con la actividad de la mirada del usuario.

Otro ejemplo se desvela en el documento WO2007/050029, que desvela una interfaz para introducir órdenes de control.

Una de estas técnicas de interacción amplifica las áreas presentes en la pantalla, de manera que el usuario puede realizar una acción de una manera más fiable usando el puntero y permite conseguir acceso prácticamente a todas las aplicaciones de Windows.

En estos casos tal solución no es la mejor porque el potencial de entrada visual está reducido a una simple 50 copia de las características del ratón (mover el cursor con los ojos) . A diferencia de los gestos de brazos y manos, estables y asociados directamente con una acción voluntaria, el movimiento de los ojos muestra otras características, y a menudo es involuntario y está orientado para adquirir información sobre el mundo exterior y no muestra una tendencia estable. Además, esta técnica de interacción cansa al usuario, ralentiza la interacción con la máquina y produce un alto número de errores.

En otro sistema los cursores se sitúan, de una manera aproximada, al principio de la palabra a la que se mira, después de un intervalo de permanencia o de pulsar el interruptor. Para mover el cursor de una letra a otra, después de mirar una palabra deseada durante un cierto tiempo (intervalo de permanencia) , el usuario debe mirar a la flecha en la dirección correcta entre las 4 mostradas alrededor de la palabra a la que está mirando (un conjunto de 4

flechas en 4 direcciones) . Para mover lentamente el cursor el usuario debe mirar en la dirección apropiada.

Aparte está presente una pantalla de navegación particular donde algunos botones proporcionan el movimiento del cursor en todas las direcciones, tanto para movimientos pequeños como grandes. Para seleccionar un texto a copiar o cortar, el usuario debe poner el cursor en el inicio de este texto, seleccionar un botón particular y

mover el cursor hasta el final del texto a seleccionar.

Otros sistemas muestran una solución para el posicionamiento del cursor que combina control ocular y manual; cuando se observa una activación manual del usuario, el cursor se coloca en la posición de partida determinada por la mirada del usuario en el área seleccionada.

En otros sistemas más, el área de la pantalla que mira el usuario se amplía, de manera que la selección de objetos se hace más fácil; los componentes fuera de este área se cierran y/o se mueven en relación a tal expansión.

Sumario de la invención [0015] Un objeto de la presente invención es un método y un aparato para procesar un documento de texto que usa como entrada la mirada y un método para el posicionamiento rápido del cursor, desarrollando una interfaz intuitiva y fácil de usar, como se describe en las reivindicaciones.

Este aparato representa un posible despliegue de tecnología asistiva para crear, grabar y formatear un 15 documento de texto, basándose en el uso de una entrada natural y alternativa, tal como la mirada.

Breve descripción de las figuras

La Figura 1 muestra un diagrama de bloques de la arquitectura del método de acuerdo con la presente invención.

La Figura 2 muestra el diagrama de flujo del método de acuerdo con la presente invención.

La Figura 3 muestra el diagrama de flujo de generación y ejecución de la rutina de acción de acuerdo con la

presente invención. La Figura 4 muestra el diagrama de flujo de la rutina de posicionamiento del cursor. La Figura 5 muestra el diagrama de flujo de la rutina de posicionamiento del cursor para la selección de texto (selección múltiple) .

Descripción detallada de la invención [0018] En una realización preferida de la presente invención, el aparato objeto de la presente invención incluye un medio de procesamiento de datos e información, un medio de almacenamiento de dichos datos e información y un medio para hacer de interfaz con el usuario.

Dicho medio de procesamiento electrónico de datos e información incluye una sección de control apropiada, preferentemente basada al menos en un microprocesador y, por ejemplo, puede realizarse desde un ordenador personal.

Dicho medio de almacenamiento incluye preferentemente un disco duro y un medio de ayuda con memoria instantánea de la interfaz de usuario incluye un medio de visualización de datos, tal como una pantalla, monitor o unidad de salida externa similar, y un dispositivo de seguimiento del ojo para determinar la dirección de la mirada del usuario. Dicho al menos un microprocesador está equipado, preferentemente, con un programa de software apropiado cuya arquitectura, descrita en la Figura 1, incluye los siguientes módulos: un módulo 10 de filtración que 45 procesa las coordenadas de la mirada del usuario y que hace que los datos iniciales, procedentes del dispositivo de seguimiento del ojo, sean más estables; un Módulo 11 de Acción de Ajuste, que gestiona la interfaz gráfica de la aplicación y que mantiene la información sobre los componentes de las áreas de la interfaz con los que interacciona el usuario, y es responsable de determinar qué área está siendo mirada actualmente por el usuario, la acción para realización y la lleva a cabo. Dicho Módulo 11 de Acción de Ajuste mantiene la información sobre el tipo de acción asociada con la activación de un componente determinado. Dicho Módulo 11 de Acción de Ajuste está formado por módulos de tres componentes: el Módulo 12 de Gestión de Eventos que determina las reglas para transformar la entrada a la interfaz en cambios sobre los estados de aplicación a través de un mapeado entre la acción del usuario y la respuesta de la aplicación; un Módulo 13 de Gestión de Estados que representa los datos de aplicación y determina el estado y las funcionalidades... [Seguir leyendo]

1. Método para el procesamiento de documentos de texto basado en el posicionamiento optimizado del cursor, en un texto mostrado, a realizar mediante el procesamiento electrónico de datos e información proporcionados por un medio para visualización de datos que comprende un dispositivo de seguimiento del ojo, comprendiendo dicho método las siguientes etapas:

a) La interfaz de usuario, adaptada para permitir que el usuario interaccione con el dispositivo de seguimiento del ojo asociado a dicho procesador electrónico, se muestra (20) en un medio de visualización adecuado asociado con dicho medio de procesamiento electrónico de datos e información; b) Las coordenadas de la mirada del usuario, como datos iniciales, se calculan (21) a partir de dicho dispositivo de seguimiento del ojo, y representan las coordinadas de la mirada, a lo largo de los dos ejes cartesianos, obtenidas con la frecuencia típica de dicho dispositivo de seguimiento del ojo, c) Los datos iniciales relacionados con dichas coordenadas se filtran (22) de manera que son más estables y

adecuados para proporcionar información sobre las fijaciones del usuario, es decir, el número de miradas del usuario alrededor de una cierta área; d) Los datos filtrados procedentes de la etapa previa se envían al Módulo (23) de Acción de Ajuste; g) El Módulo (30) de Gestión de Eventos procesa el evento entrante a través de un mapeado entre sí mismo y la respuesta de la aplicación, de manera que cada evento/acción está asociado con una acción correspondiente en la interfaz de usuario que implica un cambio de datos y, en un caso, un cambio de la propia interfaz de usuario. h) El Módulo (31) de Gestión de Eventos envía tal información al Módulo de Gestión de Estados. i) El Módulo (32) de Gestión de Estados procesa tal información y actualiza su estado interno en base a la información recibida.

j) El Módulo (33) de Gestión de Interfaz requiere los datos para la actualización del Módulo de Gestión de Estados y produce una interfaz de usuario. k) El Módulo (34) de Gestión de Interfaz espera los siguientes datos de entrada, f) Se repiten las etapas desde la b) , caracterizado por que dicha etapa j) comprende las siguientes etapas:

l) El Módulo de Gestión de Interfaz solicita (41) datos para la actualización del Módulo de Gestión de Estados y produce una ventana semitransparente, relacionada con el área de fijación, que se mueve sobre el texto siguiendo la mirada del usuario, y un conjunto de botones, en una barra lateral, que puede seleccionarse, correspondiendo cada uno de ellos a las palabras incluidas en el área de fijación. m) El Módulo (42) de Gestión de Eventos recibe como entrada el evento relacionado con la selección de una primera palabra elegida entre los botones en la barra lateral, determina la respuesta de la aplicación y envía tal información al Módulo de Gestión de Estados. n) El Módulo (43) de Gestión de Estados procesa tal información y actualiza su propio estado. o) El Módulo (44) de Gestión de Interfaz solicita datos para la actualización del Módulo de Gestión de Estados y coloca dicho cursor en el comienzo de o al final de dicha primera palabra elegida en la etapa m) previa.

2. Método de acuerdo con la reivindicación 1 en el que se selecciona una segunda palabra y el texto entre dicha primera y dicha segunda palabras se resalta mediante las siguientes etapas comprendidas en dicha etapa j) :

p) El Módulo de Gestión de Eventos recibe (50) como entrada el evento relacionado con la selección del botón 45 "Seleccionar" de la barra lateral, determina la reacción de la aplicación y envía tal información al Módulo de Gestión de Estados. q) El Módulo de Gestión de Estados procesa (51) tal información y actualiza su propio estado. r) El Módulo de Gestión de Interfaz solicita (52) los datos para actualizar el Módulo de Gestión de Estados y se pone a sí mismo en espera para eventos adicionales.

s) El Módulo de Gestión de Eventos recibe (54) como entrada el evento relacionado con la selección de dicha segunda palabra entre los botones seleccionables en la barra lateral, determina la reacción de la aplicación y envía tal información al Módulo de Gestión de Estados. t) El Módulo de Gestión de Eventos recibe (51) la entrada relacionada con el evento relacionado con la selección de dicha segunda palabra entre los botones seleccionables en la barra lateral, determina la reacción 55 de la aplicación y envía tal información al Módulo de Gestión de Estados. u) El Módulo de Gestión de Estados procesa (55) tal información y actualiza su propio estado. v) El Módulo de Gestión de Interfaz solicita (56) datos para actualizar el Módulo de Gestión de Estados y resalta el texto comprendido entre dicha primera palabra y dicha segunda palabra seleccionada como una respuesta de la selección realizada.

3. Método de acuerdo con las reivindicaciones 1-2 caracterizado por que comprende una etapa adicional adaptada para realizar una acción, sobre dicho texto seleccionado, elegida entre el grupo que comprende: borrar, insertar, formatear palabras o porciones de texto.