Sistema de interfaz de usuario basado en dispositivo de puntero.

Sistema de interacción de usuario que comprende:

- un aparato (110) eléctrico;

- un dispositivo (101, 300) de puntero portátil que puede hacerse funcionar por un usuario para apuntar a una zona en el espacio;

- una cámara (102) que toma una imagen, cámara que está conectada al dispositivo de puntero de modo que en funcionamiento obtiene imágenes de la zona a la que se apunta; y

- un procesador (120) de señal digital, que puede recibir y procesar la imagen, y que puede transmitir información de interfaz de usuario derivada de la imagen al aparato eléctrico;

estando el sistema caracterizado porque comprende además:

- al menos una baliza (180, 181, 182) de localización de sala en una sala en la que se usa el dispositivo de puntero, que puede emitir radiación electromagnética para su uso por el procesador de señal digital que está dispuesto para reconocer a qué parte de la sala está apuntando el dispositivo de puntero; y

- medios para estimar un movimiento o una trayectoria (400, 410) de movimiento del dispositivo de puntero.

Sistema de interfaz de usuario basado en dispositivo de puntero

Campo de la invención La invención se refiere a un sistema de interacción de usuario, que comprende un dispositivo de puntero que apunta a una zona, y una cámara conectada a dicho dispositivo de puntero para obtener imágenes de dicha zona a la que apunta dicho dispositivo de puntero.

La invención también se refiere a un dispositivo de puntero para su uso en un sistema de interacción de usuario.

Antecedentes de la invención Un sistema de este tipo se conoce del documento D1 (DE10110979A1) . El documento D1 se refiere a una disposición que tiene una cámara que puede reconocer objetos tomando una imagen de muestra del mismo y comparando esta imagen con una referencia. Una vez que se ha reconocido un objeto, la disposición puede enviar códigos de control (tales como códigos de control remotos convencionales) a equipos, asociados con el objeto reconocido, para su control. Puede proporcionarse realimentación a un usuario, mediante la disposición, tras el reconocimiento de un objeto (luz, audio, táctil) .

El inventor se dio cuenta de que una desventaja del documento D1 es que su reconocimiento de un objeto depende exclusivamente del objeto tal como se encuentra en la vida real. La capacidad del sistema del documento D1 para reconocer un objeto puede por tanto ser pobre.

Un sistema de este tipo se conoce también en parte del documento US-A-2001/0030668. Este documento describe un sistema de control remoto universal en el que un usuario marca una ubicación en una presentación visual con un dispositivo de puntero que muestra una característica reconocible, por ejemplo un puntero láser que emite un punto rojo, y una cámara toma una imagen de la presentación visual y calcula a qué ubicación ha apuntado el usuario. Un aparato eléctrico, por ejemplo un ordenador o una televisión, realiza entonces una acción correspondiente al marcado realizado por el usuario. Por ejemplo, si se marca un icono en la presentación visual haciendo parpadear el puntero láser dos veces, se inicia un programa informático correspondiente.

Una desventaja del sistema conocido es que el sistema está diseñado para una presentación visual particular. Por ejemplo, la presentación visual puede ser una proyección de una LCD basada en un proyector frontal en una pantalla, proyector al que está conectado un ordenador portátil. La cámara en el sistema conocido tiene una posición y ángulo de visión tales que puede obtener imágenes de la pantalla. A continuación, se entrena el DSP para discriminar un área en las imágenes procedentes de la cámara que corresponde a la ubicación de la pantalla. En la técnica anterior esto puede hacerse de una manera sencilla. En primer lugar, se captura una imagen de la pantalla tanto con como sin iluminación con una imagen procedente del proyector. Comparando la diferencia entre estas dos imágenes, se obtiene el área de la presentación visual en el espacio vista por la cámara. En segundo lugar, se deriva una transformación de perspectiva que determina la relación entre una ubicación a la que se apunta en la presentación visual y una ubicación en la imagen para la proyección, en la memoria intermedia de fotogramas del ordenador portátil. El documento conocido también describe apuntar a una presentación visual virtual, por ejemplo una pared, seleccionando manualmente en primer lugar las esquinas de la presentación visual virtual. Sin embargo, el sistema está siempre calibrado para una presentación visual y en caso de que un usuario quiera interaccionar con otra presentación visual, debe ajustar el sistema de nuevo, o usar un segundo sistema.

El documento US-A-5646608 se refiere a un sistema de control remoto electrónico en el que cada dispositivo electrónico controlado de manera remota comprende un emisor de luz y un detector de luz. Se emiten señales de identificación correspondientes a los respectivos dispositivos electrónicos desde los emisores de luz de los mismos a una única unidad de control remoto. Cuando la unidad de control remoto detecta las señales de identificación, la unidad de control remoto presenta visualmente en su unidad de presentación visual información requerida para hacer funcionar selectivamente los dispositivos electrónicos correspondientes a las señales de identificación detectadas.

El documento US5949351 A se refiere a un sistema controlador remoto de transmisión bidireccional inalámbrico para su uso en sistemas de televisión y audio. En el aparato de control y en diversos aparatos controlados se ajustan partes de emisión de luz y partes de recepción de luz de modo que estén habilitadas para comunicarse en ambas direcciones en una comunicación de tipo inalámbrico. Se recibe un paquete de petición de menú en cada aparato que va a controlarse y se compara con el ID del aparato elegido en el paquete de petición de menú recibido. Cuando los ID son iguales, se transmite un paquete de respuesta de menú con los menús disponibles en el estado actual a un controlador. Tras comprobar los ID de los aparatos, se envía un paquete de respuesta de ejecución al aparato desde el controlador.

Sumario de la invención Es un objeto de la invención proporcionar un sistema de interacción de usuario del tipo descrito en el párrafo introductorio que mejore la identificación de objeto y la orientación relativa con respecto al dispositivo de puntero.

Este objeto se implementa porque el sistema comprende además al menos una baliza para emitir luz o radiación electromagnética que puede reconocerse con dicha cámara, y un procesador de señal digital que, cuando dicha cámara reconoce la luz o radiación electromagnética emitida por dicha al menos una baliza, puede reconocer adónde está apuntando dicho dispositivo de puntero basándose en la imagen tomada por dicha cámara.

La cámara está conectada al dispositivo de puntero de modo que, en funcionamiento, obtiene imágenes de la zona a la que se apunta. Una cámara fija sólo obtiene imágenes de una determinada zona del espacio. Es posible que en el sistema de interacción de usuario conocido, el dispositivo de puntero del usuario, o el objeto al que se apunta ni siquiera estén en el campo de visión de la cámara fija. Es una ventaja importante de un dispositivo de puntero con una cámara asociada, por ejemplo en el extremo delantero del dispositivo de puntero más próximo a la zona a la que se apunta, que la cámara siempre obtiene imágenes de la zona a la que se apunta de manera sustancialmente óptima. El objeto al que se apunta es en general el aparato eléctrico al que se envía la información de interfaz de usuario, por ejemplo datos de control de aparato, pero puede ser cualquier objeto presente en la sala en la que se encuentra el usuario, siempre que puede reconocerse por el DSP. El aparato que va a controlarse se identifica entonces, por ejemplo, apuntando previamente al mismo.

En una realización, la información de interfaz de usuario comprende datos de control de aparato para controlar el funcionamiento del aparato eléctrico. Puede haber muchos aparatos presentes en una sala de estar que producen, por ejemplo, sonido. Cada uno de estos dispositivos tiene un control para aumentar o disminuir el volumen de sonido. Apuntando la cámara del dispositivo de puntero hacia un aparato particular y efectuando una orden de “subir volumen”, por ejemplo pulsando un botón en el dispositivo de puntero o realizando un movimiento específico con el dispositivo de puntero, el volumen de sonido del dispositivo al que se apunta aumentará. El uso de un control remoto universal conocido puede tener la desventaja de que, por ejemplo, responda un aparato que no era el que el usuario pretendía, debido a que use el mismo código de control remoto.

Es ventajoso que el procesador de señal digital comprenda unos medios de caracterización de objeto para caracterizar un objeto o parte del objeto presente en la imagen de la zona de la que la cámara ha obtenido imágenes, proporcionando primeras características de caracterización de objeto a unos medios de identificación de objeto comprendidos, para identificar el objeto, y medios de identificación de objeto que pueden emitir datos de identificación de objeto a partir de los cuales se construye la información de interfaz de usuario.

En caso de que deban controlarse aparatos eléctricos diferentes, todos ellos deben reconocerse automáticamente. El DSP puede ser, por ejemplo, un procesador genérico que ejecuta algoritmos para caracterizar el aparato, o puede ser un ASIC. Normalmente, los medios de caracterización de objeto efectuarán algoritmos de procesamiento de imágenes sobre una imagen del aparato. Por ejemplo, pueden calcularse las dimensiones... [Seguir leyendo]

1. Sistema de interacción de usuario que comprende:

-un aparato (110) eléctrico;

-un dispositivo (101, 300) de puntero portátil que puede hacerse funcionar por un usuario para apuntar a una zona en el espacio;

-una cámara (102) que toma una imagen, cámara que está conectada al dispositivo de puntero de modo que en funcionamiento obtiene imágenes de la zona a la que se apunta; y

-un procesador (120) de señal digital, que puede recibir y procesar la imagen, y que puede transmitir información de interfaz de usuario derivada de la imagen al aparato eléctrico;

estando el sistema caracterizado porque comprende además:

-al menos una baliza (180, 181, 182) de localización de sala en una sala en la que se usa el dispositivo de puntero, que puede emitir radiación electromagnética para su uso por el procesador de señal digital que está dispuesto para reconocer a qué parte de la sala está apuntando el dispositivo de puntero; y

-medios para estimar un movimiento o una trayectoria (400, 410) de movimiento del dispositivo de puntero.

2. Sistema de interacción de usuario según la reivindicación 1, en el que los medios para habilitar la estimación de un movimiento o una trayectoria de movimiento del dispositivo de puntero son medios (304) de detección de movimiento.

3. Sistema de interacción de usuario según la reivindicación 1, en el que el movimiento o la trayectoria de movimiento del dispositivo de puntero se estima basándose en imágenes sucesivas obtenidas por la cámara en respectivas instancias de tiempo.

4. Sistema de interacción de usuario según cualquier reivindicación anterior, en el que el procesador de señal digital está distribuido en varias partes.

5. Sistema de interacción de usuario según la reivindicación 4, en el que una primera parte del procesador de señal digital está incluida en el dispositivo de puntero y una segunda parte del procesador de señal digital está incluida en el aparato eléctrico.

6. Sistema de interacción de usuario según cualquier reivindicación anterior, en el que el procesador de señal digital está dispuesto para analizar gestos realizados con el dispositivo de puntero basándose en dicha trayectoria de movimiento.

7. Sistema de interacción de usuario según la reivindicación 6, en el que el dispositivo de puntero está dispuesto para controlar el funcionamiento del aparato eléctrico basándose en dichos gestos analizados.

8. Sistema de interacción de usuario según cualquier reivindicación anterior, en el que la trayectoria de movimiento se resume mediante una firma (402) que es una representación matemática de dicha trayectoria de movimiento.

9. Sistema de interacción de usuario según la reivindicación 8, en el que la firma está vinculada a una orden para controlar el aparato eléctrico.

10. Sistema de interacción de usuario según la reivindicación 8 ó 9, en el que la firma se correlaciona mediante una técnica de ajuste de curvas.

11. Sistema de interacción de usuario según cualquier reivindicación anterior, en el que el dispositivo de puntero comprende además medios (306, 312, 314, 316) de realimentación para proporcionar al usuario información adicional.

12. Sistema de interacción de usuario según la reivindicación 11, en el que dichos medios de realimentación se seleccionan del grupo que consiste en luz, sonido, una presentación visual y medios (306, 312, 314, 316) de realimentación por fuerza.

13. Sistema de interacción de usuario según la reivindicación 11 ó 12, en el que dichos medios de realimentación están dispuestos para proporcionar realimentación acerca de a qué parte de un aparato está apuntando el usuario.

14. Sistema de interacción de usuario según la reivindicación 13, en el que el aparato al que está apuntando el usuario es el aparato eléctrico.

15. Sistema de interacción de usuario según cualquier reivindicación anterior, en el que la información de interfaz de usuario comprende datos de control de aparato para controlar el funcionamiento del aparato eléctrico.