Realidad aumentada industrial.

Método para coordinar el movimiento de trabajadores humanos en un entorno que presenta uno o varios objetos etiquetados con un marcador visual (18) en ellos,

comprendiendo el método;

la recepción de una imagen proveniente de una cámara ponible (14) que lleva puesta un primer operador humano en dirección a un campo de visión del primer operador;

la detección automática de uno o varios marcadores visuales dentro de la imagen, estando al menos uno de dichos marcadores visuales asociado y en relación de proximidad a cada uno de los objetos;

la recepción de información de uno o varios sistemas de supervisión del entorno, estando la información relacionada con las condiciones actuales de los alrededores dinámicos del primer operador;

la determinación de un estado actual del entorno de acuerdo con la información recibida de los sistemas de supervisión del entorno;

el procesamiento de la imagen del marcador visual y la determinación de un identificador único asociado al marcador en función del estado actual del entorno y la imagen procesada del marcador visual;

la referencia al identificador único para recuperar una correlación de una ubicación física con el marcador visual para determinar la ubicación física del marcador; y la determinación de la ubicación del primer operador en función de la correlación recuperada de la ubicación física con el marcador visual.

Realidad aumentada industrial.

ANTECEDENTES DE LA INVENCIÓN 5

La presente invención se refiere a sistemas y métodos de procesamiento de información en un entorno industrial. Más en concreto, la invención se refiere a sistemas y métodos de visualización de información para ser usados por operadores humanos en un entorno de trabajo móvil.

Hoy en día, hay un número cada vez mayor de trabajadores en entornos de trabajo móviles que son asistidos por sistemas informáticos de mano o ponibles. En lugar de utilizar puestos o estaciones de trabajo informatizados dispuestos en ubicaciones por todo el entorno de trabajo, los ordenadores de mano o ponibles permiten al trabajador moverse con libertad por el espacio de trabajo y recuperar información de redes de ordenadores al alcance de la mano, al tiempo que mantiene una relación de proximidad al objeto de la tarea. 15 Ejemplos de estos incluyen operaciones de al por menor en las que vendedores o empleados de control de inventario llevan ordenadores de mano con lectores de código de barras que pueden identificar productos al realizar una lectura del código de barras y luego visualizarse la información asociada con dicho producto. Otro ejemplo incluye agentes de devolución de vehículos de alquiler que teclean información en un ordenador ponible en el aparcamiento de la oficina de alquiler de vehículos cuando se devuelve el vehículo y a continuación 20 imprimen un recibo en una impresora ponible para dárselo a un cliente que esté en el aparcamiento junto al vehículo de alquiler.

Aunque estos sistemas son de utilidad, presentan capacidades limitadas. Los ordenadores de mano exigen que el trabajador ocupe una o ambas manos en la tarea de introducir información en el ordenador. Por lo 25 general, los ordenadores ponibles exigen que se utilice al menos una mano para introducir datos en un ordenador, y exigen asimismo que el trabajador centre su mirada y atención en el ordenador de mano en lugar de en el objeto o tarea que tiene frente a él. A pesar de que estas soluciones de ordenadores ponibles suponen un avance con respecto a los puestos fijos y los catálogos, gráficos de pared o manuales de instrucciones estratégicamente ubicados y al alcance del trabajador, todavía hay mucho que se puede mejorar para dejar las 30 manos libres al trabajador y mantener su atención, y al mismo tiempo obtener información de vital importancia para el trabajador para, de este modo, aumentar la productividad y seguridad de los trabajadores.

El documento US 6.172.657 da a conocer un sistema que comprende un ordenador ponible, una cámara ponible y una pantalla transparente. 35

BREVE SUMARIO DE LA INVENCIÓN

La presente invención satisface las necesidades anteriormente mencionadas al ofrecer un sistema y un método de visualización de datos que comprende la detección de marcadores visuales dentro del ángulo de 40 visión de una cámara ponible que lleva puesta un trabajador humano, y la realización de una selección en función del estado del entorno, visualizándose los datos seleccionados asociados a al menos uno de dichos marcadores visuales sobre una pantalla ponible que lleva puesta el operador.

La invención ofrece un sistema y un método para coordinar el movimiento de trabajadores humanos que 45 comprende la detección de uno o varios marcadores visuales dentro del ángulo de visión de una cámara que lleva puesta el trabajador, y la determinación de la ubicación del trabajador a partir de la ubicación conocida del marcador visual dentro del ángulo de visión de la cámara.

BREVE DESCRIPCIÓN DE VARIAS VISTAS DE LOS DIBUJOS 50

La figura 1 es un sistema según una forma de realización de la invención.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN

Muchas tareas físicas en un entorno de trabajo industrial pueden hacerse más eficientes o seguras al proporcionar a los trabajadores más datos acerca de sus tareas y su entorno. Puede que entre dichas tareas se incluya la preparación de pedidos para actividades de la planta de fabricación, o el manejo y mantenimiento de equipo industrial. Esta invención aumenta la eficiencia de dichas tareas al dotar a los trabajadores de una pequeña pantalla ponible y una pequeña cámara ponible. Preferentemente, tanto la pantalla ponible como la 60 cámara ponible están montadas sobre un par de anteojos o gafas protectoras. Preferentemente, la cámara y la pantalla están conectadas a un pequeño ordenador ponible. Repartidos por todo el entorno de trabajo, puede que se coloquen estratégicamente marcadores visuales de bajo coste para identificar ubicaciones u objetos en relación de proximidad a los marcadores. Cuando el marcador visual se encuentra dentro del campo de visión de la cámara, el sistema informático ponible puede "ver" e identificar el marcador visual. Una vez identificado, la 65

pantalla ponible puede utilizarse para dar instrucciones o información al trabajador con respecto al objeto o ubicación identificados. Puede que la información visualizada se considere "subtitítulos" que contribuyen a aumentar la realidad del entorno que ve el trabajador.

La figura 1 representa un sistema típico según una forma de realización de la invención. Un par de 5 anteojos 10 incluye una pantalla transparente ponible 12 con una cámara ponible 14, estando ambas fijadas a los anteojos 10. Una banda 16 ayuda a mantener los anteojos en la cabeza del trabajador. La cámara ponible 14 está dispuesta en una posición para detectar unos marcadores visuales 18 dentro del campo de visión del trabajador.

La cámara y la pantalla están preferentemente conectadas a través de unos cables 20 y 22 a un ordenador ponible 24. No obstante, los desarrollos tecnológicos puede que permitan que las conexiones sean inalámbricas, lo que obviaría la necesidad de cables. El ordenador ponible 24 incluye un cinturón 26 para sujetarlo a la cintura o a una extremidad (p. ej., brazo o pierna) de un trabajador. Preferentemente, el ordenador ponible 24 incluye un transmisor y antena inalámbricos 28 para conectarse inalámbricamente a una red de 15 ordenadores 30 en el entorno industrial.

También está conectado a la red 30 un servidor de red 32, un procesador 34, y varias bases de datos. Las bases de datos puede que incluyan, sin carácter limitativo, una biblioteca de marcadores visuales 36, correlaciones de ubicación de marcadores visuales 38, manuales de referencia sobre producción y manejo 40 y 20 una biblioteca de preferencias y perfiles de los empleados 40.

Un sistema típico como el descrito anteriormente puede que incluya varios componentes que en la actualidad están disponibles en el mercado. La pantalla ponible 12 puede que sea una pantalla microóptica transparente o de visión de los alrededores, como las pantallas para anteojos disponibles en el mercado de 25 Microoptical Corp., Boston, Massachusetts, EE. UU. La pequeña cámara 14 puede que esté fijada a las pantallas para anteojos o integrada en estas. Existen numerosas cámaras de estas características disponibles en el mercado. El ordenador ponible 24 puede que sea uno como los disponibles en el mercado de Xybernaut Corp., Fairfax, Virginia, EE. UU., con un transceptor de comunicación inalámbrica, por ejemplo por medio de un protocolo 802.11 (b) . El ordenador ponible 24 o el procesador 34 preferentemente incluye un sistema de 30 reconocimiento de marcadores visuales o patrones como, sin carácter limitativo, el ARToolKit desarrollado por la Universidad de Washington y disponible a través de esta.

El sistema incluye asimismo una red de ordenadores 30 que accede al ordenador ponible de manera inalámbrica. La red de ordenadores incluye un procesador de realidad aumentada 34 que está comunicado con 35 una base de datos situada en unos dispositivos de almacenamiento de memoria comunicados con un servidor 32. Las bases de datos 36, 38, 40 y 42 almacenan la información o los datos asociados a los objetos asociados con los marcadores visuales y o las correlaciones de las ubicaciones de los marcadores visuales. Puede que las bases de datos también almacenen datos acerca del entorno de trabajo, detalles de los objetos, documentación del equipo, manuales de funcionamiento, estado actual, disponibilidad y ubicación de los trabajadores, tareas 40 programadas para el equipo y los trabajadores, etc. Puede que el servidor también esté enlazado a otras fuentes de datos, como, por ejemplo, sistemas de control de procesos y de automatización, que puede que ofrezcan el estado de las condiciones de funcionamiento del equipo; sistemas de planificación de los recursos empresariales (ERP, de Enterprise Resource Planning) , que puede que ofrezcan información acerca de los horarios, trabajo en curso, inventario... [Seguir leyendo]

1. Método para coordinar el movimiento de trabajadores humanos en un entorno que presenta uno o varios objetos etiquetados con un marcador visual (18) en ellos, comprendiendo el método;

la recepción de una imagen proveniente de una cámara ponible (14) que lleva puesta un primer operador humano en dirección a un campo de visión del primer operador;

la detección automática de uno o varios marcadores visuales dentro de la imagen, estando al menos uno de dichos marcadores visuales asociado y en relación de proximidad a cada uno de los objetos; 10

la recepción de información de uno o varios sistemas de supervisión del entorno, estando la información relacionada con las condiciones actuales de los alrededores dinámicos del primer operador;

la determinación de un estado actual del entorno de acuerdo con la información recibida de los sistemas de 15 supervisión del entorno;

el procesamiento de la imagen del marcador visual y la determinación de un identificador único asociado al marcador en función del estado actual del entorno y la imagen procesada del marcador visual;

la referencia al identificador único para recuperar una correlación de una ubicación física con el marcador visual para determinar la ubicación física del marcador; y la determinación de la ubicación del primer operador en función de la correlación recuperada de la ubicación física con el marcador visual.

2. Método según la reivindicación 1, que comprende además: 25

el seguimiento del movimiento del primer operador al determinar la ubicación de la cámara en función de la perspectiva de una imagen de los uno o los varios marcadores visuales dentro del campo de visión de la cámara;

el análisis del movimiento de la imagen en el campo de visión de la cámara; y

la determinación del movimiento de la cámara correspondiente al movimiento de la imagen.

3. Método según la reivindicación 1, que comprende además el seguimiento de movimiento del primer 35 operador al supervisar la serie de marcadores que pasan dentro del campo de visión de la cámara.

4. Método según la reivindicación 1, que comprende además la visualización de los datos en una pantalla transparente de modo que los datos estén superpuestos sobre una imagen real que se ve en el campo de visión del primer operador, en el que dichos datos incluyen información que dirige al primer operador a una 40 nueva ubicación.

5. Método según la reivindicación 4, en el que dichos datos están basados en la optimización del movimiento de una pluralidad de operadores humanos en el entorno.

6. Método según la reivindicación 1 donde los sistemas de supervisión que ofrecen información a través de la red son un sistema de control de procesos, un sistema de automatización, un sistema de alarma contra incendios, un sistema de detección de riesgos, un sistema de control del entorno o combinaciones de estos.

7. Método según la reivindicación 1 donde el sistema de supervisión comprende un sistema de control 50 configurado para ofrecer información relacionada con el estado de las condiciones de funcionamiento del equipo.

8. Método según la reivindicación 1, que comprende además:

la selección de datos de un dispositivo de almacenamiento de memoria en función del estado del entorno y del uno o los varios marcadores visuales mencionados; y

la visualización de los datos en una pantalla ponible que lleva puesta el primer operador.

9. Método según la reivindicación 8, en el que dicha selección de datos incluye la identificación de cuál de los mencionados marcadores visuales se sitúa dentro de una zona de visión predeterminada de dicha cámara durante un periodo de tiempo predeterminado.

10. Método según la reivindicación 9, en el que dicha zona representa un 50º del centro del campo de visión de la cámara.

11. Método según la reivindicación 8, en el que los datos se visualizan en una pantalla transparente de modo que los datos estén superpuestos sobre una imagen real que se ve en el campo de visión del primer 5 operador.

12. Método según la reivindicación 8, que comprende además la visualización de datos adicionales asociados a dicho objeto en respuesta a una solicitud enviada por el primer operador.

13. Método según la reivindicación 8, que comprende además:

el procesamiento de la imagen del marcador visual detectado para determinar un identificador único asociado al marcador; y

la transmisión del identificador único a un procesador para la selección de dichos datos.

14. Método según la reivindicación 12, en el que dicha solicitud es una señal eléctrica generada por una orden de voz del primer operador.

15. Método según la reivindicación 12, en el que la solicitud es una señal eléctrica generada por un toque físico del primer operador.

16. Método según la reivindicación 12, en el que la solicitud se determina al mantener el objeto de interés dentro de la zona de visión predeterminada durante un periodo de tiempo predeterminado. 25

17. Método según la reivindicación 16, en el que el periodo de tiempo predeterminado se determina al:

acceder a un perfil de usuario asociado al primer operador; e identificar el periodo de tiempo asociado al objeto de interés.

18. Método según la reivindicación 8, en el que la selección de datos comprende además el acceso a un perfil de usuario asociado al primer operador y la identificación de los datos en función de unas preferencias del perfil de usuario. 35

19. Método según la reivindicación 18, que comprende además el seguimiento de la ubicación del primer operador al seguir los marcadores detectados, y la identificación adicional de los datos en función de la ubicación, del primer operador.

20. Método según la reivindicación 8, en el que los datos seleccionados son órdenes de instrucción que dirigen la actividad del primer operador.

21. Método según la reivindicación 8, en el que la determinación del estado del entorno comprende además la evaluación de las necesidades del entorno en función de al menos una de las tareas no completadas, el 45 estado de otros operadores del entorno, los datos de control de procesos y de automatización y los datos de planificación de los recursos empresariales.

22. Método según la reivindicación 21, en el que la selección de datos comprende además:

la identificación del operador;

el análisis de un perfil de usuario asociado al primer operador; y

la selección de datos en función de atributos relevantes del perfil de usuario. 55

23. Sistema para la visualización de datos asociados a uno o varios objetos dentro de un campo de visión de un operador humano en un entorno que comprende:

un primer conjunto de lógica configurado para: 60

establecer una correlación de una ubicación física con un marcador visual (18) ;

almacenar la correlación de la ubicación física con un marcador visual en una base de datos; y

asociar un identificador único a un marcador visual;

una cámara ponible (14) que lleva puesta un primer operador humano configurada para:

ver al menos una parte sustancial de un campo de visión del primer operador; y 5

ver el marcador visual próximo a un objeto dentro del campo de visión del primer operador:

sistema informático ponible (24) que presenta una lógica configurada para:

detectar automáticamente el marcador visual dentro del campo de visión de la cámara;

determinar el identificador único asociado al marcador visual; y

transmitir el identificador único a una red de ordenadores (30) ; 15

un segundo conjunto de lógica configurado para:

recibir el identificador único;

hacer referencia al identificador único para recuperar la correlación de la ubicación física con el marcador visual;

determinar la ubicación física del primer operador en función de la correlación de la ubicación física con el marcador visual; 25

determinar un estado actual del entorno de acuerdo con una información recibida de sistemas de supervisión del entorno, en el que la información está relacionada con las condiciones actuales de los alrededores dinámicos del primer operador; y

seleccionar datos para ser transmitidos al sistema informático ponible de acuerdo con la ubicación física determinada del primer operador y el estado del entorno determinado, en el que los datos incluyen documentación y órdenes de funcionamiento para el movimiento del primer operador, y

una pantalla ponible (12) para la visualización de los datos seleccionados. 35

24. Sistema según la reivindicación 23, en el que la pantalla ponible es una pantalla transparente que permite la visualización simultánea de información en la pantalla y del objeto dentro del campo de visión del primer operador.

25. Sistema según la reivindicación 23 que comprende además un primer dispositivo de almacenamiento de memoria comunicado con la red para almacenar unos perfiles y preferencias de usuario asociados al primer operador que lleva puestas la cámara y la pantalla.

26. Sistema según la reivindicación 25 que comprende además un tercer conjunto de lógica almacenado en una 45 memoria legible por ordenador capaz de seleccionar datos de una pluralidad de datos asociados al objeto en función de los perfiles y las preferencias de usuario almacenados.

27. Sistema según la reivindicación 26 que comprende además un cuarto conjunto de lógica almacenado en una memoria legible por ordenador capaz de modificar los perfiles y las preferencias de usuario en función 50 de la interacción del primer operador con el sistema.

28. Sistema según la reivindicación 23, en el que la lógica del sistema informático ponible detecta una pluralidad de marcadores visuales y el sistema comprende además:

un primer dispositivo de almacenamiento de memoria comunicado con la red para almacenar las ubicaciones de la pluralidad de marcadores visuales; y

un tercer conjunto de lógica almacenado en una memoria legible por ordenador configurado para:

almacenar la ubicación en momentos determinados de operadores que llevan puesta la cámara en función de la comparación de los marcadores detectados con la ubicación almacenada de los marcadores.

29. Sistema según la reivindicación 23 en el que al menos uno de los sistemas de supervisión que ofrece información a través de la red es un sistema de control de procesos, un sistema de automatización, un sistema de alarma contra incendios, un sistema de detección de riesgos, un sistema de control del entorno o combinaciones de estos.

30. Método según la reivindicación 1, en el que la determinación de un estado actual del entorno de acuerdo con la información recibida del sistema de supervisión del entorno comprende:

la identificación de al menos un segundo operador en el entorno;

la comparación de un estado del primer operador con el estado del al menos segundo operador; y

la identificación del primer operador en función de la comparación entre el estado del primer operador con el estado del al menos segundo operador; y

en el que la selección de datos de un dispositivo de almacenamiento de memoria en función del estado del entorno y del uno o los varios marcadores visuales mencionados comprende la selección de instrucciones al interactuar con el objeto.

31. Método según la reivindicación 30, en el que el estado del al menos segundo operador comprende 20 información relacionada con una ubicación para el al menos segundo operador en el entorno.

32. Método según la reivindicación 30, en el que la selección de datos del dispositivo de almacenamiento de memoria se basa además en el posicionamiento del marcador visual próximo al objeto.

33. Método según la reivindicación 1, en el que el estado actual del entorno comprende información relacionada con la disponibilidad para al menos un segundo operador en el entorno.

34. Método según la reivindicación 1, que comprende además el posicionamiento del uno o los varios marcadores visuales próximos al objeto dentro del entorno del primer operador. 30

35. Sistema según la reivindicación 23, en el que la información que ofrece el sistema de supervisión del entorno está además relacionada con un estado de al menos un segundo operador.

36. Sistema según la reivindicación 35, en el que el estado del al menos segundo operador comprende 35 información relacionada con la disponibilidad del al menos segundo operador.

37. Método según la reivindicación 12, que comprende además;

el establecimiento de una correlación de la ubicación física con el marcador visual; 40

el almacenamiento de la correlación de la ubicación física con el marcador visual en una base de datos; y

la asociación del identificador único al marcador visual.