Sistema de determinación de la posición y orientación para un dispositivo portátil.

Sistema de determinación de la posición y orientación para un dispositivo portátil (4) que comprende cámaras de vídeo (3) externas,

orientables de manera que se disponen con sus campos de visión solapados y cubriendo la zona donde se encuentra el dispositivo portátil (4), una banda (6) ubicada en el dispositivo portátil con una pluralidad de marcas visibles (5), un sensor de aceleración asociado al dispositivo portátil (4), unos medios de procesamiento externos (7) configurados para detectar la banda (6) y a partir de la banda (6) detectada, identificar las marcas visibles (5) para establecer una correspondencia entre las imágenes tomadas por al menos dos cámaras de vídeo (3), y calcular mediante triangulación estereoscópica las coordenadas 3D del dispositivo portátil (4), donde el dispositivo portátil (4) está configurado para obtener su orientación del sensor de aceleración, y sus coordenadas 3D de los medios de procesamiento (7).

SISTEMA DE DETERMINACIÓN DE LA POSICIÓN Y ORIENTACIÓN PARA

UN DISPOSITIVO PORTÁTIL

DESCRIPCION Sector técnico

La invención se enmarca en el sector de los sistemas de estimación de posición y orientación, y en concreto en el de los sistemas de estimación de posición y orientación de dispositivos en espacios interiores.

Estado de la técnica

Los sistemas de realidad aumentada permiten que la percepción directa del mundo real que tiene un usuario se complemente o aumente con información adicional generada de manera virtual y presentada en el mismo espacio visual que el mundo real. Algunos ejemplos de esta información virtual pueden ser etiquetas señalando puntos u objetos de interés, texto informativo, modelos virtuales de objetos tridimensionales, etc. Esta información virtual se presenta al usuario en un dispositivo de visualización, superpuesta sobre la imagen del mundo real. En la actualidad, es común utilizar como dispositivo de visualización un dispositivo móvil (como por ejemplo un teléfono inteligente o una tableta) dotado de una cámara y una pantalla (en este caso, la información virtual se muestra en la misma pantalla, superpuesta sobre la imagen captada por la cámara del dispositivo); aunque también pueden usarse dispositivos "llevables", como displays dispuestos en la cabeza a modo de casco o dispositivos tipo gafas. En estos casos se utilizan distintas tecnologías para permitir visualizar los objetos virtuales sobre el mundo real.

Cualquiera que sea el dispositivo (portátil, móvil o llevable), para superponer correctamente la información aumentada sobre la imagen de la escena real es necesario conocer con precisión la posición y la orientación del dispositivo dentro del espacio.

Esta misma necesidad de precisión en posición y orientación se tiene en el caso de sistemas de interacción de usuarios con objetos del entorno, basados en apuntamiento, en los que el objeto con el que se quiere interaccionar se selecciona apuntando hacia él visualmente una marca del dispositivo de usuario, sea éste del tipo que sea.

Esta invención se refiere a la estimación de la posición y orientación de un dispositivo portátil, por ejemplo de tipo tableta o móvil smartphone, o llevable, por ejemplo tipo gafas, dentro de un espacio interior. Para ser viable, el sistema ha de satisfacer al menos los siguientes tres requisitos:

Primero, ha de ser capaz de estimar la posición y la orientación del dispositivo móvil con extrema precisión, para garantizar el correcto solapamiento entre la información virtual y los correspondientes elementos de la escena real, o para determinar con precisión el elemento de la escena real al que apunta el usuario.

Segundo, ha de ser capaz de actualizar continuamente en tiempo real o casi real la estimación de la posición y la orientación, de modo que a medida que el usuario se mueva, la información virtual pueda moverse puntualmente en consecuencia.

Tercero, debe ser capaz de operar sin un proceso previo de calibración por parte del usuario o reduciendo esta necesidad al mínimo. De este modo, el usuario podrá utilizar su propio dispositivo móvil personal o llevable para disfrutar del servicio de realidad aumentada o de interacción ofrecido en cualquier espacio sin necesidad de realizar ninguna operación previa. Debe tenerse en cuenta, en todo caso, que si se va a usar el dispositivo del usuario como medio de visualización de la información (como es habitual en las aplicaciones de realidad aumentada), es siempre necesaria una calibración de dicho dispositivo para realizar correctamente la representación de la información virtual sobre la imagen visualizada en la pantalla.

Los sistemas de estimación de posición y orientación para exteriores están mayoritariamente basados en el uso de receptores GPS para estimar la posición y de sensores de aceleración (acelerómetros) y campo magnético (magnetómetros) para estimar la orientación (inclinación con respecto a la vertical y orientación con respecto al norte). Es bien sabido que estos sistemas no son adecuados para su uso en espacios

interiores por dos razones. En primer lugar, en general, el posicionamiento con GPS no funciona correctamente en interiores, ya que la señal de los satélites se atenúa al atravesar las estructuras de edificación. En segundo lugar, la medida del campo magnético en interiores no indica realmente el norte magnético terrestre, sino que está afectada por errores, a veces notables, debido a la presencia de objetos cercanos (especialmente objetos metálicos y aparatos electrónicos) que alteran severamente el campo magnético local.

Por eso, los sistemas de estimación de posición y orientación de dispositivos propuestos para interiores suelen estar basados en el uso de la propia cámara del dispositivo que se pretende localizar, es decir el dispositivo del usuario, cuyas imágenes se procesan en busca de marcadores o características de la escena, previamente conocidas, que permitan reconstruir la posición y la orientación de la cámara a partir de la forma geométrica que presentan estos marcadores o características en cada imagen. En la mayoría de los casos, se recurre al uso de marcadores bidimensionales colocados en diversos puntos del espacio. Este es el fundamento, por ejemplo de los sistemas propuestos en las patentes US2004/0258306, US2006/0188131, W02012/145210, US2013/0147801. El uso de marcadores (cuya apariencia se conoce a priori) tiene algunas ventajas desde el punto de vista de la robustez y la velocidad de cálculo, pero los marcadores son un recurso que afecta, obviamente, a la estética del entorno. Además, requiere de un procedimiento de calibración de la cámara previo al funcionamiento y tiene una carga computacional bastante alta, lo que hace que no sea adecuado para un funcionamiento operativo en tiempo real. Otra opción consiste en utilizar las propias características de la escena (bordes, esquinas, etc.) para estimar la posición y orientación de la cámara, como se hace, por ejemplo, en los sistemas propuestos en las patentes US2003/0012410, US2010/0158355, US2010/0232727. Con estas técnicas se elimina la necesidad de desplegar marcadores en el entorno, pero su efectividad depende en gran medida de las características del entorno, requieren un proceso previo de calibración y suelen verse bastante afectadas por los cambios de iluminación.

Otra posibilidad, aplicable en el caso de dispositivos dotados de dos cámaras de vídeo, consiste en el uso simultáneo de ambas cámaras para calcular mediante técnicas de estereoscopia la profundidad a la que se encuentran los objetos con respecto a la

cámara, como se propone en la patente US2013/0121559. En este caso, las cámaras del dispositivo deben calibrarse previamente para extraer los parámetros intrínsecos y extrínsecos necesarios para la reconstrucción estereoscópica.

Por último, una alternativa para estimar la posición y orientación de un objeto tridimensional dentro de un espacio, consiste en utilizar, en vez de la propia cámara del dispositivo, varias cámaras de video externas que enfocan al objeto en cuestión desde diferentes puntos de vista. Esta es la técnica utilizada en el sistema propuesto en la patente US2011/0235897, que utiliza al menos tres vistas diferentes del objeto para reconstruir su estructura tridimensional, a partir de la extracción de características del mismo (como bordes o esquinas). Este sistema, al igual que los basados en características de la escena, es sensible a los cambios de iluminación y sólo es aplicable a objetos con determinadas características.

Breve descripción de la invención

La invención referida en esta patente estima con precisión la posición y orientación tridimensionales de dispositivos de usuario, mediante la reconstrucción estereoscópica de marcas de color simples adosadas al efecto al dispositivo del usuario (tableta, móvil, gafas o similar). Para ello, como cualquier sistema estereoscópico, usa dos o más cámaras fijas en el espacio. Además, el sistema usa un acelerómetro en el dispositivo para determinar la inclinación de éste y, por tanto, conjuntamente, la orientación 3D del dispositivo. Lo que hace específica la invención es que las marcas se realizan de tal manera que se pueden identificar fácil, eficiente y rápidamente, como se describe en el siguiente apartado, y en muy diversas condiciones de iluminación, lo que permite operar el sistema de posicionamiento y orientación en tiempo real y continuamente con el usuario en movimiento.

El sistema propuesto puede usarse en aplicaciones de realidad aumentada o de interacción por apuntamiento con todo tipo de dispositivos de usuario, incluyendo, tabletas, smartphones, gafas o similares....

1. Sistema de determinación de la posición y orientación para un dispositivo portátil (4) caracterizado por que comprende:

- una pluralidad de cámaras de vídeo (3) externas, con al menos dos cámaras (3) con sus campos de visión solapados y cubriendo la zona donde se encuentra el dispositivo portátil (4),

- una pluralidad de marcas, visibles por las cámaras, ubicadas en la superficie del dispositivo portátil (4),

- unos medios de procesamiento (7) configurados para detectar las marcas visibles (5) basándose en las coordenadas H, S y V de su color, establecer una correspondencia entre dichas marcas en las imágenes tomadas por al menos dos cámaras de vídeo (3), y calcular mediante triangulación estereoscópica las coordenadas 3D (x,y,z) de las marcas (5) junto con dos de las componentes de orientación 3D (a,(3) del dispositivo,

- un sensor de aceleración asociado al dispositivo portátil (4) para determinar la tercera componente de orientación 3D (y) del dispositivo portátil (4) asociado a la inclinación respecto de la vertical,

donde el dispositivo portátil (4) está configurado para comunicarse inalámbricamente.

2. Sistema según la reivindicación 1, caracterizado por que las coordenadas de posición 3D (x,y,z) de las marcas y las componentes de orientación 3D (a,P,y) son calculadas en un procesador interno del dispositivo (4).

3. Sistema según la reivindicación 1, caracterizado por que las coordenadas de posición 3D (x,y,z) de las marcas y las componentes de orientación 3D (a,(3,y) son calculadas en un ordenador externo (7).

4. Sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por que las marcas (5) se disponen en una banda visible por las cámaras (6), cuya diferencia de color con las marcas (5) es mayor que un umbral en el espacio de color HSV.

5. Sistema según la reivindicación 4, caracterizado por que la detección de las marcas (5) se realiza mediante la segmentación previa de la banda (6) y posteriormente, sobre la banda (6) detectada, se realiza la segmentación de las marcas (5).

6. Sistema según las reivindicaciones 4 ó 5, caracterizado por que la banda (6) se fabrica en al menos uno de los siguientes materiales: papel, tejido, plástico, vinilo.

7. Sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por

que el dispositivo portátil (4) comprende una pantalla para representar un objeto del espacio real y superponer información asociada.

8. Sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por 10 que el dispositivo portátil (4) está configurado para seleccionar e interactuar con un

objeto del entorno.

9. Sistema según la reivindicación 7 u 8, caracterizado por que el dispositivo portátil (4) es una tableta.

10. Sistema según la reivindicación 7 u 8, caracterizado por que el dispositivo portátil (4) es un teléfono móvil.

11. Sistema según la reivindicación 7 u 8, caracterizado por que el dispositivo portátil

(4) comprende unas gafas con un acelerómetro (11) y un chip de radio (12) para

transmitir.