Método y sistema de localización espacial mediante marcadores luminosos para cualquier ambiente.

Método y sistema de localización espacial de un objetivo (10) en un entorno (11) tridimensional que comprende al menos un marcador luminoso comprendiendo:

- una cámara estéreo (12) para capturar una primera trama de imagen en un instante actual y una segunda trama de imagen en un instante anterior;

- un dispositivo de medida de ángulos (13) para obtener un ángulo de giro del objetivo (10);

- un procesador de señales (14) con acceso a una memoria (15) que almacena entre otros un radio del, al menos un, marcador detectado en un instante de tiempo actual n y en un instante de tiempo anterior n-1 configurado para calcular unas coordenadas (xi, yi) del objetivo (10) en un instante de tiempo i como sigue:

- si el ángulo de giro en el instante de tiempo actual y en el instante de tiempo anterior son distintos, (xn, yn) = (xn-1, yn-1);

- si las dos tramas de imagen son iguales, (x{sub,n, yn) = (xn-1, yn-1);

- en otro caso:

- si los radios son iguales y hay varios marcadores, (xn, yn) se calculan mediante triangulación usando ambas tramas de imagen;

- si los radios son distintos y hay varios marcadores, (xn, yn) se calculan mediante triangulación usando una sola trama de imagen;

- si los radios son distintos y hay un único marcador, (xn, yn) se calculan mediante geometría estéreo;

- si los radios son iguales y hay un único marcador, (xn, yn) se calculan usando coordenadas de imagen del marcador en el instante actual y en el anterior.

cómputo, para poder procesar las imágenes de las cámaras a tiempo real y con la menor

latencia posible.

Cuando únicamente se pueda visualizar un marcador de referencia, se tiene que recurrir al uso de cámaras estéreo y geometría epipolar. La caracterización de un punto en el espacio tridimensional requiere el conocimiento de sus coordenadas (x, y, z) dentro del entorno donde éste se encuentre, respecto a una posición de referencia. La técnica más común está basada en el uso de dos o más cámaras calibradas, que proporcionan una imagen izquierda y derecha de la misma escena. Para obtener las coordenadas 3D del punto u objeto a caracterizar, se aplica correspondencias estéreo (buscar un mismo punto en ambas imágenes) y se calcula la geometría proyectiva o epipolar (describe la relación existente entre los planos de la imagen de las cámaras y el punto) .

En el caso de tener más de un marcador o patrón disponible, se pueden aplicar otras técnicas para localizar el objeto en el escenario. A través de triangulación, conociendo la distancia real entre marcadores, es posible con sólo dos marcadores y una sola cámara obtener los parámetros para conseguir la profundidad al objetivo y posicionarlo en el entorno. Esta práctica simplifica el coste computacional, al no tener que analizar dos imágenes y sus correspondencias; pero requiere mayor precisión a la hora de detectar los marcadores. A pesar de eso, algunos autores ("Optical tracking using projective invariant marker pattern propierties", R. van Liere et aL, Proceedings of the IEEE Virtual Reality Conference 2003, 2003) consideran que, para poder realizar un mejor seguimiento del objeto, es necesario que el objeto tenga cuatro o más marcadores y que además se utilice visión estéreo; para conseguir un sistema más preciso pero más lento.

Uno de los problemas que se han encontrado en otros estudios (US 7, 231, 063 82, "Fudicial Oetection System", L. Naimark et al.) a la hora de utilizar marcadores, es la luminosidad que tiene el ambiente donde van a ser tomadas las imágenes. Los puntos a detectar pueden perderse en la escena por falta de luz. Esto limita las aplicaciones que usan este sistema en ambientes interiores o con luminosidad controlada. Además, se hace necesario el uso de algoritmos de realce de contraste y/o el uso de marcadores específicos guardados en una base de datos, lo que incrementa sustancialmente el tiempo de cómputo de estos sistemas. Además de limitar considerablemente la distancia entre los marcadores impresos y el usuario del sistema, a no ser que su tamaño sea lo suficientemente grande para que lo capte el sensor de imagen. En algunos casos (WO 2013/120041 A 1, "Method and apparatus for 30 spatial localization and tracking of objects using active optical illumination and sensing") se han propuesto este tipo de fuentes de luz con luminancia variable o luz pulsada, lo que puede ocasionar fallos de sincronización. Aun así, el uso de marcadores luminosos puede plantear problemas, concretamente en ambientes donde hay fuentes de luz con una luminancia mucho mayor que el propio marcador (en el peor caso, luz solar) o fuentes que emiten radiación en la misma dirección; en esas situaciones, el sensor de imagen no es capaz de diferenciar una fuente de luz de otra, por lo que obligará tal y como ocurría anteriormente, a utilizar esta tecnología en entornos luminosos sin grandes fuentes de luz en él.

La idea de detectar y posicionar los marcadores sirve para caracterizar los objetos o individuos que hay en él, de esa forma se localizan en el espacio. En el artículo "Wide area optical tracking in unconstrained indoor environments" (de A. Mossel et al., 23rd Internacional Conference on Artificial Reality and Telexistence (ICAT) , 2013) se propone incorporar marcadores luminosos infrarrojos en una cinta situada en la cabeza del usuario. Para ello, colocan en el escenario dos cámaras independientes, que requieren un proceso de sincronización para realicen el disparo simultáneamente, situadas a una distancia igual a la longitud de la pared de la habitación donde se va a probar. El algoritmo empleado, para hacer una estimación de la posición, se basa en la búsqueda de correspondencias estéreo. Uno de los inconvenientes que presenta es que no se puede implementar para sistemas de realidad aumentada o simulada, porque las cámaras no muestran lo que ve el usuario, además de estar restringido a ambientes interiores con dimensiones limitadas.

Otros estudios como "Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing" (de M. Maeda, et al., Proceeding of the 8th. International Symposium on Wearable Computers (ISWC'04) , 2004) plantean el uso de marcadores infrarrojos situados en la pared de una habitación, para localizar al usuario. Concretamente, proponen el uso de dos tipos de marcadores: activos y pasivos. Los marcadores activos están formados por un conjunto de tres LEOs infrarrojos y un emisor de señales, que envía datos de su posición real a un decodificador de señales que porta el usuario, por lo que una vez que los detecta conocen su posición absoluta. Los marcadores pasivos son únicamente una fuente de luz infrarroja, a partir de los cuales obtienen la posición relativa del usuario. Además de basarse en la recepción de señales de los marcadores activos, calculan la distancia relativa al marcador a partir de visión estéreo. El

uso de esta técnica, al igual que ocurría en los casos explicados anteriormente, está limitado a espacios interiores.

Existen otros métodos, que no requieren la visión directa de una o más cámaras con los marcadores de referencia, para sistemas de localización y seguimiento del usuario. Las técnicas de radiofrecuencia consisten en medir distancias, de objetos estáticos o móviles, a partir de la emisión de pulsos electromagnéticos que son reflejados en un receptor. Estas ondas electromagnéticas se reflejarán cuando haya cambios significativos en la densidad atómica entre el entorno y el objeto, por lo que funcionan particularmente bien en los casos de materiales conductores (metales) . Son capaces de detectar objetos a mayor distancia que otros sistemas basados en luz o sonido, sin embargo son bastante sensibles a interferencias o ruido. Además es complicado medir objetos que se encuentren entre sí a diferentes distancias al emisor, debido a que la frecuencia del pulso variará (más lento cuanto más lejos y viceversa) . Aun así, hay estudios experimentales como "RADAR: an inbuilding RF-based user location and tracking system" (de P. Bahl et al., Proceedings of IEEE INFOCOM 2000, Tel-Aviv, 2000) que demuestran su uso para estimar la localización del usuario con un alto nivel de precisión. Esta técnica no resulta apropiada en aplicaciones de realidad aumentada.

Otro ejemplo de soluciones existentes son los sistemas LlDAR, que calculan la distancia a través del tiempo que tarda un pulso luminoso en reflejarse en un objeto o superficie, utilizando un dispositivo con un láser pulsado como emisor de luz y un fotodetector como receptor de la señal reflejada. La ventaja de estos sistemas es la precisión que logran a largas distancias (utilizando láseres con longitud de onda >1000 nm) y la posibilidad de mapear grandes extensiones, mediante barridos de pulsos luminosos. Sus inconvenientes son la necesidad de efectuar el análisis y procesado de cada punto, así como la dificultad de reconstruir automáticamente imágenes tridimensionales.

El problema técnico objetivo que se presenta es pues proporcionar un sistema para la detección de la posición y de la orientación de un individuo u objeto en cualquier tipo de ambiente, interior o exterior, con cualesquiera que sean sus condiciones de iluminación.

DESCRIPCiÓN DE LA INVENCiÓN

La presente invención sirve para solucionar los problemas mencionados anteriormente, resolviendo los inconvenientes que presentan las soluciones comentadas en el estado de la técnica, proporcionando un sistema que, a partir del uso de uno o más marcadores luminosos de referencia y una única cámara estéreo, permite localizar espacialmente objetos o individuos en un escenario bajo cualquier condición ambiental y con distancias mayores entre el usuario y el marcador. El sistema se basa principalmente en el uso de marcadores luminosos para calcular posiciones relativas del objeto/individuo, una cámara estéreo para visualizar esos marcadores en la imagen del escenario y un dispositivo electrónico de medida de ángulos, tal como puede ser un giroscopio o brújula electrónica, para proporcionar ángulos de giro del usuario objetivo (objeto, persona o animal) .

La presente invención permite detectar marcadores luminosos de referencia en cualquier tipo de ambientes,...

1. Método para la localización espacial de un objetivo (10) usando al menos un marcador

(20) luminoso identificable en el entorno de utilización de referencia, que en un instante de tiempo i calcula unas coordenadas (Xi, Yi) del objetivo (10) , caracterizado por que comprende: -capturar mediante una cámara estéreo (12) una primera trama de imagen en un instante de tiempo actual y una segunda trama de imagen en un instante de tiempo anterior, detectando en la primera y segunda trama de imagen al menos un marcador (20) ; -obtener un radio en un instante de tiempo actual y un radio en el instante de tiempo anterior del, al menos un, marcador (20) detectado en la primera trama de imagen y segunda trama de imagen; -obtener un ángulo de giro del objetivo (10) mediante un dispositivo de medida de ángulos

(13) en el instante de tiempo actual y en el instante de tiempo anterior; -si el ángulo de giro en el instante de tiempo actual y el ángulo de giro en el instante de tiempo anterior son distintos, calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual igualándolas a las coordenadas (Xn-1, Yn-1) del objetivo (10) en el instante anterior; -si la primera trama de imagen y la segunda trama de imagen son iguales, calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual igualándolas a las coordenadas (Xn-1, Yn-1) del objetivo (10) en el instante anterior; -si no, comparar los radios en el instante de tiempo actual y en el instante de tiempo anterior del, al menos un, marcador (20) detectado y:

-si los radios son iguales y hay más de un marcador (20, 20', 20") detectado, las coordenadas (Xn, Yn) del objetivo (10) en el instante actual se obtienen mediante triangulación usando la primera trama de imagen y la segunda trama de imagen;

-si los radios son distintos y hay más de un marcador (20, 20', 20") detectado, las coordenadas (xn, Yn) del objetivo (10) en el instante actual se obtienen mediante triangulación usando una sola trama de imagen que es la primera trama de imagen;

-si los radios son distintos y hay un único marcador (20) detectado, las coordenadas (Xn, Yn) del objetivo (10) en el instante actual se obtienen mediante geometría estéreo;

-si los radios son iguales y hay un único marcador (20) detectado, las coordenadas (xn, Yn) del objetivo (10) en el instante actual se obtienen calculando unas coordenadas de imagen del marcador (20) en el instante de tiempo actual en la primera trama de imagen y unas coordenadas de imagen del marcador (20) obtenidas en el instante de tiempo anterior en la segunda trama de imagen.

2. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que usa un marcador (20) luminoso que comprende una fuente de luz (21) Y una superficie de contraste (22) .

3. Método de localización espacial, de acuerdo con la reivindicación 2, caracterizado por que usa un marcador (20) luminoso que comprende una fuente de luz (21) que es un diodo LEO.

4. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por

que, si los radios son iguales y hay más de un marcador (20, 20', 20") detectado, obtener las coordenadas (xn, Yn) del objetivo (10) en el instante actual comprende: -para cada marcador (20, 20', 20") , obtener en la primera trama de imagen unas coordenadas horizontales Un de imagen en el instante de tiempo actual y en la segunda trama de imagen obtener unas coordenadas horizontales Un-1 de imagen en el instante de tiempo anterior; -medir un desplazamiento O de cada marcador (20, 20', 20") mediante la expresión: _ d q _ d IU1 . -U1 I

D = cos (o) '", --"-= cosCo) :;.. :;.. n. _ ;'1.

. m p -m IU1 I

1'1. -u1

n.

donde p es un número de píxeles en el instante actual n y q es un número de píxeles en el instante anterior n-1, m es un número total de marcadores, d/m es una distancia real

entre marcadores (20, 20', 20") Y ó es el ángulo de giro del objetivo (10) obtenido; -calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual mediante la ecuación:

Si Un-1< Un v = ~ n 1, ' -1 -+ sin (S") , ." D-' n ..l

Si Un-1> Un v = -n v~ _ -sin (o) :;. D-._ 1

5. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que, si los radios son iguales y hay un único marcador (20) detectado, obtener las coordenadas (xn, Yn) del objetivo (10) en el instante actual comprende:

-para el marcador (20) obtener en la primera trama de imagen unas coordenadas

horizontales Un de imagen en el instante de tiempo actual y en la segunda trama de imagen obtener unas coordenadas horizontales Un-1 de imagen en el instante de tiempo anterior;

-medir un desplazamiento D del objetivo (10) mediante la expresión:

D = L ma, ·cador;¡_:. :~ l"un-1 -un I

focalJenght

donde la cámara (12) tiene una distancia focal foca'-Iength y Lmarcadorn-1 es una distancia entre el marcador (20) y el objetivo (10) medida en el instante de tiempo anterior, -calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual mediante la ecuación:

v = y ...Lsi"n (S-) ;.. D -n ~ n-1

Si Un-1> Un

v =', -sin (ó) :~. D -n-n-1 "'

6. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que, si los radios, que son el radio en el instante actual r (n) y el radio en el instante anterior r (n-1) , son distintos y hay más de un marcador (20, 20', 20") detectado, obtener las coordenadas (xn, Yn) del objetivo (10) en el instante actual comprende: -obtener en la primera trama de imagen unas primeras coordenadas horizontales U1 de imagen de un primer marcador (20, 20', 20") Y unas segundas coordenadas horizontales U2 de imagen de un segundo marcador (20') -medir en el instante de tiempo actual una distancia Lmarcadornentre el objetivo (10) Y el

primer marcador (20) mediante la expresión:

¡:i _ 1t I'" ~*' cosS *' 1

_ 2 1 7n IU2 -uil

L marcador (n) -"" lA !

tg (2r.p '" "2 -U1 )

donde la cámara (12) tiene un ángulo de apertura 2q>, AxB es un número de píxeles de imagen bidimensional en el instante actual, m es un número total de marcadores, d/m es una distancia real entre los marcadores (20, 20') Y 1) es el ángulo de giro del objetivo (10)

obtenido;

-obtener una distancia Lmarcadorn_1 medida en el instante de tiempo anterior entre el

objetivo (10) Y el primer marcador (20) ; -calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual mediante la ecuación:

7. Método de localización espacial, de acuerdo con la reivindicación 1, caracterizado por que, si los radios, que son el radio en el instante actual r (n) y el radio en el instante anterior r (n-1) , son distintos y hay un único marcador (20) detectado, obtener las coordenadas (Xn,

Yn) del objetivo (10) en el instante actual comprende: -obtener unas coordenadas del marcador (20) rectificadas UL y UR respectivamente en una componente de imagen izquierda (41) Y una componente de imagen derecha (42) captadas por la cámara estéreo (12) , una disparidad binocular -medir en el instante de tiempo actual una distancia Lmarcadornentre el objetivo (10) Y el

marcador (20) mediante la expresión:

donde la cámara estéreo (12) tiene una disparidad binocular igual a UL -UR" una distancia de referencia B y una distancia focal f; -obtener una distancia Lmarcadorn-1 medida en el instante de tiempo anterior entre el

objetivo (10) y el marcador (20) ; -calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante la ecuación, donde 6 es el ángulo de giro del objetivo (10) obtenido en el instante actual:

8. Sistema de localización espacial de un objetivo (10) en un entorno (11) tridimensional que comprende al menos un marcador (20) luminoso de referencia y un procesador digital de señales (14) para calcular unas coordenadas (Xi, Yi) del objetivo (10) en un instante de tiempo i, caracterizado por que comprende: -una cámara estéreo (12) para capturar una primera trama de imagen en un instante de tiempo actual y una segunda trama de imagen en un instante de tiempo anterior; -un dispositivo de medida de ángulos (13) para obtener un ángulo de giro del objetivo (10) en el instante de tiempo actual y en el instante de tiempo anterior; -el procesador de señales (14) con acceso a una memoria (15) que almacena un radio en un instante de tiempo actual y en un radio en el instante de tiempo anterior del, al menos un, marcador (20) detectado en la primera trama de imagen y segunda trama de imagen; el procesador de señales (14) configurado para:

-si el ángulo de giro en el instante de tiempo actual y el ángulo de giro en el instante de tiempo anterior son distintos, calcular las coordenadas (Xn, Yn) del objetivo

(10) en el instante actual igualándolas a las coordenadas (Xn-1, Yn-1) del objetivo (10) en el instante anterior;

-si la primera trama de imagen y la segunda trama de imagen son iguales, calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual igualándolas a las coordenadas (Xn-1, Yn-1) del objetivo (10) en el instante anterior;

-si no, comparar los radios en el instante de tiempo actual y en el instante de tiempo anterior del, al menos un, marcador (20) detectado y:

-si los radios son iguales y hay más de un marcador (20, 20', 20") detectado, calcular las coordenadas (Xn, Yn) del objetivo (10) en el instante actual mediante triangulación usando la primera trama de imagen y la segunda trama de imagen;

-si los radios son distintos y hay más de un marcador (20, 20', 20") detectado, calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante triangulación usando una sola trama de imagen que es la primera trama de imagen;

-si los radios son distintos y hay un único marcador (20) detectado, calcular las coordenadas (xn, Yn) del objetivo (10) en el instante actual mediante geometría estéreo;

-si los radios son iguales y hay un único marcador (20) detectado, calcular las

coordenadas (Xn, Yn) del objetivo (10) en el instante actual usando unas coordenadas de imagen del marcador (20) en el instante de tiempo actual en la primera trama de imagen y unas coordenadas de imagen del marcador (20) obtenidas en el instante de tiempo anterior en la segunda trama de imagen.

9. Sistema de localización espacial de acuerdo con la reivindicación 8, caracterizado por que el marcador (20) luminoso comprende una fuente de luz (21) que es un diodo LEO.

10. Sistema de localización espacial de acuerdo con cualquiera de las reivindicaciones 8-9, caracterizado por que el marcador (20) luminoso que incluye una superficie de contraste 15 (22)

11. Sistema de localización espacial de acuerdo con cualquiera de las reivindicaciones 810, caracterizado por que el entorno (11) es interior.

12. Sistema de localización espacial de acuerdo con cualquiera de las reivindicaciones 810, caracterizado por que el entorno (11) es exterior.