Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo.

Un método en un dispositivo móvil para detectar ópticamente y localizar un marcador de dos dimensiones

, 2D, en datos de escena 2D, que comprende las etapas de:

a) proporcionar datos de escena 2D en forma de una imagen digital;

b) umbralizar la imagen proporcionada según una imagen binaria en blanco y negro mientras se procesa la misma para detectar áreas contiguas dentro de la imagen;

c) etiquetar secuencialmente objetos en la imagen binaria con el fin de encontrar componentes conexos, en donde en una sola pasada de la imagen se etiqueta cada píxel ya sea como perteneciente al fondo o ya sea como un objeto de primer plano con ID único, y

d) analizar linealmente dichas áreas contiguas para determinar si éstas son un marcador, en donde la etapa d) comprende una etapa de calcular el número de Euler de las áreas blancas en la imagen binaria umbralizada, comprendiendo además el método las etapas de comparar los números de Euler calculados de las áreas blancas con el número de Euler dado del marcador que va a ser detectado, y desechar aquellas áreas blancas cuyo número de Euler coincida con el número de Euler dado;

e) detectar las esquinas de áreas contiguas dentro de la imagen cuyo número de Euler coincida con el número de Euler dado;

f) estimar las esquinas ocultas, comprendiendo las etapas de:

1) elegir dos puntos extremos entre pares consecutivos de esquinas detectadas;

2) recopilar una muestra de puntos a lo largo del contorno del marcador entre los dos puntos extremos;

3) estimar los parámetros de dos candidatos de línea;

4) asignar a cada línea sus puntos de membresía entre los puntos muestreados, en donde cada punto pertenece a la línea de la que esté más cerca, obteniendo con ello dos conjuntos de puntos de membresía;

5) para cada uno de los dos conjuntos de puntos de membresía, reajustar una línea para estimar la línea en la que éstos se encuentran, en donde las dos líneas corresponden a estimaciones de los bordes de marcador, y

6) repetir las etapas 4) y 5) hasta su convergencia;

g) repetir las etapas anteriores 1) a 6) a favor de las agujas del reloj hasta que se encuentren cuatro esquinas válidas;

comprendiendo además el método una etapa de actualizar constantemente el umbral, en donde la posición del marcador en el cuadro anterior de la imagen digital se utiliza para recalcular un umbral para el siguiente cuadro;

en donde el marcador comprende un patrón de marcador que comprende una componente cuadrada blanca con tres áreas cuadradas negras centradas sobre la misma y que forman un triángulo, y comprendiendo además un área de borde negra que encierra a dicha componente cuadrada blanca, y comprendiendo además el método una etapa de determinación de los centroides de las tres áreas negras del interior del marcador, y una etapa de determinar las dos áreas negras que son paralelas con cualquier lado del cuadrado a partir de las líneas de borde de marcador calculadas.

Tipo: Patente Europea. Resumen de patente/invención. Número de Solicitud: E11160967.

Solicitante: DEUTSCHE TELEKOM AG.

Nacionalidad solicitante: Alemania.

Dirección: FRIEDRICH-EBERT-ALLEE 140 53113 BONN ALEMANIA.

Inventor/es: SWAMINATHAN,RAHUL, BURKARD,SIMON.

Fecha de Publicación: .

Clasificación Internacional de Patentes:

  • SECCION G — FISICA > COMPUTO; CALCULO; CONTEO > RECONOCIMIENTO DE DATOS; PRESENTACION DE DATOS; SOPORTES... > Métodos o disposiciones para la lectura o el reconocimiento... > G06K9/62 (Métodos o disposiciones para el reconocimiento que utilizan medios electrónicos)
  • SECCION G — FISICA > COMPUTO; CALCULO; CONTEO > RECONOCIMIENTO DE DATOS; PRESENTACION DE DATOS; SOPORTES... > Métodos o disposiciones para la lectura o el reconocimiento... > G06K9/32 (Alimentación o centrado del captador de imagen o de la zona de imagen)
  • SECCION G — FISICA > COMPUTO; CALCULO; CONTEO > RECONOCIMIENTO DE DATOS; PRESENTACION DE DATOS; SOPORTES... > Métodos o disposiciones para la lectura o el reconocimiento... > G06K9/46 (Extracción de elementos o de características de la imagen)

PDF original: ES-2550502_T3.pdf

 

google+ twitter facebookPin it
Ilustración 1 de Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo.
Ilustración 2 de Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo.
Ilustración 3 de Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo.
Ilustración 4 de Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo.
Ver la galería de la patente con 7 ilustraciones.
Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo.

Fragmento de la descripción:

Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo Antecedentes de la Invención Todas las aplicaciones de Realidad Aumentada (AR) que requieren un conocimiento preciso en tiempo real de la posición de la cámara con respecto al entorno local a su alrededor, necesitan usar algún marcador métricamente conocido para empezar. Este marcador puede ser una configuración conocida de tres dimensiones (3D) cuyas características sean fácilmente detectadas y extraídas, o bien un marcador de dos dimensiones (2D) en forma de patrón impreso según se muestra en la Figura 1. La Figura 1 muestra un ejemplo típico de AR usando un marcador 2D que se detecta y se usa para aumentar el mundo físico con un objeto 3D métricamente escalado (véase Kato, H., Billinghurst, M., Pupyrev, I., Imamoto, K., Tachibana, K., "Manipulación de Objeto Virtual sobre un Entorno de AR de Table-Top", en Proc. Del Simposio Internacional sobre Realidad Aumentada, pp. 111-119, (ISAR 2000) , Múnich, Alemania) .

Conociendo el conjunto de puntos del marcador (su posición exacta de unos respecto a otros) , se puede determinar fácilmente la posición de la cámara con relación a esos puntos. Los puntos en el marcador, tal como las cuatro esquinas de un patrón 2D mostrado en la Figura 1, determinan el marco coordenado local (ejes X, Y, Z) con relación al cual se determina la postura de la cámara (posición y orientación) .

En general, un marcador que proporciona información de métrica tal como una escala y una postura para un sistema de AR, puede ser de naturaleza 3D o 2D. El objetivo principal de un marcador consiste en determinar la perspectiva de la cámara que observa la escena. En principio, el marcador proporciona características del punto en la imagen, cuyas relaciones geométricas en el mundo físico real son conocidas. Esto permite la representación o el aumento de la vista del mundo físico a través de la cámara con objetos que son coherentes con la postura y el tamaño de lo que se está viendo a través de la cámara.

Un marcador 2D proporciona su posición métrica relativa en un plano, mientras que un marcador 3D proporciona un conjunto conocido de puntos en 3D cuyas correspondencias en la imagen necesitan ser detectadas. Un marcador 3D que proporciona mínimamente 8 puntos es suficiente para determinar la relación de perspectiva de la cámara respecto a este mundo físico. Por el contrario, un marcador 2D no proporciona esta relación, a menos que la cámara haya sido también calibrada previamente para ello. Mientras que el marcador 3D proporciona claramente más información acerca de la cámara y de la escena, no es tan simple de crear como un marcador 2D que pueda ser impreso trivialmente sobre una hoja de papel.

En Möhring, M., Lessig, C. y Bimber, O., "AR de Transparencia de Video en Teléfonos Celulares de Usuario", en Proc. 3º Simposio Internacional de IEEE/ACM sobre Realidad Mezclada y Aumentada (ISMAR 04) , 2004, pp. 252253, se ha presentado un sistema para rastrear marcadores 3D en un teléfono móvil (véase la Figura 2) . Éste fue uno de los primeros pocos trabajos que mostraron una realidad aumentada transparente de video en un dispositivo de teléfono móvil estándar. Éste soportó la detección y diferenciación de marcadores 3D diferentes, y la correcta integración de gráficos 3D representados en la corriente de video en vivo. Dicho marcador 3D proporciona el número mínimo de puntos 3D conocidos en una imagen simple para habilitar el cálculo de la "matriz de proyección". Esta matriz de proyección encapsula la postura de la cámara así como la manera en que cualquier punto 3D en el mundo físico se podría proyectar en esta visualización, habilitando con ello la Realidad Aumentada sin necesidad de una calibración de la cámara a priori. Así, la tercera dimensión de los puntos en el marcador proporciona toda la información necesaria para la estimación de postura Euclidea de la cámara y aumento 3D adicional de la escena con objetos virtuales.

La Figura 3 muestra un marcador típico de ARToolkit y el visualizador de AR asociado sobre el mismo. Con el fin de conseguir un aumento geométricamente preciso, la cámara necesita ser calibrada con anterioridad a su uso. Los marcadores 2D tal como el mostrado en la Figura 3, se utilizan más habitualmente en sistemas de AR como marcadores visuales. Éstos son simples de crear e imprimir, y más sensibles y accesibles a las masas con necesidad de elaborar la construcción 3D.

Existen dos sistemas predominantes de marcador 2D en uso para diversas aplicaciones actualmente que se discuten en lo que sigue. Ambos sistemas han sido usados para diversas AR y tareas de interacción.

El marcador más estándar usado en la mayor parte de aplicaciones de AR es el denominado ARToolkit. La mayor ventaja de un sistema basado en este marcador consiste en el hecho de que puede ser personalizado con un patrón codificado en el centro de elección. El marcador no solo actúa como una referencia geométrica sino también para reconocer uno frente a otro (véase Kato, H., y Billinghurst, M., "Rastreo de Marcador y Calibración de HDM para un Sistema de Conferencias de Realidad Aumentada a base de Video", en Proc. Del 2º Taller Internacional sobre Realidad Aumentada (IWAR 99) , Octubre, San Francisco, USA, y Kato, H., Billinghurst, M., Poupyrev, I., Imamoto, K., Tachibana, K., "Manipulación de Objeto Virtual sobre un Entorno de AR de Table-Top", en Proc. Del Simposio

Internacional sobre Realidad Aumentada, pp. 111-119 (ISAR 2000) , Múnich, Alemania) . La ventaja de los marcadores basados en ARToolkit consiste en que permite que múltiples marcadores con patrones internos diferentes sean reconocidos. Sin embargo, a distancias más grandes, los métodos de marcador de ARToolkit y similares no parecen trabajar tan robustamente. Además, muchos sistemas similares al ARToolkit usan cálculos complejos que incluyen detección de contorno y transformadas de Hough para detección de línea (borde de marcador) que hacen que sea computacionalmente caro.

Otro sistema es el conocido como Reactivision. Este sistema consiste en nuevos diseños de marcador y en un planteamiento diferente a la mayor parte de los otros métodos de detección de marcador. En vez de realizar detección de contorno o detección de borde seguido de "transformadas de Hough" para detectar las líneas perimetrales del marcador, realizan un umbral de imagen más simple seguido de un cálculo de un gráfico de adyacencia de región de las manchas en blanco y negro (véase Bencina, R., Kaltenbrunner, M, y Jorda, S., "Rastreo de Marcador Fiducial Topológico Mejorado en el Sistema de reacTIVision", en Proc. IEEE, Taller en Visión por Ordenador y Reconocimiento de Patrón (CVPR) , 2005) , sobre su marcador diseñado especialmente como se muestra en la Figura 4 (véase Bencina, R., y Kaltenbrunner, M., "El Diseño y Evolución de Marcadores Fiduciales para el Sistema de reacTIVision", en Proc. 3ª Conferencia internacional sobre Sistemas Generativos en las Artes Electrónicas, 2005) . El gráfico de adyacencia codifica esencialmente como árbol intenso izquierdo las manchas en blanco y negro según se muestra en la Figura 4. El sistema de Reactivision puede proporcionar una estimación basta de la posición y orientación de los marcadores puesto que las características que usa dependen de la perspectiva y por tanto son imprecisas. Aunque esto es perfectamente razonable para interfaces de usuario tangibles tal como las tablas multi-táctil (véase Bencina, R., y Kaltenbrunner, M., "El Diseño y la Evolución de Marcadores Fiduciales para el Sistema de reacTIVision", en Proc. 3ª Conferencia Internacional sobre Sistemas Generativos en las Artes Electrónicas, 2005) , es... [Seguir leyendo]

 


Reivindicaciones:

1. Un método en un dispositivo móvil para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, que comprende las etapas de:

a) proporcionar datos de escena 2D en forma de una imagen digital; b) umbralizar la imagen proporcionada según una imagen binaria en blanco y negro mientras se procesa la misma para detectar áreas contiguas dentro de la imagen; c) etiquetar secuencialmente objetos en la imagen binaria con el fin de encontrar componentes conexos, en donde en una sola pasada de la imagen se etiqueta cada píxel ya sea como perteneciente al fondo o ya sea como un objeto de primer plano con ID único, y d) analizar linealmente dichas áreas contiguas para determinar si éstas son un marcador, en donde la etapa d) comprende una etapa de calcular el número de Euler de las áreas blancas en la imagen binaria umbralizada, comprendiendo además el método las etapas de comparar los números de Euler calculados de las áreas blancas con el número de Euler dado del marcador que va a ser detectado, y desechar aquellas áreas blancas cuyo número de Euler coincida con el número de Euler dado; e) detectar las esquinas de áreas contiguas dentro de la imagen cuyo número de Euler coincida con el número de Euler dado; f) estimar las esquinas ocultas, comprendiendo las etapas de:

1) elegir dos puntos extremos entre pares consecutivos de esquinas detectadas; 2) recopilar una muestra de puntos a lo largo del contorno del marcador entre los dos puntos extremos; 3) estimar los parámetros de dos candidatos de línea; 4) asignar a cada línea sus puntos de membresía entre los puntos muestreados, en donde cada punto pertenece a la línea de la que esté más cerca, obteniendo con ello dos conjuntos de puntos de membresía; 5) para cada uno de los dos conjuntos de puntos de membresía, reajustar una línea para estimar la línea en la que éstos se encuentran, en donde las dos líneas corresponden a estimaciones de los bordes de marcador, y 6) repetir las etapas 4) y 5) hasta su convergencia;

g) repetir las etapas anteriores 1) a 6) a favor de las agujas del reloj hasta que se encuentren cuatro esquinas válidas;

comprendiendo además el método una etapa de actualizar constantemente el umbral, en donde la posición del marcador en el cuadro anterior de la imagen digital se utiliza para recalcular un umbral para el siguiente cuadro; en donde el marcador comprende un patrón de marcador que comprende una componente cuadrada blanca con tres áreas cuadradas negras centradas sobre la misma y que forman un triángulo, y comprendiendo además un área de borde negra que encierra a dicha componente cuadrada blanca, y comprendiendo además el método una etapa de determinación de los centroides de las tres áreas negras del interior del marcador, y una etapa de determinar las dos áreas negras que son paralelas con cualquier lado del cuadrado a partir de las líneas de borde de marcador calculadas.

2. El método de cualquiera de las reivindicaciones anteriores, en donde la etapa b) comprende una etapa de recepción de una entrada de usuario que está orientada a la localización general del marcador en la imagen.

3. El método de la reivindicación 2, en donde una región de alrededor de esta localización de entrada de usuario se usa a continuación para determinar automáticamente el umbral apropiado.

4. El método de una cualquiera de las reivindicaciones anteriores, que comprende una etapa de análisis de las áreas de contorno de las áreas contiguas mediante escaneo a lo largo de cada borde de cuadro delimitador para un agrupamiento con píxeles blancos.

5. El método de la reivindicación 4, que comprende una etapa de muestreo desde dos direcciones opuestas a lo largo de cada borde de contorno simple hasta la ocurrencia de un agrupamiento con píxeles blancos.

6. El método de cualquiera de las reivindicaciones anteriores, en donde la etapa a) proporciona una secuencia continua de cuadros de imagen.

7. El método de cualquiera de las reivindicaciones anteriores, en donde la etapa de proporcionar datos de escena 2D comprende adquirir, en una memoria electrónica, una imagen de la escena 2D.

8. Un dispositivo móvil adaptado para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, que comprende:

una cámara para proporcionar datos de escena 2D en forma de imagen digital; un procesador que está configurado para llevar a cabo el método de cualquiera de las reivindicaciones anteriores.

9. Un sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, que comprende:

una cámara para proporcionar datos de escena 2D en forma de imagen digital; un procesador que está configurado para llevar a cabo el método de cualquiera de las reivindicaciones 1 a 7.

10. Un medio legible con ordenador que tiene grabadas en el mismo instrucciones ejecutables con ordenador para implementar el método según se define en una cualquiera de las reivindicaciones 1 a 7.