PROCEDIMIENTO DE ESTABLECIMIENTO DE CORRESPONDENCIA ENTRE UNA PRIMERA IMAGEN DIGITAL Y UNA SEGUNDA IMAGEN DIGITAL DE UNA MISMA ESCENA PARA LA OBTENCIÓN DE DISPARIDADES.

Procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades.



Procedimiento de establecimiento de correspondencia entre una primera imagen digital (U1) y una segunda (U2), que comprende las etapas de:

a) seleccionar U1 un bloque B1(x) de forma determinada centrado en un píxel x de U1;

b) seleccionar de U2 una serie de bloques B2 (yi) de misma forma que B1(x);

c) calcular para cada B2(yi) una distancia entre B2(yi) y B1(x) como suma ponderada por f(x,z) de una función de las diferencias entre valores asociados al color de los píxeles de misma posición relativa z;

d) seleccionar el píxel yi que minimiza la distancia entre bloques, estableciéndose una correspondencia entre píxeles x e yi y dando la disparidad de x como la diferencia yi-x,

donde f depende de x y de z y es una función decreciente y no constante respecto al módulo del gradiente direccional de U1(x+z) en una dirección determinada.

Tipo: Patente de Invención. Resumen de patente/invención. Número de Solicitud: P200931139.

Solicitante: UNIVERSITAT DE LES ILLES BALEARS.

Nacionalidad solicitante: España.

Inventor/es: MOREL,JEAN-MICHEL HENRI OLIVER, COLL VICENS,BARTOMEU, BUADES CAPO,ANTONIO, ROUGE,BERNARD ROBERT.

Fecha de Publicación: .

Clasificación Internacional de Patentes:

  • G02B27/22
  • G06T7/00 FISICA.G06 CALCULO; CONTEO.G06T TRATAMIENTO O GENERACIÓN DE DATOS DE IMAGEN, EN GENERAL.Análisis de imagen.
  • H04N13/00 ELECTRICIDAD.H04 TECNICA DE LAS COMUNICACIONES ELECTRICAS.H04N TRANSMISION DE IMAGENES, p. ej. TELEVISION. › Sistemas de video estereoscópico; Sistemas de video multivista; Sus detalles.

PDF original: ES-2361758_A1.pdf

 


Fragmento de la descripción:

Procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades.

La presente invención se refiere a un procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades que evita el efecto de adherencia o fattening.

Antecedentes de la invención Los métodos de estereoscópica numérica parten de un par de imágenes de una misma escena y reconstruyen el relieve por un método de paralaje cuyo principio es bien conocido.

De entrada, el conocimiento de la posición de las cámaras y su calibración previa permite colocar las dos imágenes en geometría estéreo-rectificada, tal como se aprecia en la figura 1, lo que significa que las dos imágenes son corregidas por una homografía de tal manera que un punto de la primera imagen U1 tenga su punto correspondiente, modulo un error numérico pequeño, sobre la misma línea horizontal de la otra imagen U2.

Concretamente, en la figura 1 se ilustra una posible hipótesis de partida del procedimiento, a saber, que las imágenes tratadas por el procedimiento de la invención son estereo-rectificadas.

A la izquierda hay dos cámaras con centros ópticos C y C'. Los dos paralelogramos representan las dos imágenes que se forman en las dos cámaras. El segmento entre C y C' es la línea de base o "baseline". Los puntos x y x' son las proyecciones del punto de arriba sobre los dos planos imagen, por lo tanto son los puntos homólogos. Los puntos e y e' son los puntos de intersección de los planos imagen con la baseline: son los puntos epipolares.

Para cada punto de la escena, las rectas (e, x) y (e', x') están en correspondencia: son las rectas epipolares. A la derecha se muestra la posición de los planos imagen después de la estereo-rectificación.

En el proceso de estereo-rectificación se mandan los puntos epipolares al infinito. Todas las rectas epipolares se vuelven paralelas y horizontales en cada imagen.

En la descripción de la invención, se supondrá en general que las dos imágenes U1 y U2 han sido puestas en esta geometría epipolar, de tal manera que un bloque alrededor de x en la imagen de la izquierda se compara con todos los bloques alrededor de la imagen de la derecha, en la misma línea epipolar. Esta línea se llama línea epipolar de x en U2.

Los valores del color o del nivel de gris de los píxeles x e y no son suficientemente discriminantes para su comparación directa. Se necesita comparar un bloque B1 (x) de píxeles, usualmente un cuadrado centrado en x, con un bloque de misma forma B2 (y) centrado en y, punto de U2 que pertenece a la línea epipolar de x, tal como se indica en la figura 2.

Concretamente, en la figura 2 se muestran dos imágenes estereoscópicas con un error de adherencia. Los píxeles sobre el edificio E tienen una disparidad diferente de los píxeles del suelo. El bloque B, con su píxel central sobre el suelo, también contiene píxeles del edificio. El bloque de la otra imagen que se parece masaBesB', pues contiene el contorno del edificio, que está muy contrastado. Por ello, el píxel central de B se pone falsamente en correspondencia con el píxel central de B', que tiene la misma disparidad que los píxeles del edificio. La correspondencia correcta de B hubiera sido B".

Por lo tanto, la selección del punto correspondiente de x en U2 es el punto y que hace mínima la distancia d (B1, B2) entre los bloques B1 (x) y B2 (y) . La altitud de x es entonces deducida por paralaje del desplazamiento m (x) =y-xque lleva x en y.

Este calculo de paralaje refleja cuantitativamente la intuición cualitativa que cuanto mayor la disparidad entre x y y, mas cerca de las cámaras el punto de la escena X que se proyecte en x sobre U1, y en y sobre U2, tal como se aprecia en las figuras3y4.

El fenómeno de adherencia se ilustra en esta toma de una vista de un edificio, ya sea aérea o tomada desde un satélite. El techo del edificio esta mucho mas iluminado que el suelo, por lo cual los bloques que incluyen una porción del techo tienen píxeles bien contrastados. Por lo tanto, la puesta en correspondencia de los bloques esta determinada por el techo, como se ha explicado con respecto a la figura 2.

De aquí resulta el fenómeno de adherencia o "fattening": la disparidad correcta del punto r debería ser r" pero el bloque Br se encuentra en correspondencia con Br', cuyo resultado es un relieve como el descrito por la línea punteada de la figura 5.

En esta figura, la línea continua representa el perfil de una casa con su techo inclinado. La línea discontinua representa el perfil del relieve obtenido, deformado por el fenómeno de adherencia.

Este fenómeno se produce cuando el techo presenta un fuerte contraste de color con el suelo. Por lo tanto, la adherencia provoca una dilatación del edificio, y también un allanamiento interior del techo.

La distancia entre bloques en las diferentes implementaciones propuestas en la literatura viene dada ya sea por una suma de cuadrados de diferencias de colores, ya sea por esa misma distancia cuadrática después de haber normalizado las medias de los dos bloques, o bien por una correlación entre los dos bloques, lo que equivale a calcular de nuevo una distancia cuadrática de los bloques divididos por sus normas euclidianas respectivas. Este método clásico de puesta en correspondencia de bloques por minimización de distancia sufre el defecto llamado comúnmente "efecto de adherencia", en ingles "fattening effect" que se produce para todas las distancias mencionadas, e incluso con otras distancias mas generales. Para una descripción más detallada del problema véase la descripción que dan del problema T. Kanade y M. Okutomi (1994) en "A stereo matching algorithm with an adaptive window: Theor y and experiment", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 9 páginas 920 a 932, 1994.

Aunque se haya ilustrado más arriba con edificios, el problema de la adherencia se produce en toda la imagen, siempre y cuando en el bloque B1 (x) haya dos grupos de puntos P1 y P2 a dos altitudes diferentes.

Ocurre con frecuencia que el grupo P1 contenga puntos en los cuales la imagen U1 está bien contrastada, mientras que en el grupo P2 la imagen U1 está menos contrastada. En estas condiciones, la puesta en correspondencia por minimización de la distancia entre los valores de color de los dos bloques B1 (x) y B2 (y) , distancia donde el grupo P1 predomina, atribuye al centro del bloque x la disparidad de los puntos de P1. Si x pertenece al grupo P2, es un error.

Por ejemplo, en el caso de una imagen aérea, los puntos de P1 pueden estar situados sobre el borde contrastado de un edificio. Entonces la altitud del borde de este edificio se atribuye a todos los puntos x tales que el bloque centrado en x intercepte el borde del edificio, tal como se puede apreciar en las figuras2y3.

Como consecuencia, este efecto de adherencia provoca una dilatación aparente de los objetos que están en primer plano, y un allanamiento de los techos inclinados en un entorno de su borde: es el "fattening effect", que se ilustra en puntos en la figura 5.

Existen varios procedimientos para evitar el efecto de adherencia, que se describen a continuación.

Un primer tipo de procedimiento consiste en guardar solamente los bloques B1 (x) que no encuentran las líneas contrastadas en la imagen U1, lo que permite evitar los bordes de objetos reales donde el relieve es ambiguo. Un ejemplo de procedimiento de este tipo se describe en A. Fusiello, and V. Roberto y E. Trueco, "Symmetric Stereo with Múltiple Windowing", Journal of Pattern Recognition and Artificial Intelligence, 14, 8, 2000.

En este procedimiento de selección, para cada píxel, se consideran los bloques que lo contienen y se selecciona el bloque que lo contenga que presente la similitud más grande respecto a un bloque en la otra imagen. De esta manera los bloques que no contengan una fuerte disparidad de altura son en general los seleccionados y se evitan los bloques que contienen líneas de contraste fuerte (edges) .

Un segundo tipo de procedimiento, basado en el mismo principio, adapta la forma de los bloques de comparación B1 (x) de tal manera, que estos bloques no encuentren las líneas contrastadas de la imagen, o bien de forma que den la distancia cuadrática... [Seguir leyendo]

 


Reivindicaciones:

1. Procedimiento de establecimiento de correspondencia entre una primera imagen digital (U1) y una segunda imagen digital (U2) de una misma escena para la obtención de disparidades, que comprende las etapas de:

a) seleccionar de la primera imagen (U1) un bloque B1 (x) de forma determinada centrado en un píxel x de dicha primera imagen (U1) ;

b) seleccionar de la segunda imagen (U2) una serie de bloques B2 (yi) de misma forma determinada que el bloque B1 (x) y centrados cada uno en un píxel yi de la segunda imagen (U2) ;

c) calcular para cada bloque B2 (yi) una distancia entre dicho bloque B2 (yi) y el bloque B1 (x) , obteniéndose dicha distancia como suma en el bloque de una función de las diferencias entre valores asociados al color de los píxeles de misma posición relativa z de los bloques B1 (x) y B2 (yi) , siendo esa suma ponderada por una función de ponderación f (x, z) ;

d) seleccionar el píxel yi para el cual se obtiene la mínima distancia entre el bloque B2 (yi) y el bloque B1 (x) , estableciéndose de este modo una correspondencia entre dichos píxeles x e yi, y dando la disparidad de x como la diferencia yi-x, caracterizado por el hecho de que f depende de x y de z y es una función decreciente y no constante respecto al modulo del gradiente direccional de U1 (x+z) en una dirección determinada.

2. Procedimiento según la reivindicación anterior, en el que dicha función f (x, z) responde a la siguiente ecuación:

donde: p (z) es una función de peso fija para todos los bloques, U1' (x+z) es la derivada parcial de U1 en el punto x+z y en dicha dirección determinada y e es una constante.

3. Procedimiento según la reivindicación 1, en el que dicha función f (x, z) responde a la siguiente ecuación:

donde: p (z) es una función de peso fija para todos los bloques, U1' (x+z) es la derivada parcial de U1 en el punto x+z y en dicha dirección determinada y e es una constante.

4. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que dicha dirección determinada es la dirección epipolar, de modo que es posible calcular por paralaje la distancia a la cámara del punto correspondiente al píxel x.

5. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que la función p (z) es una función positiva cuya suma de valores en el bloque B (O) es1.

6. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se realiza una etapa adicional de minimización de la distancia entre bloques con una precisión inferior a un píxel arbitraria mediante traslaciones de la imagen U2 de recorrido inferior al tamaño de píxel.

7. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que la búsqueda de yi se hace sobre diversas líneas de la imagen U2.

8. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se trata una pluralidad de imágenes de la misma escena, comparándolas dos a dos, con la finalidad de obtener estimaciones múltiples del relieve, que pueden ser posteriormente fusionadas.

9. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se vuelven a realizar las etapas a, b, cyd pero intercambiando U1 y U2.

10. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que se emplean imágenes obtenidas por uno o varios satélites de observación de un cuerpo celeste (planeta, asteroide, sol) .

11. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que las imágenes U1 y U2 son obtenidas por una o más cámaras conectadas a uno o más ordenadores configurado (s) para obtener valores aproximados de las disparidades y deducir el relieve de la escena observada por paralaje.

12. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que las imágenes U1 y U2 son obtenidas como fotografías sucesivas de una escena física que se deforma, y la disparidad calculada mide la deformación entre los dos momentos en que se tomaron las fotos.

OFICINA ESPAÑOLA DE PATENTES Y MARCAS

Nº solicitud: 200931139

ESPAÑA

Fecha de presentación de la solicitud: 10.12.2009

Fecha de prioridad:

INFORME SOBRE EL ESTADO DE LA TECNICA

51 Int. Cl. : Ver Hoja Adicional DOCUMENTOS RELEVANTES

Categoría Documentos citados Reivindicaciones afectadas A A A A WO 2007072102 A1 (TELECOM ITALIA SPA et al.) 28.06.2007 US 2005129325 A1 (WU WEIGUO) 16.06.2005 EP 1610271 A2 (ST MICROELECTRONICS INC) 28.12.2005 WO 9119265 A1 (EUROP VISION SYST CENTRE) 12.12.1991 1 1 1 1 Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº : Fecha de realización del informe 31.03.2011 Examinador M. González Vasserot Página 1/4

INFORME DEL ESTADO DE LA TÉCNICA

Nº de solicitud: 200931139

CLASIFICACIÓN OBJETO DE LA SOLICITUD G06T7/00 (2006.01)

H04N13/00 (2006.01) G02B27/22 (2006.01) Documentación mínima buscada (sistema de clasificación seguido de los símbolos de clasificación)

G06T, H04N, G02B

Bases de datos electrónicas consultadas durante la búsqueda (nombre de la base de datos y, si es posible, términos de búsqueda utilizados) INVENES, EPODOC, WPI

Informe del Estado de la Técnica Página 2/4

OPINIÓN ESCRITA

Nº de solicitud: 200931139

Fecha de Realización de la Opinión Escrita: 31.03.2011

Declaración

Novedad (Art. 6.1 LP 11/1986) Reivindicaciones Reivindicaciones 1-12 SI NO Actividad inventiva (Art. 8.1 LP11/1986) Reivindicaciones Reivindicaciones 1-12 SI NO

Se considera que la solicitud cumple con el requisito de aplicación industrial. Este requisito fue evaluado durante la fase de examen formal y técnico de la solicitud (Artículo 31.2 Ley 11/1986) .

Base de la Opinión.

La presente opinión se ha realizado sobre la base de la solicitud de patente tal y como se publica.

Informe del Estado de la Técnica Página 3/4

OPINIÓN ESCRITA

Nº de solicitud: 200931139

1. Documentos considerados.

A continuación se relacionan los documentos pertenecientes al estado de la técnica tomados en consideración para la realización de esta opinión.

Documento Número Publicación o Identificación Fecha Publicación D01 WO 2007072102 A1 (TELECOM ITALIA SPA et al.) 28.06.2007 D02 US 2005129325 A1 (WU WEIGUO) 16.06.2005 D03 EP 1610271 A2 (ST MICROELECTRONICS INC) 28.12.2005 D04 WO 9119265 A1 (EUROP VISION SYST CENTRE) 12.12.1991

2. Declaración motivada según los artículos 29.6 y 29.7 del Reglamento de ejecución de la Ley 11/1986, de 20 de marzo, de Patentes sobre la novedad y la actividad inventiva; citas y explicaciones en apoyo de esta declaración Los documentos citados solo muestran el estado general de la técnica, y no se consideran de particular relevancia. Así, la invención reivindicada se considera que cumple los requisitos de novedad, actividad inventiva y aplicación industrial. 1. El objeto de la presente solicitud de patente consiste en un procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades que evita el efecto de adherencia o fattening. Tiene aplicación preferentemente para la obtención de relieves a partir de imágenes obtenidas por uno o varios satélites de observación de un planeta. Más preferentemente, las imágenes U1 y U2 son obtenidas por una o más cámaras conectadas a uno o más ordenadores configurados para obtener valores aproximados de las disparidades y deducir el relieve de la escena observada por paralaje. En el procedimiento de la invención se incluyen etapas donde las imágenes U1 y U2 son obtenidas como fotografías sucesivas de una escena física que se deforma, y la disparidad calculada mide la deformación de la escena entre los dos momentos en que se tomaron las fotos.

2. El problema planteado por el solicitante es resolver el problema de adherencia que deforma el relieve obtenido. El fenómeno de adherencia se puede ver en la toma de una vista de un edificio, ya sea aérea o tomada desde un satélite. El techo del edificio esta mucho mas iluminado que el suelo, por lo cual los bloques que incluyen una porción del techo tienen píxeles bien contrastados. Por lo tanto, la puesta en correspondencia de los bloques está determinada por el techo. Este fenómeno se produce cuando el techo presenta un fuerte contraste de color con el suelo. Por lo tanto, la adherencia provoca una dilatación del edificio, y también un allanamiento interior del techo. Aunque se haya ilustrado más arriba con edificios, el problema de la adherencia se produce en toda la imagen, siempre y cuando en el bloque Bl (x) haya dos grupos de puntos Pl y P2 a dos altitudes diferentes. Se resuelve el caso en que la geometría epipolar sea imprecisa, o en el caso en que la escena fotografiada tenga variaciones temporales de forma, ya que la búsqueda de yi se hace sobre diversas líneas de la imagen y no tan solo en la dirección epipolar. Esto se produce por ejemplo cuando las fotografías son de un planeta cuyo relieve evoluciona, o cuando las fotografías son de un material sujeto a presiones que lo deforman. En tal caso el paralaje no viene al caso; lo que interesa es la deformación del objeto debido a otras causas que no sean la perspectiva. Se puede realizar una pluralidad de imágenes de la misma escena, comparándolas dos a dos con la finalidad de obtener estimaciones múltiples de la disparidad y eventualmente del relieve, que pueden ser posteriormente fusionadas. Estas imágenes pueden ser obtenidas mediante das cámaras dispuestas separadas y enfocadas hacia la misma escena o bien puede tratarse de una única cámara que se va desplazando manteniendo una orientación general sustancialmente fija. El documento D1 puede considerarse como el representante del estado de la técnica más cercano ya que en este documento confluyen la mayoría de las características técnicas reivindicadas.

Análisis de la reivindicación independiente 1

D1 se diferencia del documento de solicitud de patente en que la función de ponderación f (x, z) que se realiza en la etapa c no es decreciente ni variable respecto al módulo del gradiente direccional de U1 (x+z) de la primera imagen en una dirección determinada. La reivindicación 1 es nueva (Art. 6.1 LP 11/1986) y tiene actividad inventiva (Art. 8.1 LP11/1986) .

Análisis del resto de los documentos

De este modo, ni el documento D1, ni ninguno del resto de los documentos citados en el Informe del Estado de la Técnica, tomados solos o en combinación, revelan la invención en estudio tal y como es definida en las reivindicaciones independientes, de modo que los documentos citados solo muestran el estado general de la técnica, y no se consideran de particular relevancia. Además, en los documentos citados no hay sugerencias que dirijan al experto en la materia a una combinación que pudiera hacer evidente la invención definida por estas reivindicaciones y no se considera obvio para una persona experta en la materia aplicar las características incluidas en los documentos citados y llegar a la invención como se revela en la misma.

Informe del Estado de la Técnica Página 4/4


 

Patentes similares o relacionadas:

SISTEMA PARA ACOPLAR UN DISPOSITIVO DE DIGITALIZACIÓN DE IMÁGENES A UN INSTRUMENTO ÓPTICO, del 21 de Noviembre de 2019, de Spotlab, S.L: 1. Sistema para acoplar un dispositivo de digitalización de imágenes, que comprende al menos una lente, a un instrumento óptico que comprende […]

Seguimiento tridimensional de un dispositivo de control del usuario en un volumen, del 30 de Octubre de 2019, de zSpace, Inc: Un método que comprende: recibir múltiples imágenes capturadas de al menos un punto visualmente indicado de un dispositivo de control del usuario […]

Imagen de 'Procedimiento de compresión de información de vídeo'Procedimiento de compresión de información de vídeo, del 30 de Octubre de 2019, de Broadmedia GC Corporation: Un procedimiento de compresión de información de vídeo, que comprende las etapas de: - proyectar puntos de una imagen siguiente en puntos proyectados […]

Predicción residual avanzada simplificada para la 3d-hevc, del 14 de Junio de 2019, de QUALCOMM INCORPORATED: Un procedimiento de codificación de datos de vídeo, el procedimiento que comprende: determinar que un bloque actual (Actual) de una primera vista se codifica utilizando […]

Generación y codificación de imágenes integrales residuales, del 22 de Mayo de 2019, de Orange: Procedimiento de codificación de al menos una imagen integral actual (IIj) capturada por un dispositivo de captura de imágenes, que comprende las etapas siguientes: […]

Dispositivo de visualización auto-estereoscópico, del 27 de Marzo de 2019, de KONINKLIJKE PHILIPS N.V: Un dispositivo de visualización auto-estereoscópico que comprende: un medio de formación de la imagen que tiene una matriz bidimensional de píxeles de visualización […]

Dispositivo móvil de visualización 3D sin gafas, procedimiento de configuración del mismo, y procedimiento de uso del mismo, del 20 de Marzo de 2019, de SAMSUNG ELECTRONICS CO., LTD.: Un dispositivo de visualización tridimensional (3D) sin gafas que comprende: un dispositivo de visualización que comprende un monitor […]

Síntesis de visualización en vídeo 3D, del 6 de Marzo de 2019, de QUALCOMM INCORPORATED: Un procedimiento de descodificación de datos de vídeo de múltiples visualizaciones, el procedimiento que comprende: determinar si un índice […]

Utilizamos cookies para mejorar nuestros servicios y mostrarle publicidad relevante. Si continua navegando, consideramos que acepta su uso. Puede obtener más información aquí. .