Un registro de imagen estéreo y sistema y procedimiento de detección de cambios.

Un procedimiento para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas,

comprendiendo el procedimiento:

a) obtener (624) al menos dos conjuntos (600, 602) de imágenes estereoscópicas, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes que son tomadas desde ángulos diferentes, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes tomadas en momentos diferentes con respecto a las imágenes de los otros conjuntos;

b) determinar (604) al menos dos grupos (606, 608) de imágenes, incluyendo cada uno de dichos grupos al menos dos imágenes de al menos dos de dichos conjuntos, en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, y en el que las imágenes de cada uno de dichos grupos se toman sustancialmente desde el mismo ángulo; y

c) calcular (680, 682) para cada uno de dichos grupos, una lista de entidades óptimas respectiva que incluya:

i) registrar (614) al menos dos imágenes de dicho grupo que den lugar a imágenes registradas;

ii) detectar (618) cambios entre las imágenes registradas, dando lugar de este modo a una lista de entidades candidatas, consistiendo dicha lista de entidades candidatas en localizaciones en las que se han detectado dichos cambios; y

iii) seleccionar (652) al menos cuatro entidades óptimas a partir de dicha lista de entidades candidatas de conformidad con al menos un criterio de selección, dando lugar de este modo a dicha lista de entidades óptimas;

por lo que las entidades de las listas de entidades óptimas son usadas como puntos de enlace para el emparejamiento (684) estéreo de al menos dos imágenes del mismo conjunto, en el que cada una de dichas al menos dos imágenes es de uno diferente de dichos al menos dos grupos, y en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, dando lugar de este modo a al menos un par de imágenes estereoscópicas de emparejamiento estéreo.

Un registro de imagen estéreo y sistema y procedimiento de detección de cambios Campo de la invención

La presente invención se refiere, en general, a los sistemas de imágenes de detección remota y, más especialmente, a sistemas de imágenes de detección que utilizan múltiples imágenes de una escena.

Antecedentes de la invención

Las imágenes de detección remota se usan en diversos campos como la planificación urbana, militar, de inteligencia y monitorización de desastres. Muchas de las aplicaciones necesitan la capacidad de detectar cambios entre las imágenes tomadas en puntos temporales sucesivos. A pesar del hecho de que existen procedimientos conocidos en la técnica para detectar diferencias o cambios entre imágenes tomadas desde el mismo o similar ángulo, estos procedimientos son propensos a errores debido a la alta tasa de detecciones de cambios de falsa alarma (FA). La detección de falsa alarma se provoca, normalmente, por dos diferencias dimensionales (tal como cambios de sombra) entre las imágenes que en realidad no reflejan una diferencia tridimensional ("volumétrica") física real tal como una estructura que aparece en una localización anteriormente desocupada, o un vehículo que ya no aparece en una localización en la que aparecía en una imagen anterior. Un cambio de sombra, por ejemplo, puede provocarse por un cambio en la posición de la fuente de iluminación. Además, otros factores que cambian con el tiempo tales como los cambios estacionales, las condiciones climáticas, el nivel de humedad en el suelo y otros factores crearían cambios en la forma en que los objetos se reflejan en una escena en diferentes momentos. Sin embargo, los cambios tridimensionales, volumétricos, probablemente reflejarían la aparición, la desaparición o el desplazamiento de objetos con un volumen físico real tales como casas, automóviles, contenedores de basura y así sucesivamente. Con el fin de disminuir los errores FA, es beneficioso detectar y clasificar los cambios volumétricos reales.

Un enfoque preferido usado para aumentar la sensibilidad de detección de la diferencia volumétrica sería crear primero representaciones tridimensionales ("3D") del área (cada una correspondiente a un punto temporal diferente), y a continuación, comparar esas representaciones 3D con el fin de detectar cambios 3D. Con el fin de crear una representación 3D de un área, se usan dos o más imágenes de la misma área escaneada cada una tomada desde diferentes ángulos ("imágenes estereoscópicas"). Sin embargo, a pesar del hecho de que el enfoque anterior mejoraría, teóricamente, la sensibilidad de detección volumétrica, se ve obstaculizado por la complejidad tecnológica del registro de imágenes de la misma área escaneada tomada desde ángulos diferentes ("emparejamiento estéreo"). Las imágenes estéreo tomadas desde una diferencia de ángulo aumentada (denominadas "imágenes estereoscópicas de referencia amplia", también conocidas en la técnica como imágenes estereoscópicas que tienen una alta relación base sobre altura ("B sobre H")), son más difíciles para un emparejamiento estéreo.

En el texto siguiente, el término "emparejamiento estéreo" representa el procedimiento de asociación de puntos entre dos imágenes estereoscópicas (un punto en cada imagen) con el fin de generar pares de "puntos de correspondencia". Cada par de puntos se supone que representan la misma entidad física en la escena tal como se refleja en las dos imágenes estereoscópicas. El producto del procedimiento de emparejamiento estéreo es o un conjunto escaso de puntos de correspondencia (número limitado de pares) o un conjunto denso de puntos de correspondencia (también conocido en la técnica como "emparejamiento estéreo denso") en el que se definen un par de puntos de correspondencia para cada pfxel cubierto por ambas imágenes del par estéreo. Un mapa de profundidad (una representación tridimensional del escenario) puede producirse a partir de un conjunto denso de puntos de correspondencia.

La siguiente es una lista de la técnica relacionada:

El documento US26/239537 publicado el 26 de octubre 26 y titulado "Automatic processing of aerial images" desvela un aparato de detección de cambios para detectar cambios entre los pares de imágenes estereoscópicas primero y segundo obtenidos en diferentes momentos de una vista sustancialmente similar. El aparato comprende un filtro de imagen bidimensional para comparar los pares de imágenes primero y segundo para obtener una lista ¡nidal de cambios candidatos de la información bidimensional en los pares de imágenes, y un filtro de imagen tridimensional para comparar los pares de imágenes en las localizaciones de los cambios candidatos usando la información de imagen tridimensional. El aparato conserva estos cambios candidatos que se correlacionan con el cambio de imagen tridimensional y rechaza los cambios candidatos que no se correlacionan con el cambio de imagen tridimensional, y produce una lista refinada de cambio candidatos.

El documento US497574 titulado "Method for detecting surface motions and mapping small terrestrial or planetary surface deformations with synthetic apertura radar" desvela una técnica en base a la ¡nterferometría del radar de apertura sintética (SAR) que se usa para medir deformaciones superficiales pequeñas (1 cm o menos) con buena resolución (2,54 m) sobre grandes áreas (5 km). Se realizan dos imágenes SAR de una escena por dos antenas separadas y se realiza un interferograma de diferencias de la escena. Después de desenvolver las fases de pixeles del interferograma de diferencias, se observan el movimiento de superficie o los cambios de deformación de la superficie. Se realiza un segundo interferograma de la misma escena de un par diferente de imágenes, al menos

una de las cuales se hace después de algún tiempo transcurrido. A continuación, el segundo ¡nterferograma se compara con el primer ¡nterferograma para detectar cambios en la posición de la línea de visión de los píxeles. Resolviendo las observaciones de la línea de visión en sus componentes vectoriales en otros conjuntos de interferogramas a lo largo de al menos una otra dirección, pueden recuperarse en su totalidad los movimientos laterales. Existe una necesidad en la técnica de un emparejamiento estéreo de Imagen de Imágenes tomadas en diferentes ángulos de visión de manera amplia, por ejemplo, Imágenes estéreo de referencia amplia.

Existe una necesidad adicional en la técnica de comparar las Imágenes tomadas en diferentes momentos y de detectar de forma fiable los cambios volumétricos entre las mismas, tal como un nuevo emplazamiento de una construcción o una instalación militar.

Sumario de la invención

De acuerdo con los aspectos de la materia objeto desvelada actualmente, se proporciona un procedimiento, un sistema y un dispositivo de almacenamiento de programa para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, como se define en las reivindicaciones adjuntas.

Breve descripción de los dibujos

Con el fin de entender la invención y para apreciar cómo puede realizarse en la práctica, se describirán a continuación las realizaciones, solo a modo de ejemplo no limitativo, con referencia a los dibujos adjuntos, en los que:

Las figuras 1 A-C son una ilustración esquemática de un escenario simplificado de acuerdo con ciertas realizaciones de la presente invención;

La figura 2 es un diagrama de flujo que ilustra una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención;

La figura 3 ilustra una representación de una tabla de una lista de entidades candidatas de acuerdo con ciertas realizaciones de la presente invención;

La figura 4 ilustra la arquitectura del sistema general de acuerdo con ciertas realizaciones de la presente

invención;

La figura 5 ilustra un diagrama de flujo para una secuencia de operaciones de acuerdo con ciertas realizaciones

de la presente invención;

Las figuras 6 A-C ilustran un diagrama de flujo para una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención;

La figura 7 es un diagrama de flujo que ilustra el procedimiento de clasificación de imágenes para los grupos cuando se desconoce el ángulo de adquisición para al menos una de las imágenes;

La figura 8 es un diagrama de flujo que ilustra una secuencia de operaciones de acuerdo con ciertas realizaciones de la presente invención; y

La figura 9 ilustra la arquitectura del sistema de acuerdo con ciertas realizaciones de la presente invención Descripción detallada de realizaciones

Los principios y el funcionamiento de un sistema... [Seguir leyendo]

1. Un procedimiento para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, comprendiendo el procedimiento:

a) obtener (624) al menos dos conjuntos (6, 62) de imágenes estereoscópicas, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes que son tomadas desde ángulos diferentes, incluyendo cada uno de dichos al menos dos conjuntos unas imágenes tomadas en momentos diferentes con respecto a las imágenes de los otros conjuntos;

b) determinar (64) al menos dos grupos (66, 68) de imágenes, incluyendo cada uno de dichos grupos al menos dos imágenes de al menos dos de dichos conjuntos, en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, y en el que las imágenes de cada uno de dichos grupos se toman sustancialmente desde el mismo ángulo; y

c) calcular (68, 682) para cada uno de dichos grupos, una lista de entidades óptimas respectiva que incluya:

i) registrar (614) al menos dos imágenes de dicho grupo que den lugar a imágenes registradas;

ii) detectar (618) cambios entre las imágenes registradas, dando lugar de este modo a una lista de entidades candidatas, consistiendo dicha lista de entidades candidatas en localizaciones en las que se han detectado dichos cambios; y

iii) seleccionar (652) al menos cuatro entidades óptimas a partir de dicha lista de entidades candidatas de conformidad con al menos un criterio de selección, dando lugar de este modo a dicha lista de entidades óptimas;

por lo que las entidades de las listas de entidades óptimas son usadas como puntos de enlace para el emparejamiento (684) estéreo de al menos dos imágenes del mismo conjunto, en el que cada una de dichas al menos dos imágenes es de uno diferente de dichos al menos dos grupos, y en el que opcionalmente cada una de dichas al menos dos imágenes es procesada en primer lugar, dando lugar de este modo a al menos un par de imágenes estereoscópicas de emparejamiento estéreo.

2. El procedimiento de acuerdo con la reivindicación 1, en el que dicha determinación (64) de al menos dos grupos (66, 68) de imágenes comprende además:

a) asociar al menos dos imágenes a partir de dichos al menos dos conjuntos con una primera recopilación de

imágenes;

b) de manera iterativa, hasta que se cumpla una condición:

i. seleccionar una imagen a partir de dicha primera recopilación y transferirla a un nuevo grupo dando lugar a

una imagen de referencia;

ii. realizar una serie de intentos de registro, intentando registrar para cada uno de dichos intentos de registro la imagen de referencia con cada imagen de dicha primera recopilación;

iii. calcular una medida de similitud normalizada para cada uno de los intentos de registro;

iv. calcular un umbral de similitud; y

v. transferir cada imagen de dicha primera recopilación que tenga dicha medida de similitud normalizada por encima de dicho umbral de similitud al nuevo grupo.

3. El procedimiento de acuerdo con la reivindicación 2, en el que la condición se cumple cuando no existen imágenes asociadas con la primera recopilación.

4. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que dicho emparejamiento (684) estéreo comprende:

a) calcular una medida de similitud normalizada para cada uno de dichos pares de imágenes estereoscópicas de emparejamiento estéreo;

b) proporcionar un umbral de similitud;

en el que el éxito del emparejamiento estéreo de cada uno de los pares de imágenes estereoscópicas registradas es confirmado si la medida de similitud normalizada correspondiente supera el umbral de similitud correspondiente.

5. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que cada uno de dichos al menos dos conjuntos (6, 62) incluye al menos dos imágenes que son tomadas durante el mismo segmento de vuelo.

6. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que las imágenes de cada uno de dichos grupos (66, 68) se toman desde ángulos de adquisición dentro de un intervalo de 1 grados o menos.

7. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, que comprende además:

a) calcular un punto de correspondencia de origen respectivo para cada entidad de las listas de entidades óptimas;

por lo que los puntos de correspondencia de origen son usados como puntos de enlace para el emparejamiento estéreo de al menos dos imágenes, siendo o derivándose cada una de dichas al menos dos imágenes de uno diferente de dichos al menos dos grupos dando lugar de este modo a al menos un par de imágenes estereoscópicas de emparejamiento estéreo.

8. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores, en el que el par de imágenes estereoscópicas de emparejamiento estéreo es producido a partir de las imágenes estereoscópicas que son o se derivan de imágenes tomadas desde dos ángulos, con al menos 1 grados de separación, o con al menos 25 grados de separación.

9. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores en el que el par de imágenes estereoscópicas de emparejamiento estéreo es producido a partir de imágenes estereoscópicas que son o se derivan de imágenes tomadas desde dos ángulos, con al menos 35 grados de separación, o con al menos 45 grados de separación.

1. El procedimiento de acuerdo con una cualquiera de las reivindicaciones anteriores para detectar diferencias en un escenario fotografiado entre dos puntos temporales.

11. El procedimiento de acuerdo con la reivindicación 1, que comprende además:

producir mapas de profundidad para al menos dos de dichos pares de imágenes estereoscópicas de emparejamiento estéreo, en el que dichos mapas de profundidad son producidos solo para las regiones derivadas de las coordenadas de entidades de las listas de entidades candidatas; y

reevaluar las entidades de las listas de entidades candidatas en contraste con al menos dos de dichos mapas de profundidad, incluyendo el cálculo de las diferencias de altura entre las regiones correspondientes de dichos mapas de profundidad:

en el que dichas entidades de las listas de entidades candidatas son clasificadas como diferencias volumétricas si la reevaluación muestra dicha diferencia de altura.

12. Un sistema para producir puntos de enlace para su uso en el emparejamiento estéreo de imágenes estereoscópicas, comprendiendo el sistema:

un procesador (522) y un almacenamiento (528) asociado, estando configurados dicho procesador (522) y almacenamiento (528) asociado para realizar las etapas del procedimiento de la reivindicación 1.

13. El sistema de acuerdo con la reivindicación 12, en el que las imágenes de cada uno de dichos grupos incluyen al menos dos imágenes que son tomadas desde ángulos de adquisición dentro de un intervalo de 1 grados o menos.

14. Un dispositivo de almacenamiento de programa legible por una máquina, que incorpora de manera tangible un programa de instrucciones ejecutable por la máquina para realizar las operaciones del procedimiento de una cualquiera de las reivindicaciones 1 a 11.