Método y dispositivo de fusión de imágenes.

Un método de fusión de imágenes, que comprende:

la obtención de dos imágenes entre las que existe una zona de solapamiento;

la búsqueda de la zona de solapamiento de las dos imágenes;

la obtención de una imagen de profundidad de la zona de solapamiento yla fusión de las dos imágenes en una sola imagen en conformidad con la imagen de profundidad,caracterizado porque: la etapa de fusión de las dos imágenes en una sola imagen, en conformidad con la imagen deprofundidad, comprende:

el cálculo de una matriz homográfica entre las dos imágenes;

la proyección de una primera imagen sobre un sistema de coordenadas objetivo en conformidad con una relación deproyección entre la primera imagen y la matriz homográfica;

el cálculo de un paralaje entre píxels correspondientes de las dos imágenes en la zona de solapamiento en conformidadcon la imagen de profundidad;

la eliminación de puntos de píxel de una segunda imagen si el paralaje se sitúa en el interior de una margen de paralajepreestablecido;

la proyección de puntos de píxel de la segunda imagen, en la zona de solapamiento, sobre coordenadas de puntos depíxels correspondientes de la primera imagen, en el sistema de coordenadas objetivo, si el paralaje supera el margen deparalaje preestablecido y

la proyección de píxels de la segunda imagen, exteriores a la zona de solapamiento, sobre el sistema de coordenadasobjetivo, en conformidad con una relación de proyección entre la segunda imagen y la matriz homográfica.

Método y dispositivo de fusión de imágenes

CAMPO DE LA INVENCIÓN

La presente invención se refiere a una tecnología de procesamiento de imágenes y en particular, a un método y aparato de fusión de imágenes.

ANTECEDENTES DE LA INVENCIÓN

Utilizando un sistema de reflexión / refracción y dispositivos de hardware, tales como lentes de distorsión, ‘ojo de pez’, se pueden establecer directamente imágenes de visión amplia sin discontinuidades. Sin embargo, dichos dispositivos de hardware capturan tanta información como sea posible en un plano de generación de imágenes limitado y en consecuencia, las imágenes de visión amplia, sin discontinuidades, sufren una distorsión importante.

Un dispositivo de creación de imágenes digitales fotografía imágenes en un formato digital. Múltiples imágenes digitales se fusionan juntas para formar una imagen panorámica digital de visión amplia. La imagen panorámica digital final implica poca distorsión. Las tecnologías de fusión de imágenes predominantes son como sigue:

(1) Múltiples imágenes se obtienen fotografiando desde diferentes direcciones de visión en un punto de vista fijo y luego, se calcula la relación de proyección punto a punto (también conocida como homografía) entre las imágenes y la relación se refleja principalmente como panorámica, inclinada, afín y de transformación de proyección. Más adelante, todas las imágenes se proyectan sobre un sistema de coordenadas uniforme en función de la relación de proyección y se fusionan en una imagen de visión amplia o en una imagen de 360 grados; por último, las discontinuidades en la zona de solapamiento formada en el proceso de fusión de imágenes se eliminan utilizando una función de alisado gráfico.

Este método de fusión de imágenes se suele aplicar a la itinerancia virtual en Internet. Quienes visiten un sitio web pueden explorar las imágenes panorámicas de objetos tal como se presentan en el mundo real. Sin embargo, en este método de fusión, solamente las imágenes obtenidas mediante fotografías en un punto de vista fijo tienen sentido. Todas las imágenes han de obtenerse fotografiando en la misma posición estática. De no ser así, la imagen fusionada tiene imágenes fantasma debido al paralaje y la zona de fusión no es natural. En la práctica, resulta difícil obtener imágenes fotografiando en la misma posición estática, esto es, difícil girar la cámara alrededor del centro óptico para hacer coincidir los centros ópticos de todas las imágenes.

(2) Después de que las imágenes se obtengan desde diferentes puntos de vista, algunos puntos intermedios continuos, entre los puntos de vista, se utilizan como nuevos puntos de vista para reconstruir imágenes y luego, se encuentra la zona de solapamiento entre la imagen antigua y la imagen reconstruida y las imágenes son objeto de fusión en conformidad con la zona de solapamiento.

El método para utilizar puntos intermedios como puntos de vista para reconstruir imágenes puede eliminar los ‘fantasmas’ de la imagen fusionada, que tiene dichos ‘fantasmas’ causados por el paralaje entre dos puntos de vista. Sin embargo, si el paralaje de las imágenes originales es demasiado grande, necesitan generarse numerosas imágenes de puntos intermedios para eliminar los ‘fantasmas’ de la imagen fusionada y se requieren cálculos de gran magnitud. Cuando se fusionan imágenes de más de dos puntos de vista, se generan demasiadas imágenes de puntos intermedios y la fusión de imágenes requiere demasiado tiempo.

(3) La longitud focal de la cámara, las coordenadas de puntos principales, el factor de distorsión, el ángulo de rotación y la posición de rotación se obtienen mediante la calibración de la cámara, con el fin de calcular la relación de proyección para las imágenes obtenidas por la cámara.

El tercer método anterior implica la calibración de la cámara, lo que es difícil en el campo de la informática. Asimismo, en este método, necesitan establecerse los fondos de las imágenes obtenidas como un fondo único para ignorar el paralaje de los fondos en la compensación del paralaje.

El documento de POLLEFEYS M ET AL: “Reconstrucción en 3D urbana en tiempo real detallada a partir de señales de vídeo” (International Journal of Computer Vision, Kluwer Academic Publisher, BO, vol. 78, nº 2- 3, 20 octubre 2007 (200710-20) , páginas 143-167, XP019581883, ISSN: 1573-1450) da a conocer un sistema para la reconstrucción en 3D en tiempo real, geo-registrada, automática a partir de señales de vídeo de escenas urbanas. El sistema recoge flujos continuos de señales de vídeo así como mediciones de GPS con el fin de colocar el modelo reconstruido en coordenadas geo-registradas y utiliza el estado actual de los módulos en tiempo real para la etapa de procesamiento y diseña el sistema y las etapas de los conductos de procesamiento.

SUMARIO DE LA INVENCIÓN

Las formas de realización de la presente invención proporcionan un método y aparato de fusión de imágenes para eliminar los ‘fantasmas’ de la imagen fusionada, sin imponer estrictas restricciones sobre el escenario operativo de aplicación. El problema técnico objetivo se resuelve por las reivindicaciones del método contenidas en la reivindicación 1 y sus reivindicaciones subordinadas, por la reivindicación del dispositivo de la reivindicación 5 y sus reivindicaciones subordinadas.

Utilizando el método y aparato, en el proceso de fusión de dos imágenes, la zona de solapamiento entre las imágenes se encuentra primero y luego, se obtiene una imagen de profundidad de la zona de solapamiento. La imagen de profundidad refleja la distancia desde cada punto de píxel a la cámara, con precisión. Si los fondos fotográficos de las imágenes no son un fondo único, la información en las imágenes genera paralaje debido a las diferentes distancias a la cámara y los píxel en las imágenes se sitúan en diferentes capas. El método y aparato dados a conocer en la presente invención pueden calcular el paralaje entre las capas, de forma precisa, utilizando la imagen de profundidad y los píxels de la zona de solapamiento se pueden procesar, con precisión, en el proceso de fusión de imágenes para eliminar los ‘fantasmas’ de la imagen fusionada. Por lo tanto, el método y aparato aquí dados a conocer pueden eliminar los ‘fantasmas’ de la imagen fusionada, sin necesidad de imponer estrictas restricciones sobre el entorno operativo de aplicación.

Asimismo, el proceso de fusión, según la presente invención, implica solamente dos imágenes y una imagen de profundidad de la zona de solapamiento y no implica un nuevo cálculo de las imágenes de los puntos de vista intermedios, con lo que se reduce, en gran medida, la carga de cálculo.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Para ilustrar la solución técnica bajo la presente invención o la técnica anterior, con mayor claridad, a continuación se describen los dibujos adjuntos implicados en la descripción de las formas de realización de la presente invención o de la técnica anterior. Evidentemente, los dibujos adjuntos, descritos a continuación, son a modo de ejemplo solamente y no exhaustivos. Los expertos en esta materia pueden derivar otros dibujos a partir de dichos dibujos adjuntos, sin necesidad de un gran esfuerzo creativo.

La Figura 1 es un diagrama de flujo de un método de fusión de imágenes según la primera forma de realización de la presente invención;

La Figura 2 representa una estructura de un aparato de fusión de imágenes según la primera forma de realización de la presente invención;

La Figura 3 es un diagrama de flujo de un método de fusión de imágenes según la segunda forma de realización de la presente invención;

La Figura 4 representa una relación geométrica entre profundidad y paralaje según la segunda forma de realización de la presente invención;

La Figura 5 representa una estructura de un aparato de fusión de imágenes, según la segunda forma de realización de la presente invención,

La Figura 6 representa una estructura de una segunda unidad de obtención según la segunda forma de realización de la presente invención;

La Figura 7 es un diagrama de flujo de un método de fusión de imágenes según la tercera forma de realización de la presente invención y

La Figura 8 representa una estructura de un aparato de fusión de imágenes según la tercera forma de realización de la presente invención.

DESCRIPCIÓN DETALLADA DE LAS FORMAS DE REALIZACIÓN DE LA INVENCIÓN

La solución técnica, bajo la presente invención,... [Seguir leyendo]

1. Un método de fusión de imágenes, que comprende:

la obtención de dos imágenes entre las que existe una zona de solapamiento; la búsqueda de la zona de solapamiento de las dos imágenes; la obtención de una imagen de profundidad de la zona de solapamiento y la fusión de las dos imágenes en una sola imagen en conformidad con la imagen de profundidad, caracterizado porque: la etapa de fusión de las dos imágenes en una sola imagen, en conformidad con la imagen de profundidad, comprende: 15

el cálculo de una matriz homográfica entre las dos imágenes; la proyección de una primera imagen sobre un sistema de coordenadas objetivo en conformidad con una relación de proyección entre la primera imagen y la matriz homográfica;

el cálculo de un paralaje entre píxels correspondientes de las dos imágenes en la zona de solapamiento en conformidad con la imagen de profundidad; la eliminación de puntos de píxel de una segunda imagen si el paralaje se sitúa en el interior de una margen de paralaje

preestablecido; la proyección de puntos de píxel de la segunda imagen, en la zona de solapamiento, sobre coordenadas de puntos de píxels correspondientes de la primera imagen, en el sistema de coordenadas objetivo, si el paralaje supera el margen de paralaje preestablecido y

la proyección de píxels de la segunda imagen, exteriores a la zona de solapamiento, sobre el sistema de coordenadas objetivo, en conformidad con una relación de proyección entre la segunda imagen y la matriz homográfica.

2. El método de fusión de imágenes según la reivindicación 1, en donde la etapa de obtener la imagen de profundidad 35 de la zona de solapamiento comprende:

la obtención de la imagen de profundidad de la zona de solapamiento mediante la utilización directa de una cámara de profundidad o el cálculo de un paralaje entre píxels correspondientes en la zona de solapamiento de las dos imágenes y el cálculo de la imagen de profundidad de la zona de solapamiento en función del paralaje o la obtención de dos nuevas imágenes, en la zona de solapamiento, desde dos puntos de vista, el cálculo de un paralaje entre píxels correspondientes en las dos nuevas imágenes y el cálculo de la imagen de profundidad en la zona de solapamiento en función del paralaje.

3. El método de fusión de imágenes según la reivindicación 1, en donde: el sistema de coordenadas objetivo es un sistema de coordenadas de la primera imagen.

4. El método de fusión de imágenes según la reivindicación 1, en donde:

la etapa de proyección de los puntos de píxel de la segunda imagen en la zona de solapamiento sobre las coordenadas de los puntos de píxels correspondientes de la primera imagen en el sistema de coordenadas objetivo comprende:

el cálculo de un valor de crominancia media ponderada y de un valor de luminancia media ponderada de los puntos de 55 píxels correspondientes en las dos imágenes y la utilización del valor de crominancia media ponderada y del valor de luminancia media ponderada como un valor de crominancia y un valor de luminancia de los correspondientes puntos de píxel de la primera imagen, en el sistema de coordenadas objetivo, respectivamente.

5. Un aparato de fusión de imágenes, que comprende:

una primera unidad de obtención, configurada para obtener dos imágenes entre las que existe una zona de solapamiento;

una unidad de búsqueda, configurada para buscar la zona de solapamiento de las dos imágenes; 65 una segunda unidad de obtención, configurada para obtener una imagen de profundidad de la zona de solapamiento y

una unidad de fusión, configurada para realizar la fusión de las dos imágenes en una sola imagen en conformidad con la imagen de profundidad,

caracterizado porque la unidad de fusión comprende:

un primer módulo de cálculo, configurado para calcular una matriz homográfica entre las dos imágenes;

un segundo módulo de cálculo, configurado para calcular un paralaje entre píxels correspondientes de las dos imágenes, 10 en la zona de solapamiento, en conformidad con la imagen de profundidad y

un módulo de proyección, configurado para: proyectar una primera imagen sobre un sistema de coordenadas objetivo en función de una relación de proyección entre la primera imagen y la matriz homográfica;

proyectar puntos de píxel de una segunda imagen, en la zona de solapamiento, sobre coordenadas de puntos de píxels correspondientes de la primera imagen, en el sistema de coordenadas objetivo, si el paralaje supera un margen de paralaje preestablecido y proyectar píxel de la segunda imagen, exteriores a la zona de solapamiento, sobre el sistema de coordenadas objetivo, en función de una relación de proyección entre la segunda imagen y la matriz homográfica.

6. El aparato de fusión de imágenes según la reivindicación 5, en donde:

la segunda unidad de obtención es una cámara de profundidad.

7. El aparato de fusión de imágenes según la reivindicación 5, en donde la segunda unidad de obtención comprende:

un módulo de cálculo, configurado para calcular el paralaje entre píxels correspondientes en la zona de solapamiento de las dos imágenes y calcular la imagen de profundidad, en la zona de solapamiento, en conformidad con el paralaje.

8. El aparato de fusión de imágenes según la reivindicación 5, en donde la segunda unidad de obtención comprende:

un módulo de obtención, configurado para obtener dos nuevas imágenes en la zona de solapamiento en dos puntos de vista y

un módulo de cálculo, configurado para calcular el paralaje entre píxels correspondientes en las dos nuevas imágenes y 35 calcular la imagen de profundidad en la zona de solapamiento en función del paralaje.

9. El aparato de fusión de imágenes según la reivindicación 5, en donde:

el módulo de proyección está configurado para calcular un valor de crominancia media ponderada y un valor de luminancia media ponderada de los puntos de píxels correspondientes, en las dos imágenes, si el paralaje supera el margen de paralaje preestablecido y utilizar el valor de crominancia media ponderada y el valor de luminancia media ponderada como un valor de crominancia y un valor de luminancia de los puntos de píxels correspondientes de la primera imagen en el sistema de coordenadas objetivos, respectivamente.

Obtener dos imágenes tomadas por dos cámaras

Buscar la zona de solapamiento de las dos imágenes Obtener la imagen de profundidad de la zona de solapamiento utilizando directamente una cámara de profundidad

Calcular una matriz homográfica entre las dos imágenes

Proyectar una primera imagen sobre un sistema de coordenadas objetivo en función de una relación de proyección entre el punto de píxel de la primera imagen y el elemento de la matriz homográfica

Calcular paralaje entre los correspondientes píxels de las dos imágenes en la zona de solapamiento en función del valor de profundidad en la imagen de profundidad

Proyectar los puntos de píxels de la segunda imagen sobre las coordenadas de los correspondientes puntos de píxels de la

Comprobar si el paralaje

supera el margen primera imagen en el sistema de coordenadas objetivo

preestablecido Comprobar si los píxels en Desechar los puntos de píxels de

la zona de solapamientola segunda imagen se procesan completamente

Proyectar los píxels de la segunda imagen, fuera de la zona de solapamiento, sobre el sistema de coordenadas objetivo en función de una relación de proyección entre la segunda imagen y la matriz homográfica

Panel de presentación visual

Obtener dos imágenes tomadas por dos cámaras Buscar la zona de solapamiento de las dos imágenes Obtener la imagen de profundidadde la zona de solapamiento utilizando una cámara de profundidad directamente

Generar imágenes continuas depuntos de vista virtuales intermedios entre puntos de vista delas dos imágenes en función de la imagen de profundidad

Fusionar las dos imágenes y lasimágenes de puntos de vista virtuales intermedios en una sola imagen