TÉCNICAS PARA RECONSTRUCCIÓN ESTÉREO RÁPIDA A PARTIR DE IMÁGENES.

Se describen técnicas de reconstrucción de imágenes estéreo. Una imagen desde un punto de visión original se traduce en una imagen desde otro punto de visión.

Se usa el ajuste por homografía para traducir la imagen entre puntos de visión. Se usa la alineación de imágenes de composición inversa para determinar una matriz de homografía y para determinar un píxel en fa imagen traducida.

Técnicas para reconstrucción estéreo rápida a partir de imágenes.

OBJETO DE LA INVENCIÓN

La materia en cuestión revelada en el presente documento se refiere, en general, a la reconstrucción estéreo por 5 imágenes desde múltiples puntos ventajosos.

ANTECEDENTES DE LA INVENCIÓN

La aplicación de gráficos y de informática visual está creciendo en áreas tales como los juegos tridimensionales (3D) , los mundos virtuales, los mundos reflejados (p. ej., Google Tierra) y las interfaces de inmersión del usuario. La reconstrucción estéreo intenta recuperar densas escenas tridimensionales a partir de imágenes de dos o más cámaras colocadas separadamente o, equivalentemente, a partir de imágenes tomadas por la misma cámara pero en distintas posiciones de visualización. En la reconstrucción estéreo, los parámetros de la cámara (internos y externos) se conocen como la calibración de la cámara. Los tradicionales procedimientos de reconstrucción estéreo están sumamente limitados por la precisión o la velocidad de procesamiento. Por consiguiente, hay una creciente demanda de reconstrucción estéreo rápida y precisa.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Las realizaciones de la presente invención se ilustran a modo de ejemplo, y no a modo de limitación, en los dibujos, en los cuales los números iguales de referencia se refieren a elementos similares.

La FIG. 1 ilustra una proyección de parches a un par de imágenes estéreo.

La FIG. 2 ilustra un proceso para la reconstrucción estéreo de un par de imágenes estéreo, según una realización.

La FIG. 3 ilustra un proceso de alineación de imágenes de composición inversa (ICIA) , según una realización.

La FIG. 4 ilustra un proceso que puede usarse para la reconstrucción estéreo de multivisión, según una realización.

Las FIGs. 5A y 5B ilustran una comparación de resultados de reconstrucción estéreo.

La FIG. 6 ilustra una realización en sistema informático, según una realización.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

La referencia, a lo largo de esta memoria descriptiva, a “una realización” significa que un rasgo, estructura o característica particular, descrito con respecto a la realización se incluye en al menos una realización de la presente invención. Así, las apariciones de la expresión “en una realización” o “una realización” en diversos lugares a lo largo de esta memoria descriptiva no están necesariamente refiriéndose todas a la misma realización. Además, los rasgos, estructuras o características particulares pueden combinarse en una o más realizaciones.

Las dos soluciones existentes conocidas para la reconstrucción estéreo incluyen (1) la reconstrucción estéreo de asociación estéreo (p. ej., correlación cruzada normalizada (NCC) ) y (2) la reconstrucción estéreo basada en la optimización del color o la fotocoherencia. Un ejemplo de la solución (2) se describe en el documento de Y. Furukawa y J. Ponce “Estereopsis de multivisión precisa, densa y robusta”, CVPR (Visión por Ordenador y Reconocimiento de Patrones) (2007) (en adelante, el “procedimiento de Furukawa”) .

La fotocoherencia mide la similitud de puntos de correspondencia en un par de imágenes estéreo. La fotocoherencia puede definirse sobre regiones cerca de puntos correspondientes, como:

donde A es una región centrada en un punto correspondiente IL e IR se refieren a imágenes izquierdas (originales) y derechas (traducidas) ,

f () es una función métrica que puede ser f (x) = ||x||2, x es una posición puntual de imagen, y I (x) se refiere al valor de gris en el punto x.

La FIG. 1 ilustra una proyección de parches a un par de imágenes estéreo. Lo siguiente es una descripción de los términos en la FIG. 1:

C1 y C2: cámaras O1 y O2: centro de cámara de dos cámaras (el punto de cruce de los ejes)

b: línea base entre dos cámaras I1 e I2: imágenes capturadas, respectivamente, por C1 y C2

P: punto tridimensional

P1, P2: proyecciones del punto tridimensional P en el plano de imagen E1, E2: línea epipolar pasada a P1 y P2

n: el plano tangente de la superficie del modelo tridimensional en el punto P

n: el vector normal (dirección) en P del plano tangente

H: transformada de homografía inducida por el plano n x = P1

T (x) : ventana de plantilla en la imagen original

W (x, p) : ventana de distorsión por homografía en la imagen traducida El procedimiento de Furukawa proyecta un parche alrededor del punto tridimensional P, en un par de imágenes estéreo, y calcula una métrica de fotocoherencia de los correspondientes puntos p1, p2 de proyección. Sin embargo, la posición P no es precisa y el procedimiento de Furukawa supone que la posición puede cambiarse a lo largo de una dirección, o dentro de un cubo cerca de la posición P. Existe una medición de fotocoherencia para cada posición, y la posición con la mayor medición de fotocoherencia puede ser el resultado optimizado. La velocidad de cálculo usando el procedimiento de Furukawa puede ser inaceptable a partir de parches tridimensionales de retroproyección en planos de imágenes, y su precisión padece de la tasa de muestreo cerca de la posición original.

Diversas realizaciones proporcionan optimización por fotocoherencia después de un procedimiento tradicional de apareo estéreo basado en NCC para mejorar la precisión del apareo estéreo y la reconstrucción estéreo. Diversas realizaciones que usan el ajuste por homografía convierten la medida de fotocoherencia en una función implícita de coordenadas de píxeles y obtienen un gradiente analítico. La optimización se basa en el ajuste por homografía entre planos de imágenes, lo que tiene un gradiente analítico y puede resolverse eficazmente.

En comparación con el procedimiento basado en el apareo por NCC, la optimización por fotocoherencia de diversas realizaciones que usan el ajuste por homografía puede proporcionar resultados de reconstrucción estéreo mucho más precisos, mediante la optimización de correspondencia.

Diversos procedimientos de optimización del color o la fotocoherencia (p. ej., el procedimiento de Furukawa) utilizan la retroproyección de parches tridimensionales en un plano de imágenes. Sin embargo, la retroproyección de parches tridimensionales en un plano de imágenes es muy intensa en términos informáticos y en consumo de tiempo. Por consiguiente, diversas realizaciones proporcionan un tiempo de cálculo reducido en comparación con al menos el procedimiento de Furukawa.

La FIG. 2 ilustra un proceso para la reconstrucción estéreo de un par de imágenes estéreo, según una realización. El bloque 202 incluye recibir un par de imágenes estéreo de entrada. El par de imágenes estéreo puede ser proporcionado por una o más cámaras digitales, o una cámara estéreo, a un sistema informático, a través de una interfaz de entrada / salida. El par de imágenes estéreo de entrada tiene el mismo formato que una imagen general. Por ejemplo, cada imagen es un rectángulo bidimensional que usa (x, y) como coordenadas para indizar píxeles de valores de grises o de colores.

El bloque 204 incluye la rectificación del par de imágenes estéreo de entrada, de modo tal que sus líneas epipolares se dispongan como horizontales o verticales.

El bloque 206 incluye la aplicación de procedimientos de apareo estéreo sobre el par rectificado de imágenes estéreo de entrada. Por ejemplo, el bloque 206 puede incluir la aplicación de la correlación cruzada normalizada (NCC) para establecer las correspondencias iniciales entre píxeles provenientes de este par de imágenes estéreo. Una unidad de procesamiento de gráficos (GPU) de un sistema informático puede realizar la rectificación de pares de imágenes y el apareo estéreo.

El bloque 208 incluye, para cada píxel en la imagen original, el uso del ajuste homográfico para optimizar la fotocoherencia entre un píxel en la imagen original y el correspondiente píxel en la imagen traducida. Por ejemplo, la imagen original es la imagen izquierda en la FIG. 1, mientras que la imagen traducida es la imagen derecha en la FIG. 1. Una unidad central de procesamiento de un sistema informático puede realizar el ajuste homográfico.

El bloque 210 incluye la triangulación de puntos de correspondencia optimizados para obtener una escena tridimensional a partir de un punto de visualización individual. Técnicas adecuadas para realizar los bloques 202,

204, 206 y 210 se describen, por ejemplo, en el documento de H. Hirschmfuller et al., “Visión...

1. Un procedimiento implementado por ordenador, caracterizado porque comprende: realizar el apareo estéreo sobre un par de imágenes; rectificar el par de imágenes de modo tal que las líneas epipolares se dispongan bien como horizontales o bien como

verticales; aplicar el apareo estéreo al par de imágenes rectificadas; generar un píxel traducido a partir de un píxel original, en donde la generación comprende aplicar una transformación

matricial de homografía al píxel original; triangular puntos de correspondencia para generar una escena tridimensional; y proporcionar la escena tridimensional para su exhibición.

2. El procedimiento de la reivindicación 1, caracterizado porque la aplicación del apareo estéreo comprende aplicar la correlación cruzada normalizada (NCC) .

3. El procedimiento de la reivindicación 1, caracterizado porque comprende adicionalmente:

generar una transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA) .

4. El procedimiento de la reivindicación 1, caracterizado porque comprende adicionalmente: generar una transformación matricial de homografía; definir la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida, como una

función implícita de la transformación matricial de homografía; y mejorar la fotocoherencia de la ventana de distorsión.

5. El procedimiento de la reivindicación 1, caracterizado porque la generación de un píxel traducido a partir de un píxel original comprende: usar ajuste por homografía para mejorar la fotocoherencia entre el píxel original y el píxel traducido.

6. El procedimiento de la reivindicación 1, caracterizado porque la matriz de homografía comprende:

H (p) = Kl * (R – tpT) Kr-1 ,

donde Kl y Kr son las matrices intrínsecas de las respectivas cámaras izquierda y derecha,

R es la matriz de rotación entre las dos cámaras,

t es el vector de traducción entre las dos cámaras, y

p = n / d, donde n es el vector normal del plano n y d es la distancia desde el centro de la cámara izquierda al plano n.

7. El procedimiento de la reivindicación 1, caracterizado porque comprende adicionalmente generar una escena tridimensional a partir de múltiples pares de imágenes estéreo.

8. Un medio legible por ordenador caracterizado porque almacena instrucciones que, cuando son ejecutadas por un ordenador, causan que el ordenador: realice el apareo estéreo sobre un par de imágenes; rectifique el par de imágenes;

aplique el apareo estéreo al par de imágenes rectificadas; genere un píxel traducido a partir de un píxel original, en donde, para la generación, el ordenador ha de aplicar una transformación matricial de homografía al píxel original;

triangule puntos de correspondencia para generar una escena tridimensional; y proporcione la escena tridimensional para su exhibición.

9. El medio legible por ordenador de la reivindicación 8, caracterizado porque, para aplicar el apareo estéreo, el ordenador ha de aplicar la correlación cruzada normalizada (NCC) .

10. El medio legible por ordenador de la reivindicación 8, caracterizado porque comprende adicionalmente instrucciones que, cuando son ejecutadas por el ordenador, causan que el ordenador:

genere la transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA) .

11. El medio legible por ordenador de la reivindicación 8, caracterizado porque comprende adicionalmente instrucciones que, cuando son ejecutadas por el ordenador, causan que el ordenador:

genere una transformación matricial de homografía; defina la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida como una función implícita de la transformación matricial de homografía; y

mejore la fotocoherencia de la ventana de distorsión.

12. El medio legible por ordenador de la reivindicación 8, caracterizado porque para generar un píxel traducido a partir de un píxel original, el ordenador ha de mejorar la fotocoherencia entre el píxel original y el píxel traducido.

13. El medio legible por ordenador de la reivindicación 8, caracterizado porque la matriz de homografía comprende:

H (p) = Kl * (R – tpT) Kr-1 ,

donde Kl y Kr son las matrices intrínsecas de las respectivas cámaras izquierda y derecha,

R es la matriz de rotación entre las dos cámaras, t es el vector de traducción entre las dos cámaras, y p = n / d, donde n es el vector normal del plano n y d es la distancia desde el centro de la cámara izquierda al plano n.

14. Un aparato caracterizado porque comprende: un procesador configurado para: generar un píxel traducido a partir de un píxel original, en donde, para la generación, el ordenador ha de aplicar una

transformación matricial de homografía al píxel original; triangular puntos de correspondencia para generar una escena tridimensional; y proporcionar la escena tridimensional para su exhibición.

15. El aparato de la reivindicación 14, caracterizado porque el procesador es al menos uno entre un procesador multinúcleos y una unidad de procesamiento de gráficos.

16. El aparato de la reivindicación 14, caracterizado porque el procesador ha de:

generar la transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA) .

17. El aparato de la reivindicación 14, caracterizado porque, para aplicar una matriz de homografía, el procesador ha de:

generar una transformación matricial de homografía; definir la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida como una función implícita de la transformación matricial de homografía; y

mejorar la fotocoherencia de la ventana de distorsión.

18. El aparato de la reivindicación 14, caracterizado porque, para generar un píxel traducido a partir de un píxel original, el ordenador ha de mejorar la fotocoherencia entre el píxel original y el píxel traducido.

19. Un sistema caracterizado porque comprende: un dispositivo visor y

un sistema informático, en donde el sistema informático está acoplado comunicativamente con el dispositivo visor, y

en donde el sistema informático ha de: generar un píxel traducido a partir de un píxel original, en donde, para la generación, el ordenador ha de aplicar una transformación matricial de homografía al píxel original;

triangular los puntos de correspondencia para generar una escena tridimensional; y proporcionar la escena tridimensional para su exhibición.

20. El sistema de la reivindicación 19, caracterizado porque el sistema informático ha de: generar la transformación matricial de homografía usando una alineación de imágenes de composición inversa (ICIA) .

21. El sistema de la reivindicación 19, caracterizado porque, para aplicar una matriz de homografía, el procesador ha de: generar una transformación matricial de homografía; definir la fotocoherencia entre una imagen original y una ventana de distorsión de una imagen traducida como una función implícita de la transformación matricial de homografía; y 15 mejorar la fotocoherencia de la ventana de distorsión.

22. El sistema de la reivindicación 19, caracterizado porque, para generar un píxel traducido a partir de un píxel original, el sistema informático ha de mejorar la fotocoherencia entre el píxel original y el píxel traducido.

RECIBIR PAR DE IMÁGENES ESTÉREO DE ENTRADA

REALIZAR RECTIFICACIÓN DEL PAR DE IMÁGENES

REALIZAR APAREO ESTÉREO

REALIZAR AJUSTE POR HOMOGRAFÍA PARA MEJORAR LA FOTOCOHERENCIA ENTRE EL PÍXEL EN LA IMAGEN ORIGINAL Y EL PÍXEL EN LA IMAGEN TRADUCIDA

TRIANGULAR PUNTOS DE CORRESPONDENCIA PARA OBTENER ESCENA TRIDIMENSIONAL A PARTIR DE UN PUNTO DE VISIÓN INDIVIDUAL

FIG. 2

FIG. 3

RECIBIR PUNTO DE PÍXEL, PARÁMETROS DE PARES DE CÁMARAS Y EL VALOR INICIAL DEL PARÁMETRO DE HOMOGRAFÍA

DETERMINAR MATRIZ HESSIANA DE IMAGEN TRADUCIDA

DETERMINAR PÍXEL EN IMAGEN TRADUCIDA

FIG. 4

RECIBIR MÚLTIPLES ESCENAS TRIDIMENSIONALES DESDE DISTINTAS VISTAS ESTÉREO

REALIZAR HOMOGRAFÍA ESTÉREO Y ALINEACIÓN E INTEGRACIÓN DE MULTIVISIÓN

PROPORCIONAR ESCENA TRIDIMENSIONAL A PARTIR DE MÚLTIPLES PUNTOS DE VISIÓN

FIG. 6