Procedimiento de construcción de un modelo de escena en 3D por análisis de secuencia de imágenes.

Procedimiento de construcción de un modelo de escena 3D mediante análisis de secuencia de imágenes,

correspondiendo cada imagen a un punto de vista definido por su posición y su orientación, caracterizado porque secompone de las siguientes etapas:

- cálculo, para una imagen, de un mapa de profundidad (1) correspondiente a la profundidad, en el espacio 3D, de los píxeles de la imagen,

- cálculo, para una imagen, de un mapa de resolución (2) correspondiente a la resolución 3D de los píxeles de laimagen, a partir del mapa de profundidad, siendo calculada la resolución 3D, para cada píxel de la imagen, como ladensidad de puntos en el espacio 3D relativos a una ventana centrada en el píxel,

- puesta en correspondencia (6) de un píxel de una imagen corriente con un píxel de otra imagen de la secuencia,relativo a un mismo punto de la escena 3D, mediante proyección del píxel de la imagen corriente sobre la otraimagen,

- selección de un píxel de la imagen corriente (6) en función de su resolución 3D y de la de los píxeles de otrasimágenes de la secuencia puestos en correspondencia con este píxel,

- construcción del modelo 3D (8) a partir de los píxeles seleccionados.

Procedimiento de construcción de un modelo de escena en 3D por análisis de secuencia de imágenes.

El invento se refiere a un procedimiento de construcción de un modelo de escena en 3D por análisis de secuencia de imágenes.

El campo es el del tratamiento de secuencias de imágenes y de modelización de escenas reales estáticas en un contexto de navegación. La secuencia está constituida por imágenes relativas a escenas estáticas en el interior de las cuales evoluciona el punto de vista, es decir la cámara.

El objetivo es el de permitir a un usuario navegar virtualmente en una escena real. Así pues los datos sobre la escena están constituidos por secuencias de imágenes que pueden representar una enorme cantidad de informaciones. Estas secuencias deben ser tratadas de tal manera que se proporcione una representación compacta de la escena, utilizable de forma óptima para la navegación, es decir permitiendo una respuesta interactiva, con una calidad de imágenes controlada. El problema estriba en obtener un nivel de comprensión elevado evitando las técnicas de tipo predictivo inter-imágenes, no adaptadas a la navegación.

Existen actualmente diferentes representaciones de escena. Es posible distinguir principalmente:

- las representaciones a partir de modelos 3D, en las cuales la geometría de la escena está representada generalmente bajo la forma de facetas planas a las que están asociadas imágenes de textura. Esta modelización es muy utilizada para representar escenas sintéticas obtenidas mediante lógicas del tipo CAO (concepción asistida por ordenador) . Por el contrario, es poco utilizada para representar escenas reales, pues es compleja. Los métodos actuales utilizan pocas imágenes, generalmente fotografías, y las representaciones que resultan de ello son someras, faltas de realismo.

- las representaciones no en 3D obtenidas por ejemplo a partir de lógicas Quicktime VR (marca registrada de la sociedad Apple) . Los datos de la escena son adquiridos bajo la forma de panorámicas, con secuencias de imágenes de transición para pasar de una panorámica a otra. Tal representación limita considerablemente las posibilidades de navegación en la escena virtual.

KOCH R y al.: “Multi Viewpoint Stereo from uncalibrated Video Sequences”, LECTURE NOTES IN COMPUTER SCIENCES, SPRINGER VERLAG, DE; VOL: 1406, 1 ENERO 1998, páginas 55-71, describen un sistema de creación de un modelo en 3D a partir de una secuencia de video salida de una cámara no calibrada.

RANDER PETER: “A Multi-Camera Method of 3D Digitalization of Dynamic, Real-World Events”, THESIS, vol. CMURI-TR-98-12, 1 mayo 1998, página 136pp, describe un método de refinamiento iterativo de un modelo en 3D obtenido a partir de videos adquiridos bajo diferentes ángulos.

El invento tiene como objetivo paliar los inconvenientes citados anteriormente. Tiene por objeto un procedimiento de construcción de un modelo de escena en 3D por análisis de secuencia de imágenes, correspondiendo cada imagen a un punto de vista definido por su posición y su orientación, caracterizado porque está compuesto de las siguientes etapas:

- cálculo, para una imagen, de un mapa de profundidad (1) correspondiente a la profundidad, en el espacio 3D, de los píxeles de la imagen,

- cálculo, para una imagen, de un mapa de resolución (2) correspondiente a la resolución 3D de los píxeles de la imagen, a partir del mapa de profundidad, siendo calculada la resolución 3D, para cada píxel de la imagen, como la densidad de puntos en el espacio 3D relativos a una ventana centrada en el píxel,

- puesta en correspondencia (6) de un píxel de una imagen corriente con un píxel de otra imagen de la secuencia, pixeles relativos a un mismo punto de la escena 3D, por proyección del píxel de la imagen corriente sobre la otra imagen,

- selección de un píxel de la imagen corriente (6) en función de su resolución y de la de los píxeles de otras imágenes de la secuencia puestos en correspondencia con este píxel,

- construcción del modelo 3D (8) a partir de los píxeles seleccionados.

Según un modo particular de realización, el procedimiento está caracterizado porque son constituidas una o varias regiones a partir de los píxeles seleccionados de una imagen, son calculados y atribuidos unos pesos a los píxeles de la imagen en función de su pertenencia o no a las regiones y de las características geométricas de las regiones a las que ellos pertenecen en la imagen, y se efectúa una nueva selección de píxeles en función de los valores de resolución y de los pesos adjudicados a los píxeles.

Según un modo particular de realización, que puede ser combinado con el anterior, el procedimiento está caracterizado porque se efectúa una partición de las imágenes de la secuencia identificando, para una imagen corriente, las imágenes cuyos puntos de vista correspondientes tienen un campo de observación que posee una intersección con el campo de observación relativo a la imagen corriente, para formar una lista de imágenes que se asocian a la misma, y porque las otras imágenes de la secuencia para las que se efectúa la puesta en correspondencia de los pixeles de la imagen corriente son las imágenes de su lista.

La partición de las imágenes de la secuencia puede ser completada quitando de la lista asociada a una imagen las imágenes que poseen demasiado pocos pixeles correspondientes a los de la imagen corriente.

El invento se refiere igualmente a un procedimiento de navegación en una escena 3D consistente en crear imágenes en función del desplazamiento del punto de vista, caracterizado porque las imágenes son creadas a partir del procedimiento de construcción del modelo 3D descrito anteriormente.

Las secuencias de imágenes representan una cantidad de datos muy importante con una fuerte redundancia interimágenes. La utilización de un modelo 3D, que es el mejor modelo de representación de una escena real estática, y la puesta en correspondencia de las imágenes mediante simples transformaciones geométricas permiten identificar ampliamente la redundancia inter-imágenes. Este modelo permite en efecto tener en cuenta un gran número de imágenes. Por otra parte, no necesita operaciones de compensación de movimiento al nivel de la imagen 2D.

Se materializa un mejor compromiso entre compacidad, es decir compresión de datos a almacenar y tratar, interactividad y calidad de respuesta: a pesar de la tasa de compresión elevada, el procedimiento proporciona imágenes de buena calidad y permite una gran flexibilidad y rapidez en la navegación.

El invento permite obtener un mejor realismo que el obtenido con las técnicas de modelización 3D actuales así como una mejor flexibilidad que la obtenida con las técnicas clásicas de codificación de imágenes.

Las características y ventajas del presente invento surgirán mejor de la descripción siguiente, dada a título de ejemplo y en referencia a las figuras anexas en las que:

- la figura 1 representa un algoritmo de tratamiento que describe las etapas del procedimiento según el invento,

- la figura 2 representa los referenciales asociados a un punto de vista.

La adquisición de los datos de la escena real está estrechamente ligada a la representación considerada. En nuestro ejemplo, nos colocamos en la situación en la cual las imágenes son tomadas mediante una cámara estándar, con la cadencia video, y el movimiento de la cámara está elaborado de tal manera que se corresponda con los trayectos previstos en el curso de la experimento. En este contexto, la construcción de una representación de la escena a partir de secuencias de imágenes puede estar emparentada con las técnicas de codificación de imágenes.

El principio de construcción de la representación de una escena es seleccionar los datos necesarios y suficientes que aseguren la reconstrucción de las imágenes de la secuencia con una calidad controlada. El proceso consiste en comparar las imágenes una por una para seleccionar las regiones que tienen una mejor pertinencia, parámetro que depende de la resolución y del coste de la descripción. De hecho, la comparación es efectuada al nivel de píxeles: el criterio base para la comparación y la selección de los píxeles es la resolución de la superficie local 3D asociada a cada píxel.

Suponemos que mediante un tratamiento adecuado, conocido de la técnica anterior, obtenemos, para cada punto de vista, su posición 3D en un referencial asociado a la escena (posición y orientación del punto de vista) , así como un mapa de profundidad asociado a la imagen relativa al punto de vista. La fase siguiente tiene por objeto constituir... [Seguir leyendo]

1. Procedimiento de construcción de un modelo de escena 3D mediante análisis de secuencia de imágenes, correspondiendo cada imagen a un punto de vista definido por su posición y su orientación, caracterizado porque se compone de las siguientes etapas:

- cálculo, para una imagen, de un mapa de profundidad (1) correspondiente a la profundidad, en el espacio 3D, de los píxeles de la imagen,

- cálculo, para una imagen, de un mapa de resolución (2) correspondiente a la resolución 3D de los píxeles de la imagen, a partir del mapa de profundidad, siendo calculada la resolución 3D, para cada píxel de la imagen, como la densidad de puntos en el espacio 3D relativos a una ventana centrada en el píxel,

- puesta en correspondencia (6) de un píxel de una imagen corriente con un píxel de otra imagen de la secuencia, relativo a un mismo punto de la escena 3D, mediante proyección del píxel de la imagen corriente sobre la otra imagen,

- selección de un píxel de la imagen corriente (6) en función de su resolución 3D y de la de los píxeles de otras imágenes de la secuencia puestos en correspondencia con este píxel,

- construcción del modelo 3D (8) a partir de los píxeles seleccionados.

2. Procedimiento según la reivindicación 1, caracterizado porque, se constituyen una o varias regiones a partir de los píxeles seleccionados de una imagen, se calculan y se atribuyen los pesos a los píxeles de la imagen (4) en función de su pertenencia o no a las regiones y de las características geométricas de las regiones a las que ellos pertenecen en la imagen, y se efectúa una nueva selección de píxeles (6) en función de los valores de resolución y de los pesos que afectan a los píxeles.

3. Procedimiento según la reivindicación 2, caracterizado porque se atribuye un valor de pertinencia (5) a cada píxel de una imagen en función del peso y de la resolución que afectan a este píxel, y porque se efectúa una selección de píxeles (6) de una imagen corriente a partir del valor más fuerte de pertinencia (5) entre los píxeles puestos en correspondencia para dar una máscara de píxeles seleccionados.

4. Procedimiento según la reivindicación 1, caracterizado porque se efectúa una partición (2) de las imágenes de la secuencia identificando, para una imagen corriente, las imágenes cuyos puntos de vista correspondientes tienen un campo de observación que posee una intersección con el campo de observación relativo a la imagen corriente, para formar una lista de imágenes que se asocia a la misma, y porque las otras imágenes de la secuencia para las cuales se efectúa la puesta en correspondencia de los píxeles de la imagen corriente (6) son imágenes de esta lista.

5. Procedimiento según la reivindicación 4, caracterizado porque se efectúa una partición (2) de las imágenes de la secuencia eliminando de la lista asociada a una imagen las imágenes que poseen demasiados pocos píxeles correspondientes con los de la imagen corriente.

6. Procedimiento según la reivindicación 3, caracterizado porque las operaciones de cálculo de pesos (4) de cálculo de pertinencia (5) y de selección de píxeles son reiterados hasta que las máscaras obtenidas a partir de la selección no evolucionen ya de manera significativa.

7. Procedimiento según la reivindicación 3, caracterizado porque las operaciones de puesta en correspondencia de un píxel de la imagen corriente, mediante proyección sobre las otras imágenes, son detenidas para cada píxel desde el momento en el que se encuentra un píxel correspondiente que tenga un valor de pertinencia más grande.

8. Procedimiento según la reivindicación 3, caracterizado porque la selección a partir de los valores de pertinencia se efectúa cuando la relación entre los valores de resolución de los píxeles puestos en correspondencia se encuentra dentro de unos límites definidos.

9. Procedimiento según la reivindicación 1, caracterizado porque el píxel de la otra imagen es el píxel más próximo al punto de proyección (6) sobre esta otra imagen.

10. Procedimiento según la reivindicación 1, caracterizado porque se detectan los objetos móviles que se desplazan en la escena para extraerlos de ella con el fin de obtener una escena de tipo estático.

11. Procedimiento de navegación en una escena 3D consistente en crear imágenes en función del desplazamiento del punto de vista, caracterizado porque las imágenes son creadas a partir del modelo 3D construido según el procedimiento de la reivindicación 1.