PROCEDIMIENTO BASADO EN IMÁGENES DE REPRESENTACIÓN Y REPRODUCCIÓN DE OBJETOS TRIDIMENSIONALES.

Un procedimiento de representación y reproducción de un objeto en tres dimensiones,

que comprende las etapas de: la transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia (6, 7); la transformación de los datos de la representación intermedia en una representación de reproducción (8) bajo la forma de un cubo de circunscripción, donde una imagen de varias capas de profundidad es atribuida a cada cara (17) del cubo de circunscripción (8); la reproducción de la representación de la reproducción obtenida (8) mediante la determinación de las caras visibles (17) del cubo de circunscripción teniendo en cuenta la posición (21) del observador, transformando la imagen de varias capas de profundidad para cada una de las caras visibles en una textura, y visualizando las caras visibles con textura; caracterizado porque la etapa de transformación de la imagen de varias capas de profundidad para cada una de las caras visibles en una textura incluye: la comprobación para cada punto de la imagen de si el punto cae dentro de la textura resultante que incluye: la formación respecto de cada cara del cubo de circunscripción visible desde la posición (21) del observador de un par de matrices (Mu y Mv) como una función de u y v, respectivamente, siendo u y v las coordenadas (u, v) sobre la cara, consistiendo el par de matrices en la profundidad de los puntos contenidos dentro del cubo de circunscripción situado sobre los planos que pasan a través de los dos bordes más cercanos de la cara (17) del cubo de circunscripción y la posición (21) del observador; y la determinación de un resultado negativo para los puntos con coordenadas de puntos (u, v) situados sobre la cara y la profundidad d si d > Mu (u) o d > Mv (v); y si el resultado es negativo ignorar el punto correspondiente y pasar al punto de la imagen siguiente, si el resultado es afirmativo, transformando funcionalmente las coordenadas y la profundidad del punto de imagen en coordenadas del punto de la textura resultante

La presente invención se refiere al campo de los gráficos informáticos y, más concretamente, a unas representaciones de objetos tridimensionales (3D) fijos y animados obtenidos a partir de unas fotos de objetos del mundo real y sus representaciones geométricas, y a un procedimiento de representación y reproducción que utiliza un modelo geométrico simplificado de un objeto.

En el futuro inmediato, la reproducción de alta calidad de objetos en 3D a una velocidad interactiva serán objeto de atención principal en los sistemas gráficos modernos. La demanda de la reproducción de alta calidad de objetos en 3D necesita el diseño de unos algoritmos eficaces para comprimir los objetos y transmitirlos a través de la redes de comunicaciones en campos tales como la industria electrónica, los juegos informáticos, la ciencia, la ingeniería, la medicina. El uso de modelos tradicionales de objetos en 3D durante las últimas décadas para satisfacer simultáneamente todas estas demandas no han conseguido proporcionar el resultado pretendido. Los modelos poligonales presentan dos inconvenientes principales: el gran volumen (por ejemplo, unos modelos realistas exigen decenas de millones de triángulos) y la dificultad de su elaboración. Para resolver estas dificultades, se han recomendado en los últimos años diversos sistemas de gráficos en 3D. Los que presentan una mayor utilidad parecen ser unos procedimientos basados en imágenes de objetos, y en procedimientos basados en puntos en lugar de triángulos en el espacio en 3D.

Los procedimientos basados en la imagen representan el objeto en cuestión como un conjunto de imágenes -“fotos” del objeto -que cubren totalmente la superficie visible, y que están tomadas desde posiciones diferentes de la cámara. Además, cada imagen de este tipo viene acompañada de un mapa correspondiente de la profundidad que es una matriz de las distancias procedentes de los píxeles de la imagen plana con respecto a la superficie del objeto. Una ventaja de dichas representaciones es que las imágenes de referencia pueden proporcionar una alta calidad de la visualización del objeto con independencia de su complejidad del medio poligonal y que pueden ser comprimidas mediante técnicas de compresión de imágenes habituales sin detrimento excesivo de la calidad. Así mismo, el tiempo de reproducción es proporcional al número de píxeles de la referencia y a las imágenes de salida y no a la complejidad del objeto.

Los inconvenientes se deben al hecho de que la obtención de mapas de profundidad del objeto de la vida real (por ejemplo, esculturas) es una operación bastante complicada, así como al hecho del desarrollo insuficiente de las técnicas de manipulación de dichas representaciones.

Los procedimientos basados en puntos representan un objeto como una nube de puntos sin imponer una estructura poligonal local explícita. En este procedimiento, un conjunto de imágenes de profundidad define un conjunto de puntos (con los colores correspondientes) sobre la superficie del objeto, mediante la traslación de cada píxel de cada imagen de referencia mediante el valor correspondiente de la profundidad en la dirección ortogonal con el plano de la imagen. Por tanto, las representaciones basadas en las imágenes constituyen un caso concreto de representaciones basadas en puntos. En las líneas que siguen nos concentraremos en las representaciones basadas en la imagen en cuanto son más próximas a nuestro sistema.

En la literatura, se describen las dos tendencias mencionadas en las referencias [1] a

[13] que describen dichos procedimientos de representación y reproducción como Mapeado de Texturas en Relieve [1], Imágenes de Varias Capas de Profundidad [2], Árbol de Imágenes de Varias Capas de Profundidad [3], Qsplat [4], Surfels [5] y algunos otros que son conocidos en la técnica anterior. En el análisis posterior de los sistemas de la técnica anterior se hará referencia a las siguientes publicaciones:

[1] Manuel M. Oliveira, Gary Bishop, David McAlister, Mapeado de Texturas en Relieve [Relief Textures Mapping], Actas de SIGRAPH '00;

[2] Jonathan Shade, Steven Gortler, Li-wei He, Richard Szeliski, Imágenes de Varis Capas de Profundidad [Layered Depth Images], Actas de SIGGRAPH ‘98;

[3] Chun-Fa Chang, Gary Bishop, Anselmo Lastra, Árbol LDI: Representación Jerárquica de la Reproducción Basada en Imágenes [LDI Tree: A Hierarchical Representation for Image -Bassed Rendering], Actas de SIGGRAPH ‘99;

[4] Szymon Rusinkiewicz, Marc Levoy, QSplat: Sistema de Reproducción de Puntos conMultirresolución para Grandes Mallas [QSplat: A Multiresolution Point Rendering System for Large Meshes], Actas de SIGGRAPH ‘00;

[5] Hanspeter Pfister, Mathias Zwicker, Jeroen van Baar, Markus Gross, Surfels: Elementos de Superficie como Primitivos de Reproducción [Surfels: Surface Elements as Rendering Primitives], Actas de SIGGRAPH ‘00;

[6] Chamberlain et al., Reproducción Rápida de Entornos Complejos Utilizando una Jerarquía Espacial [Fast Rendering of Complex Environments Using a Spatial Hierarchy], Actas de Graphics Interface ‘96;

[7] Grossman y Dally, Reproducción de muestras por puntos [Point sample rendering], Actas de Eurographics Workshops on Rendering Techniques ‘96;

[8] Lischinski y Rappoport, Reproducción Basada en Imágenes para Escenas Sintéticas no Difusas [Image -Based Rendering for Non -Diffuse Synthetic Scenes], Actas de Eurographics Workshops on Rendering Techniques ‘98;

[9] M. Levoy y T. Whitted, El Uso de Puntos como Primitivas de Visuaización [The Use of Points as Display Primitives]; Technical Report:JR 85-022, University of North Carolina at Chapel Hill, Department of Computer Science, 1985;

[10] L. Westover, Evaluación de Huellas para la Reproducción de Volúmenes, [Footprint Evaluation for Volume Rendering], Actas de SIGGRAPH ‘96.

[11] C. I.; Connolly. Generación Cumulativa de Modelos de Árbol de Ocho Octantes a partir de Datos de Rango [Cumulative Generation of Octree Models from Range Data], Actas de Intl. Conf. Robotics, pp. 25-32, Marzo 1984;

[12] G.H., Tarvbox y S.N.Gottschlich, IVIS: Un Sistema de Inspección Volumétrica Integrado [An Integrated Volumetric Inspection System], Actas del 1994 Second CAD -Baseed Vision Workshop, pp. 220-227, Febrero 1994;

[13] Curless, B., Levoy, M., Procedimiento Volumétrico para Construir Modelos Complejos a partir de Imágenes de Rango [A Volumetric Method for Building Complex Models from Range Images], Actas de SIGGRAPH ‘96;

[14] C. Bregler, Técnicas de Animación Basada en Vídeo del Movimiento Humano [Video Based Animation Techniques for Human Motion], SIGGRAPH ‘00 Course 39: Modelado y Reproducción Basadas en Imágenes [Image -based Modeling and Rendering]; y

[15] Paul F. Debevec, Camillo J. Taylor, Jitendra Malik, Arquitectura de Modelación y Reproducción a partir de Fotografías: Una Propuesta basada en Geometría Híbrida basada en la Imagen [Modeling and Rendering Architecture from Photographs: A Hybrid Geometry -and Image -based Approach] Actas de SIGGRAPH96 .

El problema habitual de los procedimientos basados en la imagen es la aparición de agujeros en la imagen resultante. A diferencia de los modelos poligonales, que son “continuos”, en el sentido de que la superficie del objeto está linealmente interpolada en el interior de todos los polígonos (normalmente, triángulos), las representaciones basadas en la imagen y basadas en puntos proporcionan unas aproximaciones “discretas” del objeto. En el caso de las representaciones basadas en la imagen, la superficie del objeto es, de hecho, aproximada con pequeños cuadrados coloreados, esto es, píxeles desplazados de las imágenes de referencia. A la vista, la dirección difiere normalmente de la dirección normal para cada uno de los planos de la imagen de referencia, las proyecciones de los cuadrados aproximativos en general no cubren completamente la proyección de la superficie del objeto. Llamemos a dichos agujeros, agujeros del primer tipo. Otra fuente de agujeros en la imagen resultante de las representaciones basadas en la imagen es el hecho de que algunas partes de la superficie pueden no ser visibles en todas las imágenes de referencia, sino que resultan visibles para algunos puntos de vista (agujeros del segundo tipo). Estos agujeros son debidos a la insuficiente información contenida en una concreta...

1. Un procedimiento de representación y reproducción de un objeto en tres dimensiones, que comprende las etapas de:

la transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia (6, 7); la transformación de los datos de la representación intermedia en una representación de reproducción (8) bajo la forma de un cubo de circunscripción, donde una imagen de varias capas de profundidad es atribuida a cada cara (17) del cubo de circunscripción (8); la reproducción de la representación de la reproducción obtenida (8) mediante la determinación de las caras visibles (17) del cubo de circunscripción teniendo en cuenta la posición (21) del observador, transformando la imagen de varias capas de profundidad para cada una de las caras visibles en una textura, y visualizando las caras visibles con textura;

caracterizado porque la etapa de transformación de la imagen de varias capas de profundidad para cada una de las caras visibles en una textura incluye:

la comprobación para cada punto de la imagen de si el punto cae dentro de la textura resultante que incluye:

la formación respecto de cada cara del cubo de circunscripción visible desde la posición (21) del observador de un par de matrices (Mu y Mv) como una función de u y v, respectivamente, siendo u y v las coordenadas (u, v) sobre la cara, consistiendo el par de matrices en la profundidad de los puntos contenidos dentro del cubo de circunscripción situado sobre los planos que pasan a través de los dos bordes más cercanos de la cara (17) del cubo de circunscripción y la posición (21) del observador; y la determinación de un resultado negativo para los puntos con coordenadas de puntos (u, v) situados sobre la cara y la profundidad d si d > Mu (u) o d > Mv (v); y si el resultado es negativo ignorar el punto correspondiente y pasar al punto de la imagen siguiente, si el resultado es afirmativo, transformando funcionalmente las coordenadas y la profundidad del punto de imagen en coordenadas del punto de la textura resultante.

2. El procedimiento de acuerdo con la reivindicación 1, en el que la valoración acerca de si el punto cae dentro de la textura resultante incluye así mismo ignorar los puntos respecto de los cuales el ángulo (31) existente entre la normal (19) en ese punto y el vector de visualización desde de la posición (21) del observador al punto

(18) sobrepasa los 90º.

3. El procedimiento de acuerdo con las reivindicaciones 1 o 2, en el que dicha transformación de los datos originales del objeto en tres dimensiones en una representación intermedia comprende:

la disposición de un modelo en tres dimensiones (5) dentro del cubo de circunscruipción (8); la proyección ortográfica del modelo (5) sobre todas las caras del cubo de circunscripción (8) para obtener, para cada cara (17) una imagen modelo con una resolución de píxeles predeterminada; el cálculo para cada píxel de las imágenes obtenidas, de un valor de profundidad correspondiente que es una distancia a partir de un punto situado en la superficie del modelo hasta una cara correspondiente (17) del cubo de circunscripción, para obtener una imagen de escala de grises para cada cara

(17) teniendo cada punto de la imagen de escala de grises un brillo correspondiente a la profundidad en este punto; el almacenamiento de los datos de las doce imágenes obtenidas como seis pares de encuadres, consistiendo cada uno de los pares de encuadres en una imagen de color y en una imagen de escalas de gris correspondiente a la cara

(17) del cubo de circunscripción; y la construcción, a partir de los seis pares de encuadres de una imagen de varias capas de profundidad para cada cara del cubo de circunscripción.

4. El procedimiento de acuerdo con la reivindicación 1, en el que dicha transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia (6, 7) comprende la generación de una imagen de varias capas de profundidad y la formación a partir de la imagen de varias capas de profundidad

correspondiente a las imágenes de varias capas de profundidad para cada cara del cubo de circunscripción.

5. El procedimiento de acuerdo con la reivindicación 4, en el que dicha formación de imágenes de varias caras de profundidad para cada cara (17) del cubo de circunscripción (8) comprende el descarte de los puntos de la imagen intermedia, si un ángulo entre la normal (19) en el punto y la normal respecto de la cara del cubo es menor que un valor predeterminado.

6. El procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 4, en el que dicha etapa de transformación de la imagen de varias capas de profundidad para cada cara visible en una textura incluye:

la determinación del tamaño de la textura dependiendo de la posición (21) del observador con respecto a la cara; la división de la cara en cuadrantes mediante los ejes de coordenadas que tienen el origen coincidente con un punto que es la proyección ortogonal de la posición (21) del observador sobre el plano de la cara; la determinación, para cada cuadrante, de una dirección del recorrido de la imagen de varias caras de profundidad mediante unas líneas en la dirección de dicho origen de las coordenadas y mediante la profundidad de los puntos más alejados del plano de la cara con respecto a los puntos más próximos, y el recorrido de la imagen en la dirección transversal; la formación de una salpicadura en el punto de textura con las coordenadas obtenidas.

7. El procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 6, en el que dichos datos de representación intermedia son utilizados para almacenar información del modelo de objeto tridimensional.

8. El procedimiento para la representación y producción de un objeto tridimensional animado, que comprende las etapas de:

la transformación y reproducción de una pluralidad de cuadros que utilizan la representación intermedia y un procedimiento de acuerdo con las reivindicaciones 1 o 2 para cada cuadro para obtener una secuencia de cuadros.

9. El procedimiento de acuerdo con la reivindicación 8, en el que dicha transformación de datos originales de un objeto tridimensional en una representación intermedia comprende:

5 la disposición de un modelo tridimensional (5) dentro del cubo de circunscripción (8); para cada cuadro de animación, la proyección ortográfica del modelo (5) sobre las caras (17) del cubo de circunscripción para obtener, para cada cara imagen modelo con una resolución predeterminada de píxeles; para cada píxel de las imágenes obtenidas, el cálculo de un valor de profundidad correspondiente, el cual es una distancia desde un punto situado en la superficie del modelo a una cara correspondiente (17) del cubo de circunscripción para obtener, para cada cara (17), una imagen de escala de grises, teniendo cada punto de cada imagen de escala de grises un brillo correspondiente a la profundidad de este punto; el almacenamiento de los datos de las imágenes obtenidas como seis de pares de encuadres, consistiendo cada uno de los pares de encuadres en una imagen en color de escala de grises correspondiente a la cara del cubo de circunscripción; y la construcción a partir de los seis de pares de encuadres obtenidos de una imagen de seis de capas de profundidad para cada cara del cubo de circunscripción.

10. El procedimiento de acuerdo con la reivindicación 9, en el que la representaciones intermedias obtenidas bajo la forma de seis flujos de vídeo son comprimidas utilizando un formato de comprensión MPEG4, mientras se almacena la información de color en canales de color, y unos encuadres de profundidad en un canal alfa.