APARATO Y PROCEDIMIENTO PARA REPRESENTAR OBJETOS TRIDIMENSIONALES USANDO IMÁGENES CON PROFUNDIDAD.

Un aparato de representación de objetos tridimensionales (3D) basados en imágenes con profundidad,

que comprende: un generador de información de punto de vista para generar al menos un elemento de información de punto de vista; un generador de profundidad para generar imágenes con profundidad, en base a la información de profundidad correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o para generar una secuencia de informaciones de profundidad sobre las profundidades de todos los puntos proyectados de un objeto proyectado sobre un plano de imagen; un generador de color para generar imágenes en color, en base a la información de color correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o para generar una secuencia de informaciones de color sobre los respectivos puntos proyectados; un generador de nodos para generar nodos de imágenes compuestos por información de punto de vista, una imagen en color y una imagen con profundidad correspondientes a la información de punto de vista, o para generar nodos compuestos por información de planos correspondiente a un plano de imagen, una secuencia de informaciones de profundidad y una secuencia de informaciones de color; un codificador para codificar los nodos generados; estando el aparato de representación de objetos tridimensionales basados en imágenes con profundidad caracterizado por un preprocesador para preprocesar píxeles en el límite entre el objeto y el fondo de la imagen en color, comprendiendo el preprocesador: una parte de expansión para expandir los píxeles en el límite con el fondo, usando el color promedio de los bloques y la decadencia rápida de la intensidad; y una parte de compresión a fin de realizar la compresión basada en bloques, para luego estrujar la distorsión hacia el fondo

Aparato y procedimiento para representar objetos tridimensionales usando imágenes con profundidad La presente invención se refiere a un aparato y procedimiento para representar objetos tridimensionales (3D) basados en imágenes con profundidad y, más específicamente, a un aparato y procedimiento para representar objetos tridimensionales (3D) usando imágenes con profundidad, para gráficos y animación por ordenador, llamadas representaciones basadas en imágenes con profundidad (DIBR) , que han sido adoptadas en la extensión del Entorno de Animación (AFX) del estándar MPEG-4.

Desde el comienzo de las investigaciones sobre los gráficos tridimensionales (3D) , el fin último de los investigadores es sintetizar una escena gráfica realista, como una imagen real. Por lo tanto, se han llevado a cabo investigaciones sobre tecnologías tradicionales de representación, usando modelos poligonales y, como resultado, las tecnologías de modelización y representación se han desarrollado lo suficiente como para proporcionar entornos tridimensionales muy realistas. Sin embargo, el proceso para generar un modelo complicado necesita una gran cantidad de esfuerzos por parte de los expertos, y lleva mucho tiempo. Además, un entorno realista y complicado necesita una enorme cantidad de información y causa que se reduzca la eficacia en el almacenamiento y la transmisión.

Actualmente, los modelos poligonales se usan habitualmente para la representación de objetos tridimensionales en los gráficos por ordenador. Una forma arbitraria puede ser representada esencialmente por conjuntos de polígonos en color, es decir, triángulos. Algoritmos de software sumamente avanzados, y el desarrollo de hardware para gráficos, hacen posible visualizar objetos y escenas complejas como modelos poligonales de imágenes fijas y móviles considerablemente realistas.

Sin embargo, la búsqueda de representaciones tridimensionales alternativas ha sido muy activa durante la última década. Las principales razones para esto incluyen la dificultad de construir modelos poligonales para objetos del mundo real, así como la complejidad de representación y la calidad insatisfactoria para producir una escena fotográfica verdaderamente realista.

Las aplicaciones exigentes requieren enormes cantidades de polígonos; por ejemplo, el modelo detallado de un cuerpo humano contiene varios millones de triángulos, que no son fáciles de manipular. Aunque el progreso reciente en las técnicas de búsqueda de distancias, tales como el escáner de distancias por láser, nos permite adquirir datos densos de distancias con error tolerable, aún es muy caro y también muy difícil obtener un modelo poligonal completo sin fisuras del objeto entero. Por otra parte, los algoritmos de representación para obtener calidad fotográfica realista son complejos en términos de cálculo y, por tanto, están lejos de la representación en tiempo real.

Un modelo de representación basado en imágenes, que realiza distorsión a partir de una representación intermedia llamada una Imagen de Profundidad en Capas (LDI) ha sido propuesto por Shade J. et al en el documento “Imágenes de Profundidad en Capas” (Anales de la Conferencia SIGRAPH 98, Orlando, Florida, 19 al 24 de julio, 1998. SIGRAPH, Nueva York, NY, 19 de julio de 1998, páginas 231 a 242. ISBN: 0-89791-999-8) .

Una propuesta para la Representación basada en Imágenes en la extensión del Entorno de Animación (AFX) del estándar MPEG-4 se describe en el documento “ORGANIZACIÓN INTERNACIONAL PARA LA ESTANDARIZACIÓN: “Propuesta para la Representación basada en Imágenes en la AFX”, M7447, Autores: M. Han et al, julio de 2001, Sydney, páginas 1 a 10, XP 0011520 43.

Según un aspecto de la invención, se proporciona un aparato de representación de objetos tridimensionales (3D) basados en imágenes con profundidad, que comprende: un generador de información de punto de vista, para generar al menos un fragmento de información de punto de vista; un generador de profundidad para generar imágenes con profundidad, en base a la información de profundidad correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o para generar una secuencia de informaciones de profundidad sobre las profundidades de todos los puntos proyectados de un objeto proyectado sobre un plano de imagen; un generador de color para generar imágenes en color en base a la información de color correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o para generar una secuencia de informaciones de color en los respectivos puntos proyectados; un generador de nodos para generar nodos de imágenes compuestos de información de punto de vista, una imagen en color y una imagen de profundidad correspondiente a la información de punto de vista, o para generar nodos compuestos de información de plano correspondiente a un plano de imagen, una secuencia de informaciones de profundidad y una secuencia de informaciones de color; un codificador para codificar los nodos generados; y un preprocesador para preprocesar píxeles en el límite entre el objeto y el fondo de la imagen en color, comprendiendo el preprocesador: una parte de expansión para expandir píxeles en el límite con el fondo, usando el color medio de los bloques y una decadencia rápida de la intensidad; y una parte de compresión para realizar la compresión basada en bloques, para estrujar luego la distorsión hacia el fondo.

Según otro aspecto más de la invención, se proporciona un procedimiento de representación de objetos tridimensionales (3D) basado en imágenes con profundidad, que comprende: generar al menos un fragmento de información de punto de vista; generar bien imágenes con profundidad en base a la información de profundidad correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o bien generar una secuencia de informaciones de profundidad sobre las profundidades de todos los puntos proyectados de un objeto proyectado sobre un plano de imagen; bien generar imágenes en color en base a la información de color correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o bien generar una secuencia de informaciones de color en los respectivos puntos proyectados; bien generar nodos de imágenes compuestos de información de punto de vista, una imagen en color y una imagen con profundidad, correspondiente a la información de punto de vista, o bien generar un nodo compuesto de información de plano correspondiente a un plano de imagen, la secuencia de informaciones de profundidad y la secuencia de informaciones de color; y codificar los nodos generados, en donde la etapa de generar información de color comprende: expandir los píxeles en el límite con el fondo, usando el color medio de los bloques y la decadencia rápida de la intensidad; y realizar la compresión basada en bloques para estrujar luego la distorsión hacia el fondo.

Según otro aspecto más de la invención, se proporciona un programa de ordenador que comprende medios de código de programa de ordenador para llevar a cabo todas las etapas de cualquiera de las reivindicaciones 7 a 15 cuando dicho programa se ejecuta en un ordenador.

Los objetos y ventajas anteriores de la presente invención devendrán más evidentes al describir en detalle las realizaciones preferidas de la misma, con referencia a los dibujos adjuntos, en los cuales:

la FIG. 1 es un diagrama de ejemplos de IBR integrados en software actual de referencia;

la FIG. 2 es un diagrama de una estructura de octárbol y del orden de los hijos;

la FIG. 3 es un gráfico que muestra la razón de compresión del Octárbol;

la FIG. 4 es un diagrama de ejemplos de una Imagen de Profundidad en Capas (LDI) : (a) muestra la proyección del objeto, donde las células oscuras (voxels) corresponden a los 1, y las células blancas a los 0, y (b) muestra una sección bidimensional en (x, profundidad) ;

la FIG. 5 es un diagrama que muestra el componente de color del modelo del “Ángel”, después de recomponer sus datos de color;

la FIG. 6 es un diagrama que muestra la invariancia ortogonal de la probabilidad de ocurrencia de los nodos; (a) muestra los nodos actual y padre originales, y (b) muestra los nodos actual y padre, girados alrededor del eje y en 90 grados;

las FIGs. 7, 8 y 9 son figuras de compresión geométrica para el procedimiento... [Seguir leyendo]

1. Un aparato de representación de objetos tridimensionales (3D) basados en imágenes con profundidad, que comprende:

un generador de información de punto de vista para generar al menos un elemento de información de punto de vista;

un generador de profundidad para generar imágenes con profundidad, en base a la información de profundidad correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o para generar una secuencia de informaciones de profundidad sobre las profundidades de todos los puntos proyectados de un objeto proyectado sobre un plano de imagen;

un generador de color para generar imágenes en color, en base a la información de color correspondiente a la información de punto de vista en los respectivos puntos de píxeles que constituyen un objeto, o para generar una secuencia de informaciones de color sobre los respectivos puntos proyectados;

un generador de nodos para generar nodos de imágenes compuestos por información de punto de vista, una imagen en color y una imagen con profundidad correspondientes a la información de punto de vista, o para generar nodos compuestos por información de planos correspondiente a un plano de imagen, una secuencia de informaciones de profundidad y una secuencia de informaciones de color;

un codificador para codificar los nodos generados;

estando el aparato de representación de objetos tridimensionales basados en imágenes con profundidad caracterizado por un preprocesador para preprocesar píxeles en el límite entre el objeto y el fondo de la imagen en color, comprendiendo el preprocesador:

una parte de expansión para expandir los píxeles en el límite con el fondo, usando el color promedio de los bloques y la decadencia rápida de la intensidad; y una parte de compresión a fin de realizar la compresión basada en bloques, para luego estrujar la distorsión hacia el fondo.

2. El aparato según la reivindicación 1, en el cual:

el generador de profundidad está dispuesto para generar imágenes con profundidad en base a la información de profundidad correspondiente a la información de punto de vista sobre los respectivos puntos de píxeles que constituyen un objeto;

el generador de color está dispuesto para generar imágenes en color en base a la información de color correspondiente a la información de punto de vista sobre los respectivos puntos de píxeles que constituyen un objeto; y el generador de nodos está dispuesto para generar nodos de imágenes compuestos por información de punto de vista, una imagen en color y una imagen con profundidad correspondientes a la información de punto de vista.

3. El aparato según la reivindicación 1 o 2, en el cual la información de punto de vista incluye una pluralidad de campos que definen un plano de imagen para un objeto, los campos que constituyen la información de punto de vista incluyen un campo de posición en el cual se registra una posición desde la cual se visualiza un plano de imagen, un campo de orientación en el cual se registra una orientación desde la cual se visualiza un plano de imagen, un campo de visibilidad en el cual se registra un área de visibilidad desde el punto de vista hasta el plano de imagen, un campo de procedimiento de proyección, en el cual se registra un procedimiento de proyección desde el punto de vista hasta el plano de imagen, y un primer campo de distancia, en el cual se registra una distancia desde un punto de vista hasta un plano limítrofe más cercano, y un segundo campo de distancia, en el cual se registra una distancia desde el punto de vista hasta un plano limítrofe más lejano, y una gama para la información de profundidad está definida por los campos de distancia.

4. El aparato según la reivindicación 1 o 3, en el cual:

el generador de profundidad está dispuesto para generar una secuencia de informaciones de profundidad sobre las profundidades de todos los puntos proyectados de un objeto proyectado sobre un plano de imagen;

el generador de color está dispuesto para generar una secuencia de informaciones de color sobre los respectivos puntos proyectados; y el generador de nodos está dispuesto para generar nodos compuestos por información de plano correspondiente a un plano de imagen, una secuencia de informaciones de profundidad y una secuencia de informaciones de color, y el aparato comprende adicionalmente un generador de información de planos para generar información de plano que define el ancho, altura y profundidad de un plano de imagen correspondiente a la información de punto de vista.

5. El aparato según la reivindicación 4, en el cual la información de plano está compuesta por una pluralidad de campos, y los campos que constituyen la información de plano incluyen un primer campo en el cual se registra el ancho del plano de imagen, un segundo campo en el cual se registra la altura del plano de imagen y un campo de ResoluciónDeProfundidad en el cual se registra la resolución de la información de profundidad.

6. El aparato según la reivindicación 4 o 5, en el cual la secuencia de informaciones de profundidad, el número de puntos proyectados y los valores de profundidad de los respectivos puntos proyectados se registran secuencialmente, y en la secuencia de informaciones de color se registran secuencialmente los valores de color correspondientes a los valores de profundidad de los respectivos puntos proyectados.

7. Un procedimiento de representación de objetos tridimensionales (3D) basados en imágenes con profundidad, que comprende:

generar al menos un elemento de información de punto de vista;

o bien generar imágenes con profundidad en base a la información de profundidad correspondiente a la información de punto de vista sobre los respectivos puntos de píxeles que constituyen un objeto, o bien generar una secuencia de informaciones de profundidad sobre las profundidades de todos los puntos proyectados de un objeto proyectado sobre un plano de imagen;

o bien generar imágenes en color en base a la información de color correspondiente a la información de punto de vista sobre los respectivos puntos de píxeles que constituyen un objeto, o bien generar una secuencia de informaciones de color sobre los respectivos puntos proyectados;

o bien generar nodos de imágenes, compuestos de información de punto de vista, una imagen en color y una imagen con profundidad, correspondientes a la información de punto de vista, o bien generar un nodo compuesto de información de plano correspondiente a un plano de imagen, la secuencia de informaciones de profundidad y la secuencia de informaciones de color; y

codificar los nodos generados, estando el procedimiento de representación de objetos tridimensionales basados en imágenes con profundidad caracterizado porque la etapa de generar información de color comprende:

expandir los píxeles en el límite hacia el fondo, usando el color promedio de los bloques y la decadencia rápida de la intensidad; y realizar la compresión basada en bloques para estrujar luego la distorsión hacia el fondo.

8. El procedimiento según la reivindicación 7, en el cual la información de punto de vista incluye una pluralidad de campos que definen un plano de imagen para un objeto, los campos que constituyen la información de punto de vista incluyen un campo de posición en el cual se registra una posición desde la cual se visualiza un plano de imagen, un campo de orientación en el cual se registra una orientación desde la cual se visualiza un plano de imagen, un campo de visibilidad en el cual se registra un área de visibilidad desde el punto de vista hasta el plano de imagen, un campo de procedimiento de proyección en el cual se registra un procedimiento de proyección desde el punto de vista hasta el plano de imagen, y un primer campo de distancia en el cual se registra una distancia desde un punto de vista hasta un plano limítrofe más cercano, y un segundo campo de distancia en el cual se registra una distancia desde el punto de vista hasta un plano limítrofe más lejano, y una gama para la información de profundidad está definida por los campos de distancia.

9. El procedimiento según la reivindicación 8, en el cual la posición es una ubicación relativa al origen del sistema de coordenadas donde existe el plano de imagen.

10. El procedimiento según la reivindicación 8 o 9, en el cual la orientación es una magnitud de rotación con respecto a la orientación por omisión.

11. El procedimiento según la reivindicación 8, 9 o 10, en el cual, cuando se selecciona un procedimiento de

proyección ortográfica, el ancho y la altura del área de visibilidad corresponden al ancho y la altura de un plano de imagen, respectivamente, y cuando se selecciona un procedimiento de proyección en perspectiva, los ángulos horizontal y vertical del área de visibilidad corresponden a ángulos formados con los lados horizontal y vertical por las vistas que varían desde un punto de vista hasta el plano de imagen.

12. El procedimiento según cualquiera de las reivindicaciones 7 a 11, en el cual, en el caso de un formato de vídeo para generar objetos animados, la información de profundidad y la información de color son secuencias múltiples de tramas de imagen.

13. Un procedimiento según la reivindicación 7 u 8, que comprende adicionalmente generar información de plano que define el ancho, la altura y la profundidad de un plano de imagen correspondiente a la información de punto de vista.

14. El procedimiento según la reivindicación 13, en el cual la información de plano está compuesta por una pluralidad de campos, y los campos que constituyen la información de plano incluyen un primer campo en el cual se registra el ancho del plano de imagen, un segundo campo en el cual se registra la altura del plano de imagen y un campo de ResoluciónDeProfundidad en el cual se registra la resolución de la información de profundidad.

15. El procedimiento según la reivindicación 13 o 14, en el cual la secuencia de informaciones de profundidad, el número de puntos proyectados y los valores de profundidad de los respectivos puntos proyectados se registran secuencialmente, y en la secuencia de informaciones de color se registran secuencialmente los valores de color correspondientes a los valores de profundidad de los respectivos puntos proyectados.

16. Un programa de ordenador que comprende medios de código de programa de ordenador para llevar a cabo todas las etapas de cualquiera de las reivindicaciones 7 a 15, cuando dicho programa se ejecuta en un ordenador.

17. Un programa de ordenador según la reivindicación 18, realizado en un medio legible por ordenador.