Procedimiento y sistema para proporcionar una representación volumétrica de un objeto tridimensional.

Procedimiento para proporcionar una representación volumétrica de un objeto de tres dimensiones,

en el que una pluralidad de vóxeles se definen en un espacio tridimensional, y en el que los vóxeles se clasifican como de primer plano o de fondo según al menos una imagen de silueta del objeto, estando asignados los vóxeles de primer plano a un primer valor binario, y estando asignados los vóxeles de fondo a un segundo valor binario, comprendiendo el procedimiento asignar a al menos algunos vóxeles un valor intermedio entre dichos valor binarios primero y segundo, en el que el valor intermedio está basado en una estimación del ratio entre el primer plano y el fondo contenidos dentro de dicho vóxel; y caracterizado por el hecho de que dicha estimación se deriva proyectando dicho vóxel sobre dicha imagen de silueta, asignando zonas de dicha proyección como de primer plano o de fondo, y tomando una ratio de zonas.

Procedimiento y sistema para proporcionar una representación volumétrica de un objeto tridimensional

La presente invención se refiere a procedimientos y sistemas para proporcionar representaciones tridimensionales y se describirá a continuación con referencia a esta aplicación. Sin embargo, se apreciará que la invención no se limita a esta aplicación particular.

Son conocidos en la técnica varios procedimientos para proporcionar representaciones volumétricas de objetos tridimensionales. Un ejemplo de un procedimiento para proporcionar representaciones volumétricas de objetos tridimensionales incluye proporcionar una reconstrucción de forma de objetos en tres dimensiones (3D) desde múltiples puntos de vista. El cálculo de la envolvente visual de siluetas de objetos es una técnica popular.

El procedimiento, también llamado de forma a partir de silueta, suministra una descripción 3D del objeto. El enfoque requiere un conjunto de imágenes de la silueta a partir de cámaras calibradas. Una imagen de silueta es una imagen binaria (o en algunos casos, en escala de grises) , donde cada píxel indica si este píxel pertenece al objeto o no. La información de la silueta se puede determinar mediante cualquier proceso de segmentación adecuado. Esto se realiza de forma ventajosa usando chroma-keying (llave de color) o difference-keying tal como se describe en nuestra patente GB-0.220.972, 4 y en nuestras solicitudes anteriores mencionadas en esta.

La reconstrucción de formas en 3D se puede formular como la intersección de conos generalizados de las imágenes de silueta. Un cono generalizado es la unión de los rayos visuales desde todos los puntos de la silueta de una imagen particular. Esta intersección da sólo una aproximación de la forma del objeto real y se llama la envolvente visual. En particular, las concavidades no pueden ser modelizadas con este procedimiento.

Se han publicado varios algoritmos para el cálculo de la envolvente visual, por ejemplo: W. Martin y J. K. Aggarwal, "Volumetric descriptions of objects from multiple views, " IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 5, no. 2, pp. 150-158, Marzo de 1983; M. Potmesil, "Generating octree models of 3D objects from their silhouettes in a sequence of images, " Computer Vision, Graphics and Image Processing, vol. 40, pp. 1-29, 1987; Richard Szeliski, "Rapid octree construction from image sequences, " CVGIP: Image Understanding, vol. 58, no. 1, pp. 23-32, July 1993; y Wolfgang Niem, "Robust and fast modelling de 3d natural objects from multiple views, " in SPIE Proceedings, Image and Video Processing II, San Jose, Febrero de 1994, vol. 2182, pp. 388-397. Estos enfoques tratan de resolver el problema en una representación del espacio volumétrico. La más común de estas representaciones es subdividir una caja 3D de un espacio euclidiana 3D en un conjunto de vóxeles de tamaño discreto. El tamaño de la caja está predeterminado de tal manera que el objeto pueda caber dentro. Con el fin de ahorrar memoria estas pueden ser representadas como "octrees" o se codifican a lo largo de la ejecución.

Para el uso de la reconstrucción en 3D, por ejemplo, en una aplicación gráfica, se debe generar una descripción de la superficie, por lo general una malla poligonal. Un algoritmo utilizado a menudo es el algoritmo de marching cubes, descrito en las patentes. 4, 710, 876, 4, 719, 585, 4, 885, 688 y en http://www.exaflop.org/docs/marchcubes/ind.html, que crea una iso- superficie de un conjunto de datos volumétricos, estando la iso-superficie formada por triángulos contiguos que tienen vértices situados en puntos medios de los bordes de vóxel. Puesto que los procedimientos mencionados de forma a partir de silueta calculan vóxeles binarios, las superficies 3D generadas a partir de aquellos que utilizan el algoritmo marching cube tienen mucho ruido. Este ruido se introduce debido a la discretización espacial de las representaciones volumétricas. Es decir, que los datos reales de la forma real del objeto se pierden durante el procesamiento del algoritmo.

Una mejora sobre la técnica anterior se describe en la Patente Británica del mismo solicitante con Número de publicación 2 399 703, que da a conocer la combinación de datos vóxel con los datos obtenidos mediante la proyección de conjuntos de líneas en representaciones bidimensionales de un objeto de 3 dimensiones. Los datos combinados se utilizan a continuación en el algoritmo de marching cubes de tal manera que la posición de los vértices de los triángulo de la iso-superficie generados se colocan con mayor precisión sobre los respectivos bordes de vóxel. Si bien este procedimiento mejorado es útil, tiende a utilizar en gran medida la potencia de procesamiento disponible.

El artículo de M. Magnor titulado "Spacetimecoherent geometr y reconstruction from multiple video streams" publicado el 6 de septiembre de 2004 se refiere a la modelización de objetos 3D a partir de un conjunto de imágenes 2D tomadas desde diferentes puntos de vista. La intersección entre las siluetas y el espacio 3D, dividida en vóxeles, se realiza con precisión sub-vóxel para obtener un modelo 3D. En este artículo, se le asigna a un vóxel un número de puntos muestreados uniformemente y estos puntos se proyectan sobre cada imagen 2D y se determina el porcentaje de puntos muestreados cuyas proyecciones coinciden con cada imagen 2D.

Otro problema con reconstrucciones volumétricas a partir de imágenes de la silueta es la de los vóxeles redundantes que se producen debido a los errores de aproximación en la representación volumétrica 3D reconstruida cuando se utiliza un pequeño número de cámaras. La reconstrucción es siempre más grande que el objeto real. Este error se agrava en la reconstrucción de representaciones volumétricas de objetos en movimiento.

Cuando un objeto se mueve, los bordes formados por dos vistas de cámara adyacentes se mueven relativamente sobre el objeto, lo que resulta en una reconstrucción que es visiblemente bastante molesta para el espectador. Es un objeto de al menos una de las formas de realización preferidas de la presente invención superar o mejorar al menos una de las desventajas de la técnica anterior.

De acuerdo con un aspecto de la invención, se proporciona un procedimiento para proporcionar una representación volumétrica de un objeto de tres dimensiones según la reivindicación 1.

Un ejemplo que no forma parte de la invención proporciona un procedimiento para proporcionar una representación volumétrica de un objeto de tres dimensiones, en el que un espacio tridimensional está compuesto por una pluralidad de vóxeles, y en el que los vóxeles se clasifican como de primer plano o de fondo según al menos una imagen de silueta del objeto, comprendiendo el procedimiento submuestrear dicha al menos una imagen de silueta y comparar una proyección de al menos un vóxel con dicha imagen submuestreada para clasificar dicho vóxel.

Un ejemplo que no forma parte de la invención proporciona un procedimiento para proporcionar una representación volumétrica de un objeto de tres dimensiones como la intersección de conos generalizados de al menos una imagen de silueta de este objeto, comprendiendo el procedimiento eliminar selectivamente volumen de la representación en función de la geometría de las intersecciones de los conos generalizados.

Según un ejemplo que no forma parte de la invención se proporciona un procedimiento para proporcionar una representación volumétrica de un objeto de tres dimensiones, en el que un espacio tridimensional comprende una pluralidad de vóxeles, y en el que los vóxeles se clasifican como de primer plano o de fondo según al menos una imagen de silueta del objeto, comprendiendo el procedimiento representar el objeto durante un período de tiempo como un modelo 4D que define una hipersuperficie. Se puede aplicar entonces un operador de suavizado a dicha hipersuperficie 4D.

Como se apreciará por la persona experta en la técnica, un vóxel se define generalmente a lo largo de ejes ortogonales, típicamente de un cubo, sin embargo, se apreciará que para diferentes aplicaciones de la invención, los vóxeles utilizados pueden ser de una o más formas diferentes, tales como prisma rectangular, tetraedro, romboidal o de otro poliedro tridimensional que sea capaz de formar parte de una matriz en la que las formas adyacentes comparten bordes adyacentes. Para los propósitos de la descripción, a menos que se defina lo contrario, el término vóxel, por lo tanto, no ha de limitarse a ninguna forma en particular.

A continuación se describirán realizaciones preferidas de la invención, a modo de ejemplos solamente y donde los números... [Seguir leyendo]

1. Procedimiento para proporcionar una representación volumétrica de un objeto de tres dimensiones, en el que una pluralidad de vóxeles se definen en un espacio tridimensional, y en el que los vóxeles se clasifican como de primer plano o de fondo según al menos una imagen de silueta del objeto, estando asignados los vóxeles de primer plano a un primer valor binario, y estando asignados los vóxeles de fondo a un segundo valor binario, comprendiendo el procedimiento asignar a al menos algunos vóxeles un valor intermedio entre dichos valor binarios primero y segundo, en el que el valor intermedio está basado en una estimación del ratio entre el primer plano y el fondo contenidos dentro de dicho vóxel; y caracterizado por el hecho de que dicha estimación se deriva proyectando dicho vóxel sobre dicha imagen de silueta, asignando zonas de dicha proyección como de primer plano o de fondo, y tomando una ratio de zonas.

2. Procedimiento según la reivindicación 1, en el que los vóxeles se definen mediante un algoritmo de división recurrente.

3. Procedimiento según cualquiera de las reivindicaciones anteriores, en el que dichos valores intermedios se

utilizan mediante un algoritmo “marching cubes” para producir una superficie 3D.

4. Sistema para proporcionar una representación volumétrica de un objeto de tres dimensiones adaptado para realizar el procedimiento según cualquiera de las reivindicaciones anteriores.

5. Un programa de ordenador o producto de programa de ordenador para proporcionar una representación volumétrica de un objeto tridimensional que comprende medios para realizar el procedimiento según cualquiera de las reivindicaciones 1 a 3.

Figura 1

Figura 2

Figura 3

Figura 4

Figura 5

Figura 6

Figura

Figura 8

Figura 9 Figura 10

Figura 11