Dispositivo destinado a calcular un modelo tridimensional de un objeto (101,

201) que comprende:

- Un instrumento de bolsillo portátil que comprende múltiples fuentes de energía direccionales (106-109) dispuestas de manera que iluminen direccionalmente el objeto, y un ensamblaje de detección de captación de imagen (104) que presenta al menos dos puntos de vista separados en el espacio (111, 112) en posiciones mutuamente fijas, estando el ensamblaje de detección de captación de imagen dispuesto de forma que registre una serie de imágenes del objeto en cada punto de vista cuando el objeto está iluminado por cada una de las fuentes.

- Al menos un modelo de localización (102, 103, 202:401) que presenta características geométricas predeterminadas (402-408), estando dispuesto el modelo de localización de forma que, cuando esté en uso, sea visible al menos para uno de los puntos de vista simultáneamente con el objeto.

- Un procesador (110) colocado de forma que analice las imágenes registradas en los puntos de vista, de manera que:

- Determine la orientación y la localización de cada punto de vista relativa al modelo para cada imagen de la serie de imágenes.

- Genere datos fotométricos para el objeto utilizando la orientación y la localización calculadas de los puntos de vista y la dirección de iluminación desde cada fuente de energía.

- Genere datos geométricos y que comprenda un modelo tridimensional de armazón del objeto llevando a cabo una reconstrucción 25 estereoscópica mediante triangulación óptica, con el fin de proporcionar la forma bruta del objeto.

- Combine los datos geométricos y los datos fotométricos utilizando los estos últimos datos fotométricos para proporcionar los detalles geométricos de alta frecuencia sobre la forma bruta, con el fin de construir el modelo tridimensional.

Sistema de captación de imagen 3D

La presente invención hace referencia a un dispositivo y a un método para la

captación de imágenes tridimensionales (3D) y, en particular, a la captación de imágenes 3D y la medición de la superficie de objetos. [0002] La captación de imágenes 3D es la adquisición en formato digital de la

geometría (forma física) de una zona de la superficie de un objeto real. En algunos casos, también se pueden obtener las propiedades de reflectancia material del objeto. Se puede considerar una zona de la superficie de un objeto como una subzona de la superficie física del mismo. El sistema se puede extender hasta incluir la captación de imágenes de zonas de superficie extensas, lo que significa que el sistema es capaz de obtener una zona más amplia que la obtenida mediante el dispositivo de captación de imágenes desde una única posición de visualización (por ejemplo, la zona de superficie en más de un lado de un objeto 3D) . El sistema puede capturar parcial o íntegramente la forma de la superficie y las características materiales de un objeto o escena, así como las propiedades métricas de la forma. Entre los ejemplos de propiedades de reflectancia del material se incluyen el color difuso de la superficie y una medición de la cantidad de reflexión especular exhibida por el material, tanto como valor absoluto, como componente espectral.

Las aplicaciones para la captación de imágenes 3D se pueden encontrar en una amplia variedad de áreas, como el diagnóstico por imagen del cuerpo humano para fines médicos, la recogida de datos para su traducción en la producción de videojuegos y películas, la captación de modelos arquitectónicos, ingeniería inversa para diseño asistido por ordenador (CAD) , y la recogida de datos con fines archivísticos, como la arqueología. Se conocen diversos sistemas para la adquisición en 3D de la forma de un objeto, pero los típicos sistemas existentes exhiben una o más de las siguientes limitaciones en este aspecto:

• Tan sólo adquieren geometría y no reflexión material.

• No son portátiles, por lo que no permiten la toma in situ.

• No alcanzan una resolución (muestras por unidad de área) adecuada para obtener una reproducción convincente o un análisis detallado.

• No capturan un área lo suficientemente amplia del sujeto (que puede ser, por ejemplo, un muro o suelo entero, o un objeto con auto-oclusión que no puede

conseguirse desde una única posición de visualización como, por ejemplo, una parte del cuerpo humano) .

• No ofrecen una forma adecuada de “coser”, que es la combinación de múltiples secciones pequeñas de la información capturada en una sección más amplia y continua de forma automatizada.

• El sistema emplea hardware complejo y/o prohibitivamente costoso como, por ejemplo, brazos robóticos automatizados, componentes manufacturados de precisión, etc.

• El sistema necesita una calibración compleja y requiere mucho tiempo.

• La calibración del dispositivo de captación de imágenes y de cualquier otra geometría del sistema debe llevarse a cabo como procedimientos separados, lo que resulta en una multitud de errores de calibración del sistema.

• Los principales parámetros físicos del sistema no tienen relación con un estándar de medición.

• Las mediciones resultantes no concuerdan con un estándar metrológico.

• El sistema requiere técnicas estereoscópicas “activas” basadas en, por ejemplo, bandas láser proyectadas que hacen que resulte inadecuado para, por ejemplo, su uso médico debido a cuestiones relativas a la seguridad o aceptabilidad del sistema.

La presente invención tiene como objetivo solucionar, al menos parcialmente,

los inconvenientes citados con anterioridad. [0005] Mostafa et al en “Integrating Stereo and Shape from Shading" IMAGE PROCESSING, 1999. ICIP 99. Actas. 1999 Conferencia Internacional en Kobe, Japón 24-28 OCT. 1999, Piscataway, NJ, E.E.U.U., IEEE, US, vol. 3, 24 de octubre de 1999, páginas 130-134, describe la integración de información geométrica escasa con información adquirida usando la técnica de forma-por-sombreado que puede recuperar una superficie 3D de un objeto a partir de una imagen obtenida usando una única fuente de luz.

Según una primera forma de realización de la invención, se revela un instrumento de bolsillo portátil para calcular un modelo tridimensional de un objeto. El aparato comprende un instrumento de bolsillo portátil que incluye múltiples fuentes de energía direccionales dispuestas de modo que iluminen direccionalmente el objeto. El instrumento también incluye un ensamblaje de captación de imágenes que tiene al menos dos puntos de vista separados en el espacio en posiciones mutuamente fijas, y

dispuestos de modo que registren una serie de imágenes de un objeto en cada punto de vista cuando cada fuente ilumina el objeto. Al menos un modelo de localización que tenga unas características geométricas predeterminadas es visible para al menos uno de los puntos de vista simultáneamente con el objeto. Se coloca un procesador para 5 analizar las imágenes registradas en los puntos de vista, y así determinar la orientación y la localización de cada punto de vista en relación al modelo para cada imagen en la serie de imágenes, y generar información fotométrica para el objeto usando la orientación y la localización de los puntos de vista calculadas, junto con la información de la imagen y la dirección de la iluminación a partir de la fuente de 10 energía. El procesador se coloca, además, de forma que genere información geométrica y que comprenda un modelo tridimensional de armazón del objeto llevado a cabo mediante la reconstrucción estereoscópica usando triangulación óptica para obtener la forma bruta del objeto, y combinar la información geométrica y fotométrica usando la información fotométrica para ofrecer un detalle geométrico de alta

frecuencia sobre la forma bruta y, así, construir el modelo tridimensional. [0007] De este modo, el aparato es capaz de ofrecer al menos dos puntos de vista separados del objeto. En el caso de dos puntos de vista, a menudo se habla de “par estéreo”, aunque se apreciará que se pueden usar más de dos puntos de vista, y esto puede que incremente la precisión y/o el alcance visible del aparato. Las palabras

“estéreo” y “estereoscópico” tal y como se emplean aquí pretenden abarcar el procesamiento de imágenes desde dos, tres o más puntos de vista, y no restringir la presente revelación a únicamente puntos de vista pares. [0008] Las fuentes de energía direccionales pueden ser, por ejemplo, un flash fotográfico estándar, un conjunto de diodos LED de alto brillo, o una lámpara de flash

de xenón o un “flash de anillo”, aunque se apreciará que la energía no necesita estar en el espectro de luz visible. Las fuentes pueden comprender cualquier método que genere energía direccional, como radiación electromagnética, en adelante “luz”, entendiéndose que esto no se limita a la radiación en el espectro visible. Un filtro óptico apropiado, como los filtros polarizantes, por ejemplo, pueden incluirse

preferentemente con las fuentes y/o conjunto de captación de imagen para reducir la visibilidad de reflejos directos de la (s) fuente (s) direccional (es) en los puntos de vista. Cuando se aplica energía direccional de luz visible, se pueden incluir sensores en los puntos de vista incluyendo, por ejemplo, dos o más cámaras digitales estándar, o cámaras de vídeo, o sensores y lentes CMOS fijados adecuadamente. En el caso de

otros tipos de energía direccionales, se adoptan sensores apropiados para la energía

direccional empleada. Se puede disponer un sensor discreto en cada punto de vista, u

otra alternativa sería situar un único sensor detrás de una lente partida. [0009] Según una forma de realización de la invención, la dirección de la iluminación puede conocerse en relación a los puntos de vista. Esto se puede lograr, por ejemplo,

si las múltiples fuentes de energía están fijas en relación a los puntos de vista. [0010]... [Seguir leyendo]

1. Dispositivo destinado a calcular un modelo tridimensional de un objeto (101, 201) que comprende: − Un instrumento de bolsillo portátil que comprende múltiples fuentes de energía

direccionales (106-109) dispuestas de manera que iluminen direccionalmente el objeto, y un ensamblaje de detección de captación de imagen (104) que presenta al menos dos puntos de vista separados en el espacio (111, 112) en posiciones mutuamente fijas, estando el ensamblaje de detección de captación de imagen dispuesto de forma que registre una serie de imágenes del objeto

en cada punto de vista cuando el objeto está iluminado por cada una de las fuentes. − Al menos un modelo de localización (102, 103, 202:401) que presenta características geométricas predeterminadas (402-408) , estando dispuesto el modelo de localización de forma que, cuando esté en uso, sea visible al menos

para uno de los puntos de vista simultáneamente con el objeto. − Un procesador (110) colocado de forma que analice las imágenes registradas en los puntos de vista, de manera que: − Determine la orientación y la localización de cada punto de vista relativa al modelo para cada imagen de la serie de imágenes.

− Genere datos fotométricos para el objeto utilizando la orientación y la localización calculadas de los puntos de vista y la dirección de iluminación desde cada fuente de energía.

− Genere datos geométricos y que comprenda un modelo tridimensional de armazón del objeto llevando a cabo una reconstrucción 25 estereoscópica mediante triangulación óptica, con el fin de proporcionar

la forma bruta del objeto.

− Combine los datos geométricos y los datos fotométricos utilizando los estos últimos datos fotométricos para proporcionar los detalles geométricos de alta frecuencia sobre la forma bruta, con el fin de

construir el modelo tridimensional.

2. Un dispositivo según la reivindicación 1 en el que las múltiples fuentes de energía (106-108) se sitúan en unas posiciones fijas relativas a los puntos de vista (111, 112) , de forma que la dirección de iluminación de cada una de las fuentes en

relación a los puntos de vista sea conocida.

3. Un dispositivo según la reivindicación 1, en el que:

− El modelo de localización (102, 103) se dispone de forma que, cuando esté en uso, sea iluminado por las fuentes (106-109) cuando sea visible por al menos uno de los puntos de vista (111, 112) simultáneamente con el objeto (101, 201) ;

− El procesador (110) esté dispuesto de forma que calcule la dirección de iluminación de las partes de cada imagen que integran el modelo; y − Opcionalmente, las fuentes se pueden mover en relación a los puntos de vista entre las imágenes de la serie de imágenes.

4. Un dispositivo según la reivindicación 3, en el que el modelo (401) incluye una función de localización de fuente tridimensional (404) , que comprende opcionalmente una pirámide o un cono de dimensiones conocidas, y en el que el procesador (110) está dispuesto de forma que determine la orientación de la fuente en relación al modelo a partir de las partes de las imágenes que incorporan

la función de localización de fuente.

5. Un dispositivo según cualquiera de las reivindicaciones precedentes, que comprende una pluralidad de modelos de localización (702, 703, 704) , estando el dispositivo dispuesto de forma que:

− Los puntos de vista (111, 112) y las fuentes (106-109) estén localizables en un primer emplazamiento en el que al menos dos de los primeros modelos sean visibles al nivel de al menos uno de los puntos de vista simultáneamente con una primera parte del objeto; y − Los puntos de vista y las fuentes se puedan desplazar hacia un segundo

emplazamiento en el que al menos uno de los dos primeros modelos mencionados sea aún visible para al menos uno de los puntos de vista simultáneamente con al menos otro modelo y una segunda parte del objeto en superposición con la primera parte; − En el que los puntos de vista estén dispuestos de forma que registren

imágenes que provienen del primer y del segundo emplazamiento, y en el que el procesador esté dispuesto de forma que combine los datos que provienen de las imágenes, con el fin de generar un modelo que cubra la primera y segunda parte del objeto.

6. Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que un sensor óptico se sitúa en cada punto de vista.

7. Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que el dispositivo incluye un filtro óptico para reducir la visibilidad de los reflejos directos de la fuente en las imágenes.

8. Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que el modelo o cada modelo (702-704) incluye una función de identificación única que permite que el modelo o cada modelo sea distinguido de los otros modelos. Además, la función de identificación única comprende opcionalmente un código de

barras que puede ser descodificado por el procesador, una etiqueta de RAID, o un chip EEPROM.

9. Un dispositivo según cualquiera de las reivindicaciones precedentes, en el que el

objeto (101, 201) comprende al menos una parte de un artículo tridimensional, y/o 15 una superficie o una parte de la superficie.

10. Un método destinado a calcular un modelo tridimensional de un objeto (101, 201) que comprende: − La iluminación direccional del objeto con la ayuda de múltiples fuentes de 20 energía direccionales (106-109) alojadas en un instrumento de bolsillo portátil;

− El registro de una serie de imágenes del objeto iluminado por cada una de las fuentes en cada uno o en al menos uno de los puntos de vista separados en el espacio (111, 112) en emplazamientos mutuamente fijos, y alojados en el instrumento. Las imágenes de al menos uno de los puntos de vista incluye,

además, al menos un modelo de localización (102, 103, 202) que presenta unas características geométricas predeterminadas; − A partir de las imágenes registradas, la determinación de la orientación y la localización de cada punto de vista relativa al modelo; − A partir de las imágenes registradas, la generación de datos fotométricos para 30 el objeto usando la orientación y la localización calculadas de los puntos de vista y la dirección de iluminación de cada fuente de energía;

− La generación de datos geométricos que comprenden un modelo tridimensional de armazón del objeto llevando a cabo una reconstrucción estereoscópica mediante triangulación óptica, con el fin de proporcionar la forma bruta del

objeto; y

− La combinación de los datos geométricos y fotométricos utilizando los datos fotométricos para proporcionar los detalles geométricos de alta frecuencia sobre la forma bruta, con el fin de construir el modelo tridimensional.

11. Un método según la reivindicación 10, en el que el modelo (401) incluye una función de localización de fuente tridimensional (404) . Además, el método comprende la determinación de la orientación de las fuentes (106-109) en relación al modelo a partir de las partes de las imágenes que integran la función de localización de la fuente.

12. Un método según la reivindicación 10 u 11, que comprende, además, las etapas aquí descritas que consisten en: − Localizar los puntos de vista (111, 112) y las fuentes (106-109) en un primer emplazamiento en el que al menos dos primeros modelos (702, 703, 704) son 15 visibles en al menos uno de los puntos de vista simultáneamente con una primera parte del objeto;

− Registrar una primera imagen en cada punto de vista a partir del primer emplazamiento, y cada primera imagen incluye la primera parte del objeto y al menos los dos primeros modelos;

− Desplazar los puntos de vista y las fuentes hacia un segundo emplazamiento en el que al menos uno de los ya mencionados dos primeros modelos es aún visible a nivel de al menos uno de los puntos de vista simultáneamente con al menos otro modelo y una segunda parte del objeto en superposición con la primera parte;

− Registrar una segunda imagen en cada punto de vista a partir del segundo emplazamiento; y − Combinar los datos de la primera y segunda imagen con el fin de generar un modelo que cubre la primera y segunda porción del objeto.

13. Un método según cualquiera de las reivindicaciones 10 a 12, en el que el o cada modelo (702-704) incluye una función de identificación única que permite al o a cada modelo ser distinguido de otros modelos y, opcionalmente:

− El código de identificación único comprende un código de barras (406) , y además el método comprende la etapa consistente en identificar el código de 35 barras en la imagen, y la etapa consistente en descodificar el código de barras

con el fin de identificar el modelo; o

− La función de identificación única incluye una etiqueta RFID, y el método comprende, además, otra etapa consistente en utilizar un lector RF, con el fin de identificar el modelo; o

− La función de identificación única incluye un chip EEPROM, y el método 5 comprende la etapa consistente en utilizar un lector, con el fin de identificar el modelo.

14. Un método según cualquiera de las reivindicaciones 10 a 13, en el que el objeto (101, 201) comprende al menos una parte de un artículo tridimensional.

15. Un método según cualquiera de las reivindicaciones 10 a 14, en el que el objeto (101, 201) comprende una superficie o una parte de una superficie.

Dibujos

Figura 1

Figura 2 Figura 3

Figura 4 Figura 5

Figura 6 Figura 7

Figura 8

Figura 9

Referencias citadas en la descripción

La lista de referencias citadas por el solicitante se incluye únicamente para la comodidad del lector, no formando parte del documento de la patente europea. A pesar del sumo cuidado durante la recopilación de las referencias, no se pueden excluir errores u omisiones, declinando la OEP toda responsabilidad a este respecto.

Documentos de patentes citados en la descripción:

• US 6686921 B [0065] • WO 2007129047 A [0067]

Referencias bibliográficas citadas en la descripción que no se corresponden con patentes:

23. 240 [0056] • de 1999, vol. 3.

13. 134 [0005] R, I. HARTLEY; A. ZISSERMAN. • S. SMITH. Digital Signal Processing: A Practical Guide for Engineers and Multiple View Geometr y in Computer Scientists. 2002 [0058] Vision. Cambridge University Press, • J. C. CARR; R. K. BEATSON; J.B. 2000 [0033] [0051] CHERRIE; T. J. MITCHELL; W. R. • J-Y BOUGUET. Camera Calibration FRIGHT; B. C. MCCALLUM; T. R. Toolbox for Matlab, EVANS. Reconstruction and • http://www.vision.caltech.edu/bougueti /cal- ib doc/index.html [0034] KOLMOGOROV; ZABIH. Representation of 3D Objects with Radial Basis Functions. Actas de ACM SIGGRAPH, 2001.

6. 76 [0064] MultiCamera Scene Reconstruction via Graph Cuts en Actas, 2003 [0051]