Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales,

caracterizados por una matriz de microlentes que forma imagen sobre una superficie detectora de suficiente resolución que es colocada en una posición del espacio imagen de una lente convergente, y por un procesador de cómputo paralelo para realizar el tratamiento de la imagen calculando el "focal stack" asociado al volumen objeto medido por la cámara, y sobre éste, la amplitud compleja del campo electromagnético (módulo y fase) y la distancia en cualquier posición del espacio objeto medido.

Siguiendo este procedimiento, y con las técnicas aquí propuestas, es posible recuperar tanto profundidades como módulos y fases de la amplitud compleja del frente de onda en cada posición de las superficies de la escena, lo que permite escanear tridimensionalmente al completo y en tiempo real la escena.

Método y cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.

Objeto de la invención

El sistema aquí propuesto consiste en una cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales en un amplio rango de volúmenes, caracterizada por la utilización de una lente objetivo y una matriz de microlentes situada en el espacio imagen de la lente objetivo, un sensor colocado en la focal de las microlentes (que recoge la imagen formada por éstas), por el hardware de cómputo masivamente paralelo (GPU, FPGA o ambos) mediante el que se calcula el "focal stack" (conjunto de imágenes fotográficas bidimensionales diferentemente enfocadas) asociado al volumen objeto medido por la cámara, y sobre éste, se calcula la amplitud compleja del campo electromagnético (módulo y fase) y la posición tridimensional de las superficies irradiantes en cualquier punto del espacio objeto medido.

Esta invención puede ser útil en cualquier área o aplicación en que se requiera conocer el frente de onda: observación astronómica terrestre, oftalmología, holografía, etc., así como en las que se precise metrología: escenas reales, 3D televisión, pulido de CCDs, mecánica de automóvil, etc.

Sector de la técnica

Óptica. Procesamiento de imágenes.

Antecedentes de la invención

La presente invención está relacionada tanto con la necesidad de lograr una medida tridimensional de la amplitud compleja del frente de onda asociado a todo problema óptico en que la calidad de imagen sea fundamental (p. ej. para diagnosticar), así como con la necesidad de obtener un mapa de profundidades suficientemente fiable y preciso en un amplio rango de volúmenes, desde pocas micras hasta varios kilómetros, y también con la generación en tiempo real de información tridimensional para televisión 3D, cine 3D, medicina, etc.

Estado de la técnica

La Óptica Adaptativa, para los presentes telescopios de gran diámetro (GRANTECAN, Keck, ...) y futuros telescopios gigantes (50 ó 100 metros de diámetro), ha tomado el rumbo de medir la distribución tridimensional de la fase atmosférica utilizando una forma de tomografía llamada óptica multiconjugada. La ausencia en el cielo de suficiente número de fuentes puntuales naturales, tal que haya siempre alguna presente dentro del campo de visión del objeto observado por el telescopio, obliga a utilizar fuentes puntuales artificiales: estrellas de Na (90 km. de altura).

Para poder corregir, evitando el anisoplamiento de foco, toda la atmósfera que afecta al haz de luz proveniente del objeto en el cielo es necesario utilizar varias de estas estrellas artificiales (al menos 5). Cada una de ellas, para ser generada, necesita un láser de muy alta resolución, pulsado, y de gran potencia, lo que se traduce en una tecnología enormemente cara. Por otra parte, después de tanto coste, la óptica multiconjugada sólo es capaz de medir la fase atmosférica asociada a, como mucho, tres capas horizontales de turbulencia (con tres sensores de fase midiendo simultáneamente), es decir, barre una proporción diminuta del cilindro tridimensional que afecta a la imagen, además recuperan una estimación de la fase con cálculos tan complicados que comprometen seriamente la corrección adaptativa del haz óptico dentro del tiempo de estabilidad de la atmósfera en el visible (10 ms).

La técnica que aquí se propone permite:

- Ceñirse a una sola medida y a un sólo sensor, dentro de cada tiempo de estabilidad atmosférico.

- Una recuperación del módulo y fase asociados a cada capa horizontal turbulenta, es decir, tomografía de toda la atmósfera mediante una técnica original que hemos denominado "transformada SCPH" ("Summation of Constrained Planes in an Hypercube", Suma de Planos Confinados en un Hipercubo), ya de por sí rápida en atención al número y tipo de operaciones (sumas) que utiliza, pero que puede ser acelerada con una adaptación inteligente de la misma a Unidades de Procesamiento Gráfico (GPU) o a unidades de hardware reconfigurable como son las FPGA ("Field Programable Gate Arrays", matriz de puertas programables de campo).

- Evitar la necesidad de utilizar estrellas láser artificiales, pues puede recuperar en tiempo real la imagen del objeto a su llegada a la atmósfera terrestre, ya que esta nueva técnica no necesita de calibración con señal puntual para luego deconvolucionar.

Sin embargo, los antecedentes de la invención no se centran exclusivamente en el campo de la Astrofísica. En el sector de la óptica, o la oftalmología, el interés principal en realizar tomografía de ojo humano estriba esencialmente en obtener y disponer, por parte de los especialistas médicos, de una imagen nítida del fondo de retina del paciente, para poder realizar los diagnósticos con mayor fiabilidad. El humor acuoso, el humor vítreo y el cristalino, se comportan en el ojo como medios que aberran la imagen que se puede obtener del fondo de retina.

Aunque para este caso no es necesario realizar medidas tan frecuentemente como en la atmósfera terrestre (una cada 10 ms), pues se trata de una deformación estable, sí que se exige suficiente resolución tridimensional para no sólo obtener una buena imagen de fondo de retina, sino también detectar la situación espacial de posibles lesiones oculares.

Por último, y en otro sector como es el de la imagen televisiva o cinematográfica, se tienen los retos relativos a la televisión tridimensional, donde uno de los problemas fundamentales es la generación de contenidos en tiempo real, dado que las técnicas son tan complejas y laboriosas que necesitan intervención humana durante el proceso de generación de contenidos 3D que puedan ser mostrados por los "displays 3D" ya existentes. En este sentido, la implementación optimizada sobre hardware de cómputo paralelo (GPUs y FPGAs) de las técnicas que aquí se proponen permite generar contenidos tridimensionales en tiempo real.

Se conocen aproximaciones en el estado de la técnica dentro los campos citados, donde se han colocado microlentes en el plano imagen de una lente convergente dando lugar a dispositivos y métodos para la medida de parámetros de imágenes, no obstante, los mismos no utilizan dicho montaje ni para realizar la medida tomográfica de la aberración óptica, ni para obtener las distancias en la escena.

Por ejemplo, Adelson y Wang ("Single lens stereo with a plenoptic camera") utilizan el dispositivo para obtener distancias con una técnica totalmente diferente a la presentada en este documento.

Los autores Ren Ng et al. ("Light field photography with a hand-held plenoptic camera") utilizan la técnica de "Slice" de Fourier asociada a microlentes en el plano imagen sólo para obtener fotografías enfocadas de escenas reales en rangos de unos pocos metros cúbicos de volumen, con calidad aparentemente superior a la habitual técnica de profundidad de campo. En este caso, la técnica propuesta permite calcular el "focal stack" si se aplica repetidamente para las distancias que cubran el volumen requerido, incurriendo en unos requisitos computacionales que imposibilitarían el procesado en tiempo real. Sin embargo, el "focal stack" es sólo un paso intermedio en nuestra técnica, ya que con el procedimiento aquí propuesto es posible su cómputo para todo un volumen y con menor número de operaciones de las que Ren Ng emplea para el cómputo de un solo plano. Lo que en definitiva proporciona nuestro procedimiento es conocer la distancia y la amplitud compleja del campo electromagnético en las posiciones de las superficies de la escena.

En cuanto a los procedimientos de extracción de información, se conoce que obtener imagen fotográfica a partir del "light-field" (función plenóptica cuatridimensional), f(u, v, x, y), es posible integrando todos los rayos que alcanzan cada punto (x, y) del sensor, provenientes de cada punto del plano de la lente (u, v).

La imagen obtenida por el operador 1 reimagina la imagen fotográfica que se hubiera obtenido con un sensor convencional enfocado en el plano a distancia F, conjugado respecto de la lente objetivo del conjunto microlentes-sensor. Si se deseara reimaginar en un plano a distancia F' = α • x, anterior o posterior a F, Ren Ng demuestra, por semejanza de triángulos que hay que evaluar:

[Seguir leyendo]

1. Método para la adquisición en tiempo real de información visual de escenas tridimensionales que comprende:

(a) registrar una imagen mediante una cámara de fase que comprende una lente objetivo, una matriz de microlentes situada en el espacio imagen de la lente objetivo y un sensor colocado en la focal de las microlentes, y

(b) calcular un "focal stack" asociado a un espacio objeto medido por la cámara, a partir de su función plenóptica discreta, f(s, t, j, k),

caracterizado porque comprende evaluar la integral de formación fotográfica como una suma a lo largo de planos en un hipercubo 4D, siendo u, v las dimensiones horizontal y vertical en el plano de la lente, y j, k, r las dimensiones horizontal, vertical y profundidad del focal stack a obtener,

comprendiendo a su vez dicha evaluación de la integral de formación fotográfica las siguientes etapas:

(b1) hacer equivaler los datos capturados, f(s, t, j, k), con los datos transformados hasta la etapa 0, mathit{tilde{f}}⁰(r, s, t, j, k), es decir:

(b2) aplicar a continuación n = log₂ N veces la siguiente transformación parcial:

hasta la obtención de que aproxima a la integral de formación fotográfica E_r (j, k) para un volumen de N planos de profundidad.

2. Método para la adquisición en tiempo real de información visual de escenas tridimensionales según la reivindicación 1, aplicado a la medida de distancias en tiempo real en escenas tridimensionales, caracterizado porque comprende las siguientes etapas adicionales:

aplicar un operador de medida de calidad de enfoque en el "focal stack" calculado, y

calcular el estado óptimo sobre un campo aleatorio de Markov.

3. Método para la adquisición en tiempo real de información visual de escenas tridimensionales según la reivindicación 1, aplicado a la medida tomográfica en tiempo real de la amplitud compleja del campo electromagnético asociado a un frente de onda, caracterizado porque comprende las siguientes etapas adicionales:

obtener el módulo de la amplitud compleja del campo electromagnético en cualquier punto del volumen del espacio objeto a partir de la raíz cuadrada del "focal stack" calculado,

aplicar un operador de generación de los gradientes de la fase de frente de onda en cualquier punto del volumen del espacio objeto, y

recuperar la fase del frente de onda del campo electromagnético asociado.

4. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales que comprende

una lente convergente,

una matriz de microlentes colocada en una posición del espacio imagen de la lente convergente y que forma imagen sobre una superficie detectora de suficiente resolución, y

medios de procesamiento de cómputo paralelo adaptados para

- calcular el "focal stack" asociado al espacio objeto medido por la cámara mediante la etapa b) del método de la reivindicación 1,

- obtener la amplitud compleja del campo electromagnético (módulo y fase) y

- obtener la distancia en cualquier posición del espacio objeto medido.

5. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 4, en la que los medios de procesamiento están adaptados para obtener la distancia en cualquier posición del espacio objeto mediante el método de la reivindicación 2.

6. Cámara de fase para la adquisición en tiempo real de la información visual de escenas tridimensionales según la reivindicación 4, en la que los medios de procesamiento están adaptados para obtener la amplitud compleja del campo electromagnético mediante el método de la reivindicación 3.