Sistema integrado de captura, procesado y representación de imagen tridimensional para cámaras de objetivos intercambiables que permite convertir cualquier cámara de objetivos intercambiables en una cámara 3D y que muestra los resultados de forma que el usuario no tenga fatiga visual,

que consta de un sistema portátil acoplado a una cámara convencional de objetivos intercambiables, un procedimiento de calibración de la imagen adquirida, un procedimiento para la generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista, un procedimiento de adaptación de los resultados anteriores utilizando algoritmos apropiados y la proyección posterior en un monitor basado en la colocación de microlentes delante en un display convencional.

Sistema integrado de captura, procesado y representación de imagen tridimensional.

Sector de la técnica

Imagen tridimensional. Física óptica, ingeniería electrónica.

Introducción

Hasta la fecha, para visualizar imágenes con sensación tridimensional, desde una superficie de emisión plana (monitor de TV) se tenían dos alternativas. El uso de gafas específicas, que separan la información que recibe cada ojo. Y por otro lado, los sistemas sin gafas, donde la selección de diferentes puntos de vista se logra mediante un sistema óptico a la salida del sistema de proyección que dirige imágenes distintas a posiciones distintas, dirigiendo informaciones distintas a posiciones distintas, de tal forma, que dos observadores no perciben la misma información.

En el primero de los sistemas, se requiere captar dos puntos de vista (se requieren dos cámaras observando) , se multiplexan en el display de salida y la selección la realiza el observador.

En el segundo del los sistemas, la captación se produce desde multitud de puntos de vista, y esos puntos de vista pueden captarse con una sola cámara utilizando un array de microlentes, lo que se conoce como una cámara plenóptica.

Las cámaras plenópticas son dispositivos diseñados para la captura de imágenes 3D. Estas cámaras se basan en una idea presentada hace más de 100 años por Lippman para el registro de la información 3D en un sensor 2D. En particular, las cámaras plenópticas registran en el sensor toda una serie de imágenes elementales que son portadoras de información sobre posición e inclinación de los rayos emitidos por la muestra 3D. Esta información ya permite en la actualidad el cálculo de pares estereoscópicos para su proyección en un monitor estereoscópico. Sin embargo, este tipo de proyección presenta dos desventajas esenciales. La primera es que al generar únicamente dos imágenes, se pierden las ventajas inherentes de los sistemas plenópticos, que son la visualización multiperspectiva, y el paralaje vertical. La segunda, y más importante, radica en el hecho de que para observar imágenes estereoscópicas se producen un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada.

Estado de la técnica

Actualmente, existen sistemas convencionales de captación de imágenes (cámaras digitales de objetivos intercambiables) , y por otro lado, existen sistemas de proyección de imágenes estereoscópicas (monitores 3D) . En esta invención, se propone un sistema que permite convertir cualquier cámara de objetivos intercambiables en una cámara plenóptica, y proyectar el resultado de la imagen capturada en un display 3D estereoscópico, y a su vez, alimentar también los monitores autoesteroscópicos. De esta forma se resuelven los problemas presentes en algunos de los sistemas de conversión de los sistemas intercambiables en cámaras 3D, como son las limitaciones en apertura y distancia focal, de tal forma que el usuario puede utilizar sus propios objetivos, y también, se evitan los problemas de fatiga visual asociados a la visualización prolongada de imágenes 3D presentes en las tecnologías actuales.

Mediante la incorporación del objetivo conversor propuesto, intercalado entre la cámara y el objetivo de la misma, lo captado pasa a ser una imagen plenóptica, que para ser procesada por los algoritmos aquí descritos, debe ser calibrada. En este sentido se aporta un sistema de calibración.

Una vez calibrada la imagen, se necesita crear un par estéreo, a partir de los datos capturados por la cámara plenóptica, ya que ésta no los proporciona directamente, con el fin de alimentar un display esteroscópico. Métodos de reenfoque conocidos como los descritos en las solicitudes de patente ES200800126 y ES200600210, podrían crear pares estereoscópicos de muy baja resolución utilizando una parte de los datos capturados. Hasta ahora los métodos de reenfoque conocidos presentan una resolución mermada respecto de la resolución de la imagen plenóptica, de tal forma que si la imagen plenóptica tenía N píxeles en una de sus dimensiones (en horizontal o en vertical) , la resolución en esa dimensión caía en unos casos hasta N/10 aproximadamente (ES200600210) o hasta aproximadamente la mitad, N/2 (ES200800126) , dado que la creación de pares estéreo vuelve a reducir a la mitad el tamaño original de los datos de entrada, se propone un nuevo método cuya salida es del mimo tamaño que la entrada. Esto significa que, por ejemplo, una imagen captada por sensores convencionales de N=4000 píxeles en horizontal, al dividirse en dos para generar un par de imágenes estéreo, cada ojo recibiría del orden de 2000 pixeles, mientras que con los métodos anteriores, como máximo se obtendrían 1000 píxeles por ojo, que estaría por debajo de la especificación asociada a la alta definición.

Finalmente, la imagen plenótica capturada con el sistema propuesto se puede proyectar en un display como el que se describirá, evitando así el disconfort visual típico tras observaciones prologadas en los proyectores convencionales 3D a día de hoy, tanto estereoscópicos como autoestereoscópicos.

Descripción de la invención

Al observar imágenes estereoscópicas en displays 3D, con gafas adaptadas o sin las mismas, se produce un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada. Este problema se resuelve con el siguiente procedimiento:

1º Adquisición de la imagen plenóptica: Mediante una cámara plenóptica o mediante un objetivo plenóptico miniaturizado y portátil acoplado a una cámara convencional de objetivos intercambiables.

2º Procedimiento de calibración de la imagen.

3º Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un sólo plano o con la escena completamente enfocada.

4º Adaptación de los resultados anteriores utilizando la algoritmia apropiada (por ejemplo, el algoritmo SPOC) , y colocación de microlentes delante de un display convencional para mostrar 3D sobre un display plano.

Siguiendo el procedimiento anterior se consigue generar un dispositivo que convierte cualquier cámara convencional en una cámara plenóptica, que muestra los resultados de forma que el usuario no tenga fatiga visual después de ver contenidos 3D de manera prolongada. Permite ver esos contenidos con gran variedad de puntos de vista, a diferencia del 3D estéreo convencional en el que sólo hay dos puntos de vista (uno por cada ojo) , displays con gafas

o sin gafas autoestereoscópicos.

Cada una de las etapas anteriormente indicadas se desarrolla de la siguiente forma:

- Etapa 1. Adquisición de la imagen plenóptica.

La adquisición de la imagen puede realizarse mediante una cámara plenóptica o mediante un objetivo plenóptico.

El objetivo plenóptico propuesto es un sistema óptico compuesto por cuatro elementos claramente diferenciados. En primer lugar un conjunto óptico similar a un teleobjetivo que proyecta la imagen sobre un array de microlentes refractivas que incluye, si es necesario, una o dos lentes de campo para reconducir los rayos principales hacia el sistema multicompuesto, todo esto forma el segundo bloque óptico. Las imágenes formadas por el sistema multicompuesto o array son recogidas por un vehículo óptico de formación de imagen que constituye el tercer elemento óptico y que trabaja en modo objeto próximo que, una vez colimado el haz incidente en este subsistema es recogido por el cuarto elemento ópticos que, trabajando en modo infinito-conjugado, proyecta el conjunto de imágenes generados por el array de microlentes o sistema compuesto en un CCD o CMOS. Mediante el control de las focales de los elementos 3 y 4, anteriormente mencionados, es posible adaptar la relación de aumentos de las imágenes formadas por el elemento 2 en el plano imagen donde se ubica el CCD o CMOS. Esta adaptación puede hacerse a través de la modificación continua de las focales de uno o de los dos sistemas mediante el empleo de sistemas zoom que aseguran el mismo plano imagen con diferentes relaciones de aumentos.