SISTEMA INTEGRADO DE CAPTURA, PROCESADO Y REPRESENTACIÓN DE IMAGEN TRIDIMENSIONAL.

Sistema integrado de captura, procesado y representación de imagen tridimensional para cámaras de objetivos intercambiables que permite convertir cualquier cámara de objetivos intercambiables en una cámara 3D y que muestra los resultados de forma que el usuario no tenga fatiga visual,

que consta de un sistema portátil acoplado a una cámara convencional de objetivos intercambiables, un procedimiento de calibración de la imagen adquirida, un procedimiento para la generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista, un procedimiento de adaptación de los resultados anteriores utilizando algoritmos apropiados y la proyección posterior en un monitor basado en la colocación de microlentes delante en un display convencional.

Tipo: Patente de Invención. Resumen de patente/invención. Número de Solicitud: P201100485.

Solicitante: UNIVERSIDAD DE LA LAGUNA.

Nacionalidad solicitante: España.

Inventor/es: RODRIGUEZ RAMOS,LUIS FERNANDO, RODRIGUEZ RAMOS,JOSE MANUEL, BELENGUER DAVILA,TOMAS, SAAVEDRA TORTOSA,GENARO, MARICHAL-HERNANDEZ,JOSE GIL, PHILIPP LUKE,Jonas, ROSA GONZÁLEZ,Fernando Luis, MARTÍNEZ CORRAL,Manuel, PASTOR SANTOS,Carmen, LÓPEZ LÓPEZ,Roberto, NAVARRO FRUCTUOSO,Héctor.

Fecha de Publicación: .

Clasificación Internacional de Patentes:

  • G02B27/00 FISICA.G02 OPTICA.G02B ELEMENTOS, SISTEMAS O APARATOS OPTICOS (G02F tiene prioridad; elementos ópticos especialmente adaptados para ser utilizados en los dispositivos o sistemas de iluminación F21V 1/00 - F21V 13/00; instrumentos de medida, ver la subclase correspondiente de G01, p. ej. telémetros ópticos G01C; ensayos de los elementos, sistemas o aparatos ópticos G01M 11/00; gafas G02C; aparatos o disposiciones para tomar fotografías, para proyectarlas o para verlas G03B; lentes acústicas G10K 11/30; "óptica" electrónica e iónica H01J; "óptica" de rayos X H01J, H05G 1/00; elementos ópticos combinados estructuralmente con tubos de descarga eléctrica H01J 5/16, H01J 29/89, H01J 37/22; "óptica" de microondas H01Q; combinación de elementos ópticos con receptores de televisión H04N 5/72; sistemas o disposiciones ópticas en los sistemas de televisión en colores H04N 9/00; disposiciones para la calefacción especialmente adaptadas a superficies transparentes o reflectoras H05B 3/84). › Aparatos o sistemas ópticos no previstos en ninguno de los grupos G02B 1/00 - G02B 26/00, G02B 30/00.
  • G03B41/00 G […] › G03 FOTOGRAFIA; CINEMATOGRAFIA; TECNICAS ANALOGAS QUE UTILIZAN ONDAS DISTINTAS DE LAS ONDAS OPTICAS; ELECTROGRAFIA; HOLOGRAFIA.G03B APARATOS O DISPOSITIVOS PARA HACER FOTOGRAFIAS, PARA PROYECTARLAS O VERLAS; APARATOS O DISPOSITIVOS QUE UTILIZAN TECNICAS ANALOGAS UTILIZANDO ONDAS DIFERENTES DE LAS ONDAS OPTICAS; SUS ACCESORIOS (partes ópticas de estos aparatos G02B; materiales fotosensibles para la fotografía o procedimientos fotográficos G03C; aparellaje para el tratamiento de materiales fotosensibles después de la exposición G03D). › Técnicas especiales fotográficas no cubiertas por los grupos G03B 31/00 - G03B 39/00; Aparatos para este efecto.
  • G06T15/20 G […] › G06 CALCULO; CONTEO.G06T TRATAMIENTO O GENERACIÓN DE DATOS DE IMAGEN, EN GENERAL.G06T 15/00 Interpretación de imagines 3D [Tridimensionales]. › Cálculo de perspectiva.
  • G06T7/00 G06T […] › Análisis de imagen.
SISTEMA INTEGRADO DE CAPTURA, PROCESADO Y REPRESENTACIÓN DE IMAGEN TRIDIMENSIONAL.

Fragmento de la descripción:

Sistema integrado de captura, procesado y representación de imagen tridimensional.

Sector de la técnica

Imagen tridimensional. Física óptica, ingeniería electrónica.

Introducción

Hasta la fecha, para visualizar imágenes con sensación tridimensional, desde una superficie de emisión plana (monitor de TV) se tenían dos alternativas. El uso de gafas específicas, que separan la información que recibe cada ojo. Y por otro lado, los sistemas sin gafas, donde la selección de diferentes puntos de vista se logra mediante un sistema óptico a la salida del sistema de proyección que dirige imágenes distintas a posiciones distintas, dirigiendo informaciones distintas a posiciones distintas, de tal forma, que dos observadores no perciben la misma información.

En el primero de los sistemas, se requiere captar dos puntos de vista (se requieren dos cámaras observando) , se multiplexan en el display de salida y la selección la realiza el observador.

En el segundo del los sistemas, la captación se produce desde multitud de puntos de vista, y esos puntos de vista pueden captarse con una sola cámara utilizando un array de microlentes, lo que se conoce como una cámara plenóptica.

Las cámaras plenópticas son dispositivos diseñados para la captura de imágenes 3D. Estas cámaras se basan en una idea presentada hace más de 100 años por Lippman para el registro de la información 3D en un sensor 2D. En particular, las cámaras plenópticas registran en el sensor toda una serie de imágenes elementales que son portadoras de información sobre posición e inclinación de los rayos emitidos por la muestra 3D. Esta información ya permite en la actualidad el cálculo de pares estereoscópicos para su proyección en un monitor estereoscópico. Sin embargo, este tipo de proyección presenta dos desventajas esenciales. La primera es que al generar únicamente dos imágenes, se pierden las ventajas inherentes de los sistemas plenópticos, que son la visualización multiperspectiva, y el paralaje vertical. La segunda, y más importante, radica en el hecho de que para observar imágenes estereoscópicas se producen un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada.

Estado de la técnica

Actualmente, existen sistemas convencionales de captación de imágenes (cámaras digitales de objetivos intercambiables) , y por otro lado, existen sistemas de proyección de imágenes estereoscópicas (monitores 3D) . En esta invención, se propone un sistema que permite convertir cualquier cámara de objetivos intercambiables en una cámara plenóptica, y proyectar el resultado de la imagen capturada en un display 3D estereoscópico, y a su vez, alimentar también los monitores autoesteroscópicos. De esta forma se resuelven los problemas presentes en algunos de los sistemas de conversión de los sistemas intercambiables en cámaras 3D, como son las limitaciones en apertura y distancia focal, de tal forma que el usuario puede utilizar sus propios objetivos, y también, se evitan los problemas de fatiga visual asociados a la visualización prolongada de imágenes 3D presentes en las tecnologías actuales.

Mediante la incorporación del objetivo conversor propuesto, intercalado entre la cámara y el objetivo de la misma, lo captado pasa a ser una imagen plenóptica, que para ser procesada por los algoritmos aquí descritos, debe ser calibrada. En este sentido se aporta un sistema de calibración.

Una vez calibrada la imagen, se necesita crear un par estéreo, a partir de los datos capturados por la cámara plenóptica, ya que ésta no los proporciona directamente, con el fin de alimentar un display esteroscópico. Métodos de reenfoque conocidos como los descritos en las solicitudes de patente ES200800126 y ES200600210, podrían crear pares estereoscópicos de muy baja resolución utilizando una parte de los datos capturados. Hasta ahora los métodos de reenfoque conocidos presentan una resolución mermada respecto de la resolución de la imagen plenóptica, de tal forma que si la imagen plenóptica tenía N píxeles en una de sus dimensiones (en horizontal o en vertical) , la resolución en esa dimensión caía en unos casos hasta N/10 aproximadamente (ES200600210) o hasta aproximadamente la mitad, N/2 (ES200800126) , dado que la creación de pares estéreo vuelve a reducir a la mitad el tamaño original de los datos de entrada, se propone un nuevo método cuya salida es del mimo tamaño que la entrada. Esto significa que, por ejemplo, una imagen captada por sensores convencionales de N=4000 píxeles en horizontal, al dividirse en dos para generar un par de imágenes estéreo, cada ojo recibiría del orden de 2000 pixeles, mientras que con los métodos anteriores, como máximo se obtendrían 1000 píxeles por ojo, que estaría por debajo de la especificación asociada a la alta definición.

Finalmente, la imagen plenótica capturada con el sistema propuesto se puede proyectar en un display como el que se describirá, evitando así el disconfort visual típico tras observaciones prologadas en los proyectores convencionales 3D a día de hoy, tanto estereoscópicos como autoestereoscópicos.

Descripción de la invención

Al observar imágenes estereoscópicas en displays 3D, con gafas adaptadas o sin las mismas, se produce un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada. Este problema se resuelve con el siguiente procedimiento:

1º Adquisición de la imagen plenóptica: Mediante una cámara plenóptica o mediante un objetivo plenóptico miniaturizado y portátil acoplado a una cámara convencional de objetivos intercambiables.

2º Procedimiento de calibración de la imagen.

3º Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un sólo plano o con la escena completamente enfocada.

4º Adaptación de los resultados anteriores utilizando la algoritmia apropiada (por ejemplo, el algoritmo SPOC) , y colocación de microlentes delante de un display convencional para mostrar 3D sobre un display plano.

Siguiendo el procedimiento anterior se consigue generar un dispositivo que convierte cualquier cámara convencional en una cámara plenóptica, que muestra los resultados de forma que el usuario no tenga fatiga visual después de ver contenidos 3D de manera prolongada. Permite ver esos contenidos con gran variedad de puntos de vista, a diferencia del 3D estéreo convencional en el que sólo hay dos puntos de vista (uno por cada ojo) , displays con gafas

o sin gafas autoestereoscópicos.

Cada una de las etapas anteriormente indicadas se desarrolla de la siguiente forma:

- Etapa 1. Adquisición de la imagen plenóptica.

La adquisición de la imagen puede realizarse mediante una cámara plenóptica o mediante un objetivo plenóptico.

El objetivo plenóptico propuesto es un sistema óptico compuesto por cuatro elementos claramente diferenciados. En primer lugar un conjunto óptico similar a un teleobjetivo que proyecta la imagen sobre un array de microlentes refractivas que incluye, si es necesario, una o dos lentes de campo para reconducir los rayos principales hacia el sistema multicompuesto, todo esto forma el segundo bloque óptico. Las imágenes formadas por el sistema multicompuesto o array son recogidas por un vehículo óptico de formación de imagen que constituye el tercer elemento óptico y que trabaja en modo objeto próximo que, una vez colimado el haz incidente en este subsistema es recogido por el cuarto elemento ópticos que, trabajando en modo infinito-conjugado, proyecta el conjunto de imágenes generados por el array de microlentes o sistema compuesto en un CCD o CMOS. Mediante el control de las focales de los elementos 3 y 4, anteriormente mencionados, es posible adaptar la relación de aumentos de las imágenes formadas por el elemento 2 en el plano imagen donde se ubica el CCD o CMOS. Esta adaptación puede hacerse a través de la modificación continua de las focales de uno o de los dos sistemas mediante el empleo de sistemas zoom que aseguran el mismo plano imagen con diferentes relaciones de aumentos.

 


Reivindicaciones:

1. Objetivo plenóptico para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende:

un conjunto óptico proyector, un array de microlentes, un vehículo óptico de formación de imagen, y un conjunto óptico infinito-conjugado proyector

2. Sistema integrado para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende un objetivo plenóptico según la reivindicación 1, un diafragma óptico real de apertura variable y un segundo diafragma colocado próximo al array de microlentes.

3. Método de captura y representación de imagen tridimensional caracterizado porque comprende las siguientes etapas:

(i) adquisición de una imagen plenóptica, mediante una cámara plenóptica o mediante un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2, acoplado a una cámara de objetivos intercambiables entre la cámara y el objetivo de la misma;

(ii) calibración de la imagen adquirida;

(iii) generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un solo plano o con la escena completamente enfocada; y

(iv) adaptación de los resultados anteriores utilizando algoritmos apropiados, como el SPOC, y colocación de 20 microlentes delante en un display convencional para mostrar 3D sobre un display plano.

4. Método para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende:

(i) incorporar un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2 entre la cámara y el objetivo de la misma;

(ii) captar una imagen;

(iii) una etapa de calibración de la imagen para determinar los parámetros característicos de una cámara plenóptica, estando basada la calibración en la reducción de la apertura de la cámara y comprendiendo: calcular el módulo de la transformada de Fourier bidimensional de la imagen recibida por el sistema óptico, asociar el valor máximo de la imagen al centro de una microlente, 30 dividir la imagen mediante una cuadrícula cartesiana en celdas correspondientes a las microlentes,

calcular el centro de gravedad de la luz contenida en cada celda, y realizar una minimización ciega para ajustar los centros calculados a un modelo; y

(iv) una etapa de reenfoque de alta resolución adecuada para alimentar un display autoestereoscópico, que comprende la evaluación de la integral característica mediante el algoritmo discreto:

y el cálculo de las pendientes negativas mediante:

siendo I la imagen reenfocada, L la señal plenóptica captada

siendo mx, px, my, py parámetros de la imagen de salida que varían entre los rangos siguientes:

mx = 0 … Mx–1

my = 0 … My–1

px = 0 … M–1

py = 0 … M–1

con M el número de píxeles por microlente,

siendo k la pendiente, que varía en el rango k = 1 … M–1.

5. Método según la reivindicación 4, caracterizado porque comprende una etapa de generación de imágenes con múltiples puntos de vista, incluyendo pares estéreo para alimentar a un display estereoscópico, y porque se exige que M/d sea primo.

6. Método para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende:

(i) incorporar un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2 entre la cámara y el objetivo de la misma;

(ii) captar una imagen;

(iii) una etapa de calibración de la imagen para determinar los parámetros característicos de una cámara plenóptica, estando basada la calibración en la Transformada de Fourier y comprendiendo:

calcular el módulo de la Transformada de Fourier bidimensional de la imagen y orlarla;

calcular la tangente de la inclinación como la mitad de la diferencia de las coordenadas de las posiciones de los picos a izquierda y derecha del cero de frecuencias; y

determinar las coordenadas del centro de alguna microlente mediante la correlación en fase unidimensional, comprendiendo:

- simular una imagen plenóptica en la que la luz de la microlente sigue un perfil sinusoidal tanto en eje vertical como en el horizontal;

- calcular la correlación cruzada entre la imagen plenóptica de partida y la imagen generada; e

- interpolar cuadráticamente sobre el máximo de la correlación cruzada.

7. Método según la reivindicación 6, caracterizado porque la determinación de las coordenadas del centro de alguna microlente se hace mediante correlación en fase bidimensional, comprendiendo: la extracción en la parte central de la imagen de una línea vertical; la generación de una línea simulada mediante una sinusoide con fase inicial cero de la frecuencia espacial medida y de amplitud normalizada al valor máximo de la línea de la imagen;

la multiplicación punto a punto de la línea original con la simulada y el promedio del resultado; y la iteración hasta que el valor hallado de la diferencia de fase sea inferior a un cierto residuo admisible.

8. Método según la reivindicación 6, caracterizado porque la determinación de las coordenadas del centro de alguna microlente se hace mediante detección directa, comprendiendo: la extracción en la parte central de la imagen de una línea vertical; la generación de una línea simulada mediante una sinusoide de la frecuencia espacial medida y de amplitud

normalizada al valor máximo de la línea de la imagen; y el cálculo de la correlación cruzada de ambas señales.

9. Método según cualquiera de las reivindicaciones 6-8, caracterizado porque:

la etapa de reenfoque de alta resolución que puede alimentar un display autoestereoscópico comprende la evaluación de la integral característica mediante el algoritmo discreto:

y el cálculo de las pendientes negativas mediante:

siendo I la imagen reenfocada, L la señal plenóptica captada

siendo mx, px, my, py parámetros de la imagen de salida que varían entre los rangos siguientes:

mx = 0 … Mx–1

my = 0 … My–1

px = 0 … M–1 10 py = 0 … M–1

con M el número de píxeles por microlente,

siendo k la pendiente, que varía en el rango k = 1 … M–1,

porque comprende una etapa de generación de imágenes con múltiples puntos de vista, incluyendo pares estéreo

para alimentar a un display estereoscópico, 15 y porque se exige que M/d sea primo.

10. Sistema de que proyección de imagen tridimensional adaptado para mostrar los resultados obtenidos mediante el método según cualquiera de las reivindicaciones 3-9, caracterizado porque comprende un dispositivo electrónico de display digital, una matriz de lentes situadas en un plano paralelo al panel anterior con un tamaño tal que su tamaño angular sea igual o menor que 10-3 rad, y que contiene un número de píxeles por microlente superior a 12.


 

Patentes similares o relacionadas:

Método, sistema y producto del programa informático para determinar la presencia de microorganismos e identificar dichos microorganismos, del 29 de Julio de 2020, de BIOMERIEUX: Un método para determinar la presencia de al menos un microorganismo determinado en una placa de Petri que comprende una o más colonias de microorganismos y un medio de […]

Detección de daño de pantalla para dispositivos, del 8 de Julio de 2020, de Hyla, Inc: Un procedimiento para identificar una condición de una o más pantallas de un dispositivo electrónico, comprendiendo el procedimiento: recibir una solicitud […]

PROCEDIMIENTO DE IDENTIFICACIÓN DE IMÁGENES ÓSEAS, del 29 de Junio de 2020, de UNIVERSIDAD DE GRANADA: Procedimiento de identificación de imágenes óseas. La presente invención tiene por objeto un procedimiento para asistir en la toma de decisiones a un experto forense […]

Procedimientos, sistemas y dispositivos para analizar datos de imágenes pulmonares, del 27 de Mayo de 2020, de Pulmonx Corporation: Procedimiento para analizar datos de tomografía computarizada de un pulmón, comprendiendo el procedimiento: recibir mediante un dispositivo […]

Distribución controlada de muestras sobre sustratos, del 27 de Mayo de 2020, de Roche Diagnostics Hematology, Inc: Un procedimiento para distribuir una muestra de líquido sobre un sustrato , comprendiendo el procedimiento: obtener una […]

Sistema y procedimiento de control de calidad de platos preparados, del 14 de Mayo de 2020, de BEABLOO, S.L: Sistema y procedimiento de control de calidad de platos preparados. El sistema comprende medios de detección para detectar los ingredientes […]

Registro de imagen de catéter del seno coronario, del 13 de Mayo de 2020, de Biosense Webster (Israel), Ltd: Un aparato que comprende: un catéter cardíaco adaptado para su introducción en un seno coronario de un corazón de un sujeto vivo; una pantalla ; un dispositivo […]

Sistema y aplicación para visualizar la realidad exterior mientras se utilizan teléfonos y dispositivos móviles, del 11 de Mayo de 2020, de YAGÜE HERNANZ, Ricardo: 1. Sistema y aplicación para ver en los teléfonos y terminales móviles la realidad exterior a la vez que se usan y se visualizan sus […]

Utilizamos cookies para mejorar nuestros servicios y mostrarle publicidad relevante. Si continua navegando, consideramos que acepta su uso. Puede obtener más información aquí. .