Reconstrucción de vistas desentrelazadas, utilizando interpolación adaptativa basada en disparidades entre las vistas para un muestro ascendente.

Un método, que comprende las etapas de:

recibir un flujo de datos que contiene vistas de canal izquierdo y derecho entrelazadas de un flujo de vídeo 3D,

desentrelazar el flujo de vídeo 3D para extraer las vistas de canal izquierdo y derecho,muestrear de manera ascendente las vistas de canal izquierdo y derecho, que comprende: determinar (610, 710,755, 760, 870) una cantidad de disparidad entre las vistas de canal izquierdo y derecho en una ubicación de píxel oen una región correspondiente a la ubicación de píxel; y

caracterizado por: seleccionar (630, 720, 765, 880, 885) al menos un filtro de entre un conjunto de filtros parainterpolar un valor de píxel que falta en la ubicación de píxel en una de las vistas de canal izquierdo y derecho,donde los filtros del conjunto de filtros corresponden a diferentes esquemas de interpolación; en el que el al menosun filtro se selecciona en función de al menos la disparidad determinada, de manera que:

cuando la disparidad determinada es igual o inferior a un umbral de disparidad, el al menos un filtro seleccionadointerpola (640, 730, 770) el valor de píxel que falta ya sea a partir de datos de ambas vistas o a partir de datos desolamente la otra vista, y

cuando la disparidad determinada es superior al umbral de disparidad, el al menos un filtro seleccionado interpola(650, 740, 775, 820 a 860, 890) el valor de píxel que falta a partir de datos de solamente la vista que va ainterpolarse.

Reconstrucción de vistas desentrelazadas, utilizando interpolación adaptativa basada en disparidades entre las vistas para un muestro ascendente

Antecedentes de la invención Campo de la invención La presente invención se refiere a la conversión de datos y, más en particular, a la conversión ascendente de datos, incluyendo la conversión ascendente de vídeo.

Discusión de antecedentes La distribución de vídeo estereoscópico ha sido un objetivo ansiado por los proveedores de contenido. Innovaciones recientes en la tecnología de visualización incluyen DLP que soportan 3D y pantallas de plasma fabricadas por Mitsubishi y Samsung. El vídeo estereoscópico puede distribuirse en muchos formatos diferentes. Un formato utilizado actualmente para la distribución de vídeo es el formato entrelazado de tablero de ajedrez (CB) .

El documento US 2006/0082574 A1 da a conocer una técnica para el procesamiento de imágenes para una pantalla 3D en la que una imagen compuesta de entrada se convierte en imágenes con múltiples puntos de visualización. Un mapa de paralaje que representa información de cantidad de paralaje de cada píxel entre dos imágenes con puntos de visualización en las que faltan píxeles se genera mediante una correspondencia de formas aproximada. Cada píxel del mapa de paralaje tiene información de vectores 2D que representa una cantidad de paralaje del píxel. Los píxeles que faltan se interpolan utilizando información de píxel de coordenadas vecinas en imágenes adyacentes con puntos de visualización, tiendo en cuenta el paralaje.

Sumario de la invención Existe la necesidad de mejorar la distribución de contenido estereográfico en cualquier formato y, en particular, en formatos entrelazados de tablero de ajedrez.

La presente invención está definida por las reivindicaciones independientes. Las reivindicaciones dependientes describen características opcionales de algunas realizaciones de la invención.

Posteriormente se describen en mayor detalle realizaciones de la invención. Partes de los dispositivos, métodos y otras realizaciones de la invención pueden implementarse de manera conveniente programándose en un ordenador de propósito general, o en ordenadores conectados en red, y los resultados pueden mostrarse en un dispositivo de salida conectado a algún ordenador de propósito general o conectado en red, o transmitirse a un dispositivo remoto para mostrarse o visualizarse. Además, cualquier componente de la presente invención representado en un programa informático, secuencias de datos y/o señales de control pueden adoptar la forma de una señal electrónica difundida (o transmitida) a cualquier frecuencia en cualquier medio incluyendo, pero sin limitarse a, difusiones inalámbricas y transmisiones a través de hilos de cobre, cables de fibra óptica, cables coaxiales, etc.

Breve descripción de los dibujos Un entendimiento más completo de la invención y muchas de las ventajas intrínsecas de la misma se obtendrán fácilmente haciendo referencia a la siguiente descripción detallada cuando se considera junto con los dibujos adjuntos, en los que:

la figura 1 es un diagrama de bloques de una visión general de un sistema para la distribución entrelazada de tablero de ajedrez de imágenes estereoscópicas comprimidas y la posterior descodificación y visualización de las vistas estereoscópicas desentrelazadas según una realización de la presente invención;

la figura 2 es un diagrama que ilustra un ejemplo de muestreo descendente y multiplexación llevados a cabo mediante un entrelazado de tablero de ajedrez;

la figura 3 es un diagrama que ilustra una reconstrucción de vista estereoscópica de un par de imágenes entrelazadas de tablero de ajedrez según una realización de la presente invención;

la figura 4 es un diagrama que ilustra una clasificación de disparidad entre vistas utilizando un filtrado paso banda según una realización de la presente invención;

la figura 5 es un diagrama que ilustra una clasificación de disparidad entre vistas basada en un análisis de movimiento según una realización de la presente invención;

la figura 6 es un diagrama de flujo que ilustra un proceso de filtrado basado en disparidad de regiones de imágenes estereoscópicas según una realización de la presente invención;

la figura 7a es un diagrama de flujo que ilustra un proceso de un filtro combinado de múltiples hipótesis y un análisis de disparidad según una realización de la presente invención;

la figura 7b es un diagrama de flujo que ilustra un proceso alternativo que utiliza un filtro de múltiples hipótesis y un análisis de disparidad según una realización de la presente invención;

la figura 8a es un diagrama que ilustra un filtrado general de múltiples hipótesis para una interpolación de vistas según una realización de la presente invención;

la figura 8b es un diagrama que ilustra un filtrado de múltiples hipótesis para una interpolación de vistas según una realización de la presente invención;

la figura 9 es un diagrama que ilustra un filtrado separable de campos pares e impares según una realización de la presente invención; y

la figura 10 es un diagrama que ilustra muestras utilizadas para determinar la precisión de interpolación en función de información anterior disponible en una vista opuesta.

Descripción de las realizaciones preferidas Haciendo referencia a continuación a los dibujos, en los que números de referencia similares designan partes idénticas o correspondientes, y más en particular a la figura 1 de los mismos, se ilustra una visión general de un sistema utilizado para la distribución entrelazada de tablero de ajedrez de imágenes estereoscópicas comprimidas y la posterior descodificación y visualización de las vistas estereoscópicas desentrelazadas. La cadena de distribución comprende filtrar, FL, m () y FR, m () , muestrear de manera descendente las vistas izquierda y derecha, y después multiplexar las vistas. Después, las imágenes multiplexadas se comprimen utilizando un esquema de compresión tal como, pero sin limitarse a, ISO MPEG-4 AVC/ITU-T H.264, MPEG-2, VC1, etc., y se transmiten al descodificador. Después, las imágenes multiplexadas y comprimidas se descomprimen, desmultiplexan y se convierten de manera ascendente a una resolución total utilizando filtros, FL, d () y FR, d () .

El muestreo descendente y la multiplexación llevados a cabo por el esquema de entrelazado de tablero de ajedrez se ilustran en mayor detalle en la figura 2. La desmultiplexación y la conversión ascendente se ilustran en la figura 3. Es deseable mejorar la calidad manteniendo o reduciendo al mismo tiempo la complejidad del proceso de conversión ascendente, ya que puede ser necesario que la conversión ascendente se lleve a cabo en tiempo real en el descodificador o el dispositivo de visualización.

La presente invención comprende, por ejemplo, técnicas de interpolación adaptativas (por ejemplo, de adaptación de contenido) que pueden utilizarse para muestrear de manera ascendente las imágenes muestreadas de tablero de ajedrez de cada vista. Una técnica de este tipo es combinar información de la vista que está muestreándose de manera ascendente con información de la vista opuesta. Esto es más efectivo cuando la región que está interpolándose pertenece a una región de baja disparidad de la imagen (es decir, las imágenes de vistas izquierda y derecha son muy parecidas) .

Por lo tanto, en varias realizaciones puede llevarse a cabo un análisis de disparidad para una región dada de las dos vistas. Un método para el análisis de disparidad puede obtenerse a partir de la detección y estimación de movimiento. En un ejemplo, un filtro paso banda orientado de manera horizontal con una frecuencia característica de (1/distancia entre píxeles horizontales) se utiliza para detectar artefactos inducidos por un entrelazado horizontal. También puede utilizarse un filtro paso banda orientado de manera vertical para detectar artefactos inducidos por un entrelazado vertical. El filtro, por ejemplo, puede ser un filtro paso banda estándar, tal como ([-1 1 -1 1 -1 1 -1]) multiplicado por una ventana de Hamming ([1 2 3 4 3 2 1]) de manera que a las muestras alejadas de la muestra filtrada se les da un menor peso. Si el filtro produce una mayor respuesta, esto indica la presencia de artefactos producidos por el entrelazado. Según una realización de la invención, ilustrada en la figura 4, en el caso de muestreo de tablero de ajedrez, el filtrado de una imagen entrelazada de tablero de ajedrez en ambas o en una de las direcciones horizontal y vertical con un filtro paso banda puede utilizarse para identificar disparidades.... [Seguir leyendo]

1. Un método, que comprende las etapas de:

recibir un flujo de datos que contiene vistas de canal izquierdo y derecho entrelazadas de un flujo de vídeo 3D,

desentrelazar el flujo de vídeo 3D para extraer las vistas de canal izquierdo y derecho,

muestrear de manera ascendente las vistas de canal izquierdo y derecho, que comprende: determinar (610, 710, 755, 760, 870) una cantidad de disparidad entre las vistas de canal izquierdo y derecho en una ubicación de píxel o en una región correspondiente a la ubicación de píxel; y

caracterizado por: seleccionar (630, 720, 765, 880, 885) al menos un filtro de entre un conjunto de filtros para interpolar un valor de píxel que falta en la ubicación de píxel en una de las vistas de canal izquierdo y derecho, donde los filtros del conjunto de filtros corresponden a diferentes esquemas de interpolación; en el que el al menos un filtro se selecciona en función de al menos la disparidad determinada, de manera que:

cuando la disparidad determinada es igual o inferior a un umbral de disparidad, el al menos un filtro seleccionado interpola (640, 730, 770) el valor de píxel que falta ya sea a partir de datos de ambas vistas o a partir de datos de solamente la otra vista, y

cuando la disparidad determinada es superior al umbral de disparidad, el al menos un filtro seleccionado interpola (650, 740, 775, 820 a 860, 890) el valor de píxel que falta a partir de datos de solamente la vista que va a interpolarse.

2. El método según la reivindicación 1, en el que, cuando la disparidad determinada es igual o inferior al umbral de disparidad, el al menos un filtro seleccionado interpola el valor de píxel que falta a partir de datos de solamente la otra vista.

3. El método según la reivindicación 1, en el que los datos comprenden datos temporales de las vistas que va a interpolarse.

4. El método según la reivindicación 1, en el que uno o más de los filtros seleccionados son filtros temporales de compensación de movimiento (MCTF) .

5. El método según la reivindicación 1, en el que el conjunto de filtros comprende un filtro que considera múltiples píxeles vecinos.

6. El método según la reivindicación 5, en el que el al menos un filtro que se selecciona cuando la disparidad determinada es igual o inferior al umbral de disparidad es un filtro FIR aplicado en los píxeles vecinos.

7. El método según la reivindicación 1, en el que el al menos un filtro que se selecciona cuando la disparidad determinada es igual o inferior al umbral de disparidad es un filtro iterativo de múltiples fases, que comprende una estimación inicial basada en un píxel ubicado en la misma posición en la otra vista determinada por una interpolación temporal basada en al menos uno de entre métodos de adaptación de movimiento y métodos de compensación de movimiento.

8. El método según la reivindicación 1, en el que al menos uno de los filtros comprende un entorno circundante de píxeles que está diseñado específicamente para hacer frente a una deficiencia provocada por al menos uno de entre un esquema de entrelazado de las vistas del flujo de datos y un códec utilizado en el flujo de vídeo.

9. Un dispositivo configurado para muestrear de manera ascendente vistas de canal izquierdo y derecho de una imagen 3D y que comprende un interpolador adaptativo de contenido; en el que el interpolador adaptativo de contenido está configurado para seleccionar (630, 720, 765, 880, 885) al menos un esquema de interpolación que se utilizará para muestrear de manera ascendente al menos una primera vista de la imagen en función de un análisis (610, 710, 755, 760, 870) de la primera vista y de una segunda vista de la imagen; en el que el interpolador adaptativo de contenido comprende un módulo de análisis de disparidad utilizado para determinar (630, 720, 765, 880, 885) un esquema de interpolación a partir de una pluralidad de diferentes esquemas de interpolación para interpolar un valor de píxel que falta en una ubicación de píxel en función de al menos una cantidad de disparidad determinada entre la primera vista y la segunda vista en la ubicación de píxel o en una región correspondiente a la ubicación de píxel, de manera que:

cuando la disparidad determinada es igual o inferior a un umbral de disparidad, el interpolador adaptativo de contenido determina (630, 720, 765, 880, 885) un esquema de interpolación que interpola (640, 730, 770) el valor de píxel que falta en la primera vista ya sea a partir de datos de ambas vistas o a partir de datos de solamente la segunda vista, y

cuando la disparidad determinada es superior al umbral de disparidad, el interpolador adaptativo de contenido determina (630, 720, 765, 880, 885) un esquema de interpolación que interpola (650, 740, 775, 820 a 860, 890) el valor de píxel que falta en la primera vista a partir de datos de solamente la primera vista.

10. El dispositivo según la reivindicación 9, configurado para llevar a cabo las etapas enumeradas en una cualquiera de las reivindicaciones 1 a 8.