Método de codificación de vídeo, método de decodificación, dispositivo de los mismos, programa de los mismos, y medio de almacenamiento que contiene el programa.

Un método de codificación de vídeo de codificar una imagen de vídeo de puntos de vista múltiples usando la compensación de la disparidad,

comprendiendo el método las etapas de:

generar, en base a la información de la disparidad entre una imagen de cámara de referencia, que se obtiene decodificando una imagen de cámara ya codificada, y una imagen de cámara objetivo de codificación correspondiente a la imagen de cámara de referencia, una imagen con la disparidad compensada para la imagen de cámara objetivo de codificación;

establecer la información del objetivo de referencia, que indica un objetivo de referencia, para cada una de las secciones de procesamiento de codificación en la imagen de cámara objetivo de decodificación de acuerdo con la presencia o ausencia de la imagen con la disparidad compensada correspondiente a dicha cada una de las secciones de procesamiento de codificación;

seleccionar, para cada una de las secciones de procesamiento de codificación en la imagen de cámara objetivo de codificación, una de una imagen diferencial decodificada, que se obtiene decodificando una imagen diferencial entre la imagen de cámara ya codificada y la imagen con la disparidad compensada, y una imagen de cámara decodificada, que se obtiene decodificando la imagen de cámara ya codificada, como el objetivo de referencia en base a la información del objetivo de referencia establecida;

codificar de forma predictiva una imagen diferencial entre la imagen de cámara objetivo de codificación y la imagen con la disparidad compensada remitiéndose a la imagen seleccionada como el objetivo de referencia;

almacenar una imagen diferencial decodificada, que se obtiene decodificando la imagen diferencial codificada de forma predictiva, y

almacenar una imagen de cámara decodificada, que se obtiene decodificando la imagen de cámara ya codificada en base a la imagen diferencial decodificada obtenida decodificando la imagen diferencial codificada de forma predictiva.

Método de codificación de vídeo, método de decodificación, dispositivo de los mismos, programa de los mismos, y medio de almacenamiento que contiene el programa. 5

Campo técnico

La presente invención se refiere a técnicas de codificación y decodificación para imágenes de vídeo de puntos de vista múltiples.

Se reivindica la prioridad en la Solicitud de Patente Japonesa núm. 2006-353628, presentada el 28 de diciembre de 2006, cuyo contenido se incorpora en este documento a modo de referencia.

Técnica anterior

Las imágenes de vídeo de puntos de vista múltiples son una pluralidad de imágenes de vídeo obtenidas fotografiando el mismo objeto y el fondo del mismo usando una pluralidad de cámaras. A continuación, una imagen de vídeo obtenida por una única cámara es llamada "imagen de vídeo bidimensional", y un conjunto de múltiples imágenes de vídeo bidimensionales obtenidas fotografiando el mismo objeto y el fondo del mismo es llamado "imagen de vídeo de puntos de vista múltiples".

Hay una fuerte correlación temporal en la imagen de vídeo bidimensional de cada cámara, que se incluye en una imagen de vídeo de puntos de vista múltiples. Además, cuando las cámaras se sincronizan las unas con las otras, las imágenes (tomadas por las cámaras) al mismo tiempo capturan el objeto y el fondo del mismo en el mismo estado exacto desde diferentes posiciones, de manera que haya una fuerte correlación entre las cámaras. La eficiencia de codificación de la codificación de vídeo se puede mejorar usando esta correlación.

En primer lugar, se mostrarán técnicas convencionales que se refieren a la codificación de imágenes de vídeo bidimensionales.

En muchos métodos conocidos de codificar imágenes de vídeo bidimensionales, como H. 264, MPEG-2, MPEG-4 (que son estándares de codificación internacionales) , y similares, se lleva a cabo una codificación altamente eficiente por medio de compensación del movimiento, transformación ortogonal, cuantificación, codificación de entropía, o similares. Por ejemplo, en H.264, es posible llevar a cabo la codificación usando la correlación temporal entre el cuadro presente y los cuadros pasados o futuros.

El documento no patente 1 da a conocer técnicas detalladas de compensación del movimiento usadas en H. 264. Explicaciones generales de las mismas se describen a continuación.

De acuerdo con la compensación del movimiento en H. 264, un cuadro objetivo de codificación se divide en bloques de cualquier tamaño, y cada bloque puede tener un vector de movimiento individual, consiguiéndose de ese modo un alto nivel de eficiencia de codificación incluso para un cambio local en una imagen de vídeo.

Además, como candidatos para una imagen de referencia, los cuadros pasados o futuros (con respecto al cuadro 45 presente) , que ya se han codificado, se pueden preparar de manera que cada bloque pueda tener un cuadro de referencia individual, implementándose de ese modo un alto nivel de eficiencia de codificación incluso para una imagen de vídeo en la que se produzca una oclusión debido a un cambio temporal.

A continuación, se explicará un método de codificación convencional de imágenes de vídeo de puntos de vista múltiples. Ya que la codificación de las imágenes de vídeo de puntos de vista múltiples usa una correlación entre cámaras, las imágenes de vídeo de puntos de vista múltiples son codificadas de forma altamente eficiente en un método conocido que usa la "compensación de la disparidad" en la que se aplica la compensación del movimiento a las imágenes obtenidas por diferentes cámaras al mismo tiempo. Aquí, la disparidad es la diferencia entre las posiciones, a las que es proyectado el mismo punto de un objeto procesado gráficamente, en los planos de imagen 55 de cámaras que se disponen en diferentes posiciones.

La figura 7 es una vista esquemática que muestra el concepto de disparidad generado entre tales cámaras. Es decir, la figura 7 muestra un estado en el que un observador mira hacia abajo a los planos de imagen de las cámaras A y B, cuyos ejes ópticos son paralelos el uno al otro, desde el lado superior de los mismos. Generalmente, tales puntos, a los que es proyectado el mismo punto en un objeto procesado gráficamente, en los planos de imagen de diferentes cámaras, son llamados "puntos correspondientes". En la codificación basada en la compensación de la disparidad, basada en la relación correspondiente anterior, cada valor de píxel de un cuadro objetivo de codificación se predice usando un cuadro de referencia, y se codifica el residuo de predicción pertinente y la información de la disparidad que indica la relación correspondiente.

Para cada cuadro en una imagen de vídeo de puntos de vista múltiples, la redundancia temporal y la redundancia

entre cámaras están presentes al mismo tiempo. El documento no patente 2 y el documento patente 1 (que da a conocer un aparato de codificación de imágenes de puntos de vista múltiples) dan a conocer cada uno un método para eliminar ambas redundancias simultáneamente.

En los métodos pertinentes, se lleva a cabo la predicción temporal de una imagen diferencial entre una imagen original y una imagen con la disparidad compensada, y se codifica un residuo de la compensación del movimiento en la imagen diferencial.

De acuerdo con tales métodos, la redundancia temporal, que no se puede eliminar mediante una compensación de la disparidad para eliminar la redundancia entre cámaras, se puede eliminar usando la compensación del movimiento. Por lo tanto, se reduce un residuo de predicción, que se codifica finalmente, de manera que se consiga un alto nivel de eficiencia de codificación.

Documento no patente 1: ITU-T Rec.H.264/ISO/IEC 11496-10, "Editor's Proposed Draft Text Modifications for Joint

Video Specification (ITU-T Rec. H. 264 / ISO/IEC 14496-10 AVC) , Draft 7", Borrador Final del Comité, Documento JVT-E022, págs. 10-13, y 62-68, septiembre de 2002.

Documento no patente 2: Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA y Yoshiyuki YASHIMA, "Multiview Video Coding based on 3-D Warping with Depth Map", En Las Actas del Simposio de Codificación de Imágenes 2006, SS3-6, abril de 2006.

Documento patente 1: solicitud de patente pendiente de examen japonesa, primera publicación núm. H10-191393.

Divulgación de la invención

Problema que resolver por la invención De acuerdo con el método de codificación de vídeo de puntos de vista múltiples convencional que aplica la compensación del movimiento a una imagen diferencial, se puede reducir el residuo de predicción en una parte que tenga las redundancias tanto temporal como entre cámaras, de manera que la codificación se pueda llevar a cabo de forma eficiente.

Sin embargo, si se produce una oclusión entre objetos procesados gráficamente como se muestra en la figura 8, entonces la presencia/ausencia de la redundancia entre cámaras para un único objeto puede cambiar dependiendo del tiempo.

La figura 8 muestra un ejemplo de la oclusión entre objetos en imágenes que son obtenidas por las cámaras A y B en cada uno de los tiempos a y b.

La figura 9 muestra un ejemplo de la imagen residual de la compensación de la disparidad cuando hay una oclusión.

De acuerdo con el método dado a conocer en el documento no patente 2, para cada píxel de un cuadro de referencia usado en la compensación de la disparidad, se proporciona información de la disparidad que indica un punto correspondiente en otro cuadro. Por lo tanto, si la imagen de la cámara B tiene la disparidad compensada a 45 partir de la imagen de la cámara A (véase la figura 8) , se obtiene una imagen diferencial como se muestra en la figura 9.

En la figura 9, la profundidad de color indica el valor de la señal diferencial, de manera que cuanto más próximo se encuentre del blanco, menor será la diferencia pertinente.

Aquí, se usa la información de la disparidad, que indica a qué parte en la imagen de la cámara B corresponde cada píxel en el cuadro de referencia (es decir, la imagen de la cámara A) . Por lo tanto, no se lleva a cabo una compensación de la disparidad en cada parte que esté presente en la imagen de la cámara B pero no esté presente en la imagen de la cámara A. Según esto, el color de cada parte (en la imagen pertinente) para la que se puede 55 obtener un punto correspondiente pasa a ser próximo al blanco. En contraste, en la parte R (en el interior de un círculo punteado en la figura 9) para la que no se puede obtener un punto correspondiente, la imagen original permanece sin cambios como la señal diferencial.

Sin embargo, debido a una diferencia... [Seguir leyendo]

1. Un método de codificación de vídeo de codificar una imagen de vídeo de puntos de vista múltiples usando la compensación de la disparidad, comprendiendo el método las etapas de:

generar, en base a la información de la disparidad entre una imagen de cámara de referencia, que se obtiene decodificando una imagen de cámara ya codificada, y una imagen de cámara objetivo de codificación correspondiente a la imagen de cámara de referencia, una imagen con la disparidad compensada para la imagen de cámara objetivo de codificación;

establecer la información del objetivo de referencia, que indica un objetivo de referencia, para cada una de las secciones de procesamiento de codificación en la imagen de cámara objetivo de decodificación de acuerdo con la presencia o ausencia de la imagen con la disparidad compensada correspondiente a dicha cada una de las secciones de procesamiento de codificación;

seleccionar, para cada una de las secciones de procesamiento de codificación en la imagen de cámara objetivo de codificación, una de una imagen diferencial decodificada, que se obtiene decodificando una imagen diferencial entre la imagen de cámara ya codificada y la imagen con la disparidad compensada, y una imagen de cámara decodificada, que se obtiene decodificando la imagen de cámara ya codificada, como el objetivo de referencia en base a la información del objetivo de referencia establecida;

codificar de forma predictiva una imagen diferencial entre la imagen de cámara objetivo de codificación y la imagen con la disparidad compensada remitiéndose a la imagen seleccionada como el objetivo de referencia;

almacenar una imagen diferencial decodificada, que se obtiene decodificando la imagen diferencial codificada de forma predictiva, y almacenar una imagen de cámara decodificada, que se obtiene decodificando la imagen de cámara ya codificada en base a la imagen diferencial decodificada obtenida decodificando la imagen diferencial codificada de forma predictiva.

2. El método de codificación de vídeo de acuerdo con la reivindicación 1, en el que:

la etapa de codificar de forma predictiva la imagen diferencial incluye computar un coste de codificación que se produce cuando cada uno de los métodos de predicción predeterminados se aplica a cada bloque de procesamiento de codificación que pertenece a la imagen diferencial y consiste en una pluralidad de píxeles, donde la predicción de vídeo de un bloque de procesamiento de codificación se lleva a cabo usando un único método de predicción que proporciona el coste de codificación mínimo.

3. El método de codificación de vídeo de acuerdo con la reivindicación 1, en el que:

la etapa de codificar de forma predictiva la imagen diferencial incluye computar un coste de codificación que se produce cuando cada uno de los métodos de predicción predeterminados se aplica a cada grupo de píxeles en cada bloque de procesamiento de codificación que pertenece a la imagen diferencial y consiste en una pluralidad de 45 píxeles, donde cada grupo de píxeles tiene una imagen de referencia individual, y la codificación se lleva a cabo mientras se selecciona si la predicción de vídeo de un bloque de procesamiento de codificación se lleva a cabo usando un único método de predicción o una pluralidad de métodos de predicción, de acuerdo con los costes computados.

4. El método de codificación de vídeo de acuerdo con la reivindicación 1, en el que cada una de las secciones de procesamiento de codificación es un píxel.

5. Un método de decodificación de vídeo de decodificar una imagen de vídeo de puntos de vista múltiples usando la compensación de la disparidad, comprendiendo el método las etapas de:

generar, en base a la información de la disparidad entre una imagen de cámara de referencia ya decodificada y una imagen de cámara objetivo de decodificación correspondiente a la imagen de cámara de referencia, una imagen con la disparidad compensada para la imagen de cámara objetivo de decodificación;

establecer la información del objetivo de referencia, que indica un objetivo de referencia, para cada una de las secciones de procesamiento de decodificación en la imagen de cámara objetivo de decodificación de acuerdo con la presencia o ausencia de la imagen con la disparidad compensada correspondiente a dicha cada una de las secciones de procesamiento de decodificación;

seleccionar, para cada una de las secciones de procesamiento de decodificación en la imagen de cámara objetivo de decodificación, una de una imagen diferencial decodificada que es la imagen diferencial entre la imagen de 14

cámara ya decodificada y la imagen con la disparidad compensada, y una imagen de cámara decodificada que es la imagen de cámara ya decodificada, como el objetivo de referencia en base a la información del objetivo de referencia establecida;

decodificar una imagen diferencial entre la imagen de cámara objetivo de decodificación y la imagen con la disparidad compensada remitiéndose a la imagen seleccionada como el objetivo de referencia, en base a un residuo de predicción de cada píxel, que se obtiene decodificando los datos codificados introducidos;

almacenar la imagen diferencial decodificada obtenida mediante la etapa de decodificación; y añadir la imagen diferencial decodificada a la imagen con la disparidad compensada, emitiendo la suma de ellas como una imagen de cámara decodificada de la imagen de vídeo de puntos de vista múltiples, y almacenar esta imagen de cámara decodificada.

6. El método de decodificación de vídeo de acuerdo con la reivindicación 5, en el que:

la etapa de decodificar la imagen diferencial incluye decodificar la imagen diferencial de una manera en la que un único método de predicción designado se aplique a cada bloque de procesamiento de decodificación que pertenece a la imagen de cámara objetivo de decodificación y consiste en una pluralidad de píxeles.

7. El método de decodificación de vídeo de acuerdo con la reivindicación 5, en el que:

la etapa de decodificar la imagen diferencial incluye decodificar la imagen diferencial mientras se selecciona para cada bloque de procesamiento de decodificación que pertenece a la imagen de cámara objetivo de decodificación y consiste en una pluralidad de píxeles, si se usa un único método de predicción designado o una pluralidad de métodos de predicción designados.

8. El método de decodificación de vídeo de acuerdo con la reivindicación 5, en el que cada una de las secciones de procesamiento de decodificación es un píxel. 30

9. Un aparato de codificación de vídeo (100) para codificar una imagen de vídeo de puntos de vista múltiples usando la compensación de la disparidad, comprendiendo el aparato:

un dispositivo (104) para generar, en base a la información de la disparidad entre una imagen de cámara de referencia, que se obtiene decodificando una imagen de cámara ya codificada, y una imagen de cámara objetivo de codificación correspondiente a la imagen de cámara de referencia, una imagen con la disparidad compensada para la imagen de cámara objetivo de codificación;

un dispositivo para establecer la información del objetivo de referencia, que indica un objetivo de referencia, para cada una de las secciones de procesamiento de codificación en la imagen de cámara objetivo de codificación de acuerdo con la presencia o ausencia de la imagen con la disparidad compensada correspondiente a dicha cada una de las secciones de procesamiento de codificación;

un dispositivo (106) para seleccionar, para cada una de las secciones de procesamiento de codificación en la 45 imagen de cámara objetivo de codificación, una de una imagen diferencial decodificada, que se obtiene decodificando una imagen diferencial entre la imagen de cámara ya codificada y la imagen con la disparidad compensada, y una imagen de cámara decodificada, que se obtiene decodificando la imagen de cámara ya codificada, como el objetivo de referencia en base a la información del objetivo de referencia establecida;

un dispositivo (105) para codificar de forma predictiva una imagen diferencial entre la imagen de cámara objetivo de codificación y la imagen con la disparidad compensada remitiéndose a la imagen seleccionada como el objetivo de referencia;

un dispositivo (108) para almacenar una imagen diferencial decodificada, que se obtiene decodificando la imagen 55 diferencial codificada de forma predictiva; y un dispositivo (107) para almacenar una imagen de cámara decodificada, que se obtiene decodificando la imagen de cámara ya codificada en base a la imagen diferencial decodificada obtenida decodificando la imagen diferencial codificada de forma predictiva.

10. El aparato de codificación de vídeo de acuerdo con la reivindicación 9, en el que cada una de las secciones de procesamiento de codificación es un píxel.

11. Un aparato de decodificación de vídeo (200) para decodificar una imagen de vídeo de puntos de vista múltiples 65 usando la compensación de la disparidad, comprendiendo el aparato:

un dispositivo (204) para generar, en base a la información de la disparidad entre una imagen de cámara de referencia ya decodificada y una imagen de cámara objetivo de decodificación correspondiente a la imagen de cámara de referencia, una imagen con la disparidad compensada para la imagen de cámara objetivo de decodificación;

un dispositivo para establecer la información del objetivo de referencia, que indica un objetivo de referencia, para cada una de las secciones de procesamiento de decodificación en la imagen de cámara objetivo de decodificación de acuerdo con la presencia o ausencia de la imagen con la disparidad compensada correspondiente a dicha cada una de las secciones de procesamiento de decodificación;

un dispositivo (205) para seleccionar, para cada una de las secciones de procesamiento de decodificación en la imagen de cámara objetivo de decodificación, una de una imagen diferencial decodificada que es la imagen diferencial entre la imagen de cámara ya decodificada y la imagen con la disparidad compensada, y una imagen de cámara decodificada que es la imagen de cámara ya decodificada, como el objetivo de referencia en base a la información del objetivo de referencia establecida;

un dispositivo (209) para decodificar una imagen diferencial entre la imagen de cámara objetivo de decodificación y la imagen con la disparidad compensada remitiéndose a la imagen seleccionada como el objetivo de referencia, en base a un residuo de predicción de cada píxel, que se obtiene decodificando los datos codificados introducidos;

un dispositivo (207) para almacenar la imagen diferencial decodificada obtenida mediante la etapa de decodificación; y un dispositivo (206) para añadir la imagen diferencial decodificada a la imagen con la disparidad compensada, 25 emitiendo la suma de ellas como una imagen de cámara decodificada de la imagen de vídeo de puntos de vista múltiples, y almacenando esta imagen de cámara decodificada.

12. El aparato de decodificación de vídeo de acuerdo con la reivindicación 11, en el que cada una de las secciones de procesamiento de decodificación es un píxel. 30

13. Un programa de codificación de vídeo mediante el cual un ordenador ejecuta un proceso para implementar el método de codificación de vídeo de acuerdo con la reivindicación 1.

14. Un programa de decodificación de vídeo mediante el cual un ordenador ejecuta un proceso para implementar el 35 método de decodificación de vídeo de acuerdo con la reivindicación 5.

15. Un medio de almacenamiento legible por ordenador que almacena un programa de codificación de vídeo mediante el cual un ordenador ejecuta un proceso para implementar el método de codificación de vídeo de acuerdo con la reivindicación 1.

16. Un medio de almacenamiento legible por ordenador que almacena un programa de decodificación de vídeo mediante el cual un ordenador ejecuta un proceso para implementar el método de decodificación de vídeo de acuerdo con la reivindicación 5.