Codificación y decodificación de vídeo escalable.

Un procedimiento, que comprende: la codificación de una pluralidad de imágenes en una unidad de acceso,

y la codificación de una primera indicación asociada con la unidad de acceso, y la codificación de al menos un mensaje asociado con la primera indicación, indicando la primera indicación a qué imágenes codificadas en la unidad de acceso se les aplica al menos un mensaje.

Codificación y decodificación de vídeo escalable Campo de la invención La presente invención se refiere, en general, a la codificación y descodificación de vídeo escalable. Más particularmente, la presente invención se refiere al uso de mensajes de información de mejora suplementaria en la codificación y decodificación de vídeo escalable.

Antecedentes de la invención Esta sección se destina a proporcionar un antecedente o contexto a la invención que se menciona en las reivindicaciones. La descripción en el presente documento puede incluir conceptos que podrían perseguirse, pero no son necesariamente aquellos que previamente se han concebido o perseguido. De este modo, a menos que se indique otra cosa en el presente documento, lo que se describe en esta sección no es técnica anterior para la descripción y las reivindicaciones en esta solicitud y no se admite como técnica anterior mediante la inclusión en esta sección.

Las aplicaciones multimedia incluyen reproducción local, reproducción directa o bajo demanda, de servicios de conversación y de difusión/multidifusión. Las tecnologías incluidas en las aplicaciones multimedia incluyen, entre otros, codificación de medios, almacenamiento y transmisión. Las diferentes normas se han especificado para las diferentes tecnologías.

Las normas de codificación de vídeo incluyen: H.261 de la ITU-T, visual MPEG-1 de la ISO/IEC, H.262 de la ITU-T o visual MPEG-2 de la ISO/IEC, H.263 de la ITU-T, visual MPEG-4 de la ISO/IEC y H.264 de la ITU-T (también conocido como MPEG-4 AVC de la ISO/IEC) . Además, hay actualmente esfuerzos en marcha en lo que respecta al desarrollo de las nuevas normas de codificación de vídeo. Una de tales normas en desarrollo es la norma de codificación de vídeo escalable (SVC) , que se convertirá en la extensión escalable de la norma H.264/AVC (H.264/AVC) . Otro de tales esfuerzos incluye el desarrollo de las normas de codificación de vídeo de China. Otra de tales normas bajo desarrollo es la norma de codificación de vídeo multivisión (MVC) , que se convertirá en otra extensión de la norma H.264/AVC.

La SVC puede proporcionar flujos de bits de vídeo escalables. En SVC, una secuencia de vídeo puede codificarse en múltiples capas, y cada capa es una representación de la secuencia de vídeo con una cierta resolución espacial o resolución temporal o en un cierto nivel de calidad o alguna combinación de las tres. Una parte de un flujo de bits de vídeo escalable puede extraerse y decodificarse en una resolución espacial deseada, resolución temporal, un cierto nivel de calidad o alguna combinación de estas resoluciones. Un flujo de bits de vídeo escalable contiene una capa base no escalable y una o más capas de mejora. Una capa de mejora puede mejorar la resolución temporal (es decir, la velocidad de trama) , la resolución espacial, o simplemente la calidad del contenido de vídeo representado por la capa inferior o parte de la misma. En algunos casos, los datos de una capa de mejora pueden truncarse después de una cierta localización, incluso en posiciones arbitrarias, y cada posición truncada puede incluir algunos datos adicionales que representan la calidad visual mejorada crecientemente. Tal escalabilidad se refiere como escalabilidad de grano fino (granularidad) (FGS) . En contraste a FGS, la escalabilidad proporcionada por una capa de mejora de calidad que no proporciona escalabilidad de grano fino se refiere como escalabilidad de grano grueso (CGS) . Las capas base pueden diseñarse, además, para ser FGS escalables. SVC es un ejemplo de codificación escalable de vídeo. Se describe un borrador de la norma SVC en el documento JVT-S202, " Joint Scalable Video Model JSVM-6: Joint Draft 6 with proposed changes" 19ª Reunión de JVT, Ginebra, Suiza, abril de 2006.

En la codificación de descripción múltiple (MDC) , una secuencia de medios de entrada se codifica en más de un subflujo, cada una de las cuales se hace referencia como una descripción. Cada descripción se decodifica independientemente y representa una cierta calidad de los medios. Sin embargo, basada en la decodificación de una o más descripciones, una decodificación adicional de otra descripción puede resultar en una mejora de la calidad de los medios. MDC se discute en detalle en Y. Wang, A. Reibman, y S. Lin, " Multiple description coding for vídeo deliver y ", Actas de la IEEE, volumen 93, número 1, enero de 2005.

En la codificación de vídeo multivisión, la salida de secuencias de vídeo desde cámaras diferentes, cada una correspondiente a una vista, se codifican en un flujo de bits. Después de la decodificación, para visualizar cierta vista, se visualizan las imágenes decodificadas que pertenecen a esa vista. Un borrador de la norma MVC se describe en el documento JVT-T208, "Joint multiview vídeo model (JMVM 1.0) ", 20ª reunión JVT, Klagenfurt, Austria, julio de 2006.

La norma H.264/AVC y sus extensiones incluyen el soporte para la señalización de información de mejora suplementaria (SEI) a través de mensajes SEI. Los mensajes SEI no son requeridos por el procedimiento de decodificación para generar valores de ejemplo correctos en imágenes de salida. Más bien, son útiles para otros fines, por ejemplo, la resiliencia del error y la visualización. La norma H.264/AVC contiene la sintaxis y la semántica para los mensajes SEI específicos, pero no está definido el procedimiento para el manejo de los mensajes en el destinatario. En consecuencia, los codificadores se requieren para seguir la norma H.264/AVC cuando crean mensajes SEI, y los decodificadores conformes con la norma H.264/AVC no se requieren para procesar los mensajes SEI durante la conformación del orden de salida. Una de las razones para incluir la sintaxis y la semántica de los mensajes SEI en la norma H.264/AVC es permitir las especificaciones del sistema, tales como las especificaciones multimedia 3GPP y las especificaciones DVB, para interpretar la información suplementaria de forma idéntica y por lo tanto interactuar. Se pretende que las especificaciones del sistema puedan requerir el uso de mensajes SEI particulares, tanto en la codificación final como en la decodificación final, y el procedimiento para el manejo de los mensajes SEI en el receptor pueda especificarse para la aplicación en una especificación del sistema.

El mecanismo para proporcionar escalabilidad temporal en la más reciente especificación de la SVC se refiere como la estructura de codificación "hierarchical B pictures". Esta característica se soporta totalmente por la norma H.264/AVC, y la parte de señalización se puede realizar mediante el uso de mensajes SEI posteriormente relacionados.

Los mensajes SEI en la norma H.264/AVC se describen sin ninguna referencia al anexo de extensión escalable. Por consiguiente los codificadores H.264/AVC generan y los decodificadores H.264/AVC interpretan los mensajes como se describe y sugiere por la semántica de los mensajes, respectivamente, en la norma H.264/AVC, y los mensajes no pueden usarse como tales para la señalización de las propiedades de las imágenes por encima de la capa base en un flujo de bits SVC. Las unidades de acceso y las imágenes a las que los mensajes SEI H.264/AVC pertenecen están especificadas en la semántica de cada mensaje SEI. Por ejemplo, la información en un mensaje SEI de información de la capa posterior es válida desde la unidad de acceso que contiene el mensaje SEI hasta la siguiente unidad de acceso que contiene un mensaje SEI de información de la capa posterior, exclusivo, o al final del flujo de bits, si no está presente el siguiente mensaje SEI de información de la capa posterior. El mensaje SEI del rectángulo pan-scan contiene un elemento de sintaxis (pan_scan_rect_repetition_period) , que especifica para que imágenes es válido el mensaje. El mensaje SEI de información posterior contiene datos que son válidos sólo para la unidad de acceso que lo contiene.

Una unidad de acceso de acuerdo con la norma de codificación H.264/AVC comprende cero o más mensajes SEI, una imagen codificada primaria, cero o más imágenes codificadas redundantes, y cero o más imágenes codificadas auxiliares. En algunos sistemas, la detección de los límites de la unidad de acceso puede simplificarse mediante la inserción de un delimitador de la unidad de acceso en el flujo de bits. Una unidad de acceso de acuerdo con SVC comprende al menos una imagen codificada que no es una imagen codificada redundante o auxiliar. Por ejemplo, una unidad de acceso SVC puede comprender, una imagen codificada primaria para la capa base y las múltiples imágenes codificadas de mejora. Una imagen codificada... [Seguir leyendo]

1. Un procedimiento, que comprende:

la codificación de una pluralidad de imágenes en una unidad de acceso, y la codificación de una primera indicación asociada con la unidad de acceso, y la codificación de al menos un mensaje asociado con la primera indicación, indicando la primera indicación a qué imágenes codificadas en la unidad de acceso se les aplica al menos un mensaje.

2. El procedimiento de la reivindicación 1, en el que la pluralidad de imágenes comprende un flujo de bits de vídeo escalable.

3. El procedimiento de la reivindicación 2, en el que la primera indicación incluye los valores dependency_id y quality_level.

4. El procedimiento de la reivindicación 1, en el que la primera indicación comprende un mensaje (SEI) de información de mejora suplementaria de anidación, y en el que al menos un mensaje comprende cualquier mensaje SEI diferente de un mensaje SEI de anidación.

5. El procedimiento de la reivindicación 4, en el que el mensaje SEI de anidación incluye además una tercera indicación que asocia el mensaje SEI de anidación a al menos una imagen codificada redundante.

6. El procedimiento de la reivindicación 1, en el que la primera indicación comprende una segunda indicación que indica que al menos un mensaje se aplica a todas las imágenes codificadas en la unidad de acceso.

7. El procedimiento de la reivindicación 1, en el que la primera indicación indica si al menos un mensaje se aplica, o bien sólo a algunas de las imágenes codificadas en la unidad de acceso o a todas las imágenes codificadas en la unidad de acceso.

8. El procedimiento de la reivindicación 1, en el que la pluralidad de imágenes comprende un flujo de bits de vídeo multivisión.

9. El procedimiento de la reivindicación 8, en el que la primera indicación incluye un valor view_id.

10. El procedimiento de la reivindicación 1, en el que la pluralidad de imágenes comprenden un flujo de bits de descripción múltiple.

11. El procedimiento de la reivindicación 10, en el que la primera indicación incluye un valor description_id.

12. El procedimiento de la reivindicación 1, en el que el flujo de bits de vídeo comprende una combinación de un flujo de bits de vídeo escalable y un flujo de bits de vídeo multivisión o una combinación de vídeo escalable, vídeo multivisión y flujo de bits de descripción múltiple.

13. Un producto de programa informático, realizado en un medio legible por ordenador, para la codificación de vídeo en un flujo de bits de vídeo escalable, que comprende el código informático configurado para realizar el procedimiento de la reivindicación 1.

14. Un aparato, que comprende:

un procesador, y una unidad de memoria comunicativamente conectada al procesador y que incluye:

el código informático para codificar una pluralidad de imágenes en una unidad de acceso, y el código informático para codificar una primera indicación asociada con la unidad de acceso, y el código informático para codificar al menos un mensaje asociado con la primera indicación, la primera indicación que indica a qué imágenes codificadas en la unidad de acceso se les aplica al menos un mensaje.

15. El aparato de la reivindicación 14, en el que la pluralidad de las imágenes comprende un flujo de bits de vídeo escalable.

16. El aparato de la reivindicación 14, en el que la primera indicación comprende un mensaje (SEI) de información de mejora suplementaria de anidación, y en el que al menos un mensaje comprende cualquier mensaje SEI diferente de un mensaje SEI de anidación.

17. El aparato de la reivindicación 14, en el que la primera indicación comprende una segunda indicación que indica si al menos un mensaje se aplica, o bien sólo a algunas imágenes codificadas en la unidad de acceso o a todas las imágenes codificadas en la unidad de acceso.

18. El aparato de la reivindicación 14, en el que la primera indicación indica si al menos un mensaje se aplica, o bien

sólo a algunas de las imágenes codificadas en la unidad de acceso o a todas las imágenes codificadas en la unidad de acceso.

19. El aparato de la reivindicación 14, en el que la pluralidad de imágenes comprende un flujo de bits de descripción múltiple, una combinación de un flujo de bits de vídeo escalable y un flujo de bits de vídeo multivisión, un flujo de bits de vídeo multivisión o una combinación de vídeo escalable, vídeo multivisión y flujo de bits de descripción múltiple.

20. Un procedimiento, que comprende:

el procesamiento de una primera indicación asociada con una unidad de acceso; el procesamiento de al menos un mensaje asociado con la primera indicación, la primera indicación que indica a cuales de una pluralidad codificada de imágenes en la unidad de acceso se les aplica al menos un mensaje; y el procesamiento de un flujo de bits de la pluralidad de imágenes de la unidad de acceso de acuerdo con la indicación de la primera indicación.

21. El procedimiento de la reivindicación 20, en el que el flujo de bits es un flujo de bits de vídeo escalable.

22. El procedimiento de la reivindicación 20, en el que la primera indicación comprende un mensaje (SEI) de información de mejora suplementaria de anidación, y en el que al menos un mensaje comprende cualquier mensaje SEI diferente de un mensaje SEI de anidación.

23. El procedimiento de la reivindicación 22, en el que el mensaje SEI de anidación incluye además una tercera indicación que asocia el mensaje SEI de anidación a al menos una imagen codificada redundante.

24. El procedimiento de la reivindicación 20, en el que la primera indicación indica si al menos un mensaje se aplica,

o bien sólo a algunas imágenes codificadas en la unidad de acceso o a todas las imágenes codificadas en la unidad de acceso.

25. El procedimiento de la reivindicación 20, en el que la primera indicación indica además que las imágenes codificadas en la unidad de acceso se asocian al menos con un mensaje.

26. El procedimiento de la reivindicación 20, en el que la primera indicación incluye los valores dependency_id y quality_level.

27. El procedimiento de la reivindicación 20, en el que el flujo de bits comprende un flujo de bits de vídeo multivisión.

28. El procedimiento de la reivindicación 27, en el que la primera indicación incluye un valor view_id.

29. El procedimiento de la reivindicación 20, en el que el flujo de bits comprende un flujo de bits de descripción múltiple.

30. El procedimiento de la reivindicación 29, en el que la primera indicación incluye un valor description_id.

31. El procedimiento de la reivindicación 20, en el que el flujo de bits de vídeo comprende una combinación de un flujo de bits de vídeo escalable y un flujo de bits de vídeo multivisión o una combinación de vídeo escalable, vídeo multivisión y flujo de bits de descripción múltiple.

32. Un producto de programa informático, realizado en un medio legible por ordenador, para el procesamiento de vídeo desde un flujo de bits de vídeo escalable, comprendiendo el código informático configurado para realizar el procedimiento de la reivindicación 20.

33. Un aparato que comprende:

un procesador, y una unidad de memoria comunicativamente conectada al procesador y que incluye:

el código informático para el procesamiento de una primera indicación asociada con una unidad de acceso; el código informático para el procesamiento de al menos un mensaje asociado con la primera indicación, la primera indicación que indica a cual de una pluralidad de imágenes codificadas en la unidad de acceso se le aplica al menos un mensaje; y el código informático para el procesamiento de un flujo de bits de la pluralidad de imágenes de la unidad de acceso de acuerdo con la indicación de la primera indicación.

34. El aparato de la reivindicación 33, en el que el flujo de bits es un flujo de bits de vídeo escalable.

35. El aparato de la reivindicación 33, en el que la primera indicación comprende un mensaje (SEI) de información de mejora suplementaria de anidación, y en el que al menos un mensaje comprende cualquier mensaje SEI diferente de un mensaje SEI de anidación.

36. El aparato de la reivindicación 33, en el que la primera indicación indica si al menos un mensaje se aplica, o bien sólo a algunas de las imágenes codificadas en la unidad de acceso o a todas las imágenes codificadas en la unidad de acceso.

37. El aparato de la reivindicación 33, en el que la primera indicación indica además qué imágenes codificadas en la unidad de acceso se asocian al menos con un mensaje.

38. El aparato de la reivindicación 33, en el que el flujo de bits comprende un flujo de bits de vídeo multivisión, un flujo de bits de descripción múltiple, una combinación de un flujo de bits de vídeo escalable y de un flujo de bits de vídeo multivisión o una combinación de vídeo escalable, vídeo multivisión y un flujo de bits de descripción múltiple.