Sistema de codificación de vídeo escalable.

Un procedimiento de codificación de datos de vídeo que comprenden una o más tramas,

comprendiendo el procedimiento:

una primera etapa (44, S702) de codificación para producir una capa base que comprende datos (47) de vídeo codificados codificando una porción de los datos de vídeo usando una técnica de codificación de predicción de tramas;

una etapa (45, S703) de generación para generar datos (51) de imágenes residuales correspondientes a las diferencias entre tramas en la capa base y las tramas de los datos de vídeo;

una segunda etapa (54, S704) de codificación para producir una capa de mejora que comprende datos codificados de imágenes residuales codificando los datos (51) de imágenes residuales; y

una etapa de salida, en la que

la segunda etapa de codificación usa una técnica de codificación de escalabilidad de granularidad fina, mediante la cual los datos codificados de imágenes residuales para una trama de los datos de vídeo comprenden varias imágenes residuales codificadas que incluyen una imagen basta inicial representada por un número predeterminado de bits y una imagen de mejora representada por el número predeterminado de bits para la imagen basta inicial y el siguiente número predeterminado de bits; y

la etapa (55, S706) de salida comprende dar salida a los datos (47) de vídeo codificados de la capa base y una o más de las imágenes residuales codificadas (50) de la capa de mejora a un receptor (43) para cada trama de los datos de vídeo originales,

caracterizado porque:

la primera etapa (44, S702) de codificación comprende codificar la porción de los datos de vídeo con varias tasas de bits diferentes para producir múltiples versiones de los datos de vídeo codificados; la etapa (45, S703) de generación comprende generar datos (51) de imágenes residuales para cada versión de los datos de vídeo codificados;

la segunda etapa (54, S704) de codificación comprende codificar los datos (51) de imágenes residuales para cada versión de los datos de vídeo codificados usando una técnica de codificación de escalabilidad de granularidad fina; y

la etapa (55, S706) de salida comprende dar salida a una versión seleccionada de los datos de vídeo codificados junto con al menos una imagen residual codificada correspondiente al efecto basada en un intervalo del ancho de banda disponible.

Sistema de codificación de vídeo escalable Antecedentes de la invención

Campo de la invención

La presente invención versa sobre un sistema de codificación de video escalable que codifica datos de video usando tanto predicción de tramas como imágenes escalables de granularidad fina. La invención tiene utilidad particular en conexión con redes de ancho de banda variable y en sistemas de ordenadores que son capaces de acomodar diferentes tasas de bits y, por ende, imágenes de diferente calidad.

Descripción de la técnica relacionada

La codificación de video escalable, en general, se refiere a técnicas de codificación que son capaces de proporcionar diferentes niveles o cantidades de datos por trama de video. En la actualidad tales técnicas son usadas por los estándares punteros de codificación, tales como MPEG-2 y MPEG-4 (es decir, codificación del grupo de expertos de imágenes en movimiento) para proporcionar flexibilidad cuando se da salida a datos de video codificados.

En las técnicas de codificación escalable actualmente empleadas por MPEG-2 y MPEG-4, un codificador codifica tramas de datos de video y divide las tramas codificadas en una capa base (BL) y una capa de mejora (EL). Normalmente, la capa base comprende una cantidad mínima de datos requerida para decodificar los datos de video codificados. La capa de mejora, por otra parte, comprende información adicional que realza (por ejemplo, mejora la calidad de) la capa base cuando es decodificada. En funcionamiento, el codificador transmite todas las tramas desde la capa base a un dispositivo receptor, que puede ser un ordenador personal o similar. Sin embargo, el codificador únicamente transmite tramas desde la capa de mejora en los casos en que el dispositivo receptor tiene suficiente potencia de proceso para gestionar esas tramas adicionales y/o el medio sobre el que se transmiten las tramas tiene suficiente ancho de banda.

Las Figuras 1 y 2 muestran estructuras de escalabilidad que se usan en la actualidad en MPEG-2 y MPEG-4 para la capa base y la capa de mejora. Más específicamente, la Figura 1 muestra una estructura 1 de escalabilidad que emplea predicción de tramas en la capa base 2 para generar tramas predictivas (o P) a partir de una intratrama (o I) o de una trama P precedente. Según se muestra en la figura, la predicción de tramas también se usa en la capa de mejora para generar tramas P basadas en tramas de la capa base. La Figura 2 muestra otra estructura 3 de escalabilidad que se usa en la actualidad en MPEG-2 y MPEG-4. En la estructura de escalabilidad mostrada en la Figura 2, vuelve a emplearse la predicción de tramas para determinar tramas P en la capa base. Sin embargo, a diferencia de la estructura 1 de escalabilidad, la estructura 3 de escalabilidad también usa la predicción de tramas en la capa de mejora para generar tramas bidireccionales (o B) que, en este caso, se interpolan a partir de tramas precedentes de la capa de mejora y de tramas contemporáneas de la capa base. En general, los codificadores MPEG-2 y MPEG-4 usan la predicción de tramas de la manera presentada en lo que antecede para aumentar la compresión de datos y aumentar así la eficiencia de la codificación.

El documento EP 634 871 A2 describe un codificador de vídeo de múltiples capas que comprende un codificador de la capa base y un codificador de la capa de mejora, que proporcionan dos tipos de señales de vídeo codificadas que comparten un canal común de salida. Un receptor de vídeo puede usar uno o ambos de los dos tipos de señal de vídeo codificada.

El documento WO 94 11993 A1 describe un procedimiento para mejorar la interactividad de la información multimedia. Una información multimedia está separada en capas primarias y secundarias. La información de las capas primarias es mejorada de modo que mejora la calidad psicográfica percibida de la información.

El documento WO 95 152 A1 describe un procedimiento para incorporar futuros desarrollos en la tecnología de compresión de vídeo para migrar hacia un mejor sistema de televisión de manera compatible con los receptores. Los datos de mejora pueden combinarse con datos estándar de vídeo. Los receptores estándar de FIDTV utilizarán datos estándar de vídeo, ignorando los datos de mejora. Los receptores (36) más avanzados de FIDTV combinarán los datos de mejora con los datos estándar.

YINGWEI CFIEN ET AL: "Request for Fine Granular Video Scalability for Media Streaming Applications", M3792, 3 de junio de 1998 (1998-6-3), XP33364, ISSN: -311 describe un procedimiento de codificación de vídeo que produce una capa base usando una técnica de codificación de predicción de tramas, generando un residuo de la diferencia entre los datos de vídeo introducidos y los datos reconstruidos de la capa base y produciendo una capa de mejora codificando los residuos usando una técnica de codificación de escalabilidad de granularidad fina.

Otra técnica de codificación de vídeo escalable bien conocida se denomina codificación de escalabilidad de granularidad fina. La codificación de escalabilidad de granularidad fina codifica la misma imagen (por ejemplo, una trama de vídeo) usando progresivamente más datos cada vez que tiene lugar la codificación. Por ejemplo, según la

muestra en la Figura 3, la imagen 4 es codificada inicialmente usando datos suficientes para producir la imagen 5. Posteriormente, se codifican datos adicionales que son suficientes para producir las imágenes mejoradas 6, 7 y 8 en sucesión.

La codificación de escalabilidad de granularidad fina tiene varias ventajas con respecto a las técnicas de predicción de tramas descritas más arriba, específicamente, dado que la codificación de escalabilidad de granularidad fina puede proporcionar una gama más amplia de imágenes mejoradas que las técnicas de predicción de tramas, generalmente se prefiere la codificación de escalabilidad de granularidad fina en entornos, tales como Internet, que tienen disponible un gran intervalo de ancho de banda. Por razones similares, también se prefiere generalmente la codificación de escalabilidad de granularidad fina cuando se abordan dispositivos receptores que tienen capacidad de procesamiento y/o ancho de banda diferentes. Es decir, dado que la codificación de escalabilidad de granularidad fina produce una amplia gama de imágenes mejoradas, es posible ajustar la imagen apropiada de forma relativamente cercana a una cantidad de ancho de banda disponible. En consecuencia, en teoría, es posible obtener la máxima cantidad de datos para una imagen para una cantidad dada de ancho de banda disponible. En la parte negativa, la codificación de escalabilidad de granularidad fina no permite el uso de la predicción de tramas. En consecuencia, requiere más datos que las técnicas de predicción de tramas descritas más arriba y, en consecuencia, degrada la eficiencia de codificación.

Así, existe la necesidad de una técnica de codificación de vídeo escalable que incorpore la eficiencia de la codificación de predicción de tramas y la precisión de la codificación de escalabilidad de granularidad fina.

La invención se define en las reivindicaciones adjuntas a la presente memoria.

Breve descripción de los dibujos

La Figura 1 representa una estructura de escalabilidad usada con una técnica de codificación escalable de tipo convencional de predicción de tramas.

La Figura 2 representa una estructura alternativa de escalabilidad usada con una técnica de codificación escalable de tipo convencional de predicción de tramas.

La Figura 3 representa imágenes generadas usando una técnica de codificación/decodificación de escalabilidad de granularidad fina.

La Figura 4 representa un sistema de ordenador en el que puede implementarse la presente invención.

La Figura 5 representa la arquitectura de un ordenador personal en el sistema de ordenador mostrado en la Figura 4.

La Figura 6 es un diagrama de bloques funcionales que muestra elementos de las realizaciones primera y segunda de la presente invención.

La Figura 7 es un diagrama de flujo que describe la técnica de codificación de escalabilidad de la presente invención.

La Figura 8 muestra una estructura de escalabilidad generada por la presente invención.

La Figura 9 es un diagrama de bloques de un decodificador según la presente invención.

La Figura 1 es un gráfico que representa la calidad de imagen en función de la tasa de bits para corrientes de bits de radiodifusión simultánea generadas por la segunda realización de la presente invención.

La Figura 11 es un diagrama de bloques funcionales que muestra elementos de la tercera realización de la presente invención.

Descripción detallada... [Seguir leyendo]

1. Un procedimiento de codificación de datos de vídeo que comprenden una o más tramas, comprendiendo el procedimiento:

una primera etapa (44, S72) de codificación para producir una capa base que comprende datos (47) de vídeo codificados codificando una porción de los datos de vídeo usando una técnica de codificación de predicción de tramas;

una etapa (45, S73) de generación para generar datos (51) de imágenes residuales correspondientes a las diferencias entre tramas en la capa base y las tramas de los datos de vídeo;

una segunda etapa (54, S74) de codificación para producir una capa de mejora que comprende datos codificados de imágenes residuales codificando los datos (51) de imágenes residuales; y una etapa de salida, en la que

la segunda etapa de codificación usa una técnica de codificación de escalabilidad de granularidad fina, mediante la cual los datos codificados de imágenes residuales para una trama de los datos de vídeo comprenden varias imágenes residuales codificadas que incluyen una imagen basta inicial representada por un número predeterminado de bits y una imagen de mejora representada por el número predeterminado de bits para la imagen basta inicial y el siguiente número predeterminado de bits; y

la etapa (55, S76) de salida comprende dar salida a los datos (47) de vídeo codificados de la capa base y una o más de las imágenes residuales codificadas (5) de la capa de mejora a un receptor (43) para cada trama de los datos de vídeo originales, caracterizado porque:

la primera etapa (44, S72) de codificación comprende codificar la porción de los datos de vídeo con vahas tasas de bits diferentes para producir múltiples versiones de los datos de vídeo codificados; la etapa (45, S73) de generación comprende generar datos (51) de imágenes residuales para cada versión de los datos de vídeo codificados;

la segunda etapa (54, S74) de codificación comprende codificar los datos (51) de imágenes residuales para cada versión de los datos de vídeo codificados usando una técnica de codificación de escalabilidad de granularidad fina; y

la etapa (55, S76) de salida comprende dar salida a una versión seleccionada de los datos de vídeo codificados junto con al menos una imagen residual codificada correspondiente al efecto basada en un intervalo del ancho de banda disponible.

2. Un procedimiento según la reivindicación 1 en el que los datos codificados de imágenes residuales para una trama de los datos de vídeo comprenden, además, una imagen adicional de mejora representada por el número predeterminado de bits para la imagen basta inicial, el siguiente número predeterminado de bits para la imagen de mejora, y el siguiente número predeterminado de bits.

3. Un procedimiento según la reivindicación 1 que, además, comprende las etapas de:

determinar (48) un ancho de banda del receptor (43); y

seleccionar (55, S75) a cuál de las imágenes residuales codificadas (51) dar salida en la etapa (55, S76) de salida en función del ancho de banda del receptor (43).

4. Un procedimiento según la reivindicación 3 en el que la etapa (55, S75) de selección selecciona, para cada trama de los datos (47) de vídeo codificados, una imagen residual codificada que tiene la mayor tasa de bits que puede ser acomodada por el ancho de banda del receptor (43).

5. Un procedimiento según la reivindicación 4 en el que la etapa (55, S75) de selección se lleva a cabo en tiempo real por un controlador (55) de la tasa de vídeo escalable en tiempo real.

6. Un procedimiento según la reivindicación 1 en el que la primera etapa (44, S72) de codificación codifica la porción de los datos de vídeo usando uno de MPEG-1, MPEG-2 y MPEG-4.

7. Un procedimiento según la reivindicación 1 en el que la etapa (45, S73) de generación comprende las etapas de:

decodificar los datos (47) de vídeo codificados para producir datos de vídeo decodificados; y determinar los datos (51) de imágenes residuales determinando una diferencia entre píxeles en los datos de vídeo y píxeles en los datos de vídeo decodificados.

8. Un procedimiento según la reivindicación 7 en el que la etapa (45, S73) de generación comprende las etapas de:

decodificar los datos (47) de vídeo codificados para producir datos de vídeo decodificados; filtrar los datos de vídeo decodificados para producir datos de vídeo filtrados; y

determinar los datos (51) de imágenes residuales determinando una diferencia entre pixeles en los datos de vídeo y pixeles en los datos de video filtrados.

9. Un procedimiento según la reivindicación 1 en el que la etapa (45, S73) de generación comprende las etapas

de:

filtrar los datos de vídeo para producir primeros datos de vídeo filtrados;

decodificar los datos (47) de vídeo codificados para producir datos de vídeo decodificados;

filtrar los datos de vídeo decodificados para producir segundos datos de vídeo filtrados; y

determinar los datos de imágenes residuales determinando una diferencia entre pixeles en los primeros

datos de vídeo filtrados y pixeles en los segundos datos de vídeo filtrados.

1. Un procedimiento según la reivindicación 1 en el que el receptor (43) comprende una red de ancho de banda variable.

11. Un procedimiento según la reivindicación 1 en el que la etapa (55, S76) de salida comprende las etapas de:

determinar (48) variaciones en el ancho de banda del receptor en el transcurso del tiempo; y seleccionar (55, S75) a cuál de las múltiples versiones de los datos de vídeo codificados y a cuál de las imágenes residuales codificadas dar salida en el transcurso del tiempo en función de las variaciones en el ancho de banda del receptor (43).

12. Un procedimiento según la reivindicación 11 en el que, para un ancho de banda del receptor que aumente de Bi a B2, siendo B-i<B2, la etapa (55, S75) de selección selecciona una primera versión de los datos de vídeo codificados y selecciona sucesivamente imágenes residuales codificadas correspondientes a cada trama de la primera versión de los datos de vídeo codificados, que son codificados con tasas de bits sucesivamente mayores; y

en el que, para un ancho de banda del receptor que aumente de B2 a B3, siendo B2<B3, la etapa (55, S75) de selección selecciona una segunda versión de los datos de vídeo codificados y selecciona sucesivamente imágenes residuales codificadas correspondientes a cada trama de la segunda versión de los datos de vídeo codificados, que son codificados con tasas de bits sucesivamente mayores.

13. Un procedimiento según la reivindicación 11 en el que, para un ancho de banda del receptor que disminuya de B3 a B2, siendo B3>B2, la etapa (55, S75) de selección selecciona una primera versión de los datos de vídeo codificados y selecciona sucesivamente imágenes residuales codificadas correspondientes a cada trama de la primera versión de los datos de vídeo codificados, que son codificados tasas de bits sucesivamente menores; y en el que, para un ancho de banda del receptor que disminuya de B2 a B1, siendo B2>Bi, la etapa (55, S75) de selección selecciona una segunda versión de los datos de vídeo codificados y selecciona sucesivamente imágenes residuales codificadas correspondientes a cada trama de la segunda versión de los datos de vídeo codificados, que son codificados tasas de bits sucesivamente menores.

14. Un producto de programa de ordenador para un procesador programable, comprendiendo el producto de programa de ordenador un conjunto de instrucciones que, cuando es cargado en el procesador programable, hace que el procesador programable lleve a cabo un procedimiento según cualquier reivindicación precedente.

15. Un aparato para codificar datos de vídeo que comprenden una o más tramas, comprendiendo el aparato:

un primer medio codificador (44) para producir una capa base que comprende datos (47) de vídeo codificados codificando una porción de los datos de vídeo usando una técnica de codificación de predicción de tramas;

un medio generador (45) para generar datos (51) de imágenes residuales correspondientes a la diferencia entre tramas en la capa base y tramas en los datos de vídeo (47); un segundo medio codificador (54) para producir una capa de mejora; y un medio (55) de salida, en el que:

el segundo medio codificador (54) es operable para codificar datos de imágenes residuales codificando los datos (51) de imágenes residuales usando una técnica de codificación de escalabilidad de granularidad fina, comprendiendo los datos codificados de imágenes residuales para una trama de los datos de vídeo varias imágenes residuales codificadas que incluyen una imagen basta inicial representada por un número predeterminado de bits y una imagen de mejora representada por el número predeterminado de bits para la imagen basta inicial y el siguiente número predeterminado de bits; y

el medio (55) de salida es operable para dar salida a los datos (47) de vídeo codificados de la capa base y al menos una de las imágenes residuales codificadas (5) de la capa de mejora a un receptor (43) para cada trama de los datos de vídeo originales, caracterizado porque:

el primer medio codificador (44) es operable para codificar la porción de los datos de vídeo con varias tasas de bits diferentes para producir múltiples versiones de los datos de vídeo codificados; el medio generador (45) es operable para generar datos (51) de imágenes residuales para cada versión de los datos de vídeo codificados;

el segundo medio codificador (54) es operable para codificar los datos (51) de imágenes residuales

para cada versión de los datos de vídeo codificados usando una técnica de codificación de escalabilidad de granularidad fina; y

el medio (55) de salida es operable para dar salida a una versión seleccionada de los datos de vídeo codificados junto con al menos una imagen residual codificada correspondiente al efecto basada en 1 un intervalo del ancho de banda disponible.

16. Un sistema de red que comprende:

un aparato para codificar datos de vídeo según se reivindica en la reivindicación 15 y un aparato para decodificar los datos (47) de vídeo codificados objeto de salida de la capa base y las imágenes residuales codificadas (5) objeto de salida de la capa de mejora.