Método y aparato para desmultiplexar un flujo de video escalable.

Un método de desmultiplexar flujo de transporte multiplexado mejorado que comprende una sucesión de unidades de acceso mejoradas,

comprendiendo cada unidad de acceso mejorada una unidad de acceso de capa de base y una unidad de acceso de capa de mejora, comprendiendo cada unidad de acceso una pluralidad de estructuras sintácticas, comprendiendo el citado método:

pasar las estructuras sintácticas de las unidades de acceso de la capa de base a una memoria temporal de capa de base;

pasar las estructuras sintácticas de las unidades de acceso de capa de mejora a una memoria temporal de capa de mejora, donde las estructuras sintácticas de las unidades de acceso de la capa de mejora comprenden estructuras sintácticas de capa de video y estructuras sintácticas no de capa de video;

separar las estructuras sintácticas de las unidades de acceso de la capa de base de la sucesión de unidades de acceso mejoradas incluyendo separar las estructuras sintácticas no de capa de video de la unidades de acceso de capa de mejora de la sucesión;

sacar las estructuras sintácticas pasadas a la memoria temporal de la capa de base en una secuencia predeterminada,

sacar las estructuras sintácticas pasadas a la memoria temporal de la capa de mejora en una secuencia predeterminada, y

recombinar las secuencias de estructuras sintácticas producidas por la memoria temporal de la capa de base y la memoria temporal de la capa de mejora respectivamente para formar una unidad de acceso mejorada completa, que comprende las estructuras sintácticas de la capa de base y las estructuras sintácticas de la capa de mejora en una secuencia predeterminada; caracterizado por que

las estructuras sintácticas pasadas a la memoria temporal de capa de base incluyen estructuras sintácticas no de video de la capa de mejora;

todas las estructuras sintácticas de la capa de video de las unidades de acceso de la capa de mejora pasan a la memoria temporal de la capa de mejora; y

ninguna de las estructuras sintácticas no de video de la capa de mejora de la unidades de acceso de capa de mejora pasa a la memoria temporal de la capa de mejora.

Método y aparato para desmultiplexar un flujo de video escalable Antecedentes de la invención Esta invención se refiere a un método y aparato para descodificar un flujo de video mejorado En referencia a la FIG. 1 de los dibujos, un codificador de video 10 recibe datos de video sin procesar, típicamente en el formato de HD-SDI definido en SMPTE 292M, desde una fuente tal como una cámara. El codificador de video utiliza los datos de HD-SDI para generar un flujo elemental de video y suministra el flujo elemental de video a un empaquetador de video 14, que produce un flujo elemental en paquetes (PES -Packetized Elementar y Stream, en inglés) de video compuesto de paquetes de longitud variable. Típicamente, cada paquete del PES de video contiene una o más tramas de video. De manera similar, un codificador de audio (no mostrado) recibe datos de audio sin procesar desde, por ejemplo, un micrófono y suministra un flujo elemental de audio a un empaquetador de audio, el cual crea un PES de audio compuesto de varios paquetes de longitud variable.

Los empaquetadores de video y de audio suministran los PESs de video y de audio a un multiplexador de flujo de transporte 18, el cual asigna diferentes identificadores de programa (PIDs -Program IDentifiers, en inglés) respectivos al PES de video y al PES de audio y organiza los paquetes de longitud variable de los PESs de video y de audio como paquetes de flujo de transporte (TS -Transport Stream, en inglés) de MPEG-2 de longitud fija que tienen cada uno una cabecera que incluye el PID del PES y una carga útil que contiene los datos de video (o audio) del PES.

El flujo de transporte de programa único (SPTS -Single Program Transport Stream, en inglés) que es obtenido mediante el multiplexador de flujo de transporte puede ser suministrado a un multiplexador de programa 22 que combina el SPTS con otros flujos de transporte, que contienen otros programas, para producir un flujo de transporte de múltiples programas (MPTS -Multi-Program Transport Stream, en inglés) . El MPTS es transmitido sobre un canal a un receptor en el cual un desmultiplexador de programa 26 separa un SPTS seleccionado del MPTS y lo suministra a un desmultiplexador de flujo de transporte 30. Resultará evidente para los expertos en la materia que el SPTS que es producido por el multiplexador de flujo de transporte puede ser transmitido directamente al desmultiplexador de flujo de transporte sin ser primero combinado con otros flujos de transporte para crear el MPTS sino que en cualquier caso el desmultiplexador de flujo de transporte recibe los paquetes de flujo de transporte del SPTS seleccionados y los separa sobre la base del PID, desempaqueta los paquetes de flujo de transporte para crear de nuevo los paquetes de PES, y dirige el PES del video a un llamado descodificador de objetivo del sistema (T-STD -Video System Target Decoder, en inglés) de video 34 y el PES del audio a un T-STD de audio 38. El asunto de esta aplicación está relacionado con la descodificación de un flujo de bits de video y de acuerdo con esto no explicaremos el descodificador de audio con más detalle.

El T-STD de video 34 comprende una memoria temporal de descodificador de objetivo del sistema 40 y un descodificador de video 42. La memoria temporal de STD 40 es funcionalmente equivalente a una memoria temporal de transporte Tb, a una memoria temporal de multiplexación Mb, y a una memoria temporal de flujo elemental Eb. La memoria temporal de transporte Tb recibe los PES de video a una tasa de bits variable y saca los datos a una tasa de bits constante hacia la memoria temporal de multiplexación Mb, que desempaqueta los PES de video y suministra un flujo de bits codificados a una tasa de bits constante a la memoria temporal de flujo elemental Eb. La memoria temporal de flujo elemental, que en ocasiones se denomina la memoria temporal del descodificador o la memoria temporal de imagen codificada (CPB -Coded Picture Buffer, en inglés) , recibe el flujo de bits de CBR y mantiene los bits para descodificar una imagen hasta que son todos eliminados instantáneamente por el descodificador de video en el tiempo de descodificación de imagen.

Es importante para una adecuada operación del descodificador que la memoria temporal del descodificador ni se exceda, de manera que se pierdan bits y una imagen no pueda ser descodificada, ni tenga un flujo inferior, de manera que el descodificador reciba pocos bits y no pueda descodificar una imagen en el tiempo adecuado. El suministro de bits a la memoria temporal del descodificador es controlado por una memoria temporal de datos comprimidos (CDB -Compressed Data Buffer, en inglés) 46 que recibe el flujo de bits del codificador de video 10. El codificador de video suministra bits al CDB a una velocidad que depende del llenado del CDB. El CDB suministra bits al empaquetador de video 14 a una velocidad constante y la memoria temporal de multiplexación suministra bits a la memoria temporal del descodificador a la misma velocidad, y de acuerdo con esto el llenado del CDB refleja el llenado de la memoria temporal del descodificador. Ajustando el suministro de bits al CDB con el fin de impedir el flujo excesivo / flujo inferior del CDB, evitamos el flujo excesivo / flujo inferior de la memoria temporal del descodificador.

El estándar de compresión de video que gobierna la operación del codificador puede especificar que el CDB no debe ser mayor que la memoria temporal de descodificador de un hipotético descodificador de referencia.

El flujo de transporte de MPEG-2 es ampliamente utilizado para el suministro de video codificado sobre un canal propenso a errores. La capa de sistema de MPEG-2 también proporciona transmisión de video codificado en el flujo de programa (PS -Program Stream, en inglés) en un entorno libre de errores. La FIG. 1 ilustra la transmisión de los

PES de video como un flujo de programa a un P-STD de video 50 como una alternativa al suministro como un flujo de transporte al T-STD de video 34.

El flujo de bits producido por el codificador de video 10 puede cumplir con el estándar de compresión de video que se especifica en el estándar ISO/IEC 14496-10 (MPEG-4 parte 10) Codificación Avanzada de Video (AVC -Advanced Video Coding, en inglés) , denominado comúnmente H.264/AVC. El estándar H.264/AVC utiliza imagen como un término colectivo para una trama o campo. El estándar H.264/AVC define una unidad de acceso como un conjunto de unidades de capa de abstracción de red (NAL -Network Abstraction Layer, en inglés) y especifica que la descodificación de una unidad de acceso siempre resulta en una imagen descodificada. Una unidad de NAL de una unidad de acceso producida por un codificador de AVC puede ser una unidad de capa de codificación de video (VCL -Video Coding Layer, en inglés) , que contiene información de imagen, o una unidad no de VCL, que contiene otra información, tal como subtitulación cerrada y temporización.

El Anexo G del estándar H.264/AVC prescribe una extensión del estándar H.264/AVC conocida como codificación de video escalable o SVC. La SVC proporciona mejoras escalables a la capa de base de la AVC, y la escalabilidad incluye escalabilidad espacial, escalabilidad temporal, escalabilidad de SNR y escalabilidad de profundidad de bit. Un codificador de SVC se espera que cree una capa de base que cumpla el estándar H.264/AVC y que añada una mejora a esa capa de base en una o más capas de mejora. Cada tipo de escalabilidad que se emplea en una implementación de SVC particular puede utilizar su propia capa de mejora. Por ejemplo, si los datos de video sin procesar están en el formato conocido como 1080 HD, compuesto de tramas de 1920 x 1088 píxeles, la capa de base puede estar contenida en un sub-flujo de bits compuesto de unidades de acceso que pueden ser descodificadas como imágenes que tienen 704 x 480 píxeles, mientras que la capa de mejora puede estar contenida en un sub-flujo de bits que está compuesto de unidades de acceso que permiten a un descodificador adecuado presentar imágenes que tienen 1920 x 1088 píxeles combinando las unidades de acceso de la capa de base con las unidades de acceso de la capa de mejora.

Un descodificador que tiene la capacidad de descodificar tanto una capa de base como una o más capas de mejora se denomina en esta memoria un descodificador de SVC, mientras que un descodificador que no puede reconocer una capa de mejora y es capaz de descodificar sólo las unidades de acceso de la capa de base, y por lo tanto no tiene capacidad de SVC, se denomina en esta memoria un descodificador de AVC.

Una unidad de acceso producida por un codificador de SVC comprende no sólo las unidades de NAL de la capa de base mencionadas anteriormente, que pueden ser convenientemente denominadas unidades de NAL de AVC, sino también... [Seguir leyendo]

1. Un método de desmultiplexar flujo de transporte multiplexado mejorado que comprende una sucesión de unidades de acceso mejoradas, comprendiendo cada unidad de acceso mejorada una unidad de acceso de capa de base y una unidad de acceso de capa de mejora, comprendiendo cada unidad de acceso una pluralidad de estructuras sintácticas, comprendiendo el citado método:

pasar las estructuras sintácticas de las unidades de acceso de la capa de base a una memoria temporal de capa de base;

pasar las estructuras sintácticas de las unidades de acceso de capa de mejora a una memoria temporal de capa de mejora, donde las estructuras sintácticas de las unidades de acceso de la capa de mejora comprenden estructuras sintácticas de capa de video y estructuras sintácticas no de capa de video;

separar las estructuras sintácticas de las unidades de acceso de la capa de base de la sucesión de unidades de acceso mejoradas incluyendo separar las estructuras sintácticas no de capa de video de la unidades de acceso de capa de mejora de la sucesión;

sacar las estructuras sintácticas pasadas a la memoria temporal de la capa de base en una secuencia predeterminada, sacar las estructuras sintácticas pasadas a la memoria temporal de la capa de mejora en una secuencia predeterminada, y recombinar las secuencias de estructuras sintácticas producidas por la memoria temporal de la capa de base y la memoria temporal de la capa de mejora respectivamente para formar una unidad de acceso mejorada completa, que comprende las estructuras sintácticas de la capa de base y las estructuras sintácticas de la capa de mejora en una secuencia predeterminada; caracterizado por que las estructuras sintácticas pasadas a la memoria temporal de capa de base incluyen estructuras sintácticas no de video de la capa de mejora;

todas las estructuras sintácticas de la capa de video de las unidades de acceso de la capa de mejora pasan a la memoria temporal de la capa de mejora; y ninguna de las estructuras sintácticas no de video de la capa de mejora de la unidades de acceso de capa de mejora pasa a la memoria temporal de la capa de mejora.

2. Un método de acuerdo con la reivindicación 1, en el que las estructuras sintácticas de una unidad de acceso de capa de mejora en la sucesión de unidades de acceso mejoradas comprenden estructuras sintácticas de capa de video, estructuras sintácticas no de capa de video, y una estructura sintáctica de delimitación que marcan una frontera de las estructuras sintácticas de capa de video de la unidad de acceso de capa de mejora, y la etapa de separar las estructuras sintácticas de las unidades de acceso de capa de base de la sucesión unitaria de unidades de acceso incluye pasar las estructuras sintácticas de antes de la estructura sintáctica de delimitación a la memoria temporal de capa de base y pasar las estructuras sintácticas de después de la estructura sintáctica de delimitación a la memoria temporal de la capa de mejora.

3. Un método de acuerdo con cualquier reivindicación precedente, que comprende recibir un flujo de transporte multiplexado que contiene, con diferentes identificadores de programa respectivos, las estructuras sintácticas de las unidades de acceso de la capa de base y desmultiplexar, las citadas estructuras sintácticas restantes, el flujo de transporte, para crear al menos dos flujos de programa sobre la base de los diferentes identificadores de programa respectivos, y pasar los dos flujos de programa a la memoria temporal de la capa de base y a la memoria temporal de la capa de mejora respectivamente.

4. Un método de acuerdo con cualquier reivindicación precedente, en el que la memoria temporal de la capa de base incluye un segmento de memoria temporal de flujo elemental y la memoria temporal de la capa de mejora incluye un segmento de memoria temporal de flujo elemental, y el método comprende ajustar dinámicamente los tamaños combinados de los segmentos de memoria temporal de flujo elemental para optimizar la desmultiplexación del flujo de transporte multiplexado mejorado aún restringiendo el tamaño máximo del segmento de memoria temporal de flujo elemental de la memoria temporal de la capa de base.

5. Un método de acuerdo con cualquier reivindicación precedente, que comprende pasar la unidad de acceso mejorada completa a un descodificador de video.

6. Un método de acuerdo con cualquier reivindicación precedente, en el que las unidades de acceso de la capa de mejora contienen estructuras sintácticas de al menos capas de mejora primera y segunda, y la etapa de pasar las estructuras sintácticas restantes a una memoria temporal de la capa de mejora incluye pasar las estructuras sintácticas a las capas de mejora primera y segunda y a las memorias temporales de mejora primera y segunda respectivamente.

7. Un método de crear una señal de video mejorada que comprende:

recibir un flujo de bits unitario que comprende unidades de acceso de capa de base y unidades de acceso de capa de mejora, donde cada unidad de acceso de capa de mejora comprende estructuras sintácticas de capa de video y estructuras sintácticas no de capa de video, separar un flujo de programa de capa de base y un flujo de programa de capa de mejora del flujo de bits unitario, caracterizado por incluir estructuras sintácticas no de capa de video de la unidades de acceso de la capa de mejora en el flujo de programa de la capa de base, por lo que la señal de video mejorada comprende un componente de capa de base que incluye estructuras sintácticas no de capa de video de las unidades de acceso de la capa de mejora y un componente de la capa de mejora que incluye estructuras sintácticas de capa de video de la unidades de acceso de capa de mejora; y el componente de la capa de mejora no incluye estructuras sintácticas no de capa de video de las unidades de acceso de la capa de mejora.

8. Un método de acuerdo con la reivindicación 7, que comprende también insertar una estructura sintáctica de delimitación en el flujo de programa de la capa de mejora.

9. Un aparato de desmultiplexación para desmultiplexar un flujo de programa de capa de base que contiene una sucesión de unidades de acceso de capa de base de un flujo de transporte multiplexado mejorado y al menos un flujo de programa de capa de mejora que contiene una sucesión de unidades de acceso de capa de mejora del citado flujo de transporte multiplexado mejorado, comprendiendo cada unidad de acceso una pluralidad de estructuras sintácticas, comprendiendo cada capa de mejora estructuras sintácticas de capa de video y estructuras sintácticas no de capa de video, comprendiendo el aparato de desmultiplexación:

una memoria temporal de capa de base conectada para recibir el flujo de programa de la capa de base y las estructuras sintácticas no de capa de video y configurada para producir estructuras sintácticas de cada unidad de acceso de capa de base y las estructuras sintácticas no de capa de video en una secuencia predeterminada, una memoria temporal de la capa de mejora conectada para recibir las estructuras sintácticas de capa de video de la capa de mejora y para producir las estructuras sintácticas de capa de video de cada unidad de acceso de capa de mejora en una secuencia predeterminada, un elemento funcional de reensamblaje conectado para recibir las estructuras sintácticas producidas por la memoria temporal de la capa de base y la memoria temporal de la capa de mejora respectivamente y para formar una unidad de acceso mejorada completa, comprendiendo las estructuras sintácticas de la capa de base y las estructuras sintácticas de la capa de mejora en una secuencia predeterminada; caracterizado por que ninguna estructura sintáctica no de capa de video es recibida por la memoria temporal de la capa de mejora.

10. Un aparato de desmultiplexación de acuerdo con la reivindicación 9, que comprende también un descodificador de video conectado para recibir la unidad de acceso mejorada completa, estando el descodificador de video operativo para descodificar la unidad de acceso mejorada para formar una unidad de presentación de video.

11. Un aparato de desmultiplexación de acuerdo con la reivindicación 9, en el que las estructuras sintácticas incluidas en cada unidad de acceso de la capa de mejora comprenden estructuras sintácticas de capa de video, cada unidad de acceso de la capa de mejora del flujo de programa de la capa de mejora contiene una estructura sintáctica de delimitación que marca una frontera de las estructuras sintácticas de capa de video incluidas en la unidad de acceso de capa de mejora, el flujo de programa de capa de base y el flujo de programa de capa de mejora están encapsulados en un flujo de transporte, y el aparato de desmultiplexación comprende un desmultiplexador de flujo de transporte para recibir el flujo de transporte, extraer las estructuras sintácticas de la capa de video de las unidades de acceso de la capa de mejora del flujo de transporte sobre la base de las unidades de acceso de delimitación, y sacar estructuras sintácticas del flujo de programa de capa de base a la memoria temporal de la capa de base y producir estructuras sintácticas de la capa de video del flujo de programa de la capa de mejora hacia la memoria temporal de la capa de mejora; donde

extraer las estructuras sintácticas de la capa de video de las unidades de acceso de capa de mejora del flujo de transporte incluye pasar las estructuras sintácticas de antes de la estructura sintáctica de delimitación hacia la memoria temporal de la capa de base y pasar las estructuras sintácticas de después de la estructura sintáctica de delimitación hacia la memoria temporal de la capa de mejora.

12. Aparato para crear una señal de video mejorada, comprendiendo el aparato:

al menos un procesador acoplado en comunicación a un adaptador de entrada para recibir un flujo de bits unitario compuesto de unidades de acceso de capa de base y de unidades de acceso de capa de mejora, donde cada 11

unidad de acceso de la capa de mejora comprende estructuras sintácticas de capa de video y estructuras sintácticas no de capa de video; caracterizado por que el al menos un procesador está configurado para proporcionar un módulo separador para separar un flujo de programa de capa de base y un flujo de programa de capa de mejora del flujo de bits unitario e incluir estructuras 5 sintácticas no de capa de video de la unidades de acceso de la capa de mejora en el flujo de programa de la capa de base, por lo que la señal de video mejorada comprende un componente de la capa de base que incluye estructuras sintácticas no de capa de video de la unidades de acceso de la capa de mejora y un componente de la capa de mejora que incluye estructuras sintácticas de capa de video de las unidades de acceso de la capa de mejora, por lo que el componente de la capa de mejora no incluye estructuras sintácticas no de capa de video de la unidades de acceso de capa de mejora.

13. Aparato de acuerdo con la reivindicación 12, que comprende un insertador para insertar una estructura sintáctica de delimitación en el flujo de programa de capa de mejora.