Procedimiento para proporcionar vídeo digital resistente a errores,

que comprende:

capturar un fotograma de referencia de un vídeo subdividido en una pluralidad de áreas;

codificar, con un codificador (104), cada área del fotograma de referencia del vídeo en un paquete;

transmitir los paquetes a un receptor (110) por un canal (108) en una estimación de bits determinada asignada al fotograma de referencia;

recibir, del receptor (110), retorno instantáneo relativo a la recepción con éxito y decodificación de los respectivos de la pluralidad de los paquetes del fotograma de referencia, siendo indicativo el retorno instantáneo por lo tanto de uno o más paquetes perdidos;

calcular una tasa de error de paquetes, en lo sucesivo PER, para el fotograma de referencia del vídeo en base al retorno instantáneo;

realizar una ocultación de errores para áreas que corresponden a paquetes perdidos en el codificador (104) en el fotograma de referencia de vídeo que se utiliza en la etapa de codificación, en el que el retorno instantáneo para cada paquete llega con suficiente antelación para ocultar el área respetiva del fotograma de referencia antes de su uso para una predicción compensada de tiempo de un fotograma siguiente del vídeo;

en base a la PER para el fotograma de vídeo de referencia, aumentar un parámetro de cuantificación para el siguiente fotograma del vídeo, dividir la estimación de bits determinada para el siguiente fotograma en una estimación de bits para codificación de vídeo y una estimación de retransmisión, codificar cada área del siguiente fotograma de vídeo en un paquete en base al parámetro de cuantificación aumentado;

transmitir los paquetes del siguiente fotograma codificado en la estimación de bits para codificación de vídeo;

recibir retorno instantáneo del siguiente fotograma codificado; y retransmitir uno o más paquetes perdidos del siguiente fotograma de vídeo en la estimación de bits;

caracterizado por el hecho de calcular una tasa de error de paquetes residual después de la retransmisión, en lo sucesivo RPER, si la RPER es mayor que un valor predeterminado, omitir uno o más fotogramas de vídeo siguientes después del fotograma de vídeo siguiente siempre que la RPER siga siendo mayor que el valor predeterminado, y utilizar respectivas estimaciones de bits del uno o más fotogramas de vídeo omitidos para retransmitir los paquetes perdidos del siguiente fotograma codificado hasta que la RPER sea inferior a un valor predeterminado.

Transmisión de vídeo resistente a errores utilizando retorno instantáneo del receptor y retransmision de paquetes adaptativa de calidad del canal.

Campo de la invención [0001] Las realizaciones de la presente invención se refieren a la transmisión de vídeo digital. Más concretamente, las realizaciones de la invención se refieren a sistemas y metodologías de transmisión de vídeo digital en tiempo real resistentes a errores.

Antecedentes de la invención

Existe una creciente demanda de servicios inalámbricos. Desde simples receptores buscapersonas a la telefonía móvil con todas las funciones, los consumidores y usuarios siguen insistiendo en tecnologías más rápidas y funcionalmente más completas. En este sentido, los usuarios están exigiendo cada vez más la distribución inalámbrica de contenidos de audio/vídeo en tiempo real a teléfonos móviles, PDAs, ordenadores portátiles, o cualquier otro dispositivo portátil que tenga la capacidad de recibir y reproducir dicho contenido. La programación de noticias, deportes y entretenimiento está siendo cada vez más disponible para la distribución para dichas plataformas y los consumidores están cada vez más ansiosos de recibirlo.

Sin embargo, el suministro de estos contenidos de una manera eficiente y aceptable para el usuario no es una tarea fácil. Tal como se describe, por ejemplo, en la patente americana 5.768.527 de Zhu y otros, que va dirigida a una infraestructura por cable, uno de los mayores problemas para superar la transmisión de audio/vídeo en tiempo real es la pérdida de paquetes. Los paquetes pueden perderse durante la transmisión por cualquier motivo, incluyendo errores de bits, debido a enlaces físicos en una red, así como una limitada capacidad de almacenamiento en memoria intermedia y de procesamiento en nodos de la red. En un entorno inalámbrico, en particular (que Zhu y otros no tratan) , las señales portadoras pueden perderse debido a estructuras físicas (por ejemplo, montañas, edificios, etc.) que están dispuestas entre un lugar de transmisión y un lugar de recepción, así como a factores ambientales tales como el clima. Es evidente que si se pierde una señal portadora, entonces todos los paquetes que se están transmitiendo durante ese período sin señal portadora también se perderán.

Las actas del documento del IEEE, vol. 86, nº 5, Mayo de 1998, páginas 974 a 996, "Error control and concealment for video communications", de Yao y otros describe en un sistema de comunicaciones de vídeo que incluye una entrada de vídeo para recibir vídeo, un codificador de fuente y transporte que codifica la entrada de vídeo en paquetes de datos, un canal para transportar los paquetes de datos, un decodificador de fuente y transporte para decodificar los paquetes de datos en vídeo recibido y vídeo enviado para emitir el vídeo recibido. El codificador y el decodificador trabajan conjuntamente para minimizar el impacto de errores de transmisión. Ejemplos en esta categoría incluyen ARQ y codificación predictiva selectiva codificador

Por lo tanto, existe una demanda continua de sistemas y metodologías que mejoren el suministro de contenido, especialmente contenido de audio y vídeo en tiempo real, a dispositivos inalámbricos.

Descripción de la invención [0007] Las realizaciones de la presente invención proporcionan sistemas y metodologías de transmisión de vídeo digital en tiempo real resistentes a errores. Se utiliza un códec de vídeo híbrido basado en bloques (por ejemplo, MPEG-X, H.26S) para comprimir una secuencia de vídeo capturado, los fotogramas de vídeo se codifican en paquetes de vídeo (fragmentos) de tamaño fijo o tamaño variable, y estos paquetes se transmiten después a un receptor para decodificación y presentación. En base al retorno instantáneo del receptor sobre paquetes transmitidos con éxito o perdidos se lleva a cabo una ocultación de errores sincronizada tanto en el codificador como en el decodificador. El control de la codificación lleva a cabo decisiones de modos en el codificador en base al fotograma de referencia oculto, y se utiliza un control de velocidad a nivel de macrobloques para codificar un fotograma de acuerdo con una estimación de bits asignados a ese fotograma. El esquema de resistencia a errores puede combinarse con una metodología para la retransmisión de paquetes perdidos que, por lo menos en una ocasión, divide intervalos de tiempo en una estimación de bits para codificación de la fuente y una estimación de bits para la retransmisión de paquetes perdidos.

Aunque se ha descrito principalmente en un contexto inalámbrico, las realizaciones de la presente invención son igualmente aplicables a transmisión por cable e implementación con retorno.

Éstas y otras características de las realizaciones de la presente invención se comprenderán mejor tras la lectura de la siguiente descripción detallada junto con los distintos dibujos asociados, los cuales se enumeran inmediatamente a continuación.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

A continuación, la invención se ilustra a modo de ejemplo, tomando como referencia a los dibujos que se acompañan, en los cuales:

La figura 1 es una representación de alto nivel de componentes de un sistema de extremo a extremo que incorpora características de la presente invención;

La figura 2 muestra un esquema de tiempo para la codificación, transmisión y decodificación de fotogramas de vídeo de acuerdo con una realización de la presente invención;

La figura 3 muestra un codificador de vídeo híbrido basado en bloques con decodificador incorporado de acuerdo con una realización de la presente invención;

La figura 4 muestra una ocultación de errores del lado del codificador de acuerdo con una realización de la presente invención;

La figura 5 muestra varios esquemas de retransmisión que pueden emplearse en combinación con realizaciones de la presente invención;

La figura 6 muestra otro esquema de retransmisión que puede emplearse en combinación con realizaciones de la presente invención;

La figura 7 muestra un diagrama de estado de un esquema de retransmisión adaptativa de canales de acuerdo con realizaciones de la presente invención;

La figura 8 representa una interpolación espacial de un macrobloque perdido de acuerdo con realizaciones de la presente invención;

La figura 9 ilustra una estimación vectorial de movimiento del decodificador (DMVE) para una ocultación de errores temporal de acuerdo con realizaciones de la presente invención;

La figura 10 muestra una serie de etapas de ejemplo para llevar a cabo una ocultación de errores espacial y temporal combinada de acuerdo con realizaciones de la presente invención;

La figura 11 muestra una serie de etapas de ejemplo realizadas por un codificador al codificar un fotograma I de acuerdo con realizaciones de la presente invención, y [0022] Las figuras 12A y 12B muestran una serie de etapas de ejemplo realizadas por un codificador al codificar un fotograma P, de acuerdo con realizaciones de la presente invención.

DESCRIPCIÓN DETALLADA

Se hará referencia en detalle ahora a realizaciones de acuerdo con la presente invención, cuyos ejemplos se ilustran en los dibujos que se acompañan. Siempre que sea posible, en todos los dibujos se utilizarán los mismos números de referencia para referirse a elementos iguales o similares.

1. DESCRIPCIÓN GENERAL DEL SISTEMA

En la figura 1 se ilustra en general un sistema de transmisión de vídeo de acuerdo con una realización de la presente invención. La cámara de vídeo 102 captura imágenes de vídeo a una velocidad determinada (por ejemplo, 25 fotogramas/segundo) y el codificador de vídeo 104 codifica los fotogramas de vídeo capturados. El codificador de vídeo 104 es preferiblemente una estructura de codificación de vídeo híbrido basada en bloques (por ejemplo, MPEG-X, H.26X) utilizando predicción de movimiento compensada (MCP) y codificación por transformación (por ejemplo, transformada discreta del coseno, DCT) . El vídeo codificado (y comprimido) se envía entonces por un canal inalámbrico 108 utilizando un transmisor 106. En el lado del receptor, una vez que el receptor 110 recibe un paquete de vídeo, produce un reconocimiento (retorno instantáneo, 120) y lo envía inmediatamente por un canal de retorno inalámbrico al transmisor 106, informando el transmisor 106/codificador... [Seguir leyendo]

1. Procedimiento para proporcionar vídeo digital resistente a errores, que comprende:

capturar un fotograma de referencia de un vídeo subdividido en una pluralidad de áreas;

codificar, con un codificador (104) , cada área del fotograma de referencia del vídeo en un paquete;

transmitir los paquetes a un receptor (110) por un canal (108) en una estimación de bits determinada asignada al fotograma de referencia;

recibir, del receptor (110) , retorno instantáneo relativo a la recepción con éxito y decodificación de los respectivos de la pluralidad de los paquetes del fotograma de referencia, siendo indicativo el retorno instantáneo por lo tanto de uno o más paquetes perdidos;

calcular una tasa de error de paquetes, en lo sucesivo PER, para el fotograma de referencia del vídeo en base al retorno instantáneo;

realizar una ocultación de errores para áreas que corresponden a paquetes perdidos en el codificador (104) en el fotograma de referencia de vídeo que se utiliza en la etapa de codificación, en el que el retorno instantáneo para cada paquete llega con suficiente antelación para ocultar el área respetiva del fotograma de referencia antes de su uso para una predicción compensada de tiempo de un fotograma siguiente del vídeo;

en base a la PER para el fotograma de vídeo de referencia, aumentar un parámetro de cuantificación para el siguiente fotograma del vídeo, dividir la estimación de bits determinada para el siguiente fotograma en una estimación de bits para codificación de vídeo y una estimación de retransmisión, codificar cada área del siguiente fotograma de vídeo en un paquete en base al parámetro de cuantificación aumentado;

transmitir los paquetes del siguiente fotograma codificado en la estimación de bits para codificación de vídeo;

recibir retorno instantáneo del siguiente fotograma codificado; y retransmitir uno o más paquetes perdidos del siguiente fotograma de vídeo en la estimación de bits;

caracterizado por el hecho de calcular una tasa de error de paquetes residual después de la retransmisión, en lo sucesivo RPER, si la RPER es mayor que un valor predeterminado, omitir uno o más fotogramas de vídeo siguientes después del fotograma de vídeo siguiente siempre que la RPER siga siendo mayor que el valor predeterminado, y utilizar respectivas estimaciones de bits del uno o más fotogramas de vídeo omitidos para retransmitir los paquetes perdidos del siguiente fotograma codificado hasta que la RPER sea inferior a un valor predeterminado.

2. Procedimiento según la reivindicación 1, caracterizado por el hecho de que el retorno instantáneo incluye una confirmación negativa.

3. Procedimiento según la reivindicación 1, caracterizado por el hecho de que el codificador (104) es un codificador/decodificador de vídeo híbrido basado en bloques, en lo sucesivo códec.

4. Procedimiento según la reivindicación 3, caracterizado por el hecho de que comprende, además, dividir el fotograma de vídeo en una pluralidad de macrobloques.

5. Procedimiento según la reivindicación 4, caracterizado por el hecho de que comprende, además, asociar una pluralidad de macrobloques a un único fragmento.

6. Procedimiento según la reivindicación 5, caracterizado por el hecho de que comprende, además, codificar cada fragmento en un paquete respectivo.

7. Procedimiento según la reivindicación 1, que comprende:

determinar, para cada área del fotograma siguiente, como modo de codificación, si se omite el macrobloque y se copia el macrobloque de una misma ubicación de un fotograma de vídeo anterior, se intra codifica el macrobloque sin referencia a un fotograma anterior, o se inter codifica el macrobloque utilizando compensación de movimiento en base a un fotograma de referencia; y codificar cada área del fotograma siguiente de acuerdo con el modo de codificación determinado.

8. Procedimiento según la reivindicación 1 o 7, caracterizado por el hecho de que el canal (108) es un canal inalámbrico.

9. Procedimiento según la reivindicación 1 o 7, caracterizado por el hecho de que comprende, además, realizar una ocultación de errores sincronizada en un codificador (104) y el receptor (110) .

10. Procedimiento según la reivindicación 9, caracterizado por el hecho de que la ocultación de errores comprende ocultación de errores espacial, ocultación de errores temporal, o ambas.

11. Sistema para transmitir vídeo digital en tiempo real, que comprende:

un codificador/transmisor (104/106) configurado para capturar un fotograma de referencia de vídeo subdividido en una pluralidad de áreas, generar una codificación de la fuente codificando cada área del fotograma de referencia del vídeo en un paquete en base a un parámetro de cuantificación, y transmitir la codificación de la fuente por un canal en una estimación de bits asignada al fotograma de referencia, en el que la estimación de bits es un intervalo de tiempo para transmitir el vídeo al receptor; y un receptor/decodificador (110/112) configurado para enviar al codificador/transmisor (104/106) retorno instantáneo relativo a la recepción con éxito y decodificación de los respectivos de la pluralidad de paquetes de vídeo de la codificación de la fuente, siendo indicativo el retorno instantáneo de uno o más paquetes perdidos, en el que el codificador/transmisor (104/106) está configurado, además, para calcular una tasa de error de paquetes, en lo sucesivo PER, para el fotograma de referencia del vídeo en base al retorno instantáneo, llevar a cabo una ocultación de errores en el fotograma de vídeo de referencia, en el que el retorno instantáneo a cada paquete llega con suficiente antelación para ocultar el área respetiva del fotograma de referencia antes de su uso para una predicción compensada de tiempo en un fotograma siguiente del vídeo, en base a la PER para el fotograma de referencia de vídeo, reducir el parámetro de cuantificación para el siguiente fotograma del vídeo, dividir la estimación de bits determinada en una estimación de bits para codificación de la fuente y una estimación de bits de retransmisión, generar una codificación de la fuente siguiente codificando cada área del siguiente fotograma de vídeo en un paquete en base al parámetro de cuantificación reducido, transmitir la siguiente codificación de la fuente en la estimación de bits para la codificación de la fuente, y recibir retorno instantáneo de la siguiente codificación de la fuente;

caracterizado por el hecho de que el codificador/transmisor (104/106) está configurado, además, para calcular una tasa de error de paquetes residual después de la retransmisión, en lo sucesivo RPER, si la RPER es mayor que un valor predeterminado, omitir uno o más fotogramas de vídeo siguientes después del fotograma de vídeo siguiente siempre que la RPER siga siendo mayor que el valor predeterminado y utilizar respectivas estimaciones de bits del uno o más fotogramas de vídeo omitidos para retransmitir los paquetes perdidos de la codificación de la fuente del siguiente fotograma de vídeo hasta que la RPER sea inferior a un valor predeterminado.

12. Sistema según la reivindicación 11, caracterizado por el hecho de que el codificador está adaptado, además, para determinar, para cada área del fotograma siguiente, como modo de codificación, si se omite el macrobloque y se copia el macrobloque de una misma ubicación de un fotograma de vídeo anterior, se intra codifica el macrobloque sin referencia a un fotograma anterior, o se inter codifica el macrobloque utilizando compensación de movimiento en base a un fotograma de referencia; y codificar cada área del fotograma siguiente de acuerdo con el modo de codificación determinado.

13. Sistema según la reivindicación 12, caracterizado por el hecho de que el codificador/transmisor (104/106) y el receptor/decodificador (110/112) están configurados para llevar a cabo una ocultación de errores sincronizada.