Método y aparato para la valoración objetiva de la calidad de video basado en estimaciones continuas de la visibilidad de la pérdida de paquetes.

Método para evaluar la calidad de una señal de video transmitida en el lado del receptor,

comprendiendo el método los pasos de:

a) capturar el flujo de bits de entrada y suministrarlo a un analizador de flujo de bits de video;

b) extraer al menos una característica o un conjunto de características a partir del flujo bits de video de entrada capturado mediante el analizador de flujo de bits;

c) entregar la característica extraída o el conjunto de características a un módulo de estimación de la visibilidad de la pérdida de paquetes;

d) determinar, mediante el módulo de estimación de la visibilidad de la pérdida de paquetes, utilizando las características extraídas suministradas del flujo de bits de video, la probabilidad continua de la visibilidad para cada evento de pérdida de paquetes que ocurra dentro de un intervalo de tiempo específico;

e) utilizar la probabilidad continua de la visibilidad de la pérdida de paquetes, determinada por el módulo de estimación de la visibilidad de la pérdida de paquetes, como un factor de ponderación de al menos una característica o conjunto de características extraídas a partir del flujo de bits de video para calcular una estimación de la calidad global, Q, de la secuencia de video transmitida;

en el que el paso (d) utiliza al menos una característica del flujo de bits del grupo que comprende: tipo de marco, magnitud promedio de los vectores de moción (AvgMv), diferencia promedio del vector de moción (AvgMvDiff), energía del residuo (ResEnergy), número máximo de particiones (MaxPartNr), número de macrobloques no-descodificables (LostMbs), información del vector de moción (mv), tipo de macrobloques (tipo mb); y,

en el que el paso (e) combina la estimación de la visibilidad (V) de la pérdida de paquetes con la magnitud determinada de la distorsión (EstErr) y el número total calculado de píxeles dañados debido a la pérdida de paquetes (ErrProp).

Método y aparato para la valoración objetiva de la calidad de video basado en estimaciones continuas de la visibilidad de la pérdida de paquetes

Campo de la invención

La presente invención se refiere a un método y a un aparato para la valoración de la calidad de video basada en el análisis de la visibilidad de las pérdidas de paquetes que se pueden producir durante la transmisión de una secuencia de video a través de una red propensa a presentar errores.

Antecedentes de la invención

La proliferación de contenidos de video ha necesitado durante los últimos años el desarrollo de métodos objetivos de valoración de calidad de video. Es evidente que los parámetros de red que definen la Calidad de Servicio (QoS) no son suficientes para estimar la calidad de servicio percibida por el usuario, típicamente referida como Calidad de Experiencia (QoE). Los métodos de estimación de la calidad soportan comúnmente una estimación diferenciada de la calidad asociada a la codificación (compresión, Qcod) de la señal de video y de la calidad debida a la pérdida de paquetes durante la transmisión (Qtrans). Es una propiedad inherente de las redes-IP que (sobre todo debido a la sobrecarga temporal en algún punto de la red) que los paquetes IP se puedan perder. Algunas de estas pérdidas pueden resultar prácticamente invisibles para el usuario mientras que otras pueden producir una severa degradación de la calidad de video. Incluso en el caso en que se incluyan contramedidas contra estas pérdidas son parte de un sistema de distribución de IPTV, estos medios nunca pueden garantizar un remedio absoluto. Por ejemplo, una petición de retransmisión puede tardar demasiado, o el propio paquete retransmitido puede acabar perdiéndose. Por lo tanto, siempre existe una probabilidad distinta de cero, de que se transmitan trenes o flujos de bits fragmentarios hacia el dispositivo del usuario final. Esto a su vez puede causar degradaciones visibles o audibles en el video reconstruido. Las categorías de medición pueden incluir además por tanto valores para expresar la probabilidad de las pérdidas. Este tipo de valores pueden incluir la expresión de una "tasa de pérdida de paquetes" y de la "impulsividad de los eventos de pérdida". En el documento de Y. Liang, et al. "Analysis of Packet Loss for Compressed Video: Effect of Burst Losses and Correlation between Error Frames." en IEEE Trans, on Circuits and Systems for Video Technology, vol. 18, núm. 7, de Julio 28, se investigó el impacto de las pérdidas en forma de ráfaga sobre la calidad de video. Se demostró que el patrón de pérdida tiene un efecto significativo sobre la distorsión global y que las pérdidas en forma de ráfaga producen un impacto más severo que las pérdidas individuales. Sin embargo, este estudio no considera la distorsión percibida desde el punto de vista de usuario y se propone principalmente para la estimación de la distorsión en el lado del codificador, donde no se conocen las pérdidas de paquete reales.

Los modelos paramétricos de calidad de video para aplicaciones de IPTV evalúan la distorsión tanto debida a compresión como debida a una transmisión errónea (véase, por ejemplo, el documento de K. Yamagishi y T. Hayashi, "Parametric Packet-Layer Model for Monitoring Video Quallty of IPTV Services", en Proc. of IEEE Int. Conf. on Communications, 28, o el documento de M. N. García y A. Raake, "Parametric packet-layer video quality model for IPTV", Int. Conf. en Information Science, Signal Processing and thelr Applications (ISSPA), Kuala-Lumpur, Mayo 21).

Sin embargo, los modelos basados puramente en cabecera no pueden cubrir precisamente el impacto de las alteraciones de la red sobre la calidad visual en términos de las características espacio-temporales de la secuencia de video y de las propiedades estadísticas de las pérdidas de paquetes. De ese modo, los modelos de valoración objetiva de la calidad de video deben analizar la relación entre las pérdidas de paquetes y la degradación visual y tener en cuenta el factor de que las pérdidas de paquetes no producen una cantidad igual de degradación percibida. Una revisión de los diferentes tipos de modelos objetivos basados en paquetes, flujo de bits o híbridos, y de la diferente cantidad de información disponible para cada uno de ellos se presenta en el documento de S. Wlnkler y P. Mohandas, "The Evolution of Video Quality Measurement: From PSNR to Hybrid Metrics", IEEE Trans. en Broadcasting, vol. 54, núm. 3, de septiembre de 28. Una revisión más detallada de las diferentes capas de información para los algoritmos de supervisión de la calidad de video exentos de referencia se presenta en el documento de A. Takahashi, et al., "Standardisation actlvltles ¡n ITU for a QoE assessment of IPTV", IEEE Communications Magazine, vol. 46, núm. 2, febrero de 28.

El problema de predecir la visibilidad de la pérdida de paquetes ha sido abordado en la bibliografía sólo en términos de clasificación de pérdidas de paquetes en un modo binario: visible o Invisible. En el documento de Kanumurl, P. C. Cosman, A. R. Reibman, V. A. Vaishampayan, "Modeling packet-loss vlslbility en video MPEG-2", IEEE Trans. On Multimedia, vol. 8, núm. 2, de abril de 24, págs. 341 a 355, se extrajo un conjunto de características a partir del flujo de bits MPEG-2 y dos enfoques de modelización, se utilizó un Modelo Lineal Generalizado (GLM) para estimar el número relativo de espectadores que han detectado un error, y un clasificador de árbol para determinar si una pérdida de paquete produce una degradación visible. El algoritmo fue extendido a video H.264/AVC en el documento de S. Kanumuri, et al., "Predicting H.264 Packet Loss Visiblllty uslng a Generalized Linear Model", en Proc. of ICIP, de octubre de 26. La clasificación anterior fue extendida para video H.264/AVC en el documento de S. Kanumuri, S. B. Subramanian, P. C. Cosman, A. R. Reibman, "Predicting H.264 packet loss visibillty uslng a generalized linear

model", en Proc. of IEEE Int. Conf. on Image Processing (ICIP), Atlanta, Georgia, en octubre de 26, en el cual se examinó el efecto de pérdidas duales de paquetes, y en el documento de T. L. Un, S. Kanumuri, Y. Zhl, D. Poole, P. C. Cosman y A. R. Relbman, "A versatile model for packet loss visibility and its appllcation to packet prlorltization", IEEE Trans. en Image Processing, vol. 19, núm. 3, págs. 722 a 725, de marzo de 21, en el que el esquema propuesto fue utilizado para la priorlzaclón de paquetes en los encaminadores intermedios de una red.

Adlclonalmente, se desarrolló un clasificador de árbol de decisión basado en flujo de bits exento de referencia para secuencias de CIF según el documento de N. Staelens et al., "Vlqid: A no-reference bit stream-based visual quality ¡mpalrment detector", en IEEE Workshop on Quality of Multimedia Experience, Trondheim, Noruega, en junio de 21. En ese caso, el efecto del patrón y de la longitud de la pérdida de paquetes sobre la calidad subjetiva es una cuestión no respondida. En el documento de Y. J. Liang, J. G. Apostolopoulos, y B. Girod, "Analysls of packet loss for compressed video: effect of burst losses and correlation between error frames", IEEE Trans. on Clrcults and Systems for Video Technology, vol. 18, núm. 7, págs. 861 a 874, de julio de 28, se analizó el efecto de las pérdidas en forma de ráfaga sobre la calidad del video reconstruido y se demostró que un patrón de pérdida específico produce una mayor degradación que un número igual de pérdidas aisladas. Asimismo, se tuvo en cuenta la correlación entre las tramas o marcos de error en el modelado de la distorsión inducida. Sin embargo, el algoritmo fue puesto a prueba únicamente sobre secuencias de QCIF y, de ese modo, con un esquema de paquetlzaclón en el cual un marco individual está contenido en un paquete. Además, no se comprobó el impacto sobre las valoraciones subjetivas.

Adlclonalmente, en el documento de F. Yang, et al., "No-reference quality assessment for Networked Video vía Prlmary Analysis of the Blt-Stream", IEEE Circuits and Systems for Video Technology, vol. 2, núm. 11, págs. 1544 a 1554, de noviembre de 21, se presenta un algoritmo de supervisión de la calidad de video para evaluar la degradación debida a errores de cuantlzación y de transmisión. El impacto de la pérdida de paquetes sobre la calidad percibida es ponderada mediante la complejidad temporal de los marcos en los que se produce la pérdida.

Adicionalmente, se presentó aún otro método para la supervisión de la calidad de video en el documento de M. Mu et. al., "A discrete perceptual impact evaluation quality assessment framework for IPTV Services", en Proc. of ICME, de 21, basado en la suma de degradaciones de video debida a irregularidades de la red.

La diferencia... [Seguir leyendo]

1. Método para evaluar la calidad de una señal de video transmitida en el lado del receptor, comprendiendo el método los pasos de:

a) capturar el flujo de bits de entrada y suministrarlo a un analizador de flujo de bits de video;

b) extraer al menos una característica o un conjunto de características a partir del flujo bits de video de entrada capturado mediante el analizador de flujo de bits;

c) entregar la característica extraída o el conjunto de características a un módulo de estimación de la visibilidad de la pérdida de paquetes;

d) determinar, mediante el módulo de estimación de la visibilidad de la pérdida de paquetes, utilizando las características extraídas suministradas del flujo de bits de video, la probabilidad continua de la visibilidad para cada evento de pérdida de paquetes que ocurra dentro de un intervalo de tiempo específico;

e) utilizar la probabilidad continua de la visibilidad de la pérdida de paquetes, determinada por el módulo de estimación de la visibilidad de la pérdida de paquetes, como un factor de ponderación de al menos una característica o conjunto de características extraídas a partir del flujo de bits de video para calcular una estimación de la calidad global, Q, de la secuencia de video transmitida;

en el que el paso (d) utiliza al menos una característica del flujo de bits del grupo que comprende: tipo de marco, magnitud promedio de los vectores de moción (AvgMv), diferencia promedio del vector de moción (AvgMvDIff), energía del residuo (ResEnergy), número máximo de particiones (MaxPartNr), número de macrobloques no-descodificables (LostMbs), información del vector de moción (mv), tipo de macrobloques (tipo mb);

y,

en el que el paso (e) combina la estimación de la visibilidad (V) de la pérdida de paquetes con la magnitud determinada de la distorsión (EstErr) y el número total calculado de píxeles dañados debido a la pérdida de paquetes (ErrProp).

2. Método según la reivindicación 1, en el que la extracción de característica según el paso (b) se realiza directamente mediante la descodificación parcial del flujo de bits de video, donde "parcialmente" significa sin descodificar el flujo de bits a nivel de píxel.

3. Método según la reivindicación 1, en el que la extracción de característica según el paso (b) se realiza mediante la descodificación completa del flujo de bits de video y mediante la combinación de la información procedente de los píxeles reconstruidos de la señal de video.

4. El método de cualquiera de las reivindicaciones 1 a 3, en el que, en base a la característica extraída "tipo de marco", se determina el número de marcos (ErrDur) degradados por una pérdida de paquetes y se utiliza para la predicción de la probabilidad de la visibilidad de la pérdida de paquetes, así como para combinarlo con la probabilidad de la visibilidad para estimar el impacto de una pérdida de paquetes sobre la calidad visual.

5. El método de cualquiera de las reivindicaciones 1 a 4, en el que se genera un mapa binario de propagación de error para cada imagen de la secuencia de señal de video en base a la información del vector de moción y al tipo de macrobloques.

6. Método según la reivindicación 5, en el que se determina el número de marcos (ErrDur) degradados por una

pérdida de paquetes en base al mapa de propagación de error y a la información del tipo de marco.

7. Método según la reivindicación 5 ó 6, en el que se calcula el número de total de píxeles dañados debido a la

pérdida de paquetes (ErrProp) en base al mapa de propagación de error.

8. Método según cualquiera de las reivindicaciones 1 a 7, en el que se determina la magnitud de la distorsión (EstErr) inducida, debida a la pérdida de paquetes y a la propagación del error, en base a los vectores de moción, los tipos de macrobloque y los residuos.

9. Método según cualquiera de las reivindicaciones precedentes, en el que el paso (d) se lleva a cabo utilizando una técnica de regresión de vectores de soporte mapeando el vector de características de entrada, que comprende las características mencionadas anteriormente, sobre un espacio de características de gran dimensión utilizando una función no-lineal de mapeo y construyendo un modelo lineal en este espacio de características.

1. Método según cualquiera de las reivindicaciones precedentes, que comprende además, entre los pasos d) y e), el paso de estimar la distorsión visible global generada mediante la encuesta temporal de todas las pérdidas de paquetes que se producen dentro de la secuencia de señales de video.

11. Aparato para valorar la calidad de una secuencia de señal de video transmitida en el lado receptor,

comprendiendo el aparato:

- un analizador de flujo o flujo de bits de video que recibe la flujo de bits de video de entrada capturado, y que está configurado para extraer al menos una característica o un conjunto de características a partir del flujo bits de video de entrada capturado;

- un módulo de estimación de la visibilidad de la pérdida de paquetes que recibe la característica o el

conjunto de características extraídas, estando el módulo de estimación de la visibilidad de la pérdida de paquetes configurado para determinar la visibilidad de una pérdida de paquetes ocurrida durante la transmisión de una señal de video mediante la predicción de la probabilidad continua de la visibilidad para cada evento de pérdida de paquetes que se produzca dentro de un Intervalo de tiempo específico;

- un combinador para combinar la probabilidad continua de la visibilidad de la pérdida de paquetes,

determinada por el módulo de visibilidad de la pérdida de paquetes, a modo de factor de ponderación, de al menos una característica o conjunto de características extraídas a partir del flujo de bits de video para calcular una estimación de la calidad global, Q, de la secuencia de señales de video transmitida;

en la que el módulo de estimación de la visibilidad de la pérdida de paquetes utiliza al menos una 15 característica del flujo de bits del grupo que comprende: tipo de marco, magnitud promedio de los vectores de moción (AvgMv), diferencia promedio del vector de moción (AvgMvDiff), energía del residuo (ResEnergy), número máximo de particiones (MaxPartNr), número de macrobloques no-descodificables (LostMbs), información del vector de moción (mv), tipo de macrobloques (tipo mb); y,

en el que el combinador combina la estimación de la visibilidad (V) de la pérdida de paquetes con la 2 magnitud determinada de la distorsión (EstErr) y el número total calculado de píxeles dañados debido a la pérdida de paquetes (ErrProp).