Procedimiento para estimar el tipo de la estructura del grupo de imágenes de una pluralidad de fotogramas de vídeo en una secuencia de vídeo.

Un procedimiento para estimar el tipo de la estructura del Grupo de Imágenes,

GoP, de una pluralidad defotogramas de vídeo en una secuencia de vídeo estimando sus tipos de fotogramas, que comprende las etapas de:

a) capturar los tamaños de los fotogramas en bytes de cada fotograma de vídeo posterior a un fotograma-Interno inicial, fotograma-I, para obtener una serie de tamaños de fotograma aprovechando las característicasde la capa de transporte que lleva el fotograma de vídeo;

b) convertir, después de un número de fotogramas, la serie de tamaños de fotograma obtenidos en la etapa a)en una serie de ceros y unos, donde cero representa tamaños de fotograma inferiores que un valor dereferencia, como se supone para fotogramas bidireccionales, fotogramas-B, y uno representa tamaños defotograma superiores al valor de referencia, como se supone para los fotogramas predichos, fotogramas-P;

c) hacer corresponder la serie binarizada de tamaños de fotograma obtenida en la etapa b) con un número depatrones binarios, representando dichos patrones binarios diferentes estructuras GoP, en las cuales cadapatrón binario contiene un patrón binario básico repetido que es característico de la estructura GoP a analizar;

d) convertir el resultado de dicha correspondencia en la etapa c) para formar para cada patrón binario un únicovalor de puntuación; y

e) determinar el patrón que tiene el mejor valor de puntuación entre los únicos valores de puntuación deacuerdo con una métrica predefinida que determina la estructura GoP asociada con el patrón.

Procedimiento para estimar el tipo de la estructura del grupo de imágenes de una pluralidad de fotogramas de vídeo en una secuencia de vídeo Antecedentes de la invención Entre los numerosos servicios de distribución de TV, la IPTV (TV de protocolo de Internet) cada vez es más importante y está sustituyendo más y más a los procedimientos de transmisión analógicos o no basados en paquetes. Es una responsabilidad principal del proveedor de transmisión hacia tanto el proveedor de contenido como el cliente mantener la calidad de su servicio. En redes IPTV grandes únicamente pueden satisfacer este requisito sondas de control de calidad totalmente automatizadas que dan la alarma en caso de la presencia de calidad de vídeo y/o audio degradada. Estas sondas de control deberían poder estimar la calidad subjetiva que percibiría un usuario final. Existen o están en desarrollo varios modelos que traducen resultados de medición objetivos a partir de una secuencia de bits de vídeo en los valores de la llamada “nota media de opinión” (NMO) . Las categorías de medición objetivas que se pueden usar para producir este valor NMO incluirán por ejemplo la tasa de bits y la tasa de imagen del vídeo controlado.

Es una propiedad inherente de las redes IP que los paquetes IP pueden perderse (sobre todo debido a la sobrecarga temporal en algún punto en la red) . Algunas de estas pérdidas pueden ser casi invisibles para el cliente mientras que otras pueden causar una grave degradación de la calidad de vídeo. Incluso si los medios contra estas pérdidas son parte de un sistema de distribución IPTV, estos medios nunca pueden garantizar una eficacia del 100%. Por ejemplo, una solicitud de retransmisión puede tardar demasiado, o el paquete retransmitido en sí mismo se puede perder.

Por lo tanto siempre existe una probabilidad distinta de cero que se transmitan las secuencias de bits fragmentadas al dispositivo del usuario final. Estas a su vez pueden causar degradaciones visibles o audibles en el vídeo o el audio reconstruidos. Las categorías de medición pueden por lo tanto incluir también valores para expresar la probabilidad de pérdidas. Tales valores pueden incluir las expresiones de una “tasa de pérdida de paquetes” y las “ráfagas de eventos de pérdidas”.

Para poder estimar si una pérdida de paquete será invisible o, por el contrario será fuertemente visible incluso durante largos periodos de tiempo, será necesario capturar más propiedades de la secuencia de bits controlada. La más importante de esas propiedades adicionales es el “tipo de fotograma” de todos los fotogramas y en particular el fotograma afectado por las pérdidas. Los posibles valores para la propiedad del “tipo de fotograma” incluyen “Fotograma-Interno” o “Fotograma-Clave” (posteriormente llamado fotograma-I) , “Fotograma-Predicho” (posteriormente llamado fotograma-P) y “Fotograma-Bidireccional” (posteriormente llamado fotograma-B) . Es bien conocido que únicamente los fotogramas-I se pueden decodificar sin el conocimiento de cualquier fotograma anterior. Por el contrario, los fotogramas-P siempre dependen de uno o más predecesores llamados “fotogramas de referencia”, debido a que la información transmitida por un fotograma-P principalmente consiste en la diferencia entre el fotograma de vídeo que describe y sus referencias. Por lo tanto, las pérdidas de paquetes en un fotograma-I

o sus fotogramas-P consecutivos se llevan en cada fotograma posterior, debido a que los fotogramas-P y fotogramas-I afectados por las pérdidas sirven en general como referencias para los fotogramas posteriores. Estos fotogramas se vuelven degradados incluso si no contienen ninguna pérdida en sí mismos.

Debido a este mecanismo, un único error de pérdida de paquetes puede permanecer en partes largas de una secuencia de vídeo, hasta que se produce el siguiente fotograma-I sin error. Los errores en los fotogramas-P y particularmente en los fotogramas-I pueden por lo tanto tener una muy alta visibilidad.

El mismo mecanismo de fotograma de referencia es válido para los fotogramas-B, pero, puesto que los fotogramas-B en general no sirven como referencias en sí mismos, un error en un fotograma-B será únicamente visible en este único fotograma y por lo tanto es mucho menos visible comparado con errores debido a pérdidas en fotogramas-I o fotogramas-P.

Puesto que los fotogramas-I no dependen de ninguna referencia anterior, representan los únicos puntos en una secuencia de bits, donde un reproductor de vídeo o un decodificador pueden sincronizar con el vídeo. También, los fotogramas-I (sin pérdidas) son los únicos puntos en el tiempo para borrar cualquier degradación debido a la pérdida de paquetes. La secuencia de fotogramas de vídeo entre dos fotogramas-I se llama “Grupo de Imágenes” (GoP) . En muchos de los casos los fotogramas-P y fotogramas-B en un GoP siguen un patrón más o menos estricto que el patrón GoP típico conocido a partir del MPEG2: “I, B, B, P, B, B, P.....”. Si se conoce este patrón, es posible una estimación previa fiable del tipo de fotograma de cualquier imagen en la secuencia de bits, incluso si el tipo de fotograma en sí mismo no se puede leer desde la secuencia de bits debido a pérdida de paquetes o a encriptación.

A menudo es bastante exigente obtener buenas estimaciones por lo mencionado anteriormente y otros valores de medición. Esto se debe principalmente a dos razones independientes:

1. Para prevenir acceso no autorizado, la secuencia de bits puede estar encriptada y las propiedades se la secuencia de bits importantes pueden no ser legibles en la localización de la medición.

2. Debido a la pérdida de paquetes como se ha mencionado anteriormente, piezas importantes de información pueden haber sido eliminadas de la secuencia de bits.

Los documentos WO 2009/02297 y WO 2009/012302 tratan de decidir los tipos de fotograma diferentes por su tamaño en bytes. Puesto que los fotogramas-I contienen una media de dos a 5 veces tantos bits como los fotogramas-P o los fotogramas-B, es fácil distinguir fotogramas-I de fotogramas-P y fotogramas-B. Es bastante poco fiable, sin embargo, distinguir fotogramas-P de fotogramas-B. Aunque los fotogramas-B son de media menores que los fotogramas-P, la diferencia en tamaño no es grande, en su lugar, la variación de tamaños sí lo es. En general, el promedio de las diferencias en tamaño también depende mucho del codificador específico usado para comprimir las secuencias de vídeo examinadas. Esto es incluso más en el caso de una nueva estrategia de codificación de los codificadores H.264 llamada “codificación jerárquica”, donde algunos de los fotogramas-B también sirven como referencia para otros fotogramas-B.

El documento EP-A-2 077 672 se refiere a analizar la secuencia de transporte tal como para determinar la estructura del GoP de una señal de vídeo codificada. El “patrón” del GoP se determina determinando el máximo local usando patrones de determinación predeterminados o usando patrones de aparición.

Sumario de la invención La invención sugiere un procedimiento para estimar los tipos de fotograma de fotogramas de vídeo en secuencias de vídeo encriptadas, o en casos en los que las propiedades de la secuencia de bits, que contiene información acerca del tipo de fotograma (la cabecera de segmento) , han desaparecido debido a la pérdida de paquetes.

En particular, la invención presenta un procedimiento para la estimación de los tipos de fotogramas que no está únicamente basada en su tamaño. En su lugar, el patrón GoP de la secuencia de bits de vídeo examinada se estima por un patrón que corresponde los tamaños de fotograma encontrados en cada GoP a patrones GoP predefinidos. Con el conocimiento de este patrón GoP estimado se puede estimar el tipo de cada fotograma posterior.

La invención está definida en las reivindicaciones.

De acuerdo con un primer aspecto, la invención proporciona un procedimiento para estimar el tipo de la estructura del Grupo de Imágenes, GoP, de una pluralidad de fotogramas de vídeo en una secuencia de vídeo de acuerdo con la reivindicación 1.

En la etapa a) , los límites de los fotogramas de vídeo se pueden detectar en la secuencia de bits observando los cambios en ciertas marcas de tiempo de la capa de transporte, o por ciertos bits en las estructuras de cabecera que se usan para señalar fotogramas nuevos y decidir fotogramas internos a partir de otros fotogramas.

Se prefiere que en la etapa a) el número de fotogramas capturados durante un periodo de medición comprenda todos los fotogramas... [Seguir leyendo]

1. Un procedimiento para estimar el tipo de la estructura del Grupo de Imágenes, GoP, de una pluralidad de fotogramas de vídeo en una secuencia de vídeo estimando sus tipos de fotogramas, que comprende las etapas de:

a) capturar los tamaños de los fotogramas en bytes de cada fotograma de vídeo posterior a un fotograma-Interno inicial, fotograma-I, para obtener una serie de tamaños de fotograma aprovechando las características de la capa de transporte que lleva el fotograma de vídeo; b) convertir, después de un número de fotogramas, la serie de tamaños de fotograma obtenidos en la etapa a) en una serie de ceros y unos, donde cero representa tamaños de fotograma inferiores que un valor de referencia, como se supone para fotogramas bidireccionales, fotogramas-B, y uno representa tamaños de fotograma superiores al valor de referencia, como se supone para los fotogramas predichos, fotogramas-P; c) hacer corresponder la serie binarizada de tamaños de fotograma obtenida en la etapa b) con un número de patrones binarios, representando dichos patrones binarios diferentes estructuras GoP, en las cuales cada patrón binario contiene un patrón binario básico repetido que es característico de la estructura GoP a analizar; d) convertir el resultado de dicha correspondencia en la etapa c) para formar para cada patrón binario un único valor de puntuación; y e) determinar el patrón que tiene el mejor valor de puntuación entre los únicos valores de puntuación de acuerdo con una métrica predefinida que determina la estructura GoP asociada con el patrón.

2. El procedimiento de la reivindicación 1, en el que en la etapa a) los límites de los fotogramas de vídeo en la secuencia de bits se detectan observando los cambios en ciertas marcas de tiempo de la capa de transporte o por ciertos bits en las estructuras de cabecera que se usan para señalar fotogramas nuevos y decidir fotogramas-Internos a partir de otros fotogramas.

3. El procedimiento de la reivindicación 1 o 2, en el que en la etapa b) el número de fotogramas comprende todos los fotogramas hasta el siguiente fotograma-I.

4. El procedimiento de las reivindicaciones 1 a 3, en el que el valor de referencia depende de las características del fotograma de vídeo.

5. El procedimiento de la reivindicación 4, en el que el valor de referencia depende de los valores de los tamaños de fotograma previamente capturados.

6. El procedimiento de cualquiera de las reivindicaciones anteriores, en el que dichos patrones binarios básicos representan posibles estructuras GoP para diferentes números de fotogramas-B consecutivos en codificación basada en fotograma, codificación basada en campo, codificación GoP abierta o codificación GoP cerrada.

7. El procedimiento de cualquiera de las reivindicaciones anteriores, en el que para la correspondencia en la etapa c) los patrones binarios básicos se repiten con un truncamiento del último patrón básico, si el patrón binario de los patrones binarios básicos repetidos no tiene la misma longitud que el número de fotogramas.

8. El procedimiento de cualquiera de las reivindicaciones anteriores, en el que en la etapa c) la correspondencia se realiza mediante la operación de un elemento exclusivo ni u un elemento exclusivo o, en el que en la etapa d) los resultados de cada ni exclusivo u o exclusivo se añade para formar el único valor de puntuación, y en el que en la etapa e) la métrica predefinida corresponde con el valor máximo o mínimo, respectivamente.

9. El procedimiento de cualquiera de las reivindicaciones anteriores, en el que en la etapa e) se seleccionan el patrón GoP, el estado campo/fotograma y GoP abierto/GoP cerrado asociados para el patrón que tiene el mejor valor de puntuación como un resultado de estimación para la estructura GoP de las series actuales de fotogramas analizados.

10. El procedimiento de cualquiera de las reivindicaciones anteriores, en el que se capturan series nuevas de tamaños de fotograma para la estimación de la estructura GoP de los GoP posteriores para cada uno de los GoP posteriores o se usa el promedio de los elementos de las series actual y previa de los tamaños de fotograma.

11. El procedimiento de la reivindicación 9, en el que después de la estimación del patrón GoP se realiza una clasificación del tipo de fotograma adicional, en la que se examina adicionalmente cada subconjunto de fotogramas-B consecutivo entre dos fotogramas-P en cuanto a la relación de los tamaños de fotogramas en las posiciones en dicho subconjunto representando fotogramas-B de referencia para los tamaños de fotograma de todas las otras posiciones es mayor que un valor umbral, que es mayor de 1, y en el que, si este es el caso para un número significativamente estadístico de dichos subconjuntos de fotogramas-B en la serie de tamaños de fotograma, dichos fotogramas se supone entonces que son fotogramas-B de referencia y la estructura GoP estimada se supone que es una estructura GoP de una llamada secuencia de codificación jerárquica.

12. Un procedimiento para estimar el tipo de estructuras del Grupo de Imágenes, GoP, de una pluralidad de fotogramas de vídeo en una secuencia de vídeo estimando sus tipos de fotograma, que comprende las etapas de:

a) capturar los tamaños de fotograma en bytes de cada n fotograma de vídeo posterior a un fotograma-I inicial en múltiples series, aprovechando las características de la capa de transporte que lleva la secuencia de vídeo, en donde cada serie de estas múltiples series tiene un tamaño diferente, ArraySize[BP], igual a la longitud del patrón del tipo de fotograma básico, BP, de cada estructura GoP considerada, en donde se añade el tamaño de cada n fotograma en el enésimo % ArraySize[BP] elemento de cada serie, Array[BP], y donde se anota el número de tamaños de fotogramas añadidos a cada elemento de cada serie, que está representado por el siguiente código simbólico:

de modo que únicamente para esa serie específica, que representa la estructura GoP válida de la secuencia de vídeo, siempre se añaden los fotogramas-P con fotogramas-P y los fotogramas-B siempre se añaden con fotogramas-B; b) examinar, después de un cierto número de fotogramas, los contenidos de las múltiples series resultantes para la relación entre los fotogramas-P supuestos y fotogramas-B supuestos tanto en codificación GoP abierta como codificación GoP cerrada, que están ambas están representadas para un patrón básico específico por la misma serie en donde una primera etapa para este examen consiste en una división de cada elemento de cada serie por el número de tamaños de fotograma añadidos en este elemento como se representa en el código simbólico a continuación:

c) calcular la relación entre los fotogramas-P supuestos y los fotogramas-B supuestos promediados para codificación GoP abierta así como para codificación GoP cerrada de todas las series 'BP' de la etapa b) , en la que en la etapa c) se producen dos valores de relación por cada serie como se describe a continuación para poder decidir entre codificación GoP abierta y codificación GoP cerrada:

i) si la secuencia de vídeo examinada comprende codificación GoP abierta, el fotograma-P supuesto del patrón básico que representa cada una de las series BP, estaría localizado en el último elemento de dichas series BP y todos los otros elementos de dichas series estarían ocupados por fotogramas-B de modo que se calcula la relación RA para secuencias de codificación GoP abiertas como el último elemento de la serie divido por el promedio de todos los demás elementos de la serie, con el código simbólico:

RA [BP] = Array[BP][ArraySize[BP]-1] / (Σ Array[BP][i] / [ArraySize[BP]-1]) with i = 0 ... ArraySize[BP]-2

o ii) si la secuencia de vídeo examinada comprende codificación GoP cerrada, el fotograma-P supuesto del patrón básico que representa cada una de las series BP, está localizado en el primer elemento de dichas series BP y todos los otros elementos de dichas series estarían ocupados por fotogramas-B de modo que la relación Rc para secuencias de codificación GoP cerradas se calcula como el primer elemento de la serie dividido por el promedio de todos los demás elementos de la serie, con el siguiente código simbólico:

Rc [BP] = Array[BP][0] / (Σ Array[BP][i] / [ArraySize[BP]-1]) with i = 1 ... ArraySize[BP]-1

d) determinar la serie particular, que tiene la mayor relación entre los fotogramas-P supuestos y los fotogramas-B supuestos promediados entre todas las relaciones calculadas para codificación GoP abierta y codificación GoP cerrada, y determinar la estructura GoP asociada con la serie particular.

13. El procedimiento de la reivindicación 12, en el que el número n de fotogramas, comprende todos los fotogramas 5 hasta el siguiente fotograma-Interno.

14. El procedimiento de cualquiera de las reivindicaciones 12 a 13, en el que se elige la estructura GoP asociada con la serie determinada de acuerdo con la etapa d) para que sea la estimación válida del patrón GoP, estado campo/fotograma y GoP abierto/GoP cerrado de las series de fotogramas analizadas actualmente.

15. El procedimiento de la reivindicación 14, en el que después de la estimación del patrón GoP se realiza una

clasificación del tipo de fotograma adicional en la que se examina el subconjunto de fotogramas-B en la serie que representa la estructura GoP estimada de acuerdo con la etapa d) en cuanto si a la relación de tamaños de fotograma en las posiciones en dicho subconjunto que representa fotogramas-B de referencia a tamaños de fotograma en todas las otras posiciones es mayor que un valor umbral, que es mayor de 1, y en el que, si este es el caso, dichos fotogramas se supone que son entonces fotogramas-B de referencia y la estructura GoP estimada se supone que es una estructura GoP de una llamada secuencia de codificación jerárquica.

16. El procedimiento de cualquiera de las reivindicaciones 1 a 15, que comprende adicionalmente la etapa de usar la estructura GoP estimada como una estimación para las estructuras GoP siguientes, y usar esta estructura GoP estimada como ayuda para detectar pérdidas de fotogramas de vídeo debido a pérdidas de paquetes, o para etiquetar pérdidas o presentar fotogramas con su tipo de fotograma específico.