Datos multimedia de múltiples vistas.

Un método de generación de datos multimedia de múltiples vistas que comprende:

- proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; caracterizado por

- determinar, para cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia, un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y

- asociar dicho identificador de prioridad de contenido a dicha vista multimedia.

Datos multimedia de múltiples vistas Campo técnico

La presente invención se refiere de manera general a datos multimedia de múltiples vistas y en particular a generación y procesamiento de tales datos multimedia de múltiples vistas.

Antecedentes

La estandarización en curso de Codificación de Vídeo de Múltiples Vistas (MVC) por el Grupo de Expertos de Imágenes en Movimiento (MPEG) [1] y el Grupo de Estudio 16 (SG16) del Sector de Estandarización de Telecomunicación (ITU-T) es una tecnología de codificación de vídeo que codifica secuencias de vídeo producidas por varias cámaras o una disposición de cámaras. MVC explota la redundancia entre las múltiples vistas de vídeo de una manera eficiente para proporcionar un flujo de vídeo codificado compacto. MVC se basa en el estándar de Codificación de Vídeo Avanzada (AVC), también conocido como H.264 del ITU-T y consecuentemente la sintaxis y semántica de flujo de bits de MVC se ha mantenido similar a la sintaxis y semántica del flujo de bits de AVC.

ISO/IEC 14496-15 [2] es un estándar internacional diseñado para contener información del flujo de bits AVC en un formato flexible y extensible que facilita la gestión del flujo de bits de AVC. Este estándar es compatible con el Formato de Ficheros MP4 [3] y el Formato de Ficheros del 3GPP [4]. Todos estos estándares se derivan del Formato de Ficheros Multimedia Base ISO [5] definido por el MPEG. El almacenamiento de flujos de vídeo de MVC se conoce como el formato de ficheros de MVC.

En el formato de ficheros de MVC, un flujo de vídeo de múltiples vistas se representa por una o más pistas de vídeo en un fichero. Cada pista representa una o más vistas del flujo. El formato de fichero de MVC comprende, además de los datos de vídeo de múltiples vistas codificados por sí mismos, metadatos a ser usados cuando se procesan los datos de vídeo. Por ejemplo, cada vista tiene un identificador de vista asociado que Implica que las unidades de la Capa de Abstracción de Red (NAL) de MVC dentro de una vista tienen todas el mismo identificador de vista, es decir el mismo valor de los campos viewjd en las extensiones de cabecera de unidad de NAL de MVC.

La extensión de cabecera de unidad de NAL de MVC también comprende un campo priorityjd que especifica un identificador de prioridad para la unidad de NAL. En los estándares propuestos [6], un valor inferior del priorityjd especifica una mayor prioridad. El priorityjd se usa para definir la prioridad de la unidad de NAL y es dependiente del flujo de bits ya que refleja la relación intercodificación de los datos de vídeo de diferentes vistas.

Compendio

Los identificadores de prioridad usados hoy en día especifican meramente relaciones intercodificación de los datos de vídeo de las vistas de cámara proporcionadas en el fichero de MVC. Tales prioridades relacionadas con codificación son, sin embargo, de uso limitado para lograr un procesamiento basado en contenido de los datos de vídeo de las diferentes vistas de cámara.

Las presentes realizaciones superan estos y otros inconvenientes de las disposiciones de la técnica anterior.

Es un objetivo general proporcionar datos multimedia de múltiples vistas que se pueden procesar más eficientemente.

Este y otros objetivos se cumplen por las realizaciones que se definen por las reivindicaciones de patente anexas.

En pocas palabras, una realización presente implica generar datos multimedia de múltiples vistas proporcionando datos multimedia codificados representativos de múltiples vistas multimedia de una escena. Cada una de las vistas multimedia se asocia con un identificador de prioridad estructural. El identificador de prioridad estructural es representativo de la interrelación de codificación de los datos multimedia de la vista multimedia asociada en relación con datos multimedia de al menos otra vista multimedia. De esta manera, los identificadores de prioridad estructural son dependientes del flujo de bits en la medida que se refieren a la codificación de los datos multimedia y proporcionan instrucciones del nivel jerárquico de predicciones entre vistas usadas en la codificación de datos multimedia.

Un identificador de prioridad de contenido se determina para cada vista multimedia de al menos una parte de las múltiples vistas multimedia. En claro contraste con los identificadores de prioridad estructural, un identificador de prioridad de contenido es representativo del nivel de importancia de representación de los datos multimedia de la vista multimedia asociada. El identificador de prioridad de contenido determinado se asocia con la vista multimedia relevante, por ejemplo estando incluido en uno o más paquetes de datos que transportan los datos multimedia de la vista multimedia o que se conecta a un identificador de vista indicativo de la vista multimedia.

Los datos multimedia codificados se pueden incluir opcionalmente como una o más pistas multimedia de un fichero contenedor multimedia. Los identificadores de prioridad estructural y los identificadores de prioridad de contenido

entonces se incluyen como metadatos aplicables a la pista o pistas multimedia durante el procesamiento de datos multimedia.

Los identificadores de prioridad de contenido permiten un procesamiento basado en contenido selectivo y diferencial de los datos multimedia de múltiples vistas en un dispositivo de procesamiento de datos. En tal caso, se selecciona un subconjunto de datos multimedia de los datos multimedia codificados en base a los identificadores de prioridad de contenido y preferiblemente también se basan en los identificadores de prioridad estructural. El procesamiento de datos multimedia entonces se aplica únicamente al subconjunto de datos multimedia seleccionado u otro tipo de procesamiento de datos multimedia se usa para el subconjunto de datos multimedia seleccionado comparado con los datos multimedia restantes.

Breve descripción de los dibujos

Las realizaciones junto con objetivos y ventajas adicionales de las mismas, se pueden comprender mejor haciendo referencia a la siguiente descripción tomada junto con los dibujos anexos, en los que:

La Fig. 1 es un diagrama de flujo que ilustra un método de generación de datos multimedia de múltiples vistas según una realización.;

La Fig. 2 es una ilustración esquemática de una disposición de cámaras que se pueden usar para grabar datos de vídeo de múltiples vistas;

La Fig. 3 es un diagrama de flujo que ilustra pasos adicionales del método de generación de datos multimedia en la Fig. 1;

La Fig. 4 es una ilustración esquemática de un fichero contenedor multimedia según una realización;

La Fig. 5 es un diagrama de bloques esquemático de un dispositivo de generación multimedia según una realización;

La Fig. 6 es un diagrama de flujo que ¡lustra un método de procesamiento de datos multimedia de múltiples vistas según una realización;

Las Fig. 7 a 11 son diagramas de flujo que ilustran diferentes realizaciones del paso de procesamiento del método de procesamiento de datos multimedia en la Fig. 6;

La Fig. 12 es un diagrama de bloques esquemático de un dispositivo de procesamiento de datos según una realización;

La Fig. 13 es un diagrama de bloques esquemático de un dispositivo de procesamiento de datos según otra realización; y

La Fig. 14 es una vista general de un ejemplo de sistema de comunicación en el que se pueden implementar las realizaciones.

Descripción detallada

En todos los dibujos, los mismos caracteres de referencia se usarán para elementos correspondientes o similares.

Las presentes realizaciones se refieren de manera general a generación y procesamiento de los denominados datos multimedia de múltiples vistas y en particular al suministro de información de prioridad y uso de tal información de prioridad en conexión con el procesamiento de datos multimedia.

Los datos multimedia de múltiples vistas implican que están disponibles múltiples vistas multimedia de un contenido multimedia, donde cada vista multimedia tal genera datos multimedia representativos del contenido multimedia pero desde una de múltiples vistas multimedia disponibles. Un ejemplo típico de tales medios de múltiples vistas es el vídeo de múltiples vistas. En tal caso, se proporcionan múltiples cámaras u otros equipos de grabación/creación multimedia o una disposición de múltiples cámaras tales respecto a una escena a grabar. Como las cámaras tienen diferentes posiciones en relación con el contenido y/o diferentes direcciones de apuntamiento y/o longitudes focales, proporcionan por ello vistas alternativas para el contenido. La Fig. 2 ilustra esquemáticamente este concepto... [Seguir leyendo]

1. Un método de generación de datos multimedia de múltiples vistas que comprende:

- proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; caracterizado por

- determinar, para cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia, un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y

- asociar dicho identificador de prioridad de contenido a dicha vista multimedia.

2. El método según la reivindicación 1, en donde dicha determinación de un identificador de prioridad de contenido comprende determinar, para cada vista multimedia de dichas múltiples vistas multimedia, un identificador de prioridad de contenido respectivo.

3. El método según la reivindicación 1 o 2, en donde dicha determinación de un identificador de prioridad de contenido comprende determinar dicho identificador de prioridad de contenido en base a las posiciones de grabación respectivas de dichas múltiples vistas multimedia en relación con una escena grabada.

4. El método según cualquiera de las reivindicaciones 1 a 3, que además comprende:

- organizar dichos datos multimedia codificados de dichas múltiples vistas multimedia como al menos una pista multimedia de un fichero contenedor multimedia;

- incluir dichos identificadores de prioridad estructural en dicho fichero contenedor multimedia;

- asociar dichos identificadores de prioridad estructural con las vistas multimedia respectivas a las cuales aplican dichos identificadores de prioridad estructural;

- incluir dicho al menos un identificador de prioridad de contenido en dicho fichero contenedor multimedia; y

- asociar dicho al menos un identificador de prioridad de contenido con una vista multimedia respectiva a la cual aplica dicho identificador de prioridad de contenido.

5. El método según la reivindicación 4, en donde dicha asociación de dicho al menos un identificador de prioridad de contenido comprende almacenar dicho al menos un identificador de prioridad de contenido junto con un identificador de vista asignado a dicha vista multimedia asociada.

6. Un dispositivo de generación multimedia para generar datos multimedia de múltiples vistas que comprende:

- un proveedor multimedia para proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; caracterizado por

- un asignador de prioridad para asignar, a cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia, un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador.

7. El dispositivo según la reivindicación 6, que además comprende un determinador de prioridad para determinar, para cada vista multimedia de dicha al menos una parte de dichas múltiples vistas multimedia, dicho identificador de prioridad de contenido en base a las posiciones de grabación respectivas de dichas múltiples vistas multimedia en relación con una escena grabada.

8. El dispositivo según la reivindicación 6 o 7, que además comprende:

- un organizador de pistas para organizar dichos datos multimedia codificados de dichas múltiples vistas multimedia según al menos una pista multimedia de un fichero contenedor multimedia; y

- un organizador de prioridad para incluir dichos identificadores de prioridad estructural en dicho fichero contenedor multimedia, asociando dichos identificadores de prioridad estructural con las vistas multimedia respectivas a las cuales aplican los identificadores de prioridad estructural, incluyendo dicho al menos un identificador de prioridad de contenido en dicho fichero contenedor multimedia y asociando dicho al menos un identificador de prioridad de contenido con una vista multimedia respectiva a la cual aplica dicho identificador de prioridad de contenido.

9. El dispositivo según la reivindicación 8, en donde dicho organizador de prioridad se dispone para asociar dicho al

menos un ¡dentificador de prioridad de contenido y dichos identificadores de prioridad estructural con una vista multimedia respectiva almacenando dicho al menos un ¡dentificador de prioridad de contenido y dichos identificadores de prioridad estructural junto con un ¡dentificador de vista asignado a dicha vista multimedia asociada.

1. Un fichero contenedor multimedia que comprende:

- al menos una pista multimedia que comprende datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia;

- múltiples identificadores de prioridad estructural, en donde cada vista multimedia de dichas múltiples vistas multimedia tiene un ¡dentificador de prioridad estructural asociado con ella, el ¡dentificador de prioridad estructural que es indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; y caracterizado por

- al menos un ¡dentificador de prioridad de contenido, en donde cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia tiene un ¡dentificador de prioridad de contenido asociado con ella, el ¡dentificador de prioridad de contenido que es indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador.

11. El fichero contenedor multimedia según la reivindicación 1, en donde cada vista multimedia de dichas múltiples vistas multimedia tiene un ¡dentificador de vista asignado y cada ¡dentificador de prioridad de contenido de dicho al menos un ¡dentificador de prioridad de contenido se organiza en dicho fichero contenedor multimedia junto con un ¡dentificador de vista asignado a dicha vista multimedia asociada.

12. Un método de procesamiento de datos multimedia de múltiples vistas que comprende:

- recibir datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un ¡dentificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia y caracterizado por cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia que están asociadas con un ¡dentificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y

- seleccionar un subconjunto de datos multimedia de dichos datos multimedia de dichas múltiples vistas multimedia para procesar en base a dicho al menos un ¡dentificador de prioridad de contenido.

13. El método según la reivindicación 12, en donde dicho paso de selección comprende seleccionar dicho subconjunto de datos multimedia para procesar en base a dichos identificadores de prioridad estructural y dicho al menos un ¡dentificador de prioridad de contenido.

14. El método según la reivindicación 12 o 13, que además comprende cortar dicho subconjunto de datos multimedia seleccionados a partir de dichos datos multimedia codificados.

15. El método según cualquiera de las reivindicaciones 12 a 14, que además comprende decodificar y representar dicho subconjunto de datos multimedia seleccionados.

16. El método según cualquiera de las reivindicaciones 12 a 15, que además comprende:

- aplicar un primer nivel de protección de datos a dicho subconjunto de datos multimedia seleccionados; y

- aplicar un segundo nivel de protección de datos, diferente, a datos multimedia restantes no comprendidos en dicho subconjunto de datos multimedia seleccionados.

17. Un dispositivo de procesamiento de datos para procesar datos multimedia de múltiples vistas que comprende:

- un receptor para recibir datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un ¡dentificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia y caracterizado por cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia que están asociadas con un ¡dentificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y

- un selector multimedia para seleccionar un subconjunto de datos multimedia de dichos datos multimedia de dichas múltiples vistas multimedia para procesar en base a dicho al menos un ¡dentificador de prioridad de contenido.

18. El dispositivo según la reivindicación 17, en donde dicho selector multimedia se dispone para seleccionar dicho subconjunto de datos multimedia para procesar en base a dichos identificadores de prioridad estructural y dicho al

menos un identificador de prioridad de contenido.

19. El dispositivo según la reivindicación 17 o 18, que además comprende un cortador multimedia para cortar dicho subconjunto de datos multimedia seleccionados a partir de dichos datos multimedia codificados.

2. El dispositivo según cualquiera de las reivindicaciones 17 a 19, que además comprende un decodificador para 5 decodificar dicho subconjunto de datos multimedia seleccionados y un reproductor multimedia para representar

dicho subconjunto de datos multimedia decodificados, seleccionados.

21. El dispositivo según cualquiera de las reivindicaciones 17 a 2, que además comprende un aplicador de protección para aplicar un primer nivel de protección de datos a dicho subconjunto de datos multimedia seleccionados y aplicar un segundo nivel de protección de datos, diferente, a datos multimedia restantes no

comprendidos en dicho subconjunto de datos multimedia seleccionados.