Método de generación de datos de imagen tridimensional que comprenden una pluralidad de capas deimagen para su uso en la reproducción de elementos de imagen de vistas de una imagen tridimensional,

comprendiendo el método:

proporcionar (301) primeros datos de imagen para una primera capa de imagen;

proporcionar (303) segundos datos de imagen para una segunda capa de imagen;

proporcionar (305) datos de indicación de profundidad para al menos una de la primera capa de imagen y lasegunda capa de imagen;

generar (307) un indicador de dependencia, siendo el indicador de dependencia indicativo ygenerar (309) los datos de imagen tridimensional que comprenden los primeros datos de imagen, lossegundos datos de imagen, los datos de indicación de profundidad y el indicador de dependencia.

Procesamiento de datos de imagen tridimensional.

Campo de la invención

La invención se refiere a datos de imagen tridimensional que incluyen datos de imagen de vídeo tridimensional.

Antecedentes de la invención

Las pantallas tridimensionales añaden una tercera dimensión a la experiencia de visualización proporcionando a los ojos de un espectador diferentes vistas de la escena que se está mirando. Una enfoque popular para representar imágenes tridimensionales (3D) es usar una o más imágenes bidimensionales (2D) más una representación de profundidad que proporciona información de la tercera dimensión. Una enfoque de este tipo proporciona varias ventajas que incluyen permitir que se generen vistas 3D con una complejidad relativamente baja y proporcionar una representación de datos eficaz, reduciendo de ese modo, por ejemplo, los requisitos de almacenamiento y de recursos de comunicación para señales de imagen (y vídeo) 3D. Este enfoque también permite que se generen imágenes 2D con puntos de vista y ángulos de visualización diferentes a las imágenes que están incluidas en los datos de imagen 3D. Esto puede usarse específicamente para generar una imagen adicional de modo que se proporcionen dos imágenes correspondientes a un ángulo de visualización de los dos ojos de un espectador. Esto puede usarse para proporcionar una percepción 3D, es decir proporcionar una imagen 3D.

Un inconveniente de representar una imagen 3D mediante una única imagen 2D e información de profundidad asociada es que no incluye información sobre las zonas de imagen de fondo que están ocluidas por objetos de primer plano. Por consiguiente, si la escena se reproduce por un punto de vista diferente, no puede revelarse información detrás de los objetos de primer plano. Por consiguiente, se ha propuesto usar representaciones de profundidad e imagen de múltiples capas que comprenden una pluralidad de imágenes bidimensionales (por ejemplo, una imagen de primer plano y una imagen de fondo) con información de profundidad asociada. Una descripción de cómo reproducir nuevas vistas a partir de tal información puede encontrarse en Steven J. Gortler y Liwei He, Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09, disponible entre otros en http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=20 y, por ejemplo, en la solicitud de patente estadounidense US20070057944.

En enfoques que usan más de una capa, se ha propuesto permitir que las capas sean semitransparentes. En el campo de la infografía, se describe un enfoque de este tipo por ejemplo en Norman P. Jouppi y Chun-Fa Chang, “An Economical Hardware Technique for High-Quality Antialiasing y Transparency”, Proceedings of Eurographics/Siggraph workshop on graphics hardware 1999. Un enfoque de este tipo permite visualizar materiales semitransparentes (por ejemplo, agua, humo, llamas) y también permite un antisolapamiento mejorado de bordes de objetos a diferentes profundidades. Específicamente, permite una transición más gradual de bordes. Por tanto, la transparencia no puede usarse sólo para representar objetos semitransparentes, sino que también puede permitir el antisolapamiento de los bordes de los objetos de primer plano haciendo un borde semitransparente de manera que un valor de transparencia representa cuánto de un píxel debe estar en primer plano y cuánto del fondo debe ser visible. Un ejemplo de un enfoque de este tipo puede encontrarse en: C. Lawrence Zitnick, Sing Bing Kang, Matthew Uyttendaele, Simon Winder, Richard Szeliski, “High-quality video view interpolation using a layered representation”, en Proceedings of Siggraph 2004.

Sin embargo, aunque tales enfoques pueden proporcionar una percepción de imagen e imágenes 3D mejoradas en muchos escenarios, tienden a tener algunas desventajas. En particular, la calidad de imagen y la percepción 3D pueden ser inferiores a las óptimas en algunos escenarios y el procesamiento 3D puede introducir distorsiones y degradaciones de imagen, tales como artefactos visibles.

Por tanto, un enfoque mejorado para el procesamiento de datos de imagen 3D sería ventajoso y en particular sería ventajoso un enfoque que permita una flexibilidad aumentada, una calidad de imagen mejorada, una implementación facilitada y/o un rendimiento mejorado.

Sumario de la invención

Por consiguiente, la invención trata de paliar, aliviar o eliminar preferiblemente una o más de las desventajas mencionadas anteriormente de manera individual o en cualquier combinación.

Según un aspecto de la invención, se proporciona un método de generación de datos de imagen tridimensional que comprenden una pluralidad de capas de imagen para su uso en la reproducción de elementos de imagen de vistas de una imagen tridimensional, comprendiendo el método: proporcionar (301) primeros datos de imagen para una primera capa de imagen; proporcionar (303) segundos datos de imagen para una segunda capa de imagen; proporcionar (305) datos de indicación de profundidad para al menos una de la primera capa de imagen y la segunda capa de imagen; generar (307) un indicador de dependencia, siendo el indicador de dependencia indicativo de si una primera imagen de la primera capa de imagen contiene datos de imagen en capas tridimensional suplementarios para una segunda imagen simultánea de la segunda capa de imagen; y generar (309) los datos de imagen tridimensional que comprenden los primeros datos de imagen, los segundos datos de imagen, los datos de indicación de profundidad y el indicador de dependencia.

La invención puede proporcionar un rendimiento mejorado en muchos escenarios. En particular, puede conseguirse una percepción 3D y/o calidad de imagen mejoradas. En particular, pueden reducirse o eliminarse varios artefactos y degradaciones de imagen asociados con el procesamiento de imágenes 3D en algunas condiciones. La reproducción de elementos de imagen puede referirse a la reproducción de (sub) píxeles de una imagen; siendo la imagen, por ejemplo, una vista completa de una escena tridimensional.

El indicador de dependencia puede ser indicativo de si imágenes simultáneas de la primera capa de imagen y la segunda capa de imagen comprenden datos de imagen en capas tridimensional suplementarios entre sí. La imagen simultánea pretendida en este caso pretende referirse a datos pretendidos para su uso en la reproducción de elementos de imagen en un momento en el tiempo.

Por ejemplo, datos de imagen suplementarios pueden ser datos para uno o más planos de imagen adicionales que representan una profundidad diferente. Por ejemplo, una imagen de primer plano puede proporcionar datos de imagen 3D suplementarios para una imagen de fondo y viceversa.

En particular, los inventores se han dado cuenta de que pueden usarse formatos de imagen 3D en capas para diferentes categorías de imágenes en las capas de imagen y que pueden producirse degradaciones a partir del procesamiento 3D de éstas. Los inventores se han dado cuenta además de que puede conseguirse un rendimiento mejorado adaptando el procesamiento 3D dependiendo de la naturaleza de los datos de imagen que se proporcionan en las capas de imagen, y específicamente adaptando el procesamiento 3D en respuesta a la relación entre las capas de imagen. Específicamente, los inventores se han dado cuenta de que pueden producirse degradaciones de imagen cuando las capas de imagen se consideran independientes pero en realidad son dependientes, o viceversa. Los inventores de han dado cuenta además de que la reproducción de, por ejemplo, imágenes 3D puede controlarse por el creador/codificador/transmisor incluyendo un indicador de dependencia en los datos tridimensionales.

Por ejemplo, para una secuencia de imágenes, tal como para una secuencia de vídeo, las capas de imagen primera y segunda pueden comprender un primer plano y un fondo para la misma escena. Por tanto, los datos de imagen de las capas pueden combinarse para generar imágenes estereoscópicas (por ejemplo, la desoclusión para objetos de la imagen de primer plano puede usar información de imagen procedente de la imagen de fondo) . Las capas de imagen son por consiguiente dependientes y están interrelacionadas y una unidad de reproducción puede considerar ambas imágenes juntas cuando genera las vistas de imagen 3D. Sin embargo, durante un fundido encadenado de una escena a otra, la primera capa de imagen puede comprender imágenes de primer plano y de fondo mixtas de la escena original y la segunda capa de imagen puede comprender imágenes... [Seguir leyendo]

1. Método de generación de datos de imagen tridimensional que comprenden una pluralidad de capas de imagen para su uso en la reproducción de elementos de imagen de vistas de una imagen tridimensional, comprendiendo el método:

proporcionar (301) primeros datos de imagen para una primera capa de imagen;

proporcionar (303) segundos datos de imagen para una segunda capa de imagen;

proporcionar (305) datos de indicación de profundidad para al menos una de la primera capa de imagen y la segunda capa de imagen;

generar (307) un indicador de dependencia, siendo el indicador de dependencia indicativo y

generar (309) los datos de imagen tridimensional que comprenden los primeros datos de imagen, los segundos datos de imagen, los datos de indicación de profundidad y el indicador de dependencia.

2. Método según la reivindicación 1, en el que el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son dependientes cuando la primera capa de imagen es una capa de oclusión para la segunda imagen.

3. Método según la reivindicación 2, en el que el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son independientes cuando la primera capa de imagen no es una capa de oclusión para la segunda imagen.

4. Método según la reivindicación 1, en el que los datos de indicación de profundidad comprenden un primer mapa de indicación de profundidad para la primera capa de imagen y un segundo mapa de indicación de profundidad para la segunda capa de imagen; y en el que el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son independientes cuando los valores de indicación de profundidad del primer mapa de indicación de profundidad no concuerdan con los valores de indicación de profundidad del segundo mapa de indicación de profundidad.

5. Método según la reivindicación 4, en el que los valores de indicación de profundidad del primer mapa de indicación de profundidad no concuerdan con los valores de indicación de profundidad del segundo mapa de indicación de profundidad si los valores de indicación de profundidad del primer mapa de indicación de profundidad representan niveles de profundidad más profundos que los valores de indicación de profundidad del segundo mapa de indicación en al menos una región de imagen y los valores de indicación de profundidad del segundo mapa de indicación de profundidad representan niveles de profundidad más profundos que los valores de indicación de profundidad del primer mapa de indicación en al menos otra región de imagen.

6. Método según la reivindicación 1, en el que el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son independientes cuando la primera capa de imagen y la segunda capa de imagen comprenden imágenes de fundido encadenado, y es indicativo de que la primera capa de imagen y la segunda capa de imagen son dependientes cuando la primera capa de imagen y la segunda capa de imagen no comprenden imágenes de fundido encadenado.

7. Método según la reivindicación 1, en el que el indicador de dependencia es un valor de datos binarios que tiene un primer valor que indica que la primera capa de imagen y la segunda capa de imagen son dependientes y un segundo valor que indica que la primera capa de imagen y la segunda capa de imagen son independientes.

8. Método según la reivindicación 7, en el que el indicador de dependencia se ajusta al primer valor si la primera capa de imagen comprende una imagen de primer plano para una imagen de la segunda capa de imagen y al segundo valor si la primera capa de imagen no comprende una imagen de primer plano para la imagen de la segunda capa de imagen.

9. Método según la reivindicación 1, en el que la primera capa de imagen pertenece a un primer grupo de capas de imagen y la segunda capa de imagen pertenece a un segundo grupo de capas de imagen, comprendiendo al menos uno del primer grupo de capas de imagen y el segundo grupo de capas de imagen una pluralidad de capas de imagen; y el indicador de dependencia es indicativo de una dependencia entre capas de imagen del primer grupo de capas de imagen y capas de imagen del segundo grupo de capas de imagen.

10. Método según la reivindicación 9, en el que las capas de imagen de un grupo de capas de imagen son

capas de imagen dependientes.

11. Método según la reivindicación 1, que comprende además proporcionar datos de transparencia para al menos una de la primera capa de imagen y la segunda capa de imagen e incluir los datos de transparencia en los datos de imagen tridimensional.

12. Método de reproducción de elementos de imagen, que comprende:

recibir (501) datos de imagen tridimensional que comprenden primeros datos de imagen para una primera capa de imagen, segundos datos de imagen para una segunda capa de imagen, datos de indicación de profundidad para al menos una de la primera capa de imagen y la segunda capa de imagen, y un indicador de dependencia indicativo de si una primera imagen de la primera capa de imagen contiene datos de imagen en capas tridimensional suplementarios para una segunda imagen simultánea de la segunda capa de imagen; y

reproducir (503) elementos de imagen de vistas múltiples de los datos de imagen tridimensional para su uso en la visualización de una imagen tridimensional mediante el procesamiento de los primeros datos de imagen, los segundos datos de imagen y los datos de indicación de profundidad en respuesta al indicador de dependencia.

13. Método según la reivindicación 12, en el que reproducir (503) comprende realizar procesamiento de imagen tridimensional entre capas de imágenes simultáneas de la primera capa de imagen y la segunda capa de imagen sólo cuando el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son dependientes.

14. Método según la reivindicación 12, en el que reproducir (503) comprende realizar desoclusión para una primera imagen de la primera capa de imagen utilizando información procedente de una segunda imagen de la segunda capa de imagen sólo si el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son dependientes.

15. Método según la reivindicación 12, en el que reproducir (503) comprende combinar una primera imagen de la primera capa de imagen y una segunda imagen de la segunda capa de imagen, siendo la combinación en respuesta a la información de imagen tridimensional cuando el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son dependientes y no siendo en respuesta a la información de imagen tridimensional cuando el indicador de dependencia es indicativo de que la primera capa de imagen y la segunda capa de imagen son independientes.

16. Aparato para generar datos de imagen tridimensional que comprenden una pluralidad de capas de imagen para su uso en la reproducción de elementos de imagen de vistas de una imagen tridimensional, comprendiendo el aparato:

medios (203) para proporcionar primeros datos de imagen para una primera capa de imagen;

medios (205) para proporcionar segundos datos de imagen para una segunda capa de imagen;

medios (209, 211) para proporcionar datos de indicación de profundidad para al menos una de la primera capa de imagen y la segunda capa de imagen;

medios (213) para generar un indicador de dependencia indicativo de si una primera imagen de la primera capa de imagen contiene datos de imagen en capas tridimensional suplementarios para una segunda imagen simultánea de la segunda capa de imagen; y

medios (215) para generar los datos de imagen tridimensional que comprenden los primeros datos de imagen, los segundos datos de imagen, los datos de indicación de profundidad y el indicador de dependencia.

17. Aparato para reproducir elementos de imagen, comprendiendo el aparato:

medios (401) para recibir datos de imagen tridimensional que comprenden primeros datos de imagen para una primera capa de imagen, segundos datos de imagen para una segunda capa de imagen, datos de indicación de profundidad para al menos una de la primera capa de imagen y la segunda capa de imagen, y un indicador de dependencia indicativo de si una primera imagen de la primera capa de imagen contiene datos de imagen en capas tridimensional suplementarios para una segunda imagen simultánea de la segunda capa de imagen; y

medios (403) para reproducir elementos de imagen de vistas múltiples de los datos de imagen tridimensional para su uso en la visualización de una imagen tridimensional mediante el procesamiento de los primeros datos de imagen, los segundos datos de imagen y los datos de indicación de profundidad en respuesta al indicador de dependencia.

18. Señal de imagen que comprende:

primeros datos de imagen para una primera capa de imagen;

segundos datos de imagen para una segunda capa de imagen;

datos de indicación de profundidad para al menos una de la primera capa de imagen y la segunda capa de imagen; y

un indicador de dependencia indicativo de si una primera imagen de la primera capa de imagen contiene datos de imagen en capas tridimensional suplementarios para una segunda imagen simultánea de la segunda capa de imagen.

19. Producto de programa informático que permite a un procesador llevar a cabo el método según cualquiera de las reivindicaciones 1 a 15.

20. Método de generación de datos de imagen tridimensional que comprenden una pluralidad de capas de imagen para su uso en la reproducción de elementos de imagen de vistas de una imagen tridimensional, comprendiendo el método:

proporcionar una primera capa de imagen que comprende datos de imagen que al menos para algunas imágenes representan una imagen compuesta que comprende una contribución procedente de una pluralidad de imágenes;

proporcionar una primera capa de profundidad que comprende un mapa de profundidad compuesto para la imagen compuesta;

proporcionar una segunda capa de imagen que comprende datos de imagen para una imagen adicional que contribuye a la imagen compuesta;

proporcionar una segunda capa de profundidad que comprende un mapa de profundidad adicional para la imagen adicional;

proporcionar un mapa de transparencia que representa una contribución de la imagen adicional a la imagen compuesta;

generar un indicador de dependencia que refleja si una imagen de la segunda capa de imagen comprende al menos una de una imagen de primer plano y una imagen de fondo para al menos una imagen que contribuye a una imagen compuesta de la primera capa de imagen o si la imagen de la segunda capa de imagen no es una de una imagen de primer plano y una imagen de fondo de cualquier imagen que contribuye a la imagen compuesta; y

generar los datos de imagen tridimensional que comprenden la primera capa de imagen, la primera capa de profundidad, la segunda capa de imagen, la segunda capa de profundidad, el mapa de transparencia y el indicador de dependencia.

21. Método de reproducción de elementos de imagen que comprende:

recibir datos de imagen tridimensional que comprenden:

una primera capa de imagen que comprende datos de imagen que al menos para algunas imágenes representan una imagen compuesta que comprende una contribución procedente de una pluralidad de imágenes;

una primera capa de profundidad que comprende un mapa de profundidad compuesto para la imagen compuesta;

una segunda capa de imagen que comprende datos de imagen para una imagen adicional que contribuye a la imagen compuesta;

una segunda capa de profundidad que comprende un mapa de profundidad adicional para la imagen adicional;

un mapa de transparencia que representa una contribución de la imagen adicional a la imagen compuesta;

un indicador de dependencia que refleja si una imagen de la segunda capa de imagen comprende al menos

una de una imagen de primer plano y una imagen de fondo para al menos una imagen que contribuye a una imagen compuesta de la primera capa de imagen o si la imagen de la segunda capa de imagen no es una de una imagen de primer plano y una imagen de fondo de cualquier imagen que contribuye a la imagen compuesta; y

reproducir elementos de imagen de vistas múltiples de los datos de imagen tridimensional para su uso en la visualización de una imagen tridimensional mediante el procesamiento tridimensional de los datos de imagen tridimensional en el que la desoclusión para una imagen de la primera capa de imagen es en respuesta a una imagen simultánea de la segunda capa de imagen sólo si el indicador de dependencia es indicativo de que la imagen de la segunda capa de imagen es al menos una de una imagen de fondo y una

imagen de primer plano de una imagen que contribuye a la imagen de la primera capa de imagen.