Métodos y dispositivos para la compresión de datos de vídeo HDR.

Método para producir un flujo de datos de vídeo comprimidos (12) comprimiendo un flujo (1) de tramas devídeo de alto rango dinámico (2) dispuestas como una pluralidad de diferentes escenas que comprenden,

cada una, una pluralidad de las tramas de vídeo, en las que se aplican operaciones de mapeo tonal a lastramas, difiriendo las operaciones de mapeo tonal aplicadas a tramas en una de la pluralidad de escenas delas operaciones de mapeo tonal aplicadas a tramas en otra de la pluralidad de escenas, y difiriendo entre sílas operaciones de mapeo tonal aplicadas a algunas tramas en la misma escena;

caracterizado porque para al menos algunas tramas de vídeo de alto rango dinámico (2) en el flujo (1), elmétodo comprende las etapas de:

(a) desde la trama de alto rango dinámico en el flujo, usar un filtro (3) para extraer una trama de base (4);

(b) determinar una trama de detalle (5) en respuesta tanto a la trama de alto rango dinámico (2) como ala trama de base (4), estando relacionada la trama de detalle (5) con detalles precisos en la trama de altorango dinámico;

(c) generar (6) una operación de mapeo tonal (TMO*) para la trama de base (4) y aplicar la operación demapeo tonal a la trama de base para generar una trama de base de bajo rango dinámico (8);

(d) almacenar (11) las propiedades de la operación de mapeo tonal (TMO*) aplicadas a la trama de base(4);

(e) someter a la trama de base de bajo rango dinámico (8) a compresión temporal (9) y someter a latrama de detalle (5) a compresión temporal (10);

(f) crear datos de trama final (12) que consisten en la trama de base de bajo rango dinámico comprimida(8), la trama de detalle comprimida (5) y las propiedades de la operación de mapeo tonal (TMO*)aplicadas a la trama de base; y

(g) incluir los datos de trama final en el flujo de datos de vídeo comprimidos.

Métodos y dispositivos para la compresión de datos de vídeo HDR

La presente invención se refiere al manejo de datos de vídeo de alta calidad.

La calidad de las imágenes digitales ha mejorado enormemente durante los últimos años. El número de píxeles en una imagen ha aumentado debido a mejoras tanto en cámaras como en pantallas. Por ejemplo, la resolución de pantallas planas comerciales usadas para televisión ha aumentado poco a poco desde una resolución VGA de 640 x 480 píxeles hasta una alta definición total que tiene 1920 x 1080 píxeles. Esto ya ha ocasionado un cambio en la cantidad de datos que es necesario manejar para presentar visualmente una imagen. Además, no sólo se ha mejorado la resolución espacial, sino también la resolución dinámica. Para una imagen en blanco y negro esto significaría que un píxel individual podría representar cualquier número grande de diferentes tonos de gris en lugar de ser sólo en blanco y negro. El rango dinámico global se compara fácilmente con el ojo humano. Un ser humano puede distinguir objetos tanto a la luz de las estrellas durante la noche como a la luz solar brillante, incluso si en una noche sin luna los objetos reciben sólo aproximadamente 1/1.000.000.000 de la iluminación que recibirían en un día soleado brillante: esto corresponde a un rango dinámico de 90 db. Sin embargo, el ojo necesita tiempo para ajustarse a diferentes niveles de luz. Por tanto, el rango dinámico del ojo humano sin ajuste de la pupila es de sólo aproximadamente 30 db. En cambio, las diferencias entre puntos muy oscuros y muy claros en una imagen tomada por un sistema de cámara moderna pueden ser fácilmente mayores que las que el ojo humano puede distinguir sin adaptación; con un sistema de cámara moderna, por tanto, es posible determinar detalles precisos en puntos muy oscuros incluso aunque también estén presentes puntos muy claros en una imagen. El rango dinámico de un sistema de cámara moderna también puede superar fácilmente el rango dinámico de una pantalla convencional.

También debe observarse que no sólo el rango dinámico de una imagen que va a (re) producirse necesita modificación sino también es necesaria una corrección debido a numerosas limitaciones tecnológicas tales como gama y contraste de color limitados, resolución espacial limitada, habitualmente campo de visión limitado y soluciones temporales no triviales para conseguir una capacidad estéreo. Además, con el fin de reproducir el aspecto correcto, a menudo es necesario simular el comportamiento del sistema visual humano. En este caso, debe observarse que las condiciones de visualización de un observador, que observa o bien la escena o bien una pantalla, pueden ser completamente diferentes. El mapeo tonal es muy útil en la producción de imágenes realistas y se han propuesto varios operadores. Sin embargo, aún es prohibitivo tener un operador de mapeo tonal complejo que produzca resultados de alta calidad en tiempo real debido a la restricción de la capacidad de procesamiento de datos, en particular para imágenes grandes de alta definición. Existen dos clases principales de operador de mapeo tonal, concretamente curvas de reproducción tonal (TRC) y operadores de reproducción tonal (TRO) . Ambos se denominarán funciones de mapeo tonal en la presente solicitud.

Los algoritmos de TRC son eficaces porque la operación se aplica a píxeles de manera independiente y, por tanto, pueden realizarse en paralelo usando una tabla de consulta sencilla. Además, también existen modelos que pueden capturar algunos aspectos importantes, tales como la adaptación visual. Sin embargo, las TRC no capturan la información importante en el contraste local que podría representarse en el contexto espacial de píxeles de imágenes vecinas que es de gran importancia para el sistema visual humano.

Los algoritmos basados en TRO en comparación con TRC pueden capturar la información importante en un contraste local. Desafortunadamente, introducen normalmente artefactos en algunas partes de la imagen, tales como halos oscuros, y son más exigentes desde el punto de vista computacional.

Ahora, las imágenes, que tienen un alto rango dinámico, tienen una mayor profundidad de píxeles que las imágenes de bajo rango dinámico más convencionales. La profundidad de bits por píxel aumentada presentada por formatos de imagen HDR puede representar todo el rango dinámico visible por el sistema visual humano. Tanto el número de píxeles aumentado en una imagen de alta definición (HD) como la información dinámica mejorada en una imagen de alto rango dinámico (HDR) aumentan la cantidad de datos relacionados con una imagen. Esto plantea varios problemas técnicos. El tamaño de los datos da lugar a problemas cuando se transmiten y/o se almacenan datos de imagen. Estos problemas se vuelven más graves cuando es necesario que se manejen datos de vídeo que consisten en una pluralidad de tramas en lugar de imágenes digitales individuales. Para imágenes fijas de alto rango dinámico, el mapeo tonal mencionado anteriormente reduce el rango dinámico de una imagen de manera que intenta permitir que el usuario observe todos los detalles relevantes para el ojo humano aunque esto no sea posible en una escena y/o adaptación convencional. La reducción del rango dinámico también puede usarse para reducir la cantidad de datos necesarios para describir totalmente la imagen. Además, para flujos de vídeo que consisten en una secuencia de imágenes digitales (tramas) , se han descrito métodos que permiten la reducción (compresión) de datos tales como la norma MPEG.

Sin embargo, a pesar del hecho de que tanto la alta definición como la información de alto rango dinámico pueden comprimirse, los resultados cuando se aplican tales esquemas de compresión convencionales a un flujo de datos de vídeo aún no son satisfactorios para un usuario.

Las imágenes de alto rango dinámico (HDRI) consumen una cantidad considerable de memoria, y los métodos de

comprensión eficaces no son fáciles de implementar. Una imagen de bajo rango dinámico típica consiste en datos RGB de 24 bits por píxel (bpp) que pueden comprimirse considerablemente. Por otro lado, una imagen HDR no comprimida usa normalmente 96 bpp para una imagen RGB. Por consiguiente, una imagen HDR no comprimida consume cuatro veces la memoria de una imagen LDR no comprimida.

El primer intento para comprimir los datos HDR se introdujo por G. WARD en REAL PIXELS, Graphics Gems, 2:1531, 1991. Se sugirió que la imagen de 96 bpp se comprima a 32 bpp usando una mantisa de bits ligera para cada canal y un exponente de bits ligero compartido. Sin embargo, la representación de RGBE resultante no cubre toda la gama de color visible puesto que no permite valores negativos. Se han sugerido otros formatos, por ejemplo, en G.

W. LARSON: LOGLUV ENCODING FOR FULL-GAMUT, HIGH DYNAMIC RANGE IMAGES, Journal of Graphics Tools, 3 (1) :15-31, 1998. Sugerencias adicionales, usando diferentes formatos de datos, pueden hallarse en INDUSTRIAL LIGHT & MAGIC, OpenEXR., http://www.openexr.org, 2002 y G. McTAGGERT, C. GREEN y J. MITCHELL: HIGH DYNAMIC RANGE RENDERING IN VALVE’S SOURCE ENGINE, en SIGGRAPH ‘06: ACM SIGGRAPH 2006 Courses, página 7, Nueva York, NY, EE.UU., 2006, ACM Press. Además, se han presentado varios algoritmos de extensión a la compresión convencional tales como, por ejemplo, en G. WARD: JPEG-HDR: A BACKWARDS-COMPATIBLE, HYGH DYNAMIC RANGE EXTENSION TO JPEG, en: CIC 13th: Proceedings of the Thirteenth Color Imaging Conference, The Society for Imaging Science and Technology, 2005; G. WARD: A GENERAL APPROACH TO BACKWARDS-COMPATIBLE DELIVERY OF HYGH DYNAMIC RANGE IMAGES AND VIDEO en: CIC 14th: Proceedings of the Fourteenth Color Imaging Conference, The Society for Imaging Science and Technology, 2006; G. WARD y M. SIMMONS: SUB BAND ENCODING OF HYGH DYNAMIC RANGE IMAGERY en: APGV ‘04: Proceedings of the 1st Symposium on Applied Perception in Graphics and Visualization, páginas 83-90, Nueva York, NY, EE.UU., 2004, ACM Press.

En este caso, el HDR-JPEG retrocompatible extiende la norma JPEG manteniendo la retrocompatibilidad. En primer lugar, se mapea de manera tonal una imagen HDR usando una curva de reproducción tonal convencional y se almacena como JPEG normal. En segundo lugar, se almacena una subbanda correspondiente a la información HDR en los “marcadores de aplicación” de la norma para un máximo de 64 Kbytes que es una restricción para codificar imágenes HDR de alta resolución. El HDR-JPEG 2000 es una extensión para JPEG... [Seguir leyendo]

1. Método para producir un flujo de datos de vídeo comprimidos (12) comprimiendo un flujo (1) de tramas de vídeo de alto rango dinámico (2) dispuestas como una pluralidad de diferentes escenas que comprenden, cada una, una pluralidad de las tramas de vídeo, en las que se aplican operaciones de mapeo tonal a las

tramas, difiriendo las operaciones de mapeo tonal aplicadas a tramas en una de la pluralidad de escenas de las operaciones de mapeo tonal aplicadas a tramas en otra de la pluralidad de escenas, y difiriendo entre sí las operaciones de mapeo tonal aplicadas a algunas tramas en la misma escena;

caracterizado porque para al menos algunas tramas de vídeo de alto rango dinámico (2) en el flujo (1) , el método comprende las etapas de:

(a) desde la trama de alto rango dinámico en el flujo, usar un filtro (3) para extraer una trama de base (4) ;

(b) determinar una trama de detalle (5) en respuesta tanto a la trama de alto rango dinámico (2) como a la trama de base (4) , estando relacionada la trama de detalle (5) con detalles precisos en la trama de alto rango dinámico;

(c) generar (6) una operación de mapeo tonal (TMO*) para la trama de base (4) y aplicar la operación de 15 mapeo tonal a la trama de base para generar una trama de base de bajo rango dinámico (8) ;

(d) almacenar (11) las propiedades de la operación de mapeo tonal (TMO*) aplicadas a la trama de base (4) ;

(e) someter a la trama de base de bajo rango dinámico (8) a compresión temporal (9) y someter a la trama de detalle (5) a compresión temporal (10) ;

(f) crear datos de trama final (12) que consisten en la trama de base de bajo rango dinámico comprimida (8) , la trama de detalle comprimida (5) y las propiedades de la operación de mapeo tonal (TMO*) aplicadas a la trama de base; y

(g) incluir los datos de trama final en el flujo de datos de vídeo comprimidos.

2. Método según la reivindicación 1, caracterizado porque la generación de una operación de mapeo tonal

(TMO*) para una trama de base (4) comprende seleccionar una función de mapeo tonal (TMO) de una pluralidad de funciones de mapeo tonal predefinidas (7) .

3. Método según la reivindicación 2, caracterizado porque la operación de mapeo tonal (TMO*) aplicada a la trama de base (4) se obtiene alterando la función de mapeo tonal (TMO) seleccionada de la pluralidad de funciones de mapeo tonal predefinidas (7) , con respecto a propiedades almacenadas (11) de al menos una

función de mapeo tonal previa obtenida para una trama de base previa (4) de la misma escena.

4. Método según la reivindicación 3, caracterizado porque si la diferencia entre la operación de mapeo tonal (TMO) determinada para una trama de base (4) dada y la al menos una función de mapeo tonal previa es grande, la operación de mapeo tonal (TMO) inicial se corrige a una operación de mapeo tonal (TMO*) que corresponde de manera más aproximada a la al menos una función de mapeo tonal previa.

5. Método según la reivindicación 1, caracterizado porque la generación de una operación de mapeo tonal (6) para una trama de base (4) comprende seleccionar una de varias funciones de mapeo tonal predefinidas (7) y están incluidos la función de mapeo tonal seleccionada y cualquier parámetro asociado en el flujo de datos de vídeo comprimidos.

6. Método según la reivindicación 1, caracterizado porque la trama de detalle (5) se obtiene mediante la

sustracción de la trama de base (4) de la trama de alto rango dinámico (2) y/o mediante la división de la trama de alto rango dinámico (2) entre la trama de base (4) .

7. Método según la reivindicación 1, caracterizado porque la compresión (9) de la trama de base de bajo rango dinámico (8) y la compresión (10) de la trama de detalle (5) se llevan a cabo por separado.

8. Método según la reivindicación 1, caracterizado porque el filtro (3) usado para extraer la trama de base (4) a 45 partir de la trama de alto rango dinámico (2) es un filtro bilateral (3) .

9. Método según la reivindicación 1, caracterizado porque las etapas (a) a (g) se llevan a cabo para todas las tramas de vídeo de alto rango dinámico (2) en el flujo (1) .

10. Método según la reivindicación 1, caracterizado porque la información de función de mapeo tonal para una

trama en el flujo de datos de vídeo comprimidos está incluida por separado de la información de luminancia 50 relacionada con la misma trama.

11. Método según la reivindicación 2, caracterizado porque la pluralidad de funciones de mapeo tonal predefinidas (7) comprenden al menos una función de mapeo tonal fija.

12. Método según la reivindicación 2 u 11, caracterizado porque la pluralidad de funciones de mapeo tonal predefinidas (7) comprenden al menos una función de mapeo tonal definida por el usuario.

13. Codificador de vídeo configurado para producir un flujo de datos de vídeo comprimidos (12) llevando a cabo un método según cualquier reivindicación anterior.

14. Decodificador de vídeo configurado para decodificar un flujo de datos de vídeo comprimidos llevando a cabo el método según la reivindicación 17.

15. Decodificador de vídeo según la reivindicación 14, caracterizado porque el decodificador está configurado

de modo que, en el proceso de decodificación, es posible modificar una función de mapeo tonal inicial para tener en cuenta las propiedades particulares de un dispositivo para visualizar los datos de tramas de vídeo.

16. Decodificador de vídeo según la reivindicación 15, caracterizado porque el decodificador está configurado para que haya tablas de consulta para diferentes dispositivos de visualización que están relacionados con diferentes funciones de mapeo tonal inverso para una entrada de tabla de consulta dada.

17. Método para decodificar un flujo de datos de vídeo comprimidos obtenido llevando a cabo un método según cualquiera de las reivindicaciones 1 a 12, caracterizado porque usando los datos de trama final (12) en el flujo de datos de vídeo, se obtiene la trama de base de bajo rango dinámico (8) a partir de la trama de base de bajo rango dinámico comprimida, se obtiene la trama de detalle (5) a partir de la trama de detalle comprimida (5) , y usando la información con respecto a la operación de mapeo tonal (TMO*) aplicada a la

trama de base, se reconstruye la trama de base (4) ; y se combina la trama de base (4) con la trama de detalle (5) para obtener una trama de alto rango dinámico que va a reproducirse.