Aparato y método para analizar gradaciones de imágenes.

Un método para analizar una diferencia de al menos dos gradaciones de una imagen sobre la base de:

obtener una primera ilustración graduada (LDR) con un primer intervalo dinámico de luminancia;

obtener datos que codifican una gradación de una segunda ilustración graduada (HDR) con un segundo intervalo dinámico de luminancia, siendo los intervalos dinámicos de luminancia primero y segundo unos intervalos dinámicos de luminancia inferior y superior;

determinar una estructura de datos de diferencia de gradación (DATGRAD) que comprende una especificación geométrica de al menos una región en la que hay una diferencia en la gradación entre las ilustraciones graduadas primera y segunda y una representación matemática de esa diferencia, sobre la base de al menos los datos que codifican la gradación de la segunda ilustración graduada (HDR), caracterizado por que el método comprende una etapa de derivar una tercera ilustración graduada (MDR) sobre la base de la estructura de datos de diferencia de gradación (DATGRAD), y al menos una de entre la primera ilustración graduada (LDR) y una segunda ilustración graduada si existe previamente o puede derivarse a partir de los datos que codifican una gradación de una segunda ilustración graduada (HDR), en el que la tercera ilustración graduada (MDR) es una imagen intermedia (MDR) con un brillo máximo intermedio entre el brillo máximo de la primera ilustración graduada (LDR) y la segunda ilustración graduada (HDR).

Aparato y método para analizar gradaciones de imágenes Campo de la invención La invención se refiere a métodos y aparatos para la comparación de diferentes gradaciones, en particular una variante LDR y HDR, y dando como resultado unos productos tales como señales y portadoras que llevan esas señales, que al menos comprenden una estructura de datos que describe la diferencia entre las dos gradaciones.

Antecedentes de la invención La representación y la codificación de ilustraciones a color, ya sea para representar fielmente una escena capturada, o una variante artística graduada de la misma, ha sido siempre un problema escurridizo, no en lo más mínimo a causa de la compleja conducta adaptativa de la visión humana. La codificación de televisión clásica soluciona este problema asumiendo que el contenido solo se representa en una única pantalla CRT típica, bajo unas condiciones de visión medias. Esto llevó a los sistemas cerrados (y relativamente simples) , tal como el sistema NTSC, o más recientemente al MPEG2, que asumen que los colores (por los que nos referimos tanto principalmente a su luminancia como secundariamente a sus componentes cromáticos) están representados relativamente de manera correcta (o al menos tan deseable, ya que existe un vacío entre la escena y la gama de visualización) , si el entorno de visión se ajusta a las presunciones. Además, las transformaciones de color relativamente simples se definieron acto seguido, por ejemplo, el matrizado para un sistema de activación RGB para los diferentes primarios de una pantalla LCD específica, o unas adaptaciones de punto blanco, etc., que, si no se mejora la representación del color en que resulta la ilustración representada, dadas las desviaciones menores, se ajustaría más estrechamente a la representación en la pantalla de referencia (CRT) , al menos no se cometerían más errores de representación del color severos que los que ya podían aceptarse bajo el paradigma. Sin embargo, este sistema cerrado se abrió debido a que se unieron más y más tipos muy diferentes de dispositivos al sistema de televisión en la última década, bajo la misma filosofía de gestión del color. No solo llegó a ser posible representar las ilustraciones fijas de los consumidores de cualquier cámara en digamos un televisor LCD (con un contraste específico, una gamma, etc.) , sino que también las diferentes visualizaciones crecieron aparte en cuanto a sus características físicas (en particular, las gamas de colores que podían representar) , y los entornos de visión se convirtieron también en variables (por ejemplo, la visión de la televisión móvil al aire libre, el cine en casa, etc.) . En particular, cuando las visualizaciones con cada vez mayor luminancias de blancos (por ejemplo 2000 cd/m2) comenzaron a llegar al mercado, así como las cámaras con fuentes de captura de fotones de profundidad aumentada y los ADC, se hizo costumbre empezar a hablar de una división en dos subregiones, concretamente, el sistema de visualización convencional que puede llamarse intervalo dinámico inferior (LDR) , y un sistema con capacidades de representación de luminancia enormemente aumentadas llamándose intervalo dinámico superior (HDR) . Si uno entiende que una señal codificada LDR puede haber deteriorado seriamente las características de la imagen para ciertos intervalos que pueden o necesitan visualizarse en una pantalla de HDR (por ejemplo, recortando los puntos culminantes) , se entiende que generar una ilustración agradable para tales visualizaciones de HDR puede llegar a ser, en tales desviaciones importantes del sistema de referencia LDR, una tarea mucho más difícil que una simple transformación de color (se tiene realmente que explotar la gama de la pantalla de HDR al máximo) . Puesto que existe, obviamente, una necesidad de ser capaces de generar las configuraciones de activación de pantalla que representan ilustraciones en las visualizaciones HDR de una calidad visual que cumplan con el precio más alto de una visualización de HDR mejorada, se comprende la necesidad de tener nuevas codificaciones, nuevas técnicas de procesamiento de imágenes, nuevos métodos de representación, etc.

El documento WO2007/082562 describe una manera de codificar una imagen de HDR creando primero para ello una imagen de intervalo dinámico inferior, a continuación, prediciendo una imagen predicha de HDR a partir de esta imagen de LDR, a continuación, analizando cuáles son las diferencias entre la imagen de HDR original y la predicha y creando una imagen residual, y a continuación codificando la imagen de LDR, la función de predicción, y la imagen residual, que son datos suficientes para reconstruir la imagen de HDR original.

K. Smith et al.: Beyond tone mapping: Enhanced depiction of tone mapped HDR images. Foro de gráficos de ordenador. Vol. 25, N° 3, 1 de septiembre 2006, páginas 427-438, trabaja en el problema de que en un momento en que para la mayoría de la gente solo había pantallas de LDR para ver las imágenes de HDR, se necesitaba tener unos razonablemente buenos métodos de degradación que no distorsionasen demasiado el aspecto, porque por ejemplo, la visibilidad de algunas regiones de la imagen de HDR original puede impactarse altamente por el mapeado de LDR y la representación de visualización. En primer lugar Smith enseña algunas medidas que pueden indicar cuánta distorsión hay, tanto evaluando una medida de contraste de imagen global, como una medida de detalle local. En segundo lugar tratan de mejorar el aspecto distorsionado aumentando el croma color de los píxeles basándose en dónde la medición de la distorsión dice que el LDR se ha distorsionado en comparación con el aspecto de HDR, y también añaden lentamente gradientes de cambio del croma para poder tener un mayor salto en los límites del objeto (denominado, sombreado) .

En esta solicitud de patente, los inventores se fijan en el problema de manera más genérica, en que cualquiera que sea la pantalla (de las cuales hay muchas más que solo dos, si el HDR, que puede ser de varias calidades, por ejemplo, 1000 nits blanco, o 5000 nits blanco, o incluso de menor calidad que el LDR, lo que se puede llamar sub-LDR [SLDR]) , y las circunstancias adicionales, a los inventores les gustaría ser capaces de representar ilustraciones mejoradas, dada la información disponible.

Sumario de la invención Las soluciones técnicas siguientes están inspiradas en un objeto para mejorar todo tipo de gradación-, compresióny sistemas de HDR. Como se conoce por los expertos en la materia, la gradación tiene un significado comúnmente conocido que comprende la mejora artística de todos los colores (/luminancias) , de manera que la imagen se ve óptima. En la captura de cámara práctica difícilmente puede generarse el aspecto exacto, es decir, luminancias para todos los objetos de la escena, de esta manera normalmente un graduador recolorea las regiones locales, haciendo una superficie más brillante, por ejemplo, o incluso aplicando unos efectos especiales más avanzados, como por ejemplo, añadiendo una piel irregular. Aunque los métodos (y los aparatos) descritos pueden ocuparse de generar una representación óptima para cualquier visualización, son principalmente útiles para las visualizaciones de intervalo dinámico superior (por encima de dichos 500 nits de brillo máximo) y, a continuación sobre la base de la información de gradación relacionada con unas imágenes variantes de intervalo dinámico superior de una escena capturada (ya sea adicional a una gradación de LDR, o como una información separada de HDR) . Son especialmente valiosos para el análisis y el manejo de información codificada para las regiones de brillo más altas, tales como al aire libre soleado o lámparas, sino que también para las regiones oscuras, en las que un manejo inteligente de la representación de esas regiones se vuelve más importante. Aunque se podría iniciar, en principio, con algunas de las realizaciones con una señal de HDR y alguna referencia convencional genérica de LDR (por ejemplo, una derivación de manera automática del HDR) , los presentes métodos podrán usarse en su mayoría cuando existan al menos dos gradaciones, normalmente una para un intervalo dinámico inferior y otra para un intervalo dinámico superior.

La unidad de comparación 110 y el método correspondiente están dispuestos para hacer una comparación precisa de las regiones (por ejemplo, objetos, (conjuntos de) píxeles) en dos gradaciones de una imagen (es decir, dos gradaciones de un mismo instante de tiempo) , es decir, comparar lo que el píxel vale (al menos la luminancia o una correlación de la misma, pero posiblemente también 3 o N colores dimensionales, o más atributos de imagen referibles a un píxel, tal como, por ejemplo,... [Seguir leyendo]

1. Un método para analizar una diferencia de al menos dos gradaciones de una imagen sobre la base de:

obtener una primera ilustración graduada (LDR) con un primer intervalo dinámico de luminancia; obtener datos que codifican una gradación de una segunda ilustración graduada (HDR) con un segundo intervalo dinámico de luminancia, siendo los intervalos dinámicos de luminancia primero y segundo unos intervalos dinámicos de luminancia inferior y superior; determinar una estructura de datos de diferencia de gradación (DATGRAD) que comprende una especificación geométrica de al menos una región en la que hay una diferencia en la gradación entre las ilustraciones graduadas primera y segunda y una representación matemática de esa diferencia, sobre la base de al menos los datos que codifican la gradación de la segunda ilustración graduada (HDR) , caracterizado por que el método comprende una etapa de derivar una tercera ilustración graduada (MDR) sobre la base de la estructura de datos de diferencia de gradación (DATGRAD) , y al menos una de entre la primera ilustración graduada (LDR) y una segunda ilustración graduada si existe previamente o puede derivarse a partir de los datos que codifican una gradación de una segunda ilustración graduada (HDR) , en el que la tercera ilustración graduada (MDR) es una imagen intermedia (MDR) con un brillo máximo intermedio entre el brillo máximo de la primera ilustración graduada (LDR) y la segunda ilustración graduada (HDR) .

2. Un método de acuerdo con la reivindicación 1, en el que los datos que codifican la gradación de una segunda ilustración graduada (HDR) es la segunda ilustración graduada (HDR) , y la etapa de determinar una estructura de datos de diferencia de gradación (DATGRAD) comprende comparar los valores de pixel de la primera imagen graduada (LDR) y la segunda imagen graduada (HDR) , de al menos una región espacial o de luminancia de una entre la primera ilustración graduada (LDR) y la segunda ilustración graduada (HDR) .

3. Un método de acuerdo con la reivindicación 1, en el que la derivación de la tercera ilustración graduada (MDR) se realiza sobre la base de la información obtenida en las características (VCHAR) de un entorno de visualización.

4. Un método de acuerdo con la reivindicación 1, en el que la derivación de la tercera ilustración graduada (MDR) se realiza sobre la base de una configuración controlada por el usuario (USRSET) en relación con la visualización de la tercera ilustración graduada (MDR) , tal como, por ejemplo, una configuración que especifica una molestia de una salida de luz, una configuración que limita el uso de energía, o una configuración que especifica unos atributos visuales preferidos de la tercera ilustración graduada visualizada (MDR) .

5. Un aparato de procesamiento de imágenes (101) para analizar una diferencia de al menos dos gradaciones de una imagen que comprende:

una primera entrada (120) para la introducción de una primera ilustración graduada (LDR) con un primer intervalo dinámico de luminancia; una segunda entrada (121) para la introducción de los datos que codifican una gradación de una segunda ilustración graduada (HDR) con un segundo intervalo dinámico de luminancia, siendo los intervalos dinámicos de luminancia primero y segundo unos intervalos dinámicos de luminancia inferior y superior; una unidad de comparación (110) dispuesta para determinar una estructura de datos de diferencia de gradación (DATGRAD) que comprende una especificación geométrica de al menos una región en la que hay una diferencia en la gradación entre las ilustraciones graduadas primera y segunda y una representación matemática de esa diferencia, sobre la base de al menos los datos que codifican la gradación de la segunda ilustración graduada (HDR) , caracterizado por que el aparato de procesamiento de imágenes comprende una unidad de derivación de imágenes (112) dispuesta para derivar una tercera ilustración graduada (MDR) sobre la base de la estructura de datos de diferencia de gradación (DATGRAD) , y al menos una de entre la primera ilustración graduada (LDR) y una segunda ilustración graduada si existe previamente o puede derivarse a partir de los datos que codifican una gradación de una segunda ilustración graduada (HDR) , en el que la tercera ilustración graduada (MDR) es una imagen intermedia (MDR) con un brillo máximo intermedio entre el brillo máximo de la primera ilustración graduada (LDR) y la segunda ilustración graduada (HDR) .

6. Un aparato de procesamiento de imágenes (101) de acuerdo con la reivindicación 5, en el que la segunda entrada está dispuesta para recibir una segunda ilustración graduada (HDR) , y la unidad de comparación (110) está dispuesta para determinar la estructura de datos de diferencia de gradación (DATGRAD) , basándose en la comparación de los valores de píxel de la primera ilustración graduada (LDR) con los valores de píxel de la segunda ilustración graduada (HDR) de al menos una región espacial o de luminancia de una entre la primera ilustración graduada (LDR) y la segunda ilustración graduada (HDR) .

7. Un aparato de procesamiento de imágenes (101) de acuerdo con la reivindicación 5 o 6, dispuesto para aplicar una transformación de procesamiento de imágenes a la primera ilustración graduada (LDR) sobre la base de al menos los datos que codifican la gradación de la segunda ilustración graduada (HDR) .

8. El método de la reivindicación 1, que comprende además el uso de metadatos para guiar la derivación de la tercera ilustración graduada (MDR) , tal como una indicación de cómo una diferencia de este tipo debería tratarse por unas transformaciones de re-representación de imágenes, o la información semántica con respecto a la región espacial graduada de manera diferente.

9. Un medio de grabación legible por ordenador que tiene grabado en el mismo un código de programa para realizar el método de la reivindicación 1.