Método y dispositivo de procesamiento de imágenes para el procesamiento de disparidad.

Un metodo para procesar un valor de disparidad para un elemento de imagen en una primera imagen con respecto a una segunda imagen,

en que el metodo comprende:

determinar un histograma de disparidad de intensidad, que incluye, para cada valor de intensidad de una pluralidad de valores de intensidad y cada valor de disparidad de una pluralidad de valores de disparidad, un valor de frecuencia que indica el numero de elementos de imagen que tienen el valor de intensidad respectivo y el mismo valor de disparidad;

seleccionar una tupla de un valor de frecuencia y un valor de disparidad asociado, para los cuales el valor de frecuencia cumple un criterio predefinido;

determinar un primer factor de ponderacion en funcion del valor de frecuencia de la tupla seleccionada;

determinar un valor de textura para el elemento de imagen, en que el valor de textura representa una variacion de valor de intensidad en una region vecina del elemento de imagen de la primera imagen;

determinar un segundo factor de ponderacion en funci6n del valor de textura del elemento de imagen; y

determinar un valor de disparidad modificado para el elemento de imagen en función del valor de disparidad para el elemento de imagen y el primer factor de ponderación, el segundo factor de ponderacion, y el valor de disparidad de la tupla seleccionada.

Campo técnico

Diversas realizaciones se refieren en general al procesamiento de imagen. Además, 5 diversas realizaciones se refieren a un método y un dispositivo de procesamiento de imágenes para el procesamiento de disparidad.

Antecedentes

Con el desarrollo y el éxito de las tecnologías tridimensionales (3D), su aplicación no se 10 limita a las películas en 3D en los cines, sino que se extiende a la electrónica para el hogar, tales como televisores 3D y otros productos de consumo en 3D. La visión 3D o la visión estereoscópica se puede crear mediante la presentación de dos conjuntos ligeramente diferentes de imágenes a un espectador, en que un conjunto incluye imágenes del ojo izquierdo correspondientes a un punto de vista del ojo izquierdo y el 15 otro conjunto incluye imágenes del ojo derecho correspondientes a un punto de vista del ojo derecho. Las pantallas 3D (por ejemplo, CRT, LCD, de plasma, etc.) muestran vistas del ojo izquierdo y del ojo derecho en la misma superficie, y por multiplexación temporal o espacial, hacen que el ojo izquierdo de un espectador vea sólo la vista del ojo izquierdo y el ojo derecho vea sólo la vista del ojo derecho. Las disparidades entre 20 los dos puntos de vista ofrecen una visión con la percepción de profundidad para el espectador, y hacen que el espectador perciba una visión estereoscópica.

Con el fin de proporcionar estimaciones más suaves de disparidad, se pueden realizar varias operaciones de post-procesamiento, por ejemplo, que impliquen filtrado de

mediana o filtrado bilateral, a través de los mapas de disparidad. En algunos planteamientos, dependiendo de la distribución de color local, se utilizan regiones de soporte de adaptación para filtrar los datos de disparidad por similitudes de color. Por lo tanto, se asignan valores de disparidad similar a las regiones que tienen un color 5 parecido. Estos planteamientos preservan los bordes del objeto y permiten mapas nítidos de disparidad para el procesamiento de alta calidad, pero requieren grandes regiones de soporte que pueden aumentar la complejidad computacional. En los planteamientos anteriores que explotan la coincidencia de color y la suavidad espacial entre píxeles vecinos, las disparidades de las superficies sin textura pueden no ser 10 procesadas correctamente debido a la falta de información en la superficie uniforme.

La distribución del color similar en las regiones sin textura ofrece múltiples candidatos coincidentes entre una pluralidad de candidatos de valor de disparidad, lo que hace difícil estimar los valores de disparidad verdaderos para estas regiones. Por otra parte, en las grandes superficies uniformes que están parcialmente divididas, la uniformidad 15 del mapa de disparidad estimado puede no ser preservado, lo que puede tener como resultado problemas de consistencia para algunas aplicaciones tales como la mejora basada en la profundidad y la síntesis de visión arbitraria. A modo de ejemplo, la estimación de disparidad para regiones desconectadas pertenecientes a la misma superficie u objeto, como por ejemplo el cielo parcialmente ocluido en una imagen, 20 puede ser errónea debido a la distribución homogénea de color en estas regiones de baja textura o sin textura. Los planteamientos de suavizado local pueden suavizar cada región parcial y el error en el mapa de disparidad estimado puede progresar.

EP 2 293 586 Al da a conocer un método para el procesamiento de imágenes estereoscópicas. Según EP 2 293 586 Al, se computa un primer mapa de disparidad /

profundidad de las imágenes en estéreo de vídeo 3D. Además, se suaviza un mapa de profundidad y la percepción de profundidad cambia de acuerdo con la estimación de la fatiga del ojo. Por último, la nueva imagen en estéreo se genera de acuerdo con los parámetros de la percepción de profundidad.

EP 1 968 329 Al describe un aparato y un método que incluyen la estimación de la disparidad entre dos imágenes estereoscópicas de entrada, y computa un ajuste en la disparidad estimada utilizando una técnica de mapeo de histograma.

Resumen

Un objeto de la invención es mejorar las disparidades estimadas para regiones de baja textura o sin textura que tienen una distribución homogénea de color.

Diversas realizaciones proporcionan un método para procesar un valor de disparidad, un dispositivo de procesamiento de imágenes y un dispositivo de imágenes.

Diversas realizaciones proporcionan un método para procesar un valor de disparidad 15 para un elemento de imagen en una primera imagen con respecto a una segunda imagen. El método puede incluir la determinación de un histograma de intensidad de disparidad, que incluye, para cada valor de intensidad de una pluralidad de valores de intensidad y cada valor de disparidad de una pluralidad de valores de disparidad, un valor de frecuencia que indica el número de elementos de imagen que tienen el valor de 20 intensidad respectiva y el mismo valor de disparidad; seleccionar una tupia de un valor de frecuencia y un valor de disparidad asociada, para la que el valor de frecuencia cumple un criterio predefinido; determinar un primer factor de ponderación dependiente del valor de la frecuencia de la tupia seleccionada; determinar un valor de textura para

el elemento de la imagen, en que el valor de textura representa una variación de valor de intensidad en una región vecina del elemento de imagen de la primera imagen; determinar un segundo factor de ponderación dependiente del valor de la textura del elemento de imagen; y determinar un valor de disparidad modificado para el elemento 5 de imagen dependiente del valor de disparidad para el elemento de imagen y el primer factor de ponderación, el segundo factor de ponderación, y el valor de disparidad de la tupia seleccionada.

Breve Descripción de los Dibujos

En los dibujos, caracteres de referencia similares se refieren en general a las mismas partes en todas las diferentes vistas. Los dibujos no están necesariamente a escala, por el contrario el énfasis se coloca generalmente en ilustrar los principios de la invención. En la siguiente descripción, se describen diversas realizaciones con referencia a los siguientes dibujos, en los que:

La Fig. 1 muestra un sistema de acuerdo con una realización.

La Fig. 2 muestra un diagrama esquemático de un dispositivo de procesamiento de imagen de acuerdo con una realización.

La Fig. 3 muestra un diagrama de flujo de acuerdo con una realización.

La Fig. 4 ilustra un primer factor de ponderación de acuerdo con una realización.

La Fig. 5 muestra un filtro horizontal y un filtro vertical de acuerdo con una realización.

La Fig. 6 muestra un filtro boxer aplicado a un mapa de textura de acuerdo con una realización.

La Fig. 7 ilustra un segundo factor de ponderación de acuerdo con una realización.

La Fig. 8 muestra un sistema de formación de imágenes de acuerdo con una forma de realización.

Descripción detallada

Diversas realizaciones proporcionan un método y un dispositivo para el procesamiento de los valores de disparidad, tomando en consideración tanto las características globales como las características locales de la imagen. Las realizaciones proporcionan valores de disparidad más precisos para las regiones sin textura en la imagen.

Varias formas de realización tienen como finalidad un método para procesar un valor de disparidad para un elemento de imagen en una primera imagen con respecto a una segunda imagen. El método puede incluir la determinación de un histograma de intensidad de disparidad, que incluye, para cada valor de intensidad de una pluralidad de valores de intensidad y cada valor de disparidad de una pluralidad de valores de 15 disparidad, un valor de frecuencia que indica el número de elementos de imagen que tienen el valor de intensidad respectivo y el mismo valor de disparidad; la selección de una tupia de un valor de frecuencia y un valor de disparidad asociada, para la que el valor de frecuencia cumple un criterio predefinido; determinar un primer factor de ponderación dependiente del valor de la frecuencia de la tupia seleccionada; determinar 20 un valor de textura para el elemento de la imagen, en que el valor de la textura representa una variación de valor de intensidad en una región vecina del elemento de imagen de la primera imagen; determinar un segundo factor de ponderación dependiente del valor de la textura del elemento de imagen; y determinar un valor de disparidad modificado para el elemento de imagen dependiente del valor de disparidad para el

elemento de imagen y el primer factor de ponderación, el segundo factor de ponderación, y el valor de disparidad de la tupia seleccionada.

La primera imagen... [Seguir leyendo]

1. Un método para procesar un valor de disparidad para un elemento de imagen en una primera imagen con respecto a una segunda imagen, en que el método comprende:

determinar un histograma de disparidad de intensidad, que incluye, para cada valor de 5 intensidad de una pluralidad de valores de intensidad y cada valor de disparidad de una pluralidad de valores de disparidad, un valor de frecuencia que indica el número de elementos de imagen que tienen el valor de intensidad respectivo y el mismo valor de disparidad;

seleccionar una tupia de un valor de frecuencia y un valor de disparidad asociado, para 10 los cuales el valor de frecuencia cumple un criterio predefinido;

determinar un primer factor de ponderación en función del valor de frecuencia de la tupia seleccionada;

determinar un valor de textura para el elemento de imagen, en que el valor de textura representa una variación de valor de intensidad en una región vecina del elemento de 15 imagen de la primera imagen;

determinar un segundo factor de ponderación en función del valor de textura del elemento de imagen; y

determinar un valor de disparidad modificado para el elemento de imagen en función del valor de disparidad para el elemento de imagen y el primer factor de ponderación, el 20 segundo factor de ponderación, y el valor de disparidad de la tupia seleccionada.

2. El método de la reivindicación 1, en el que

la selección de la tupia del valor de frecuencia y el valor de disparidad asociado comprende:

seleccionar el valor máximo de frecuencia de la pluralidad de valores de frecuencia determinados para un valor de intensidad del elemento de imagen en la primera imagen, 5 y seleccionar el valor de disparidad asociado con el valor máximo de frecuencia.

3. El método de la reivindicación 1 o 2, en el que

el primer factor de ponderación se determina de acuerdo con la siguiente ecuación:

Global Weightj (X, yj representa el primer factor de ponderación;

I (x, y) representa el valor de la intensidad del elemento de imagen;

DDF (I (x> y)) representa el valor de la frecuencia de la tupia seleccionada; y Fthres representa el umbral predeterminado.

4. El método de la reivindicación 3, en el que

el umbral predeterminado se determina en base a un porcentaje del tamaño de la primera

5. El método de cualquiera de las reivindicaciones 1 a 4, en el que

determinar el valor de textura para el elemento de imagen comprende la aplicación de un filtro horizontal y un filtro vertical para el elemento de imagen de acuerdo con la 20 siguiente ecuación:

donde

imagen.

Texture{x, y) = ^ hor{x, y).ver(x, y)

donde

hor(x,y) = -I(x -1,y -1) - /(* -1,y)-I(x-\,y +1) + /(x + l,y -1) + I(x + l,y) + /(* + \,y +1)

vér(x,y) = -I(x-l,y-l)-I(x,y-l)-I(x + l,y-l)

+ I(x-l,y + V) + I(x,y + l) + I(x + \,y + \)

donde

Texture (x, y) representa el valor de textura; hor (x, y) representa el filtro horizontal; ver (x, y) representa el filtro vertical;

/ (x, y) representa el valor de la intensidad del elemento de imagen en (x, y).

6. El método de cualquiera de las reivindicaciones 1 a 5, que comprende además 10 suavizar el valor de textura determinado utilizando un filtro.

7. El método de cualquiera de las reivindicaciones 1 a 6,

en que el segundo factor de ponderación se determina de acuerdo con la siguiente ecuación:

fo

Local(x,y) = < 1

Texture(x,y) + c

if Texture (x, y)>T _ thres

'*

elsewhere

donde

Local (x, y) representa el segundo factor de ponderación determinado para el elemento de imagen (x, y);

Texture (x, y) representa el valor de textura;

c representa una constante cercano a 0; y T thres representa un umbral predefinido.

8. El método de cualquiera de las reivindicaciones 1 a 7, en que

el valor de disparidad modificado se determina para converger con el valor de disparidad de la tupia seleccionada, si el primer factor de ponderación y el segundo 10 factor de ponderación se aproximan a 1.

9. El método de cualquiera de las reivindicaciones 1 a 8, en que

el valor de disparidad modificado se determina que es igual o cercano al valor de disparidad del elemento de imagen, si el primer factor de ponderación o el segundo factor de ponderación son iguales o próximos a 0.

10. El método de cualquiera de las reivindicaciones 1 a 9, en que

el valor de disparidad modificado para el elemento de imagen se determina de acuerdo con la siguiente ecuación:

Aw) - |l - I * A..,) + »'««*'(..,) * DDC(lu.y))

donde

Weight (x, y) = Global _ Weight/(JC^ * Local (x, y)

donde

GlobalJVeightifc y) representa el primer factor de ponderación;

Local (x, y) representa el segundo factor de ponderación;

1 (x, y) representa el valor de la intensidad del elemento de imagen;

DDC (I (X,y)) representa el valor de disparidad asociada de la tupia seleccionada; y D (X¡y)representa el valor de disparidad del elemento de imagen;

D (xy) representa el valor de disparidad modificado del elemento de imagen.

11. El método de cualquiera de las reivindicaciones 1 a 10,

en que el elemento de imagen comprende un elemento de imagen o un bloque de 10 elementos de imagen.

12. El método de cualquiera de las reivindicaciones 1 a 11,

en que determinar el histograma de disparidad de intensidad comprende determinar un histograma de disparidad de color rojo, un histograma de disparidad de color verde y un histograma de disparidad de color azul.

13. El método de la reivindicación 12, en el que la selección de la tupia de un valor de

frecuencia y un valor de disparidad asociado comprende la selección de una primera tupia para el histograma de disparidad de color rojo, una segunda tupia para el histograma de disparidad de color verde y una tercera tupia para el histograma de disparidad de color azul.

14. Un dispositivo de procesamiento de imágenes para procesar un valor de disparidad para un elemento de imagen en una primera imagen con respecto a una segunda imagen, en que el dispositivo comprende:

un circuito de determinación de histograma de disparidad de intensidad configurado para determinar, para cada valor de intensidad de una pluralidad de valores de intensidad y cada valor de disparidad de una pluralidad de valores de disparidad, un valor de frecuencia que indica el número de elementos de imagen que tienen el valor de intensidad respectivo y el mismo valor de disparidad;

un circuito de selección configurado para seleccionar una tupia de un valor de frecuencia y un valor de disparidad asociado, para los que el valor de frecuencia cumple un criterio predefinido;

un primer circuito de determinación de factor de ponderación configurado para determinar un primer factor de ponderación en función del valor de frecuencia de la tupia seleccionada;

un circuito de determinación de valor de textura configurado para determinar un valor de textura para el elemento de imagen, en que el valor de textura representa una variación de valor de intensidad en una región vecina del elemento de imagen en la primera imagen;

un segundo circuito de determinación de factor de ponderación configurado para determinar un segundo factor de ponderación en función del valor de la textura del elemento de imagen; y

un circuito de determinación del valor de disparidad modificado configurado para determinar un valor de disparidad modificado para el elemento de imagen en función

del valor de disparidad para el elemento de imagen y el primer factor de ponderación, el segundo factor de ponderación, y el valor de disparidad de la tupia seleccionada.

15. Un sistema de generación de imágenes, que comprende:

un estimador de disparidad para estimar un valor de disparidad para cada elemento de 5 imagen en una primera imagen con respecto a una segunda imagen;

un dispositivo de procesamiento de imágenes para modificar el valor de disparidad para cada elemento de imagen de acuerdo con la reivindicación 14; y

un generador de imágenes para la generar la primera imagen y la segunda imagen en función de los valores de disparidad modificados.