Procesado de imágenes de secuencias de vídeo basadas en DCT en un dominio comprimido.

Método, que comprende:

- proporcionar (S110) una secuencia de vídeo basada en DCT,

con compensación de movimiento, comprimida;y

- aplicar (S120) una operación de procesado de imágenes de por lo menos uno de entre un ajuste de contrastey un ajuste de brillo sobre dicha secuencia de vídeo en el dominio de las señales comprimidas dando comoresultado (S130) una secuencia de vídeo comprimida, con procesado de imágenes, siendo dicha aplicaciónejecutada ajustando componentes DCT que definen dicha secuencia de vídeo basada en DCT;

- proporcionar una compensación del efecto de sombra

decodificando bloques con coeficientes fuera de umbrales fijados para coeficientes DC y AC en un cuadro dedicha secuencia de vídeo basada en DCT;

compensando residuos correspondientes a dichos bloques en el siguiente cuadro; y

re-codificando bloques decodificados.

Procesado de imágenes de secuencias de vídeo basadas en DCT en un dominio comprimido.

Campo de la invención La presente invención se refiere al sector del procesado de imágenes de datos de vídeo, particularmente en el dominio de señales comprimidas.

Antecedentes de la invención Las videocámaras digitales se están extendiendo de forma creciente en el mercado. Los últimos teléfonos móviles están equipados con videocámaras que ofrecen a los usuarios las capacidades de filmar fragmentos de vídeo y enviarlos a través de redes inalámbricas.

Las secuencias de vídeo digital presentan un tamaño de archivo muy elevado. Incluso una secuencia de vídeo corta está compuesta por decenas de imágenes. Como consecuencia, el vídeo siempre se guarda y/o transfiere en forma comprimida. Existen varias técnicas de codificación de vídeo que se pueden usar con ese fin. El H.263 y el MPEG-4 son los formatos de compresión normalizados más ampliamente usados, adecuados para entornos celulares inalámbricos.

Para permitir que los usuarios generen vídeo de calidad en sus terminales, es imprescindible que los dispositivos que disponen de videocámara, tales como los teléfonos móviles, proporcionen capacidades de edición de vídeo. La edición de vídeo es el proceso de transformar y/u organizar secuencias de vídeo disponibles en una secuencia de vídeo nueva.

Las cámaras existentes en los teléfonos móviles no son comparables, en cuanto a rendimiento, con las cámaras digitales más sofisticadas disponibles en el mercado. Como consecuencia, el vídeo capturado a partir de dichas cámaras habitualmente padece una calibración que da como resultado niveles de brillo y contraste degradados, así como un equilibrio colorimétrico deficiente. Como consecuencia, entre las operaciones más ampliamente requeridas en la edición de vídeo se encuentra la mejora de la percepción visual de la calidad de vídeo. Esto incluye el ajuste de los niveles de brillo y de contraste del fragmento de vídeo.

El ajuste del brillo y el contraste de una imagen fija requieren cambiar los coeficientes de la imagen, lo cual se realiza habitualmente en el dominio espacial. Para dispositivos móviles limitados, el ajuste del brillo o el contraste de un vídeo (que comprende cientos de cuadros) es muy costoso y exigente sobre los recursos del sistema. Esto se convierte en un problema todavía mayor cuando se considera que el usuario puede experimentar con el nivel de ajuste muchas veces antes de lograr el resultado deseado.

La mayoría de herramientas de edición de vídeo posibilitan que los usuarios apliquen efectos de mejora de imagen sobre la misma. Un ejemplo es aumentar o reducir el brillo cuando el vídeo original es demasiado oscuro o tiene demasiado brillo. En las herramientas de edición de vídeo, se requieren operaciones similares para producir una mejor representación de los fragmentos de vídeo.

Varios productos comerciales soportan dichas características, aunque los mismos están dirigidos principalmente a la plataforma de PC. Estos productos adoptan un planteamiento directo aplicando los efectos de mejora de vídeo en el dominio espacial. Más específicamente, en primer lugar descomprimen los fragmentos de vídeo a su formato original, a continuación manipulan los valores de píxel de las secuencias de imágenes originales, y finalmente comprimen las secuencias de imágenes originales mejoradas en el flujo continuo de bits comprimido. A este proceso se le denomina edición de vídeo en el dominio espacial.

No obstante, la edición de vídeo en el dominio espacial consume un número elevado de recursos, incluyendo memoria, almacenamiento, y poder de cálculo. Aunque esto no representa un problema tan grande para los PC de escritorio actuales, es sin embargo de forma definitiva un problema para dispositivos móviles que están equipados con procesadores de baja potencia y recursos reducidos de memoria y almacenamiento. El proceso de decodificación y codificación tarda mucho tiempo y consume una gran cantidad de energía de la batería en estos dispositivos. Por lo tanto, el esquema en el dominio espacial no es una solución viable para dispositivos móviles.

En la técnica anterior, para llevar a cabo un ajuste de brillo o contrastes sobre fragmentos de vídeo, los fragmentos de vídeo en primer lugar se decodifican al formato original. A continuación, las secuencias de imágenes originales se ajustan al nivel designado de brillo o contraste. Finalmente, las secuencias de imágenes originales mejoradas se codifican nuevamente. Este planteamiento es significativamente exigente desde el punto de vista computacional, especialmente la parte de codificación.

Posteriormente se proporciona, en referencia a la figura 2, un ejemplo de edición de vídeo de ajuste de brillo y contraste en el dominio espacial.

El ajuste de brillo se refiere a los casos de aumento o reducción de la intensidad de la luminancia del fragmento de vídeo en un valor constante. El ajuste de contraste se refiere a los casos de estiramiento de la diferencia entre intensidades de luminancia dentro de un cuadro.

Para lograr estos ajustes de vídeo y contraste en el dominio espacial, se lleva a cabo la siguiente operación una vez que el vídeo se ha decodificado completamente:

donde (1) representa el ajuste de brillo y (2) representa el ajuste de contraste, V (x, y, t) es la secuencia de vídeo ~

decodificada, V (x, y, t) es el vídeo editado, x, y son las coordenadas espaciales de los píxeles en los cuadros y t es el eje temporal. K es el valor de ajuste del brillo, el cual es constante para todos los píxeles del cuadro. Un valor positivo de K hará que el vídeo tenga más brillo, mientras que un valor negativo de K hará que el vídeo sea más oscuro. λ> 0 es el factor de estiramiento para el ajuste de contraste, que es constante para todos los píxeles del cuadro. Si λ es mayor que 1, el vídeo resultante tiene un nivel de contraste mayor, mientras que si λ está entre 0 y 1, el vídeo resultante tiene un nivel de contraste menor. Un valor de λ=1 no da como resultado ningún cambio en la imagen. η representa la media de intensidades de píxel en un cuadro particular. La ecuación (2) muestra que, para el ajuste de contraste, las intensidades de los píxeles se estiran de manera uniforme; el centro de estiramiento es la media de las intensidades de píxel.

Después de modificar los valores de píxel de un cuadro de vídeo, el cuadro resultante se alimenta al codificador para su re-codificación, que es un proceso que consume mucho tiempo.

En “Mediaprocessing in the compressed domain”, Institute of Electrical and Electronics Engineers, 25.2.1996, páginas 204 a 209, de Bashkaran, se da a conocer un método que posibilita un procesado/ajustes, en el dominio DCT, de secuencias de vídeo basadas en DCT, por ejemplo, MPEG, ajustando los componentes DCT.

La solicitud de patente US 2002/141496A1 da a conocer un método para ajustar el contraste en secuencias de vídeo 30 MPEG-2 ajustando los componentes DCT.

La patente US nº 6.633.673 B1 describe un método para ajustar componentes DCT en una secuencia de vídeo MPEG con el fin de lograr un ajuste del brillo.

En la publicación “Image enhancement using contrast measure in the compressed domain”, de Tang et al., IEEE Signal Processing Letters Vol. 10, no 10, 1 de octubre de 2003, página 289 a 292, un método para llevar a cabo un ajuste de contraste en una secuencia de vídeo basada en DCT, por ejemplo, MPEG-2, manipulando los coeficientes DCT.

Sumario de la invención El objetivo de la presente invención es proporcionar una metodología y un dispositivo para el procesado de imágenes de una secuencia de vídeo basada en la transformada de coseno discreta (DCT) , el cual supere las deficiencias del estado de la técnica.

Esta invención proporciona una técnica para llevar a cabo mejoras sobre secuencias de vídeo en el dominio de las señales comprimidas. La ejecución de los ajustes en el dominio de las señales comprimidas soluciona el problema del coste computacional asociado a los dispositivos móviles. Las operaciones de mejora de vídeo que se pueden lograr con esta técnica pueden incluir el aumento o la reducción del brillo y el aumento o la reducción del contraste y

también la compensación de las sombras.

Los objetivos de la presente invención se alcanzan por medio de la materia en cuestión definida en las reivindicaciones independientes adjuntas.

Según un primer aspecto de la presente invención, se proporciona un método para aplicar por lo menos uno de un ajuste de control y un ajuste de brillo a una secuencia de... [Seguir leyendo]

1. Método, que comprende:

- proporcionar (S110) una secuencia de vídeo basada en DCT, con compensación de movimiento, comprimida; y

- aplicar (S120) una operación de procesado de imágenes de por lo menos uno de entre un ajuste de contraste y un ajuste de brillo sobre dicha secuencia de vídeo en el dominio de las señales comprimidas dando como resultado (S130) una secuencia de vídeo comprimida, con procesado de imágenes, siendo dicha aplicación ejecutada ajustando componentes DCT que definen dicha secuencia de vídeo basada en DCT;

- proporcionar una compensación del efecto de sombra

decodificando bloques con coeficientes fuera de umbrales fijados para coeficientes DC y AC en un cuadro de dicha secuencia de vídeo basada en DCT;

compensando residuos correspondientes a dichos bloques en el siguiente cuadro; y

re-codificando bloques decodificados.

2. Método según cualquiera de las reivindicaciones anteriores, en el que dicha secuencia de vídeo es un flujo continuo de bits H.263 digital que representa dicha secuencia, en el que el flujo continuo de bits H.263 se decodifica por VLC, se aplica un proceso inverso a la cuantificación sobre coeficientes DCT en el flujo continuo de bits, y las operaciones de procesado de imágenes se aplican a los coeficientes DCT.

3. Método según cualquiera de las reivindicaciones anteriores, en el que una magnitud de cambio en la intensidad de los píxeles es exactamente la misma magnitud de cambio en el coeficiente DC aplicando dicho ajuste de brillo de dicha secuencia para macrobloques intra-codificados si dicha secuencia se corresponde con dicho flujo continuo de bits H.263.

4. Método según cualquiera de las reivindicaciones anteriores, en el que dicha secuencia de vídeo es un flujo continuo de bits MPEG-4 digital que representa dicha secuencia, en el que el flujo continuo de bits MPEG-4 se decodifica por VLC, se aplica un proceso inverso a la cuantificación sobre coeficientes DCT en el flujo continuo de

bits, y las operaciones de procesado de imágenes se aplican a los coeficientes DCT.

5. Método según cualquiera de las reivindicaciones anteriores, en el que dicho ajuste de contraste en dicha secuencia representada por dicho flujo continuo de bits MPEG-4 se proporciona como un proceso de una pasada para macrobloques intra-codificados.

6. Producto de programa de ordenador, que comprende unas secciones de código de programa almacenadas en un soporte legible para llevar a cabo el método según una de las reivindicaciones 1 a 5 cuando se ejecuta en un ordenador, un dispositivo basado en microprocesador, un terminal, un dispositivo de red, un terminal móvil, o un terminal portátil habilitado para comunicaciones.

7. Módulo (M400) , que comprende:

- un componente (M410) para proporcionar una secuencia de vídeo comprimida basada en DCT; y

- un componente (M420) para aplicar una operación de procesado de imágenes de por lo menos uno de entre un ajuste de contraste y un ajuste de brillo sobre dicha secuencia de vídeo en el dominio de las señales comprimidas dando como resultado una secuencia de vídeo comprimida, con procesado de imágenes, siendo dicha aplicación ejecutada ajustando componentes DCT que definen dicha secuencia de vídeo basada en DCT;

- en el que se proporciona una compensación del efecto de sombra

decodificando bloques con coeficientes fuera de umbrales fijados para coeficientes DC y AC en un cuadro de dicha secuencia de vídeo basada en DCT;

compensando residuos correspondientes a dichos bloques en el siguiente cuadro; y

re-codificando bloques decodificados.

8. Módulo según la reivindicación 7, en el que dicho ajuste de contraste se basa en la siguiente expresión: en la que:

- m, n son coordenadas en el dominio de la frecuencia; 5 -Y’ (n, m) es la transformada DCT de la imagen editada;

- λ es un factor de escala de contraste;

- Y (n, m) es la transformada DCT de la imagen original; y

- YDC es el promedio de los coeficientes DC de todos los bloques dentro de la imagen.

9. Módulo según la reivindicación 7 u 8, en el que dicho ajuste de brillo se basa en la siguiente expresión:

{ Yq (n, m) + K';m = n = 0 Yq' (n, m) = Yq (n, m) ; en caso contrario en la que K’ se corresponde con el valor del ajuste de brillo en el dominio de las señales comprimidas y viene dado 15 por:

{ 8⋅K/QDC;m = n = 0

K'= (5)

0; en caso contrario en la que: 20

- m, n son coordenadas en el dominio de la frecuencia;

- Yq ' (n, m) es la transformada DCT de la imagen editada;

- Yq (n, m) es la transformada DCT de la imagen original; y

-QDC es la escala de cuantificación para el coeficiente DC. 25

10. Módulo según cualquiera de las reivindicaciones 7 a 9, en el que dicha secuencia de vídeo es un flujo continuo de bits MPEG-4 digital que representa dicha secuencia, en el que el flujo continuo de bits MPEG-4 se decodifica por VLC, se aplica un proceso inverso a la cuantificación sobre coeficientes DCT en el flujo continuo de bits, y las operaciones de procesado de imágenes se aplican a los coeficientes DCT.

11. Módulo según cualquiera de las reivindicaciones 7 a 10, en el que dicho ajuste de contraste en dicha secuencia representada por dicho flujo continuo de bits MPEG-4 se proporciona como un proceso de una pasada para macrobloques intra-codificados.

12. Dispositivo electrónico (550) , que comprende:

- por lo menos un módulo (M410) para procesado de imágenes según cualquiera de las reivindicaciones 7 a 11;

-una interfaz de I/O (540) .

40. una unidad de memoria (520) ; y

- un procesador (CPU) adaptado para controlar todas las entidades dentro de dicho dispositivo electrónico.