Método de seguimiento de regiones de interés y dispositivo para codificación de vídeo basada en ondículas.

Método de seguimiento de una región objetivo en un cuadro de imagen (k) sobre la base de una región objetivo(20) de un cuadro de imagen previo (k-1) en una secuencia de cuadros de imagen,

comprendiendo cada una dedicha secuencia de cuadros de imagen una pluralidad de píxeles, comprendiendo dicho método:

determinar un área de búsqueda (130) en dicho cuadro de imagen (k) sobre la base de por lo menos una parte dela región objetivo (20) en dicho cuadro previo (k-1), comprendiendo dicha área de búsqueda (130) una pluralidadde primeros píxeles, presentando cada uno de los primeros píxeles (40) por lo menos un valor correspondiente deprimer píxel; y caracterizado porque

para cada uno de los primeros píxeles (40) en el área de búsqueda (130):

se determina un área de búsqueda adicional (50) en dicho cuadro previo (k-1), incluyendo dicha área debúsqueda adicional (50) una pluralidad de segundos píxeles de entre la pluralidad de píxeles en el cuadroprevio (k-1), presentando cada uno de los segundos píxeles por lo menos un valor correspondiente de segundopíxel y un estado de región;

se halla una coincidencia entre el valor de primer píxel correspondiente al primer píxel (40) entre los valores desegundo píxel para localizar un segundo píxel de referencia; y

se determina el estado de la región de por lo menos uno de dichos primeros píxeles (40) sobre la base delestado de la región del segundo píxel de referencia para determinar la región objetivo en dicho cuadro deimagen (k) sobre la base del estado de la región de dicho por lo menos un primer píxel (40).

Método de seguimiento de regiones de interés y dispositivo para codificación de vídeo basada en ondículas.

Campo de la invención La presente invención se refiere en general a códecs de imágenes basados en una descomposición en subbandas y, más particularmente, a la codificación de un objeto en movimiento sobre una serie de imágenes.

Antecedentes de la invención Se sabe en general que la compresión de imágenes es eficaz en la reducción de la cantidad de datos de imagen para su transmisión o almacenamiento. En particular, con la introducción de formatos de codificación de imágenes escalables como el JPEG2000, ha resultado posible enviar y recibir solamente una fracción del archivo de imagen y seguir reconstruyendo una imagen de alta calidad en el extremo de recepción. La parte que se descarta de la imagen contiene habitualmente información que describe los componentes de alta frecuencia presentes en la imagen, correspondientes a los detalles a los que el sistema visual humano (HVS) no es muy sensible.

JPEG significa Grupo de Expertos Fotográficos Unidos para la compresión de imágenes. En 1988 este comité adoptó su primera normativa, conocida como directriz JPEG, la cual se basa en la transformada de coseno discreta (DCT) y en la codificación Huffman. En 2001, el comité del JPEG desarrolló una nueva normativa de compresión, denominada JPEG 2000. Esta nueva normativa proporciona un funcionamiento de baja velocidad de bits, con un rendimiento de velocidad-distorsión y de calidad subjetiva de la imagen superior a las normativas existentes, sin sacrificar el rendimiento en otros puntos del espectro de velocidad-distorsión. Aún más importante, el JPEG 2000 permite la extracción de diferentes resoluciones y fidelidades de píxel de una imagen comprimida a partir de la misma representación del flujo continuo de código. También ofrece características tales como la codificación de regiones de interés (ROI) y el acceso aleatorio a áreas de imagen. Esto permite a un usuario manipular, almacenar o transmitir solamente la información esencial de una imagen para cualquier dispositivo objetivo a partir de la representación de su flujo continuo de bits JPEG2000.

El JPEG2000 es un codificador de planos de bits basado en la descomposición en subbandas. Usa ondículas en la fase de transformación. La imagen se descompone en múltiples resoluciones. Cada resolución está compuesta por subbandas que representan componentes de baja o/y alta frecuencia. Las muestras en las subbandas se codifican a continuación en planos de bits que comienzan a partir del plano de bits más significativo. El uso de la transformada por ondículas y el esquema de codificación de planos de bits proporcionan la característica de escalabilidad del JPEG 2000.

El JPEG 2000 en Movimiento es un método de compresión de vídeo, basado en la codificación intra-cuadro usando el JPEG 2000. En el JPEG 2000 en Movimiento, los cuadros de secuencias de vídeo se codifican como imágenes independientes, es decir, no se produce ninguna predicción de movimiento entre las imágenes. Este esquema de codificación ofrece funcionalidades importantes, tales como escalabilidad en la calidad y en la resolución, robustez a errores de bit, y edición de cuadros. Sin embargo, es ineficiente en el rendimiento de la compresión en comparación con otras normativas, tales como la MPEG-4, donde se usan estimaciones de vectores de movimiento para codificar inter-cuadros. Por otro lado, el rendimiento de la compresión del JPEG 2000 en Movimiento puede mejorarse usando las características del JPEG 2000, tales como la codificación de ROI.

La codificación de ROI es una funcionalidad útil en el JPEG 2000. Permite la asignación de más bits en una ROI que en otras regiones de la misma imagen mientras se está codificando. Codificando de forma desigual las partes de las imágenes de modo que puedan asignarse más bits por píxel a objetos importantes que a los objetos menos importantes, se obtiene una mejor percepción visual de la secuencia, haciendo que esta característica resulte muy útil especialmente en aplicaciones de baja velocidad de datos. Para codificar objetos importantes en una secuencia de vídeo como ROI, el seguimiento de estos objetos resulta esencial para producir un flujo continuo de vídeo de alta calidad.

El seguimiento de ROI es una característica importante en muchas aplicaciones relacionadas con aspectos visuales, tales como el control basado en la visión, interfaces hombre-ordenador, vigilancia, automatización agrícola, formación de imágenes médicas y reconstrucción visual. La principal dificultad en el seguimiento de ROI en secuencias de vídeo es debida a las variaciones potenciales en la región objetivo dentro de la secuencia de cuadros. Estas variaciones son debidas habitualmente a cambios en la postura, deformaciones de la forma, iluminación y oclusión parcial o total del objetivo. Las fuentes de estas variaciones deberían tenerse en cuenta cuando se diseña un algoritmo de seguimiento para garantizar la robustez y la estabilidad.

En la técnica anterior, la mayor parte de los métodos de seguimiento de ROI se basa en una estrategia de procesado de múltiples fases, el cual consiste de tres etapas consecutivas. En la primera etapa, se realiza una segmentación del primer plano basada en el color y se enmascaran áreas de color similar que la región objetivo. La segunda etapa implica la localización de la ROI a través de la minimización de vectores estimados, usando proyecciones de suma horizontal y vertical de la imagen segmentada, o con heurística basada en el tamaño, la forma, la posición, la relación de aspecto y la consistencia de color de la región objetivo. La etapa final consiste en mejorar la precisión y suavizar los límites de la región.

Hager et al. ("Efficient Region Tracking with Parametric Models of Geometr y and Illumination", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, n.º 10, Octubre de 1998) hace uso de modelos lineales para simplificar la ecuación de flujo óptico, y un conjunto de vectores base para modelar la variación en la iluminación llevando a cabo una descomposición en valores singulares sobre una secuencia de entrenamiento del objetivo. Kruger et al ("Wavelet Subspace Method for Real-time Face Tracking", Proc. Pattern Recognition, 23º DAGM Symposium, Munich, Alemania 2002) usa un número mayor de funciones de ondícula para construir una red de ondículas que representa las características del objetivo, y a continuación realiza un seguimiento de la ROI sobre la base de la distancia euclídea entre los coeficientes de la ondícula.

Kundu (Patente U.S. n.º 5.974.192) da a conocer un método para comparar bloques en una secuencia de imágenes sobre la base de texturas, píxeles dominantes de borde así como la intensidad y el color. Ponticos (Patente U.S. n.º 6.035.067) da a conocer un método donde se usa un "pozo de potencial" para impedir movimientos grandes del objeto del primer plano usando criterios predefinidos para la clasificación de regiones de la imagen. Poggio et al (Patente U.S. n.º 6.421.463) da a conocer un método para la búsqueda de objetos en imágenes donde el sistema de búsqueda debe entrenarse usando una plantilla de coeficientes de ondículas.

El documento EP 1 061 748 A2 da a conocer un sistema basado en plantillas para el seguimiento y la segmentación de objetos de imagen. El sistema entre otros incluye un método de búsqueda con autopredicción, correlativo y bidimensional para el seguimiento de objetos. El objeto de un cuadro anterior sirve como plantilla para la localización del objeto en un cuadro de imagen actual. El cuadro de imagen actual sirve como área de búsqueda. La plantilla se superpone sobre una ventana dentro del área de búsqueda. Los puntos de datos de la plantilla se comparan con los puntos de datos de la ventana para determinar si los puntos de datos están en correlación en un grado deseado. Si lo están, entonces se ha encontrado una coincidencia para la plantilla. Dependiendo del tamaño de la plantilla y el tamaño del área de búsqueda, la plantilla puede situarse sobre un cierto número de ventanas dentro del área de búsqueda. Para reducir el número de ventanas con las que se compara la plantilla, se obtienen un tamaño de paso a lo largo de un primer eje y un tamaño de paso a lo largo de un segundo eje. En lugar de comparar la plantilla con cada ventana posible del área de búsqueda, la plantilla se mueve a lo largo o bien del primer eje o bien del segundo eje o a lo largo de ambos ejes según el tamaño de paso del primer eje o tamaño del paso del segundo eje correspondiente. La plantilla se compara con las diversas ventanas del área de búsqueda. La comparación puede... [Seguir leyendo]

1. Método de seguimiento de una región objetivo en un cuadro de imagen (k) sobre la base de una región objetivo (20) de un cuadro de imagen previo (k-1) en una secuencia de cuadros de imagen, comprendiendo cada una de dicha secuencia de cuadros de imagen una pluralidad de píxeles, comprendiendo dicho método:

determinar un área de búsqueda (130) en dicho cuadro de imagen (k) sobre la base de por lo menos una parte de la región objetivo (20) en dicho cuadro previo (k-1) , comprendiendo dicha área de búsqueda (130) una pluralidad de primeros píxeles, presentando cada uno de los primeros píxeles (40) por lo menos un valor correspondiente de primer píxel; y caracterizado porque para cada uno de los primeros píxeles (40) en el área de búsqueda (130) :

se determina un área de búsqueda adicional (50) en dicho cuadro previo (k-1) , incluyendo dicha área de búsqueda adicional (50) una pluralidad de segundos píxeles de entre la pluralidad de píxeles en el cuadro previo (k-1) , presentando cada uno de los segundos píxeles por lo menos un valor correspondiente de segundo píxel y un estado de región;

se halla una coincidencia entre el valor de primer píxel correspondiente al primer píxel (40) entre los valores de segundo píxel para localizar un segundo píxel de referencia; y

se determina el estado de la región de por lo menos uno de dichos primeros píxeles (40) sobre la base del estado de la región del segundo píxel de referencia para determinar la región objetivo en dicho cuadro de imagen (k) sobre la base del estado de la región de dicho por lo menos un primer píxel (40) .

2. Método según la reivindicación 1, en el que el estado de la región del segundo píxel es indicativo de si dicho segundo píxel está localizado dentro de la región objetivo (20) en dicho cuadro previo (k-1) .

3. Método según la reivindicación 1 ó la reivindicación 2, en el que dicha por lo menos una parte de la región objetivo

(20) en dicho cuadro previo (k-1) tiene un contorno para definir un contorno correspondiente (30) en dicho cuadro de imagen (k) , y en el que los primeros píxeles (40) incluyen unos píxeles adyacentes al contorno correspondiente (30) en dicho cuadro de imagen (k) .

4. Método según cualquiera de las reivindicaciones 1 a 3, en el que la región objetivo de dicho cuadro de imagen (k) incluye un límite y dicha pluralidad de píxeles en dicho cuadro de imagen (k) incluyen una pluralidad de terceros píxeles adyacentes al límite, presentando cada uno de los terceros píxeles por lo menos un valor correspondiente de tercer píxel, estando caracterizado además dicho método porque comprende

determinar el tipo de borde de los terceros píxeles para modificar la región objetivo en dicho cuadro de imagen (k) sobre la base del tipo de borde de los terceros píxeles.

5. Método según la reivindicación 4, en el que el tipo de borde se determina sobre la base del componente de luminancia de los coeficientes de ondícula.

6. Método según cualquiera de las reivindicaciones 1 a 5, en el que los valores de los primeros y segundos píxeles son indicativos de coeficientes de ondícula.

7. Método según cualquiera de las reivindicaciones 1 a 6, en el que los valores de los primeros y segundos píxeles son indicativos de los coeficientes de ondícula en una subbanda baja.

8. Método según cualquiera de las reivindicaciones 1 a 6, en el que los valores de los primeros y segundos píxeles son indicativos de por lo menos uno de los componentes de crominancia de los coeficientes de ondícula en una subbanda baja.

9. Método según la reivindicación 4 ó la reivindicación 5, en el que los valores de tercer píxel son indicativos de coeficientes de ondícula.

10. Método según la reivindicación 4 ó la reivindicación 5, en el que los valores de tercer píxel son indicativos de coeficientes de ondícula en una subbanda alta.

11. Método según cualquiera de las reivindicaciones 4, 5, 9 y 10, en el que los valores de tercer píxel son indicativos del componente de luminancia de coeficientes de ondícula en una subbanda alta.

12. Programa de ordenador para su uso en un codificador de imágenes (610) que tiene unos medios (620) para la codificación de una secuencia (700) de cuadros de imagen en un flujo continuo codificado (740) , presentando dicha secuencia (700) de cuadros de imagen por lo menos un primer cuadro de imagen (k) y un segundo cuadro de

imagen anterior (k-1) , presentando cada uno de los cuadros de imagen primeros (k) y segundos (k-1) una pluralidad de píxeles, presentando el segundo cuadro de imagen (k-1) una región objetivo (20) , comprendiendo dicho programa de ordenador:

un código para definir un área de búsqueda (130) en el primer cuadro de imagen (k) sobre la base de por lo menos una parte de la región objetivo (20) en el segundo cuadro de imagen (k-1) , comprendiendo dicha área de búsqueda (130) una pluralidad de primeros píxeles (40) , presentando cada uno de los primeros píxeles por lo menos un valor correspondiente de primer píxel; y caracterizado porque comprende además un código para determinar, para cada uno de los primeros píxeles (40) en el área de búsqueda (130) :

un área de búsqueda adicional (50) en el segundo cuadro de imagen (k-1) , incluyendo dicha área de búsqueda adicional (50) una pluralidad de segundos píxeles de entre la pluralidad de píxeles del segundo cuadro de imagen (k-1) , presentando cada uno de los segundos píxeles por lo menos un valor correspondiente de segundo píxel y un estado de región;

un segundo píxel de referencia en dicha área de búsqueda adicional (50) sobre la base de una coincidencia entre el valor de primer píxel correspondiente al primer píxel (40) de entre los valores de segundo píxel; y

el estado de región de por lo menos uno de dichos primeros píxeles (40) sobre la base del estado de la región del segundo píxel de referencia para determinar una región objetivo en el primer cuadro de imagen (k) sobre la base del estado de la región de dicho por lo menos un primer píxel (40) .

13. Programa de ordenador según la reivindicación 12, en el que los valores de los primeros y segundos píxeles son indicativos de por lo menos uno de los componentes de crominancia de coeficientes de ondícula en una subbanda baja.

14. Programa de ordenador según la reivindicación 12 ó la reivindicación 13, en el que la región objetivo del primer cuadro de imagen (k) incluye un límite y dicha pluralidad de píxeles en el primer cuadro de imagen (k) incluye una pluralidad de terceros píxeles adyacentes al límite, presentando cada uno de los terceros píxeles por lo menos un valor correspondiente de tercer píxel, estando caracterizado además dicho programa de ordenador porque comprende

un código para la determinación del tipo de borde de los terceros píxeles con el fin de modificar la región objetivo en el primer cuadro de imagen (k) sobre la base del tipo de borde de los terceros píxeles.

15. Programa de ordenador según la reivindicación 14, en el que los valores de los terceros píxeles son indicativos del componente de luminancia de coeficientes de ondícula en una subbanda alta.

16. Programa de ordenador según cualquiera de las reivindicaciones 12 a 15, en el que el estado de la región del segundo píxel es indicativo de si dicho segundo píxel está localizado dentro de la región objetivo (20) en el segundo cuadro de imagen (k-1) .

17. Codificador de imágenes (610) para la codificación de una secuencia (700) de cuadros de imagen que comprenden por lo menos un primer cuadro de imagen (k) y un segundo cuadro de imagen anterior (k-1) , incluyendo cada uno de los cuadros de imagen primeros (k) y segundos (k-1) una pluralidad de píxeles, presentando el segundo cuadro de imagen (k-1) una región objetivo (20) , presentando dicho codificador de imágenes (610) :

unos medios (614) para la descomposición de cada uno de los cuadros de imagen en una pluralidad de componentes de subbanda; y

unos medios (620) para la codificación de los componentes de subbanda en un flujo continuo codificado (740) , comprendiendo dicho codificador de imágenes (610) :

un primer algoritmo, sensible a los componentes de subbanda, para definir un área de búsqueda (130) en el primer cuadro de imagen (k) sobre la base de por lo menos una parte de la región objetivo (20) en el segundo cuadro de imagen (k-1) , incluyendo el área de búsqueda (130) una pluralidad de primeros píxeles (40) , presentando cada uno de ellos por lo menos un valor correspondiente de primer píxel; estando caracterizado dicho codificador de imágenes (610) porque comprende un segundo algoritmo, sensible a cada uno de los primeros píxeles (40) , para determinar:

un área de búsqueda adicional (50) en el segundo cuadro de imagen (k-1) que incluye una pluralidad de segundos píxeles de entre la pluralidad de píxeles en el segundo cuadro de imagen (k-1) , presentando cada uno de los segundos píxeles por lo menos un valor correspondiente de segundo píxel y un estado de la región;

un segundo píxel de referencia en el área de búsqueda adicional (50) sobre la base de una coincidencia entre el valor de primer píxel correspondiente al primer píxel (40) entre los valores de segundo píxel; y

un estado de la región de por lo menos uno de los primeros píxeles (40) sobre la base del estado de la región del segundo píxel de referencia para la determinación de una región objetivo en el primer cuadro de imagen (k) sobre la base del estado de la región de dicho por lo menos un primer píxel (40) .

18. Codificador de imágenes (610) según la reivindicación 17, en el que los valores de los primeros y los segundos píxeles son indicativos de por lo menos uno de los componentes de crominancia de los coeficientes de ondícula en una subbanda baja.

19. Codificador de imágenes (610) según la reivindicación 17 ó la reivindicación 18, en el que la región objetivo del primer cuadro de imagen (k) incluye un límite y dicha pluralidad de píxeles en el primer cuadro de imagen (k) incluye una pluralidad de terceros píxeles adyacentes al límite, presentando cada uno de los terceros píxeles por lo menos un valor correspondiente de tercer píxel, comprendiendo dicho codificador de imágenes (610) unos medios para la determinación del tipo de borde de los terceros píxeles con el fin de modificar la región objetivo en dicho cuadro de imagen (k) sobre la base del tipo de borde de los terceros píxeles.

20. Codificador de imágenes (610) según la reivindicación 19, en el que los valores de los terceros píxeles son indicativos del componente de luminancia de coeficientes de ondícula en una subbanda alta.

21. Codificador de imágenes (610) según cualquiera de las reivindicaciones 17 a 20, en el que el codificador de imágenes (610) está adaptado para codificar dicha región objetivo en el primer cuadro de imagen (k) con una calidad 25 visual más alta que otra región en dicho primer cuadro de imagen (k) .

22. Sistema de codificación de imágenes (600) que tiene un codificador (610) según cualquiera de las reivindicaciones 17 a 21 para la codificación de una secuencia (700) de cuadros de imagen en un flujo continuo codificado (740) , y un decodificador (630) para la reconstrucción de la secuencia (700) de cuadros de imagen sobre la base del flujo continuo codificado (740) .