Interpolación compensada por movimiento.

Procedimiento para interpolación de imagen con compensación por movimiento que comprende etapas de:

obtención de un campo de vector de movimiento aplicando un algoritmo de estimación de movimiento porbloques; comprobación de la fiabilidad de vector de movimiento; selección de un procedimiento deinterpolación entre procedimientos de interpolación de vector nulo, unidireccional y bidireccional para cadaposición espacial en la imagen a interpolar, en función de la comprobación de fiabilidad de vector y haciendouna interpolación compensada por ponderación sobre bloques vecinos para hallar valores de intensidad debloque en la imagen a interpolar de acuerdo con los valores de intensidad y ponderación de los bloquesvecinos mediante aplicación del procedimiento de interpolación seleccionado, caracterizado porque lacomprobación de fiabilidad de vector se ejecuta calculando y comparando vectores de movimiento de losbloques en la dirección de movimiento.

Interpolación compensada por movimiento

Campo técnico

La presente invención se refiere a una técnica de interpolación compensada por movimiento para aplicaciones de conversión ascendente de frecuencia de imagen.

Técnica anterior

La interpolación compensada por movimiento es ampliamente utilizada en aplicaciones de procesamiento de vídeo, tales como codificación de vídeo y conversión ascendente de frecuencia de imagen. Mediante el campo de vector de movimiento adquirido a través de un algoritmo de estimación de movimiento, una imagen de “streaming" se reconstruye en aplicaciones de codificación de vídeo o una imagen intermedia se predice en aplicaciones de conversión ascendente de frecuencia de imagen. En aplicaciones de codificación el residual entre el original y la imagen compensada por movimiento es también codificado con el fin de alcanzar un nivel deseado de calidad y reducir los artefactos. Sin embargo, en los algoritmos de conversión ascendente de frecuencia de imagen, siguientes a la etapa de compensación de movimiento, se utilizan algunos procedimientos de post-procesamiento espaciotemporales, para suprimir los artefactos, puesto que no se conoce la base verdadera.

Dado que la mayoría de los algoritmos de estimación de movimiento en la práctica son aproximaciones basadas en bloques, las aproximaciones de interpolación compensadas por movimiento sufrem de transiciones de nítidez tosca. Con el fin de suavizar las transiciones, en la bibliografía se proponen algoritmos de compensación de movimiento de por solapado de bloques (OBMC) , (An overlapped block motion compensation for high quality motion picture coding -Circuits and Systems, 1992. ISCAS ’92. Proceedings -Nogaki, S. Ohta, M.) and Weighted Averaging Motion Compensated Interpolation (WAMCI) (Weighted-adaptive motion-compensated frame rate up-conversion -Consumer Electronics, IEEE Transactions, volumen 49, entrega 3, agosto 2003 páginas: 485 -492 -Sung-Hee Lee; Ohjae Kwon; Rae-Hong Park) . [0004] El documento de patente n º EP1855474A1 da a conocer un método para generar una imagen interpolada entre dos imágenes de una secuencia de imágenes de entrada. Dicho método comprende las etapas de determinar información de fidelidad para al menos un vector de movimiento que es representativo del movimiento entre dichas imágenes anterior y posterior, en el que dicha información de fidelidad es representativa del nivel y de la precisión de dicho movimiento; determinando información de clasificación de dicho al menos un vector de movimiento, en el que dicha información de clasificación depende de dicha información de fidelidad, siendo dicha información de clasificación representativa del tipo de movimiento de dicho movimiento; y la selección de un método de interpolación en dependencia de la información de clasificación determinada.

Aun cuando en la literatura existen muchos y sofisticados procedimientos para estimación de movimiento diferentes, todos ellos son propensos a calcular vectores de movimiento erróneos debido a ambigüedades de intensidad y al fenómeno de ocultación.

Objetivo de la invención [0006] El propósito de la presente invención es proporcionar una forma simple, eficiente de un procedimiento de interpolación compensada por movimiento e implícitamente de reducción de halo, tal como se define en las reivindicaciones adjuntas. [0007] Otro propósito de la invención es proporcionar una interpolación compensada por movimiento natural exenta de artefactos, para aplicaciones de conversión ascendente de frecuencia de imagen. Breve descripción de los dibujos [0008]

La figura 1 muestra el esquema de la interpolación compensada por movimiento propuesta para conversión ascendente de frecuencia de imagen.

La figura 2 muestra un ejemplo de un núcleo de ponderación para valores fijos de elección.

La figura 3 muestra una opción ejemplar de núcleo de ponderación, dado para interpolación de retroceso.

La figura 4 muestra las ubicaciones de los vectores de comparación.

Descripción detallada de la invención

El procedimiento de interpolación de imágenes compensada por movimiento se utiliza en aplicaciones de conversión de frecuencia de imagen. Para las aplicaciones de conversión de frecuencia de imagen la precisión de la estimación del vector de movimiento juega un papel importante para la síntesis de imágenes interpoladas naturales, exentas de artefactos. El rendimiento de la interpolación compensada por movimiento se degrada debido a aproximaciones de compensación/estimación de movimiento tipo bloque y a errores de estimación de vector de movimiento especialmente alrededor de los bordes de los objetos en movimiento (límites de movimiento) de acuerdo con los fenómenos de oclusión.

El procedimiento de interpolación compensada por movimiento integra realiza una interpolación tal como [0011] En el que I es la intensidad del bloque, x es la ubicación del bloque y t es tiempo (a saber t indica la primera imagen, t+1 indica la trama siguiente y t+0, 5 indica la imagen interpolada. [0012] Sin la comprobación de la fiabilidad y la orientación del vector de movimiento, d, la interpolación resultante puede sufrir por las transiciones nítidas en los límites de bloque debido a las diferencias de vector de movimiento y / o pueden sufrir por el artefacto de halo debido a un promediado de primer plano y de intensidades de objeto de fondo en la bordes de objetos (límites de movimiento) por la interpolación bi-direccional. [0013] El procedimiento propuesto tiene dos características principales. La primera es hacer una compensación ponderada de los bloques vecinos, lo que disminuye las transiciones toscas y pixeladas. Y la segunda de ellas segundo es comprobar la fiabilidad vector de movimiento y de acuerdo a su dirección de soporte, seleccionar un procedimiento de compensación entre procedimientos de compensación de bi-direccional, unidireccional y de vector nulo, lo cual disminuye los artefactos de oclusión. [0014] La figura 1 muestra el esquema de la interpolación compensada por movimiento propuesta para conversión ascendente de frecuencia de imagen. El campo de vector de movimiento (MVF) se supone que se obtiene mediante algunos algoritmos de estimación de movimiento anticipadamente. Cualquier algoritmo de "estimación de movimiento exacta" adecuado para aplicaciones de conversión ascendente de frecuencia de imagen, proporcionará un MVF espacio-temporalmente uniforme. La comprobación de fiabilidad de vector de movimiento y las etapas de interpolación compensada por movimiento se realizan bloque por bloque en orden de exploración de trama o en cualquier otro orden de exploración. [0015] La comprobación de fiabilidad de vector de movimiento, se realiza comparando el vector de movimiento actual (MV) con los otros MVs en la orientación del MV actual. Puesto que se espera que los vectores de movimiento exactos tengan una correlación espacial alta, se espera encontrar MVs similares a lo largo de la dirección del movimiento. Por lo tanto, excepto los bordes de objeto / movimiento, los MVs hacia adelante y hacia atrás en la dirección del MV actual debería ser similar al vector actual. Para los límites de los objetos (límites de movimiento) , debe existir un MV similar en sólo una de las direcciones, es decir, en dirección hacia delante o hacia atrás. Si tanto los MV en dirección hacia adelante como en dirección hacia atrás del MV actual difieren considerablemente del MV actual entonces el MV actual podría no ser una estimación de MV fiable. De acuerdo con estos hechos, la comprobación de vector de movimiento se realiza mediante dos mediciones:

donde d (x) representa el vector de movimiento en la posición x. [0016] Las posiciones de los vectores de comparación se muestran en la figura 4. Las métricas rf y rb se comparan con un umbral, Tr, y de acuerdo con el resultado de esta comparación, un procedimiento de interpolación adecuado es suministrado a la unidad de interpolación compensada por movimiento. La variable A puede tomar valores entre 0, 5 y 1, 0. El procedimiento de interpolación adecuado se selecciona a partir de la tabla 1.

Tabla1

rf<Tr rf >= Tr

rb < Tr Bidireccional Unidireccional hacia atrás

rb >= Tr Unidireccional hacia delante Interpolación de retroceso

La interpolación bidireccional está dada por la ecuación 1. La interpolación unidireccional de retroceso se realiza según y la interpolación unidireccional hacia adelante se realiza según [0018] El procedimiento de interpolación de retroceso resulta ser el procedimiento de interpolación cuando el MV estimado no es fiable. La mayoría de las estrategias de retroceso de la bibliografía, es uso de vector nulo... [Seguir leyendo]

1. Procedimiento para interpolación de imagen con compensación por movimiento que comprende etapas de: obtención de un campo de vector de movimiento aplicando un algoritmo de estimación de movimiento por bloques; comprobación de la fiabilidad de vector de movimiento; selección de un procedimiento de interpolación entre procedimientos de interpolación de vector nulo, unidireccional y bidireccional para cada posición espacial en la imagen a interpolar, en función de la comprobación de fiabilidad de vector y haciendo una interpolación compensada por ponderación sobre bloques vecinos para hallar valores de intensidad de bloque en la imagen a interpolar de acuerdo con los valores de intensidad y ponderación de los bloques vecinos mediante aplicación del procedimiento de interpolación seleccionado, caracterizado porque la comprobación de fiabilidad de vector se ejecuta calculando y comparando vectores de movimiento de los bloques en la dirección de movimiento.

2. Procedimiento según la reivindicación 1, caracterizado porque las etapas de comprobación de fiabilidad de vector de movimiento y de interpolación compensada por movimiento se ejecutan bloque por bloque en un determinado orden de exploración.

3. Procedimiento de acuerdo con la reivindicación 1, caracterizado porque las etapas de comprobación de fiabilidad de vector de movimiento y de interpolación compensada por movimiento se ejecutan bloque por bloque en un determinado orden de exploración de trama.

4. Procedimiento según la reivindicación 1, caracterizado porque la comprobación de fiabilidad de vector se efectúa calculando las dos siguientes métricas

y

donde d (x) representa el vector de movimiento para la posición x, y A representa una variable.

5. Procedimiento según la reivindicación 4, en el que la variable A puede tomar valores entre 0, 5 y 1, 0.

6. Procedimiento según la reivindicación 4, caracterizado porque las métricas rf y rb se comparan con un valor umbral Tr, y en función de este resultado de comparación, se selecciona un procedimiento de interpolación apropiado, suministrándose dicha selección a la unidad de interpolación compensada por movimiento.

7. Procedimiento según la reivindicación 6, caracterizado porque el procedimiento de interpolación apropiado se selecciona de manera que:

- Si rb < Tr y rf < Tr bidireccional

- Si rb < Tr y rf >= Tr unidireccional hacia atrás

- Si rb >= Tr y rf < Tr unidireccional hacia delante

- Si rb >= Tr y rf >= Tr interpolación de vector nulo

8. Procedimiento según la reivindicación 1, caracterizado porque, después de la selección de un procedimiento de interpolación, la etapa de interpolación compensada ponderada aplica las siguientes etapas:

- determinación de un núcleo de ponderación para cada bloque de una proximidad de 3x3 bloques, en función del procedimiento de interpolación seleccionado,

- para cada bloque, cálculo de interpolación para cada pixel l (x, t + 0, 5) en función del tipo de interpolación determinado,

- acumulación de intensidad de interpolación ponderada en una memoria intermedia de intensidad, de manera que

- acumulación del correspondiente coeficiente de núcleo de ponderación en una memoria intermedia de ponderación, de manera que: Wbuf = Wbuf + w,

- después de reconocer todos los bloques de la imagen, normalización de la memoria intermedia de intensidad con la memoria intermedia de ponderación para cada pixel, para así obtener la imagen interpolada compensada por movimiento.

9. Procedimiento según las reivindicaciones 7 y 8, caracterizado porque dicho procedimiento incluye adicionalmente etapas de:

- acumulación de coeficientes de ponderación en una memoria intermedia de ocultación, de manera que:

- un coeficiente de ponderación inverso se añade para cada interpolación unidireccional hacia delante;

- un coeficiente de ponderación se añade para cada interpolación unidireccional hacia atrás;

- no se añade coeficiente alguno para otros tipos de interpolación;

- normalización de la memoria intermedia de ocultación con la memoria intermedia de ponderación, de manera que el mapa (correspondencia) filtrada (ajustada) resultante tiene valores comprendidos entre -1 y 1, será un mapa (correspondencia) de cobertura/sin cobertura: designando el lado negativo regiones de cobertura, mientras que el lado negativo designa zonas sin cobertura.

10. Procedimiento según la reivindicación 1, caracterizado porque los pesos de contribución del bloque actual y de sus 8 adyacentes son un valor fijo y/o una función de la métrica de correspondencia y/o de la métrica de fiabilidad del vector actual para el bloque considerado.

11. Procedimiento según la reivindicación 1, caracterizado porque adicionalmente comprende las etapas siguientes:

-puesta a cero de una memoria intermedia de intensidad, de una memoria intermedia de ponderación pesos y de una memoria intermedia de ocultación para todos los píxeles Ibuf = 0, Wbuf = 0 et Obuf = 0;

-reconocimiento de cada bloque sin importar el orden de exploración y cálculo de métricas rb y rf para comprobación de fiabilidad del vector de movimiento, de manera que

y

donde d (x) es el vector de movimiento del bloque en x;

- determinación del tipo de interpolación y de su núcleo de ponderación para una proximidad de 3x3 bloques;

- para cada bloque de la proximidad de 3x3 bloques, cálculo de interpolación para cada pixel I (x, t+0, 5) en función del tipo de interpolación determinad ; -acumulación de la intensidad de interpolación ponderada y del correspondiente coeficiente de núcleo de ponderación en las memoria intermedias:

para casos de interpolación unidireccional donde w es el coeficiente de ponderación del bloque correspondiente en la proximidad de 3x3 bloques;

- después del reconocimiento de todos los bloques de la imagen, la normalización de memorias intermedias de intensidad y de ocultación con la memoria intermedia de ponderación para cada pixel:

Ifinal (x, t+0, 5) = Ibuf (x) /Wbuf (x) , da el valor de intensidad de la imagen interpolada. Ofinal (x, t+0, 5) = Obuf (x) /Wbuf (x) da el mapa de ocultación Figura 1

2 4 2

4 6 4

2 4 2

Figura 2

1 1 1

1 1 1

1 1 1

Figura 3

Figura 4

REFERENCIAS CITADAS EN LA DESCRIPCIÓN

La lista de referencias citada por el solicitante lo es solamente para utilidad del lector, no formando parte de los documentos de patente europeos. Aún cuando las referencias han sido cuidadosamente recopiladas, no pueden excluirse errores u omisiones y la OEP rechaza toda responsabilidad a este respecto.

Documentos de patente citado en la descripción • EP 1855474 A1 [0004]

Bibliografía de patentes citada en la descripción • NOGAKI, S. ; OHTA, M. Circuits and Systems, • SUNG-HEE LEE ; OHJAE KWON ; RAE

1992. ISCAS ’92. Proceedings, 1992 [0003] HONG PARK. Weighted-adaptive motioncompensated frame rate up-conversion - Consumer Electronics. IEEE Transactions, August 2003, vol. 49 (3) .

48. 492 [0003]