UN MÉTODO Y UN APARATO PARA LA INTERPOLACIÓN DE IMÁGENES.

Un método para interpolar imágenes o fotogramas para una secuencia de vídeo,

que comprende generar un fotograma de vídeo interpolado para su colocación entre unos primer y segundo imágenes o fotogramas en una secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, comprendiendo el método: a) identificar uno o más objetos móviles en el primer fotograma; b) segmentar el o cada uno de los objetos móviles identificados; c) determinar parámetros de movimiento para cada uno de los segmentos de los objetos segmentados; d) generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y e) predecir la posición de objetos dentro de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen sólo de los parámetros de movimiento determinados en el paso c para el primer fotograma interpolado, comprobando dichas predicciones según el tercer fotograma para conseguir una precisión predeterminada y, si existe dicha precisión, utilizar sólo dichos parámetros de movimiento para el primer fotograma interpolado para generar un segundo fotograma interpolado para su disposición entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, en caso de no conseguir la precisión repetir los pasos a a d con el segundo y tercer imágenes o fotogramas, donde el primer, segundo y tercer imágenes o fotogramas son consecutivos

La presente invención se refiere a un método y a un aparato para la interpolación de imágenes o fotogramas. Realizaciones de la invención también se refieren a una televisión que incluye un aparato para la interpolación de imágenes o fotogramas.

Un vídeo está hecho de una pluralidad de imágenes o fotogramas, siendo cada fotograma una imagen fija, donde el efecto de mostrar imágenes o fotogramas consecutivos es dar una impresión de movimiento. La velocidad de fotograma de los vídeos es generalmente lo suficientemente alta como para que un espectador no pueda percibir los imágenes o imágenes o fotogramas individuales, sino que perciba una imagen en movimiento continuo.

En algunas televisiones es deseable aumentar la velocidad de fotograma a valores superiores a aquellos en los que se capturó el vídeo que se está mostrando. Esto puede ser debido a un requisito de aumento de la velocidad de imágenes o fotogramas para la visualización de acuerdo con un estándar diferente a aquel en el que se capturó el vídeo.

Además, muchas de las televisiones más actuales, particularmente aquellas versiones con pantalla grande y pantalla panorámica (formato 16:9), utilizan una velocidad de refresco de pantalla de 100 Hz en lugar de la velocidad de refresco convencional de 50 Hz. Esto es principalmente para evitar el parpadeo de la pantalla, que es más perceptible y molesto para el espectador a medida que el tamaño de la pantalla aumenta. Sin embargo, las transmisiones de televisión estándar contienen sólo 50 imágenes o fotogramas por segundo. Por tanto, se desea ver la televisión en una de las televisiones más modernas, es necesario multiplicar por dos de algún modo la velocidad de fotograma.

A este aumento en la velocidad de fotograma se hace referencia como conversión ascendente de la velocidad de fotograma. La conversión ascendente de la velocidad de fotograma se utiliza para eliminar grandes áreas de parpadeo en una pantalla de televisión. La oscilación del movimiento es un problema que puede surgir en tales situaciones con algunos tipos de conversiones ascendentes que se emplean actualmente.

Cuando se realiza una conversión ascendente, es decir, se somete a un vídeo a una conversión ascendente, se añaden imágenes o fotogramas interpolados a la secuencia de vídeo original o fuente. Típicamente, se determina un fotograma de interpolación y se añade temporalmente entre dos imágenes

o fotogramas existentes. Un método conocido para conseguir esta conversión ascendente o interpolación de imágenes o fotogramas es mostrar cada fotograma original dos veces. Esta es una solución aceptable en regiones estáticas, pero se producen problemas en áreas de movimiento del vídeo mostrado. Los problemas se conocen con el nombre de "oscilación de movimiento" y visión borrosa y provocan una degradación de la calidad visual indeseable.

Un método conocido para la interpolación de imágenes o fotogramas se describe en el artículo titulado “Real-time 2-3 pull-down elimination applying motion estimation/compensation in a programmable device, de R.J. Schutten y G. de Hann de Phillips Research Laboratories, Eindhoven, Holanda. En este documento, se describe un método de interpolación de imágenes o fotogramas en la que se utiliza una estimación de movimiento para permitir la visualización de material visual sin oscilación. El método descrito utiliza un algoritmo complejo mediante el cual se consigue la estimación del movimiento tomando sub-muestras de los imágenes o fotogramas originales de un vídeo que se va a someter a la conversión ascendente.

El movimiento de un objeto en el fotograma se describe utilizando un modelo traslacional simple y se estiman parámetros para el modelo para obtener una descripción útil de un objeto en la imagen. Los parámetros del movimiento se seleccionan entonces de varios candidatos identificados basándose en el análisis de una función de coste. Por último, se lleva a cabo una segmentación. Este paso se describe como un paso extremadamente importante en el algoritmo. Su tarea es asignar un modelo de movimiento a cada grupo de píxeles. Esto se consigue asignando el modelo que mejor se ajusta a cada grupo de píxeles, que tiene típicamente un tamaño de 8x8 píxeles.

El algoritmo es extremadamente complejo y computacionalmente caro.

El documento US-A-2003/0194151 describe un método para la integración temporal de una secuencia de imágenes utilizando análisis de imágenes basado en objetos. El método comprende las operaciones de segmentación de imagen para particionar una imagen conocida en objetos, estimación de movimiento, procesamiento de campo de movimientos basado en objetos, determinación del orden de profundidad de los objetos y degradación y degradación cuidadosa para mitigar artefactos visibles.

De acuerdo con un primer aspecto de la invención, se proporciona un método para la interpolación de imágenes o fotogramas para una secuencia de vídeo que comprende generar un fotograma de vídeo interpolado para su colocación entre un primer y un segundo imágenes o fotogramas en una secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, el método comprendiendo: a) identificar uno o más objetos móviles en el primer fotograma; b) segmentar el o los objetos móviles identificados; y, c) determinar los parámetros de movimiento para cada uno de los segmentos de los objetos segmentados; d) generar dicho fotograma de vídeo interpolado dependiendo de dichos parámetros de movimiento determinados; e) predecir la posición de los objetos de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen sólo de los parámetros de movimiento determinados en la operación c para el primer fotograma interpolado, comprobando dichas predicciones con el tercer fotograma en función de una precisión predeterminada, y si es preciso, utilizar sólo dichos parámetros de movimiento para el primer fotograma interpolado para generar un segundo fotograma interpolado para su colocación entre el segundo fotograma y el tercer fotograma de la secuencia de vídeo, en caso contrario, si no es preciso, repetir las operaciones a hasta d con los imágenes o fotogramas segundo y tercero, donde los imágenes o fotogramas primero, segundo y tercero son consecutivos.

El método requiere las operaciones de segmentar el o cada uno de los objetos móviles identificados y una vez que se ha hecho esto determinar los parámetros de movimiento de cada uno de los objetos identificados. En contraste con los métodos convencionales de interpolación de imágenes o fotogramas donde los parámetros de movimiento de los objetos se determinan antes de la segmentación utilizando métodos basados en bloques o píxeles (se determina un parámetro de movimiento para cada píxel o bloque), en realizaciones de la presente invención, la estimación de parámetros de movimiento se lleva a cabo después de la segmentación. Esto permite conseguir una reducción de la complejidad de la estimación de los parámetros de movimiento, ya que hay menos segmentos de objetos que píxeles o bloques de píxeles.

Por supuesto, dentro de cada fotograma individual cualquier objeto es estacionario. Puede moverse realmente sólo cuando el fotograma se observa en secuencia con otros imágenes o fotogramas. En el presente documento, un objeto "móvil” dentro de cualquier fotograma particular es un objeto que se movería si el fotograma en cuestión se observase en secuencia con los otros imágenes o fotogramas.

El método se puede utilizar en todos los tipos de pantallas progresivas cuando se necesita una conversión ascendente de la velocidad de fotograma libre de oscilaciones. También se puede utilizar como un método de conversión descendente, es decir, la conversión de película de cine a material de vídeo. También se puede proporcionar una implementación de software como parte de un paquete de software de procesamiento de imágenes basado en un ordenador o PC.

Preferiblemente, el paso de determinar parámetros de movimiento para el o cada uno de los segmentos comprende identificar para al menos uno de los segmentos del primer fotograma uno correspondiente en el segundo fotograma. Preferiblemente, una vez que se ha encontrado un par de segmentos correspondientes, se determinan los parámetros de movimiento para el segmento. En una realización preferida, se determina la posición de un segmento correspondiente en el fotograma interpolado... [Seguir leyendo]

1. Un método para interpolar imágenes o fotogramas para una secuencia de vídeo, que comprende generar un fotograma de vídeo interpolado para su colocación entre unos primer y segundo imágenes o fotogramas en una secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, comprendiendo el método:

a) identificar uno o más objetos móviles en el primer fotograma;

b) segmentar el o cada uno de los objetos móviles identificados;

c) determinar parámetros de movimiento para cada uno de los segmentos de los objetos segmentados;

d) generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y

e) predecir la posición de objetos dentro de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen sólo de los parámetros de movimiento determinados en el paso c para el primer fotograma interpolado, comprobando dichas predicciones según el tercer fotograma para conseguir una precisión predeterminada y, si existe dicha precisión, utilizar sólo dichos parámetros de movimiento para el primer fotograma interpolado para generar un segundo fotograma interpolado para su disposición entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, en caso de no conseguir la precisión repetir los pasos a a d con el segundo y tercer imágenes o fotogramas, donde el primer, segundo y tercer imágenes o fotogramas son consecutivos.

2. Un método de acuerdo con la reivindicación 1, donde el paso de determinar los parámetros de movimiento para el o cada uno de los segmentos comprende identificar para al menos uno de los segmentos del primer fotograma una correspondencia en el segundo fotograma.

3. Un método de acuerdo con la reivindicación 2, donde una vez se ha encontrado un par de segmentos correspondientes, se determinan los parámetros de movimiento para el segmento.

4. Un método de acuerdo con la reivindicación 3, donde la posición de un segmento correspondiente en el fotograma interpolado se determina en función de los parámetros de movimiento determinados para el segmento del primer fotograma.

5. Un método de acuerdo con cualquiera de las reivindicaciones 1 a 3, donde la segmentación se lleva a cabo en función de los valores de luminancia de los píxeles de el o cada uno de los objetos móviles.

6. Un método de acuerdo con cualquiera de las reivindicaciones 2 a 5, donde identificar para el menos uno de los segmentos del primer fotograma una correspondencia en el segundo fotograma comprende identificar todas las correspondencias posibles y llevar a cabo un análisis de los posibles pares para determinar una correspondencia real.

7. Un método de acuerdo con cualquiera de las reivindicaciones 2 a 6, donde después de que se ha establecido una correspondencia de entre todos los posibles pares de segmentos correspondientes, se suavizan los valores de los parámetros visuales de los segmentos interpolados.

8. Un método de conversión ascendente de la velocidad de imágenes o fotogramas de una primera secuencia de vídeo generando así una segunda secuencia de vídeo procesada, comprendiendo el método:

recibir una primera secuencia de vídeo a una primera velocidad de imágenes o fotogramas;

generar imágenes o fotogramas interpolados para disponer temporalmente entre pares de imágenes o fotogramas en la primera secuencia de vídeo;

intercalar los imágenes o fotogramas de la primera secuencia de vídeo con los imágenes o fotogramas interpolados generados para producir una segunda secuencia de vídeo que tiene una velocidad de imágenes o fotogramas mayor que la velocidad de imágenes o fotogramas de la primera secuencia de vídeo, donde el paso de generar imágenes o fotogramas interpolados comprende un método para interpolar imágenes o fotogramas de acuerdo con las reivindicaciones 1 a 7.

9. Un método de acuerdo con la reivindicación 8, donde la primera secuencia de vídeo tiene una velocidad de imágenes o fotogramas de N Hz y la segunda secuencia de vídeo tiene una velocidad de imágenes o fotogramas de 2N Hz.

10. Un aparato para la interpolación de imágenes o fotogramas de una secuencia de vídeo, comprendiendo el aparato:

un procesador para extraer un primer y segundo imágenes o fotogramas de una primera secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, y para generar un fotograma interpolado para su disposición temporal entre el primer y segundo imágenes o fotogramas en una segunda secuencia de vídeo, teniendo el procesador

a) un identificador para identificar uno o más objetos en el primer fotograma;

b) un segmentador para segmentar el o cada uno de los objetos identificados;

c) un determinador para determinar los parámetros de movimiento para cada uno de los objetos segmentados;

d) un generador para generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y

e) un predictor para predecir la posición de objetos en un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen solamente de los parámetros de movimiento determinados en el paso c para el primer fotograma interpolado, comprobar dichas predicciones según el tercer fotograma para conseguir una precisión predeterminada y, si se consigue la precisión, utilizar sólo dichos parámetros determinados en el paso c para el primer fotograma interpolado para generar un segundo fotograma interpolado para su disposición entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, y si no tiene la precisión, repetir los pasos llevados a cabo de b a d con el segundo y tercer imágenes o fotogramas, donde el primer, segundo y tercer imágenes o fotogramas son consecutivos.

11. Un conversor ascendente de imágenes o fotogramas para realizar la conversión ascendente de la velocidad de imágenes o fotogramas de una primera señal de vídeo, estando dispuesto el conversor ascendente de velocidad de imágenes o fotogramas para recibir la primera señal de vídeo y generar imágenes o fotogramas interpolados para su disposición con los imágenes o fotogramas de la primera señal de vídeo, incluyendo el conversor ascendente de velocidad de imágenes o fotogramas un aparato de acuerdo con la reivindicación 10.

12. Un aparato de acuerdo con la reivindicación 10 u 11, que está configurado para ejecutar el método de cualquiera de las reivindicaciones 1 a 9.

13. Una televisión, que comprende:

un receptor para recibir una señal de televisión a una primera velocidad de imágenes o fotogramas;

un conversor ascendente de velocidad de imágenes o fotogramas para procesar la señal de televisión recibida, siendo el conversor ascendente de velocidad de imágenes o fotogramas un conversor ascendente de velocidad de imágenes o fotogramas de acuerdo con la reivindicación

10.