Método y sistema para la estabilización de imágenes.

Método para construir una imagen, que comprende:

dar inicio a un periodo de exposición cuando se detecta una activación del botón del obturador de un sistema de formación de imágenes (10);

detectar el movimiento del sistema de formación de imágenes (10) durante el periodo de exposición para obtener una cantidad de movimiento del sistema de formación de imágenes con respecto a una posición inicial del sistema de formación de imágenes (10);

capturar una pluralidad de cuadros durante el periodo de exposición, de tal manera que cada cuadro capturado se etiquete para indicar si el cuadro capturado va a ser descartado basándose en si la cantidad correspondiente de movimiento del sistema de formación de imágenes (10) está dentro de un intervalo de movimiento predeterminado; y

construir una imagen basándose por lo menos en un cuadro capturado que no está etiquetado para ser descartado.

Método y sistema para la estabilización de imágenes.

Campo de la invención

La presente invención se refiere en general a la estabilización de imágenes y, más particularmente, a la estabilización de imágenes por procesado de las mismas.

Antecedentes de la invención

El problema de la estabilización de imágenes se remonta a los inicios de la fotografía, y el problema está relacionado con el hecho de que un sensor de imagen necesita un tiempo de exposición suficiente para formar una imagen razonablemente buena. Cualquier movimiento de la cámara durante el tiempo de exposición provoca un desplazamiento de la imagen proyectada sobre el sensor de imágenes, dando como resultado una degradación de la imagen formada. A la degradación relacionada con el movimiento se le denomina desenfoque por movimiento (.motion blur). Usando una o las dos manos para sostener una cámara mientras se saca una fotografía, es prácticamente imposible evitar un movimiento deseado de la cámara durante un tiempo de exposición o integración razonablemente largo. Es muy fácil que se produzca un desenfoque por movimiento cuando la cámara se ajusta a una relación de zoom alta, en la que incluso un pequeño movimiento podría degradar significativamente la calidad de la imagen adquirida. Una de las dificultades principales en la restauración de imágenes desenfocadas por movimiento se debe al hecho de que el desenfoque por movimiento es diferente entre imágenes, en función del movimiento concreto de la cámara que tuvo lugar durante el tiempo de exposición.

El desarrollo y la miniaturización en curso de los dispositivos de consumo que disponen de capacidades de adquisición de imágenes hacen que aumente la necesidad de soluciones robustas y eficientes para la estabilización de imágenes. Esta necesidad viene ocasionada por dos factores principales:

1. La dificultad de evitar el movimiento no deseado durante el tiempo de integración cuando se usa un dispositivo de mano reducido (como un teléfono con cámara).

2. La necesidad de tiempos de integración más prolongados debido al área reducida de píxeles que resulta de la miniaturización de los sensores de imágenes en combinación con el aumento de la resolución de estas últimas. Cuanto menor sea el área de píxeles menos fotones por unidad de tiempo podrán ser capturados por el píxel de tal modo que se requiere un tiempo de integración más prolongado para obtener buenos resultados.

La estabilización de las imágenes se lleva a cabo habitualmente en una técnica denominada solución de un único cuadro. La solución de un único cuadro se basa en capturar un solo cuadro de imagen durante un tiempo de exposición prolongado. Esto de hecho es el caso típico de captura de imágenes, en el que la imagen capturada queda alterada típicamente por un desenfoque por movimiento, provocado por el movimiento que ha tenido lugar durante el tiempo de exposición. Para restaurar la imagen es necesario tener un conocimiento muy preciso sobre el movimiento que tuvo lugar durante el tiempo de exposición. Consecuentemente, este planteamiento podría requerir sensores de movimiento bastante caros (giróscopos), los cuales, aparte de sus costes, tienen también un tamaño grande y, por lo tanto, su inclusión en dispositivos pequeños resulta dificultosa. Adicionalmente, si el tiempo de exposición es largo entonces la información de posición obtenida a partir de la salida del sensor de movimiento presenta un error de deriva sesgado con respecto al valor verdadero. Este error se acumula en el tiempo de tal manera que en cierto momento puede afectar significativamente al resultado del sistema.

En la solución de un único cuadro, se han usado varios métodos para reducir o eliminar el desenfoque por movimiento. La estabilización de imágenes óptica implica en general el desplazamiento lateral de la imagen proyectada sobre el sensor de imágenes en compensación por el movimiento de la cámara. El desplazamiento de la imagen se puede lograr mediante una de las siguientes cuatro técnicas generales:

Desplazamiento de lentes - este método de estabilización óptica de la imagen implica el movimiento de uno o más elementos de lente del sistema óptico en una dirección sustancialmente perpendicular al eje óptico del sistema;

Desplazamiento del sensor de imágenes - este método de estabilización óptica de la imagen implica el movimiento del sensor de imágenes en una dirección sustancialmente perpendicular al eje óptico del sistema óptico;

Prisma líquido - este método implica transformar una capa de líquido sellado entre dos placas paralelas en una cuña con el fin de cambiar el eje óptico del sistema por refracción; y

Inclinación del módulo de cámara - este método mantiene invariables todos los componentes del sistema óptico mientras inclina el módulo completo para desplazar el eje óptico en relación con una escena.

En cualquiera de las técnicas antes mencionadas de estabilización de imágenes, se requiere un mecanismo accionador para efectuar el cambio del eje óptico o el desplazamiento del sensor de imágenes. Los mecanismos accionadores son en general complejos, lo cual significa que son caros y de un tamaño grande.

Otro planteamiento para la estabilización de imágenes es el método de múltiples cuadros. Este método se basa en dividir un tiempo de exposición prolongado en varios intervalos más cortos y capturar varios cuadros de imagen de la misma escena en esos intervalos más cortos. El tiempo de exposición para cada cuadro es pequeño con el fin de reducir la degradación de desenfoque por movimiento, de los cuadros individuales. Después de capturar todos estos cuadros, la imagen final se calcula en dos etapas:

- Etapa de alineación: alinear todos los cuadros de imagen con respecto a una de las imágenes escogida como referencia, y

- Fusión de píxeles, calcular el valor de cada píxel en la imagen final basándose en los valores correspondientes de todos los cuadros individuales. Un método sencillo de fusionar los píxeles podría ser calcular el valor final de cada píxel como el promedio de sus valores en los cuadros individuales.

Los problemas principales en una solución típica de estabilización de imágenes por múltiples cuadros incluyen:

1. Cálculo complejo en la alineación de las imágenes, y

2. Objetos en movimiento en la escena: si hay objetos en la escena que se están moviendo durante el tiempo que se adquieren los cuadros de imagen, estos objetos quedan distorsionados en la imagen final. La distorsión consiste en que múltiples instancias de los objetos quedan pegados entre sí.

Es deseable proporcionar un método y un sistema más sencillos para la estabilización de imágenes.

El documento WO 27/3188 divulga un sistema y un método para capturar una imagen usando una cámara o un módulo de cámara. El número de instantáneas de imagen sacadas, así como el tiempo de integración de cada instantánea de imagen, se controlan basándose en la información sobre la existencia o ausencia de movimiento de la cámara. Cada vez que se detecta un movimiento por encima de un umbral de movimiento predeterminado, la fase de integración de la instantánea de imagen actual finaliza, y comienza la integración de la siguiente instantánea de imagen. Si no hay movimiento de la cámara, se captura una única instantánea de imagen de larga exposición. Si hay movimiento de la cámara, el tiempo de exposición total se divide entre múltiples instantáneas de acuerdo con el grado de movimiento de la cámara.

El documento US 24/16525 divulga un método de generación de una imagen en el cual se evita que influya en el mismo el movimiento, al mismo tiempo que se suprime el aumento de componentes de ruido. Cuando se detecta movimiento durante la exposición a la luz de un dispositivo de captura de imágenes, un aparato de captura de imágenes interrumpe la exposición del dispositivo de captura de imágenes y amplifica una señal de imagen obtenida con la exposición, compensando así la carencia de exposición.

Sumario de la invención

La presente invención se refiere al método de múltiples cuadros basado en la captura de un único cuadro de imagen o varios cuadros de imagen de la misma escena en intervalos más cortos. El número de cuadros capturados se determina por el desenfoque por movimiento provocado por el movimiento de la cámara y la implementación de formas de realización.

Según una forma de realización de la presente invención, un tiempo de exposición prolongado se divide en varios intervalos cortos con el fin de capturar una pluralidad de cuadros de imagen y solamente los cuadros de imagen que se capturan cuando... [Seguir leyendo]

1. Método para construir una imagen, que comprende:

dar inicio a un periodo de exposición cuando se detecta una activación del botón del obturador de un sistema de formación de imágenes (1);

detectar el movimiento del sistema de formación de imágenes (1) durante el periodo de exposición para obtener una cantidad de movimiento del sistema de formación de imágenes con respecto a una posición inicial del sistema de formación de imágenes (1);

capturar una pluralidad de cuadros durante el periodo de exposición, de tal manera que cada cuadro capturado se etiquete para indicar si el cuadro capturado va a ser descartado basándose en si la cantidad correspondiente de movimiento del sistema de formación de imágenes (1) está dentro de un intervalo de movimiento predeterminado;

y

construir una imagen basándose por lo menos en un cuadro capturado que no está etiquetado para ser descartado.

2. Método según la reivindicación 1, en el que una longitud del periodo de exposición varía con la iluminación.

3. Método según la reivindicación 1, en el que la cantidad de movimiento del sistema de formación de imágenes se determina usando un subconjunto de píxeles en un sensor de imágenes (3).

4. Método para construir una imagen, que comprende:

dar inicio a un periodo de exposición cuando se detecta una activación del botón del obturador de un sistema de formación de imágenes (1);

detectar el movimiento del sistema de formación de imágenes (1) durante el periodo de exposición para obtener una cantidad de movimiento del sistema de formación de imágenes (1) con respecto a la posición inicial del sistema de formación de imágenes (1);

controlar el sistema de formación de imágenes (1) de tal manera que un sensor de imágenes (3) se exponga de manera efectiva solamente cuando la cantidad de movimiento del sistema de formación de imágenes (1) está dentro de un intervalo de movimiento predeterminado, el sensor de imágenes (3) no está expuesto de manera efectiva cuando la cantidad de movimiento del sistema de formación de imágenes (1) no está dentro del intervalo de movimiento predeterminado, y el sensor de imágenes (3) se vuelve a exponer de manera efectiva cuando la cantidad de movimiento del sistema de formación de imágenes (1) está de nuevo dentro del intervalo de movimiento predeterminado; y

construir una imagen basándose por lo menos en una exposición, obteniéndose cada exposición cuando el sensor de imágenes (3) es uno de entre el expuesto y el vuelto a exponer durante el periodo de exposición.

5. Método según la reivindicación 4, en el que se captura un cuadro para cada exposición, y la imagen se construye basándose en los cuadros capturados.

6. Método según la reivindicación 4, en el que la imagen se construye acumulando intensidades de píxel que se acumularon durante cada exposición.

7. Método según cualquiera de las reivindicaciones 4 a 6, en el que el sensor de imágenes (3) no está expuesto de manera efectiva controlando por lo menos uno de entre un obturador mecánico, un obturador óptico, y por lo menos un elemento electrónico dentro del sensor de imágenes (3).

8. Método según cualquiera de las reivindicaciones 4 a 6, en el que una longitud del periodo de exposición varía con la iluminación.

9. Método según cualquiera de las reivindicaciones 4 a 6, en el que la cantidad de movimiento del sistema de formación de imágenes (1) se determina usando un subconjunto de píxeles en el sensor de imágenes (3).

1. Sistema de formación de imágenes (1), que comprende:

un sensor de movimiento (5) para detectar el movimiento del sistema de formación de imágenes (1) durante un periodo de exposición con el fin de obtener una cantidad de movimiento del sistema de formación de imágenes (1) con respecto a una posición inicial del sistema de formación de imágenes (1), determinándose la posición

inicial en un inicio del periodo de exposición, y dándose inicio al periodo de exposición cuando se activa un botón de un obturador del sistema de formación de imágenes (1);

un sensor de imágenes (3) para capturar una pluralidad de cuadros durante el periodo de exposición de tal manera que cada cuadro capturado esté etiquetado para indicar si el cuadro capturado va a ser descartado basándose en si la cantidad correspondiente de movimiento del sistema de formación de imágenes (1) está dentro de un intervalo de movimiento predeterminado; y

un procesador (4) configurado para controlar un funcionamiento global del sistema de formación de imágenes (1) y construir una imagen basándose por lo menos en un cuadro capturado que no está etiquetado para ser descartado.

11. Sistema de formación de imágenes (1) según la reivindicación 1, en el que una longitud del periodo de exposición varía con la iluminación.

12. Sistema de formación de imágenes (1) según la reivindicación 1, en el que la cantidad de movimiento del sistema de formación de imágenes (1) se determina usando un subconjunto de píxeles en el sensor de imágenes (3).

13. Sistema de formación de imágenes (1), que comprende:

un sensor de movimiento (5) para detectar el movimiento del sistema de formación de imágenes (1) durante un periodo de exposición con el fin de obtener una cantidad de movimiento del sistema de formación de imágenes con respecto a una posición inicial del sistema de formación de imágenes (1), determinándose la posición inicial en el inicio del periodo de exposición, y dándose inicio al periodo de exposición cuando se activa un botón de un obturador del sistema de formación de imágenes (1);

un sensor de formación de imágenes (3) para capturar por lo menos una exposición durante el periodo de exposición; y

un procesador (4) configurado para:

controlar el sistema de formación de imágenes (1) de tal manera que el sensor de imágenes (3) se exponga de manera efectiva solamente cuando la cantidad de movimiento del sistema de formación de imágenes (1) está dentro de un intervalo de movimiento predeterminado, el sensor de imágenes (3) no está expuesto de manera efectiva cuando la cantidad de movimiento del sistema de formación de imágenes (1) no está dentro del intervalo de movimiento predeterminado, y el sensor de imágenes (3) se vuelve a exponer de manera efectiva cuando la cantidad de movimiento del sistema de formación de imágenes (1) está de nuevo dentro del intervalo de movimiento predeterminado, y

construir una imagen basándose en por lo menos una exposición, obteniéndose cada exposición cuando el sensor de imágenes (3) es uno de entre el expuesto y el vuelto a exponer durante el periodo de exposición.

14. Sistema de formación de imágenes (1) según la reivindicación 13, en el que se captura un cuadro para cada exposición, y el procesador (4) está configurado para construir la imagen basándose en los cuadros capturados.

15. Sistema de formación de imágenes (1) según la reivindicación 13, en el que el procesador (4) está configurado para construir la imagen acumulando intensidades de píxel que se acumularon durante cada exposición.

16. Sistema de formación de imágenes (1) según cualquiera de las reivindicaciones 13 a 15, en el que el sensor de imágenes (3) no está expuesto de manera efectiva controlando por lo menos uno de un obturador mecánico, un obturador óptico, y por lo menos un elemento electrónico dentro del sensor de imágenes (3).

17. Sistema de formación de imágenes (1) según cualquiera de las reivindicaciones 13 a 15, en el que una longitud del periodo de exposición varía con la iluminación.

18. Sistema de formación de imágenes (1) según cualquiera de las reivindicaciones 13 a 15, en el que el sensor de movimiento (5) está configurado para determinar la cantidad de movimiento del sistema de formación de imágenes (1) basándose en un subconjunto de píxeles del sensor de imágenes (3).