Procedimiento de reducción de una cantidad de ruido de patrón fijo de una señal de imagen generada por un sensor (12) de imagen,

que comprende: para cada pixel no defectuoso en la señal de imagen, aplicar un término de compensación, actualizado recursivamente, para generar una señal de imagen corregida; y actualizar recursivamente los términos de corrección de compensación: filtrando espacialmente la señal de imagen corregida para un fotograma actual de la señal de imagen corregida, aplicando un filtro de mediana a cada pixel del fotograma actual y aplicar un filtro anti-media a la salida del filtro de mediana para generar un fotograma filtrado corregido de la señal de imagen corregida; comparando el fotograma actual filtrado corregido de la señal de imagen corregida con un fotograma precedente, corregido, filtrado espacialmente, de la señal de imagen corregida, siendo generado el fotograma precedente, corregido, filtrado espacialmente, generado aplicando el filtro de mediana a cada pixel no defectuoso del fotograma precedente de la señal de imagen corregida y aplicando el filtro anti-media a la salida del filtro de mediana para la señal de imagen corregida del fotograma precedente; en el que el fotograma precedente y el fotograma actual son fotogramas secuenciales de la señal de imagen corregida, que tienen un registro de escena diferente por el movimiento del sensor de imagen; actualizando los términos de corrección de compensación con los términos generados como una función de la comparación; y en el que el filtro de mediana elimina el ruido en la forma de píxeles con valores periféricos que podrían sesgar la operación del filtro anti-media, y el filtro anti-media calcula una diferencia entre el valor promedio de los píxeles que rodean el pixel que está siendo procesado y el valor del pixel que está siendo procesado

CAMPO TÉCNICO

La presente invención se refiere a la detección de imágenes y, más particularmente, a una compensación adaptativa de no uniformidad para una matriz de plano focal, para reducir el ruido de patrón fijo presente en un sensor de imágenes.

ANTECEDENTES

Las matrices de plano focal (FPAs) se usan en varias aplicaciones para capturar imágenes para su procesamiento subsiguiente. Por ejemplo, misiles de ataque de alta precisión (Precisión Attack Missile, PAMs) con sistema de lanzamiento sin de línea de visión directa (Non-Line Of Sight Launch System, NLOS-LS) han empleado sensores de infrarrojos no refrigerados (Uncooled Infrared, UCIR) con una matriz de plano focal para capturar imágenes infrarrojas para su uso en el seguimiento de blancos. La matriz de plano focal tiene una matriz de elementos detectores de infrarrojos, dispuestos en una matriz de filas y columnas, que proporciona una matriz de plano focal de n filas por m columnas. Un sensor UCIR ejemplar puede tener una matriz de plano focal de 640 x 480 detectores. La salida de cada detector puede denominarse como pixel.

Cada detector puede tener una sensibilidad a la radiación infrarroja ligeramente diferente a la de los otros detectores. Por ejemplo, la salida de algunos píxeles puede ser demasiado brillante o demasiado oscura para una cantidad determinada de radiación incidente. Esta sensibilidad no uniforme genera un ruido de patrón fijo (FPN). El propio ruido de patrón fijo puede manifestarse en la imagen de salida del sensor, dando como resultado una respuesta no uniforme a lo largo de la imagen. De esta manera, el ruido de patrón fijo conduce a una degradación en el reconocimiento, adquisición y seguimiento de blancos.

Se han realizado algunos intentos para compensar el ruido de patrón fijo usando una aproximación rudimentaria a una compensación de la no uniformidad (NUC). Esta aproximación usa un algoritmo simplista que ajusta cada pixel con un valor de compensación. Los valores de compensación son generados mediante la determinación de una cantidad de cambio necesaria para colocar cada pixel en un nivel medio de grises en respuesta a una entrada determinada. En la práctica, los valores de compensación se calculan en respuesta a una imagen de entrada uniforme en la matriz de plano focal (por ejemplo, una imagen “suave” (“bland”) y “emborronada” (“smeared”) generada desenfocando las ópticas de formación de imágenes). Una vez generados los valores de compensación, el sistema muestra las imágenes en una manera normal, mientras aplica los valores de compensación a las salidas de cada pixel. Aunque simple, este enfoque causa sesgos innecesarios en el nivel global de la imagen y, potencialmente, crea artefactos (por ejemplo, un quemado con imagen residual de la escena de entrada que se usó durante la creación de los valores de compensación). También, esta técnica no aborda los píxeles que son defectuosos.

Los ejemplos relevantes de la técnica anterior de la compensación adaptativa de la no uniformidad para matrices de plano focal, usando imágenes de referencia ópticamente desenfocadas o movidas, pueden encontrarse en EP-B-0 909 428, WO 00/79782 A, WO 00/23814 A y WO 01/28233 A.

RESUMEN DE LA INVENCIÓN

En vista de los temas indicados anteriormente en relación al ruido de patrón fijo y las técnicas de corrección insuficientes para el ruido de patrón fijo, hay una necesidad en la técnica de un sistema y un procedimiento para una compensación adaptativa de la no uniformidad para una matriz de plano focal, para mejorar las imágenes de un sensor.

Las características de la presente invención serán evidentes con referencia a la descripción y a los dibujos adjuntos siguientes. En la descripción y en los dibujos, se divulgan, en detalle, realizaciones particulares de la invención, como indicadores de algunas de las maneras en las que pueden emplearse los principios de la invención, pero se entiende que la invención no está limitada correspondientemente en su alcance. Por el contrario, la invención incluye todos los cambios, las modificaciones y los equivalentes dentro de los términos de las reivindicaciones adjuntas.

Las características que se describen y/o ilustran con respecto a una realización pueden ser usadas en la misma manera o en una manera similar en una o más de las otras realizaciones y/o en combinación con o en lugar de las características de las otras realizaciones.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La FIG. 1 es un diagrama esquemático simplificado de un sistema de seguimiento que incluye un sensor de imágenes y un conjunto procesador de video que realiza una compensación adaptativa de la no uniformidad sobre una señal de imagen, según los aspectos de la presente invención;

La FIG. 2 es una representación de un misil que incluye el sistema de seguimiento de la FIG. 1;

La FIG. 3 es un diagrama de flujo funcional, de alto nivel, del funcionamiento de la compensación adaptativa de la no uniformidad;

La FIG. 4 es un diagrama de flujo funcional, detallado, del funcionamiento de la compensación adaptativa de la no uniformidad;

Las FIGs. 5A y 5B son representaciones de una imagen ejemplar, con filas y columnas borde añadidas, usada durante el cálculo del valor de la mediana;

Las FIGs. 6A a 6D son representaciones de una sección de una imagen en varias etapas del reemplazo de píxeles defectuosos; y

Las FIGs. 7A y 7B son representaciones de una imagen ejemplar en varias etapas del filtrado espacial.

DESCRIPCIÓN

A. Visión general del sistema

A continuación, se describirán las realizaciones de la presente invención, con referencia a los dibujos, en los que los números de referencia similares se usan para hacer referencia a elementos similares. Se entenderá que las figuras no están necesariamente a escala.

En el presente documento, la invención se describe principalmente en el contexto de un sistema sensor para un misil. Se apreciará que la invención no pretende limitarse a un misil y que el sistema sensor puede ser usado en cualquier entorno en el que se desee una mejora en la salida de una matriz de plano focal.

La FIG. 1 es un diagrama esquemático simplificado de un sistema 10 de seguimiento de un misil. En general, el sistema 10 de seguimiento incluye un sensor 12 que produce una señal de imagen correspondiente a una escena infrarroja. El sensor 12 puede incluir una óptica 14 que capta la energía infrarroja incidente desde la escena y enfoca la radiación en una matriz 16 de plano focal (FPA). La matriz 16 de plano focal produce una imagen infrarroja de la escena objeto de seguimiento. El sensor 12 puede ser, por ejemplo, una matriz de plano focal infrarrojo no refrigerada (UCIR) que forma parte de un núcleo 18 de una cámara del sensor 12. La matriz 16 de plano focal puede tener una disposición de elementos detectores. Los elementos detectores pueden estar dispuestos en una matriz de filas y columnas, conformando una matriz de plano focal de n filas por m columnas. En una realización, la matriz 16 de plano focal puede tener una matriz de 640 x 480 detectores.

El núcleo 18 de la cámara puede incluir también un convertidor 20 analógico-a-digital (A/D) que convierte una salida analógica de cada elemento detector a un valor digital. Por lo tanto, cada detector produce un pixel en una imagen infrarroja compuesta. Cada pixel tiene un valor que indica el brillo o la intensidad de la radiación incidente. La agregación de los píxeles es una señal de imagen que tiene datos de imagen que corresponden a la escena. La imagen puede ser actualizada a una velocidad de fotogramas deseada para generar un video infrarrojo de la escena.

El núcleo 18 de la cámara puede incluir una memoria 22 no volátil para almacenar información acerca de la matriz 16 de plano focal. Por ejemplo, la identificación de píxeles “muertos por defecto de fábrica” (descritos en mayor detalle, más adelante) puede ser almacenada por la memoria 22.

La salida de señal de imagen por el núcleo 18 de la cámara es pasada a un conjunto 24 procesador de video (VPA). El conjunto 24 procesador de video puede, según los aspectos de la invención, procesar la señal de imagen usando una técnica de compensación adaptativa de la no uniformidad (ADNUC), para generar y sacar una señal de imagen corregida,... [Seguir leyendo]

1. Procedimiento de reducción de una cantidad de ruido de patrón fijo de una señal de imagen generada por un sensor (12) de imagen, que comprende:

para cada pixel no defectuoso en la señal de imagen, aplicar un término de compensación, actualizado recursivamente, para generar una señal de imagen corregida; y

actualizar recursivamente los términos de corrección de compensación:

filtrando espacialmente la señal de imagen corregida para un fotograma actual de la señal de imagen corregida, aplicando un filtro de mediana a cada pixel del fotograma actual y aplicar un filtro anti-media a la salida del filtro de mediana para generar un fotograma filtrado corregido de la señal de imagen corregida;

comparando el fotograma actual filtrado corregido de la señal de imagen corregida con un fotograma precedente, corregido, filtrado espacialmente, de la señal de imagen corregida, siendo generado el fotograma precedente, corregido, filtrado espacialmente, generado aplicando el filtro de mediana a cada pixel no defectuoso del fotograma precedente de la señal de imagen corregida y aplicando el filtro anti-media a la salida del filtro de mediana para la señal de imagen corregida del fotograma precedente;

en el que el fotograma precedente y el fotograma actual son fotogramas secuenciales de la señal de imagen corregida, que tienen un registro de escena diferente por el movimiento del sensor de imagen;

actualizando los términos de corrección de compensación con los términos generados como una función de la comparación; y

en el que el filtro de mediana elimina el ruido en la forma de píxeles con valores periféricos que podrían sesgar la operación del filtro anti-media, y el filtro anti-media calcula una diferencia entre el valor promedio de los píxeles que rodean el pixel que está siendo procesado y el valor del pixel que está siendo procesado.

2. Procedimiento según la reivindicación 1, en el que el movimiento del sensor de imagen tiene como resultado una diferencia de perspectiva entre el fotograma actual y el fotograma precedente de una escena captada por el sensor de imágenes, para conseguir el registro de escena diferente.

3. Procedimiento según una cualquiera de las reivindicaciones 1-2, en el que el sensor de imágenes está montado a un cardán, que efectúa el movimiento del sensor de imágenes.

4. Procedimiento según cualquiera de las reivindicaciones 1-3, en el que el término de corrección de compensación no se actualiza para un pixel si una diferencia entre el valor de filtro espacial actual para el pixel y valor de filtro espacial precedente para el pixel es mayor que un valor umbral predeterminado.

5. Procedimiento según cualquiera de las reivindicaciones 1-4, en el que la generación de los términos de corrección de compensación, como una función de la comparación, incluye:

generar un valor de error para cada pixel, siendo el valor de error la menor de las magnitudes relativas del valor de pixel filtrado espacialmente para el fotograma actual y el valor de pixel filtrado espacialmente para el fotograma precedente;

modificar el valor de error generando una fracción del valor de error, estando basado el tamaño fraccional en la magnitud del valor de error, y

aplicar un valor de decaimiento de término a cada valor de error modificado, para generar un valor de error modificado revisado que es más cercano al valor cero que el valor de error modificado correspondiente.

6. Procedimiento según cualquiera de las reivindicaciones 1-5, que comprende además sacar la señal de imagen corregida a un sistema (30) de seguimiento de blancos de un misil (32).

7. Procedimiento según cualquiera de las reivindicaciones 1-6, en el que el filtro de mediana tiene una disposición de elementos pixel centrados en un pixel a ser filtrado, el filtro de mediana selecciona el valor del elemento pixel situado en la mitad, en términos de magnitud, como una salida del filtro de mediana para el pixel a ser filtrado.

8. Procedimiento según la reivindicación 7, en el que un valor para un pixel defectuoso en los elementos pixel del filtro es reemplazado con un valor de reemplazo previamente a la selección de la salida del filtro de mediana.

9. Procedimiento según cualquiera de las reivindicaciones 1-7, que comprende además identificar los píxeles defectuosos en la señal de imagen corregida y reemplazar un valor para cada pixel defectuoso, en el que el valor de reemplazo para cada pixel defectuoso es generado reemplazando los píxeles muertos con un valor correspondiente de un mapa de tipo tablero de ajedrez, de valores altos y valores bajos, a lo largo del fotograma, y haciendo un cálculo de la mediana de los valores de pixel del pixel defectuoso y de los píxeles vecinos para determinar el valor de reemplazo.

10. Procedimiento según cualquiera de las reivindicaciones 1-9, que comprende además congelar la actualización recursiva de los términos de corrección de compensación al final de un periodo de inicialización y corregir la señal de imagen con los términos de corrección congelados después del periodo de inicialización.

11. Procedimiento según la reivindicación 10, en el que los términos de corrección congelados son generados usando sesenta fotogramas o menos.

12. Procedimiento según cualquiera de las reivindicaciones 1-11, en el que el filtro anti-media es aplicado a la salida del filtro de mediana, para generar un fotograma actual corregido de la señal de imagen, es cambiado a un filtro anti-mediana para el filtrado espacial de los píxeles perimétricos.

13. Sistema (12) de imagen que comprende:

una matriz (16) de plano focal que genera una señal de imagen; y

un conjunto (24) procesador de video que reduce una cantidad de ruido de patrón fijo de la señal de imagen, aplicando un término de compensación, actualizado recursivamente, a cada pixel no defectuoso en la señal de imagen, para generar una señal de imagen corregida, en el que el conjunto procesador de video actualiza recursivamente los términos de corrección de compensación:

filtrando espacialmente la señal de imagen corregida para un fotograma actual de la señal de imagen corregida, aplicando un filtro de mediana a cada pixel del fotograma actual y aplicando un filtro anti-media a la salida del filtro de mediana para generar un fotograma corregido filtrado de la señal de imagen corregida;

comparando el fotograma actual corregido filtrado de la señal de imagen corregida con un fotograma precedente, corregido, filtrado espacialmente, de la señal de imagen corregida, siendo generado el fotograma precedente, corregido, filtrado espacialmente, aplicando el filtro de mediana a cada pixel no defectuoso del fotograma precedente de la señal de imagen corregida y aplicando el filtro anti-media a la salida del filtro de mediana para la señal de imagen corregida del fotograma precedente;

en el que el fotograma precedente y el fotograma actual son fotogramas secuenciales de la señal de imagen corregida, que tienen un registro de escena diferente por el movimiento del sensor de imagen; y

actualizando los términos de corrección de compensación con los términos generados como una función de la comparación; y

en el que el filtro de mediana elimina el ruido en la forma de píxeles con valores periféricos que podrían sesgar la operación del filtro anti-media, y el filtro anti-media calcula una diferencia entre el valor promedio de los píxeles que rodean el pixel que está siendo procesado y el valor del pixel que está siendo procesado.