Procesamiento de imagen.

Un método de selección de un modelo de homografía a partir de correspondencias de puntos a partir de un par deimágenes asociadas;

comprendiendo el método:

implementación de una o más restricciones de muestreo para restringir el número de combinaciones decorrespondencias de puntos seleccionadas para consenso de muestra al proporcionar una selección incluso másextensa de punto sobre la imagen y/o al disponer que los puntos seleccionados se extiendan adicionalmente de loque sería el caso ["care", sic.] si dichas restricciones de muestreo no fueran implementadas, comprendiendo unaprimera de las restricciones implementadas de muestreo la definición de una zona predeterminada de exclusión, enla que ninguna correspondencia de punto de dentro de la zona predeterminada de exclusión es seleccionada paraconsenso de muestra; y

realización de dicho consenso de muestra restringido mediante dicha restricción o restricciones de muestreo paraseleccionar el modelo de homografía.

Procesamiento de imagen

Campo de la invención La presente invención se refiere a procesamiento de imagen, por ejemplo: identificación de correspondencias de puntos entre dos imágenes, selección de un modelo, filtrado de correspondencias de puntos y diferenciación de imagen.

Antecedentes Se aplican diversas técnicas de procesamiento de imagen para emparejar imágenes aproximadamente similares. Por ejemplo, se pueden comparar dos imágenes de esencialmente la misma escena tomadas en diferentes momentos. Otro ejemplo está en el dominio de la visión estereoscópica, donde la profundidad de puntos y objetos de una imagen de escena dada se puede recuperar para múltiples imágenes desde cámaras múltiples respectivas correspondientes.

Tales técnicas de procesamiento de imagen implican habitualmente definir ciertos puntos de imagen en las imágenes, por ejemplo esquinas y bordes, y resolver correspondencias de puntos entre las dos imágenes. En un enfoque común para definir puntos de imagen, se determinan esquinas de Harris usando un operario de interés de esquina de Harris, como el descrito en la referencia "A Combined Corner and Edge Detector", C. Harris y M. Stephens, Proceedings of the 4th Alvey Vision Conference, 1988, págs.147-151.

Una homografía representa una transformación de un plano a otro. Las matrices de homografía se crean normalmente de correspondencias "conocidas" entre conjuntos de imagen. Estas correspondencias son puntos que deberían coincidir entre las vistas de imagen, y se eligen normalmente en base a criterios tales como cuánto de saliente es la región de la imagen, o cuánto de parecido a una esquina tiene la característica representada en la imagen. Se eligen estos puntos de interés porque se ha encontrado que son robustamente repetibles a través de los conjuntos de imagen. Una vez que estos puntos de interés se han localizado y se han encontrado los puntos correspondientes (habitualmente usando un criterio de coincidencia en base a la similitud de los valores de píxel en fila, que representan cuánto de similares "parecen" las áreas de la imagen) , se usa una técnica adicional de filtración para descartar falsas coincidencias. Las falsas coincidencias son correspondencias entre características de imagen que de hecho no coinciden. Éstas son comunes en las imágenes del mundo real, y pueden originar un error considerable en la matriz de homografía final si se les permite permanecer encubiertas en el conjunto de muestra. El conjunto de muestra es, en este caso, el conjunto de correspondencias posible entre los conjuntos de imagen.

Se conocen diversas técnicas para la filtración de correspondencias de puntos. Dos de las técnicas más famosas son la estimación de media de mínimos cuadrados (Least Median Squares, LMedS) y el consenso de muestra aleatoria (Random Sample Consensus, RANSAC) . De las dos, RANSAC es la técnica más famosa, ya que se las ingenia con un número considerable de impostores (en este caso, impostores se refiere a falsas correspondencias) , mientras que LMedS se las puede ingeniar con sólo el 50% de los conjuntos de imagen que son impostores.

Bajo RANSAC, las combinaciones o conjuntos de puntos se eligen de manera aleatoria, y su mapeado, por ejemplo un modelo, se usa para calcular un error para todos los puntos comparado con tal mapeado, y si el error es el más bajo (es decir, la mejor calificación) aún determinado, su mapeado se almacena como la mejor solución. Después de que una condición de fuga, es decir un final de criterios de procesamiento, es alcanzada (por ejemplo, una cantidad dada de tiempo de procesamiento o tiempo real, o un número dado de combinaciones) , la solución actualmente almacenada se usa como la mejor solución. RANSAC se describe adicionalmente en "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", M. A. Fischler y R. C. Bolles, Communications of the Association for Computing Machiner y , vol. 24, págs. 381-395, 1981.

Una vez que los impostores se han escogido de la mejor manera posible con la capacidad de la técnica de filtración usada, los puntos "buenos" que quedan, llamados postores, son transformados en una estimación de homografía. Este proceso se realiza con frecuencia usando una técnica de aproximación de mínimos cuadrados, tal como la transformada lineal directa descrita en "Multiple View geometr y in Computer Vision", R. Hartley y A. Zisserman, Cambridge University Press, 2003, ISBN 978-0-521-54051-3.

La restricción de selección de punto mediante encubación se conoce de IEICE Trans. Inf. & Syst., vol. E83-D, nº 7, July 2000, págs. 1386-1394.

Los enfoques anteriores para la filtración de correspondencias de puntos (LmedS, RANSAC, etc.) se han probado satisfactoriamente durante años. Sin embargo, todos ellos tienden a dejar un cierto número de impostores presentes, y esto se agrava si la cantidad de procesamiento permitido por el proceso es relativamente bajo.

Sumario de la invención La presente invención proporciona un método de selección de modelo de homografía a partir de correspondencias de puntos de una pareja asociada de imagen como la definida en la reivindicación adjunta 1.

En cada uno de los aspectos anteriores, al menos una de las zonas se puede definir con relación al centro de masa de los puntos de imagen.

Realizaciones adicionales de la presente invención se definen en las reivindicaciones adjuntas 2-13.

En un aspecto adicional, la presente invención proporciona un medio de almacenamiento que almacena instrucciones implementables por procesador adaptadas para controlar uno o más procesadores para realizar los métodos anteriores, y un aparato adaptado para realizar dichos métodos.

Breve descripción de los dibujos La figura 1 es un organigrama de proceso que muestra ciertos pasos de proceso realizados en una realización de un método de selección de un modelo;

la figura 2 es una ilustración esquemática de un par de imágenes que comprende un par de imágenes asociadas;

la figura 3 es una ilustración esquemática de la primera imagen del par de imágenes con puntos tabicados dentro de cuatro zonas tabicadas;

la figura 4 es una ilustración esquemática de la primera imagen de la zona tabicada, como se muestra en la figura 3, incluyendo adicionalmente una zona de exclusión;

la figura 5 es un organigrama de proceso que muestra más detalles de uno de los pasos de proceso del método mostrado en la figura 1;

la figura 6 es un organigrama de proceso que muestra más detalles de uno de los pasos de proceso del método mostrado en la figura 1;

la figura 7 es un organigrama que muestra ciertos pasos de proceso de un método de filtración de correspondencias de puntos recibidas; y

la figura 8 es un organigrama de proceso que muestra ciertos pasos de proceso realizados en una realización de un método de diferenciación de imagen.

Descripción detallada La figura 1 es un organigrama de proceso que muestra ciertos pasos de proceso realizados en una realización de un método de selección de un modelo. En el paso s2, se recibe un par de imágenes con correspondencias de puntos.

La figura 2 es una ilustración esquemática del par de imágenes que comprende un para de imágenes asociadas, concretamente una primera imagen 101 y una segunda imagen 102. en esta realización, a modo de ejemplo, las dos imágenes son fotografías de concretamente la misma escena pero tomadas con un tiempo de retraso entre ellas y desde un punto de vista ligeramente diferente. Hay un gran número de correspondencias de puntos entre la primera imagen 101 y la segunda imagen 102. En esta realización, a modo de ejemplo, las correspondencias de puntos son esquinas de Harris que se han determinado a la manera convencional usando un operador de interés de esquina de Harris como se mencionó anteriormente. En la práctica, el número de correspondencias de puntos puede ser tan alta como, digamos, cinco mil, sin embargo, por simplificar la explicación, la realización se describirá en términos de sólo dieciséis correspondencias de puntos a modo de ejemplo. Estas dieciséis correspondencias de puntos se representan cada una en la figura 2 como una "x" asociada a cada una de las imágenes primera 101 y segunda 102, y están etiquetadas como 1a-16a en la primera imagen 101 y como 1b-16b en la segunda imagen 102. De este modo, el punto 1a en la primera imagen 101 y el punto 1b en la segunda imagen 102 juntos son una primera correspondencia de punto, el punto 2a en la primera imagen 101 y el punto 2b en la segunda imagen 102 juntos son una segunda correspondencia de punto, y así se continúa sucesivamente hasta el punto 16a en la primera... [Seguir leyendo]

1. Un método de selección de un modelo de homografía a partir de correspondencias de puntos a partir de un par de imágenes asociadas; comprendiendo el método:

implementación de una o más restricciones de muestreo para restringir el número de combinaciones de correspondencias de puntos seleccionadas para consenso de muestra al proporcionar una selección incluso más extensa de punto sobre la imagen y/o al disponer que los puntos seleccionados se extiendan adicionalmente de lo que sería el caso ["care", sic.] si dichas restricciones de muestreo no fueran implementadas, comprendiendo una primera de las restricciones implementadas de muestreo la definición de una zona predeterminada de exclusión, en la que ninguna correspondencia de punto de dentro de la zona predeterminada de exclusión es seleccionada para consenso de muestra; y

realización de dicho consenso de muestra restringido mediante dicha restricción o restricciones de muestreo para seleccionar el modelo de homografía.

2. Un método como el reivindicado en la reivindicación 1, en el que una segunda de las restricciones de muestreo comprende la división del par de imágenes en zonas de tabicación, en las que cada correspondencia de combinación de punto comprende una correspondencia de punto seleccionada a partir de cada zona de tabicación.

3. Un método como el reivindicado en la reivindicación 1 o en la reivindicación 2 en el que al menos una de las zonas se define en relación con el centro de masa de los puntos de imagen.

4. Un método de filtrado de correspondencias de puntos a partir de un par de imágenes asociadas; comprendiendo el método:

ejecución del método de una cualquiera de las reivindicaciones 1 a 3 para seleccionar un modelo de homografía; y filtrado de las correspondencias de puntos usando el modelo seleccionado.

5. Un método de cálculo de una transformación de homografía a partir de correspondencias de puntos a partir de un par de imágenes asociadas; comprendiendo el método:

ejecución del método de la reivindicación 4 para filtrar las correspondencias de puntos; y

realización de un método de mínimos cuadrados en las correspondencias de puntos que quedan después del paso de filtrado.

6. Un método de diferenciación de imagen entre las imágenes primera y segunda de un par de imágenes asociadas, que comprende:

cálculo de una transformación de homografía a partir de correspondencias de puntos del par de imágenes asociadas ejecutando el método de la reivindicación 5;

distorsión de la primera imagen del par de imágenes asociadas de acuerdo con la transformación calculada de homografía para proyectar la primera imagen en la segunda imagen; y

diferenciación de imagen entre la primera imagen distorsionada y la segunda imagen.

7. Un método de acuerdo con cualquiera de las reivindicaciones 1 a 6, en el que realizar consenso de muestreo comprende seleccionar repetidamente correspondencias de combinaciones de punto de acuerdo con la una o más restricciones de muestreo, y calcular una calificación de idoneidad para cada combinación seleccionada.

8. Un método de acuerdo con la reivindicación 7, en el que las respectivas calificaciones de idoneidad son almacenadas al mismo tiempo para diferentes combinaciones.

9. Un método de acuerdo con una cualquiera de las reivindicaciones 1 a 8, en el que todas las selecciones de combinaciones de puntos permitidas por una o más restricciones de muestreo son seleccionadas para consenso de muestra, siendo cada combinación seleccionada sólo una vez.

10. Un método como el reivindicado en cualquiera de las reivindicaciones precedentes, en el que el paso de realizar consenso de muestra comprende definir una condición de fuga, tal que, cuando se encuentra la condición de fuga, el consenso de muestra avanza hasta un paso final.

11. Un método como el reivindicado en la reivindicación 10, en el que la condición de fuga es que la calificación de idoneidad es más alta que un valor umbral predeterminado.

12. Un método como el reivindicado en la reivindicación 10 o en la reivindicación 11, en el que la condición de fuga es que un número dado de selecciones de combinaciones de correspondencias de puntos han sido probadas.

13. Un método como el reivindicado en la reivindicación 12 cuando es dependiente de la reivindicación 11, en el que,

si el número dado de selecciones de correspondencias de puntos ha sido probado, y la calificación más alta de idoneidad es más baja que el valor umbral predeterminado, no se proporciona ningún modelo de homografía.

14. Un medio de almacenamiento que almacena instrucciones implementables de procesador que corresponde a los pasos del método de cualquiera de las reivindicaciones 1 a 13 y adaptado para controlar uno o más procesadores 10 para realizar dicho método de cualquiera de las reivindicaciones 1 a 13.

15. Aparato configurado para comprender medios correspondientes a los pasos del método de cualquiera de las reivindicaciones 1 a 13 tal como para posibilitar que dicho aparato realice dicho método de cualquiera de las reivindicaciones 1 a 13.