MÉTODO Y SISTEMA PARA EL MAPEO DE DATOS DE SENSORES DE ALCANCE SOBRE DATOS DE SENSORES DE IMAGEN.

Sistema informático (10) que comprende un procesador (11) y memoria (12;

13; 14; 15) conectada al procesador, donde la memoria comprende un programa de ordenador, que comprende datos e instrucciones configurados para hacer que dicho procesador (11): -reciba los datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a un sistema móvil, al igual que los datos de primer sensor de alcance de al menos un primer sensor de alcance (3(1)) incorporado a dicho sistema móvil, y los datos de imágenes de al menos una cámara (9(j)) incorporada a dicho sistema móvil; -identifique una primera nube de puntos dentro de dichos datos del primer sensor de alcance, asociada con al menos un objeto; -produzca una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos; Y que está caracterizado porque el procesador está configurado de manera adicional para -mapear dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según se encuentran presentes en dichos datos de imágenes de dicha al menos una cámara (9(j)); para -efectuar una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto

Campo de la invención

La presente invención hace referencia al campo de la captura y procesamiento de imágenes y datos provenientes de sensores de alcance por medio de la utilización de un sensor de imagen, como una cámara montada sobre un vehículo en movimiento, tal como un sistema móvil de mapeo (MMS por sus siglas en inglés), y el mapeo de estos datos sobre los datos del sensor de alcance obtenidos por al menos un sensor de alcance ubicado en el mismo vehículo en movimiento.

En una realización, la invención también hace referencia al campo de la eliminación de información privada y confidencial de dichas imágenes. La información privada y confidencial puede asociarse a objetos en movimiento con respecto al mundo fijo (es decir, La Tierra).

Antecedentes de la invención

En algunas aplicaciones MMS el objetivo es capturar particularmente fotografías de fachadas de edificios y otros objetos fijos tales como árboles, carteles en la vía pública y farolas de alumbrado público, que después son empleadas en imágenes de calles 2D y/o 3D “del mundo real”, utilizadas por ejemplo en sistemas de navegación de cehículos. Después, estas imágenes son presentadas a conductores de automóviles que cuentan con un sistema de navegación para que vean en la pantalla del sistema de navegación imágenes 2D y/o 3D correspondientes al mundo real observado al mirar a través de las ventanas del automóvil. Además de los sistemas de navegación de vehículos, estas fotografías pueden ser empleadas en otras aplicaciones, como por ejemplo en juegos para ordenador, donde funcionarían como sistemas independientes o como parte de un entorno de red. Un ejemplo de dicho entorno puede ser Internet. La solución de la presente invención, tal como se presenta a continuación, no se limita a una aplicación específica.

Sin embargo, es posible que millones de imágenes MMS contengan información privada, como por ejemplo rostros de personas y matrículas legibles de automóviles que pueden aparecer en las imágenes de manera no intencional. Se prefiere no utilizar tales imágenes en aplicaciones públicas en las cuales la información privada u otra información no deseada se observe claramente. Por ejemplo, algunos periódicos han denunciado la presencia de dicha información no deseada en imágenes de mapas de carreteras distribuidas por Google™. Las imágenes capturadas en el mundo real representan objetos móviles y estáticos dentro de las inmediaciones de los MMS. En las imágenes, los objetos que contienen información privada o no deseada pueden ser estáticos o móviles con respecto al mundo fijo. Tales objetos deben identificarse entre las imágenes capturadas por la cámara en los MMS.

Algunas aplicaciones del arte previo han intentado identificar objetos móviles basándose solamente en las propiedades de las imágenes y han intentado determinar su trayectoria de movimiento de acuerdo con las propiedades de píxeles de color en secuencias de imágenes. No obstante, dicho enfoque funciona sólo si es posible determinar los objetos en una o más de dos imágenes secuenciales que sirvan para definir la trayectoria.

Otras aplicaciones han revelado sistemas en los cuales se utilizan otro tipo de sensores con el fin de determinar la aproximación de la trayectoria a corto plazo de objetos con respecto a un vehículo equipado con tales sensores. Estos sensores pueden incluir escáneres láser, sistemas de radar y cámaras de vídeo estéreo. Se hace referencia a tales sistemas, por ejemplo, en la introducción de la memoria EP1418444. Este documento hace referencia a aplicaciones en tiempo real en las cuales las posiciones con respecto al vehículo y las velocidades de objetos con respecto al vehículo son importantes, por ejemplo, para evitar accidentes entre el vehículo y los objetos. El documento no revela la manera en que los datos de posición y velocidad obtenidos por los sensores pueden ser mapeados sobre datos de imágenes obtenidas por las cámaras de vídeo estéreo. Además, no revela la manera de determinar las posiciones y velocidades absolutas de tales objetos. En este contexto, la palabra “absoluto” debe comprenderse como algo que es absoluto con respecto al mundo real fijo determinado por la tierra y los objetos fijos a la tierra, como por ejemplo edificios, señales de tráfico, árboles, montañas etc. Este mundo real puede estar definido, por ejemplo, por una cuadrícula de referencia como las utilizadas en el sistema GPS. Además, este documento no hace referencia a cómo tratar datos privados y confidenciales que aparezcan en imágenes capturadas por las cámaras de video.

La utilización de datos de escáner láser para asistir en la identificación de la ubicación del espacio ocupado por edificios se describe, por ejemplo, en la solicitud de patente copendiente PCT/NL2006/050264.

45

55

La memoria WO98/12504 describe un sistema móvil de mapeo diseñado para generar un modelo tridimensional detallado, geométricamente preciso, de un entorno de interior desconocido. No existe límite en la distancia que el sistema móvil puede viajar, ni en la clase de detalles que pueden ser mapeados. El mismo diseño se utiliza para entornos que varían desde simples vestíbulos de oficina hasta largos y sinuosos túneles de minas bajo tierra. Se pueden mapear superficies y características de imágenes adquiridas a través de una configuración única de diferentes clases de sensores de imagen óptica y dispositivos de posicionamiento. Esta configuración garantiza que toda la información requerida para reconstruir el entorno tridimensional se incluirá en las imágenes obtenidas. Siempre y cuando haya suficiente coincidencia entre la intensidad de las imágenes bidimensionales y, si se combinen las mismas con imágenes de alcance tridimensional, el método reconstruirá un entorno ajustando simultáneamente una pluralidad de imágenes.

La patente US 2006152522 describe un sistema de texturización para representaciones electrónicas de objetos e incluye una biblioteca de texturas, un motor de texturas y un módulo gráfico de usuario de interfaz. Se puede almacenar una textura de origen en la biblioteca con un identificador único asociado. La textura de origen puede manipularse por medio del módulo gráfico del usuario de la interfaz a fin de formar una textura compleja. Las manipulaciones para formar texturas complejas pueden capturarse y almacenarse en la biblioteca de texturas como un procedimiento de transformación con un identificador único. El identificador único de la textura compleja o de la textura de origen puede asociarse con una superficie de una representación electrónica de una imagen. Cuando se muestra la representación electrónica, se realiza el procedimiento de transformación y se puede texturizar la superficie asociada a ese procedimiento de transformación.

ZHAO, HUIJING et al. describen en su trabajo titulado "Updating a digital geographic database using vehicle-borne laser scanners and line cameras" [Actualización de una base de datos geográfica digital utilizando escáneres láser y cámaras de línea montados sobre vehículos] (Photogrammetric Engineering & Remote Sensing [Ingeniería fotogramétrica y detección remota], vol. 71, no. 4, abril de 2005), un sistema móvil de mapeo (VLMS), en el cual tres escáneres láser de una fila, cámaras CCD de seis líneas y una unidad de navegación basada en GPS/INS se colocan en una camioneta, y se mide tanto la geometría del objeto como la textura a lo largo de la calle. Este trabajo contribuye con un método de fusionar la salida de datos del VLMS con fuentes de datos geográficos ya existentes, donde el enfoque es la rectificación de parámetros GPS/INS, los cuales pueden contener bastantes errores en zonas urbanas. Se desarrolla un algoritmo para corregir cuatro parámetros en cada actualización GPS/INS, es decir, las coordenadas xyz de posición del vehículo y el ángulo de derrape de la orientación del vehículo, por medio de un registro de puntos láser de VLMS con una fuente de datos existente, por ejemplo DSM.

El algoritmo se examina por medio de los datos VLMS tomados en el área de GINZA, en Tokio.

Mediante la asignación manual de 18 series de puntos de conexión, los parámetros de GPS/INS se corrigen automática y efectivamente a fin de lograr que los puntos láser del VLMS correspondan con un DSM. En la fusión de datos, se extrae una serie de objetos de los datos rectificados de VLMS utilizando una interfaz desarrollada en investigaciones previas, la cual contiene anuncios... [Seguir leyendo]

1. Sistema informático (10) que comprende un procesador (11) y memoria (12; 13; 14; 15) conectada al procesador, donde la memoria comprende un programa de ordenador, que comprende datos e instrucciones configurados para hacer que dicho procesador (11): • reciba los datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a un sistema móvil, al igual que los datos de primer sensor de alcance de al menos un primer sensor de alcance (3(1)) incorporado a dicho sistema móvil, y los datos de imágenes de al menos una cámara (9(j)) incorporada a dicho sistema móvil;

• identifique una primera nube de puntos dentro de dichos datos del primer sensor de alcance, asociada con 10 al menos un objeto;

• produzca una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos; Y que está caracterizado porque el procesador está configurado de manera adicional para

• mapear dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según se encuentran presentes en dichos datos de imágenes de dicha al menos una cámara (9(j)); y para

15 • efectuar una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.

2. Sistema informático (10) de acuerdo con la reivindicación 1, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

• reciba datos de segundo sensor de alcance de un segundo sensor de alcance (3(2)) incorporado a dicho 20 sistema móvil;

• identifique una segunda nube de puntos dentro de dichos datos del segundo sensor de alcance, relacionados con dicho al menos un objeto;

• calcule un vector de movimiento para dicho al menos un objeto a partir de dichas primera y segunda nubes de puntos;

25 • mapee dicha máscara sobre los datos de imágenes de dicho objeto mientras utiliza dicho vector de movimiento.

3. Sistema informático (10) de acuerdo con la reivindicación 2, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

• calcule un tamaño real de dicho objeto basado en dichos datos del primero y segundo sensores de alcance; 30 • utilice dicha longitud real mientras produce dicha máscara.

4. Sistema informático (10) de acuerdo con la reivindicación 3, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

• calcule un tamaño observado de dicho objeto basado en uno de dichos datos del primero y segundo sensores de alcance; •calcule dicha máscara en base a dicha longitud observada y dicha longitud real.

5. Sistema informático de acuerdo con la reivindicación 2 ó 3, en donde dicho procesador (11) calcula dicho vector de movimiento asumiendo que una velocidad y dirección de movimiento de cualquier objeto detectado dentro de los datos de dicho sensor de alcance de dicho al menos primer y segundo sensores de alcance (3(i)) es básicamente constante.

6. Sistema informático de acuerdo con cualquiera de las reivindicaciones 2 a 5, en donde dicha identificación de dicha 40 segunda nube de puntos comprende la distinción de al menos un objeto a partir de un objeto de referencia fijo a la tierra.

7. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha identificación de dicha primera nube de puntos comprende la distinción de dicho al menos un objeto a partir de un objeto de referencia fijo a la tierra.

8. Sistema informático de acuerdo con la reivindicación 6 ó 7, en donde dicho objeto de referencia es un edificio.

9. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha técnica

5 predeterminada de procesamiento de imágenes incluye al menos una de las siguientes técnicas: volver borrosa dicha al menos una parte, desenfocar dicha al menos una parte y sustituir dicha al menos una parte por datos de imágenes predeterminados.

10. Sistema informático (10) de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11) identifique dicha al menos una parte mediante la utilización de al menos una de la técnica de reconocimiento de objetos y una técnica de reconocimiento de caracteres.

11. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha al menos una parte incluye datos privados y confidenciales.

12. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dichos datos de

15 imágenes de objeto pertenecen a una escena en particular, dicha técnica predeterminada de procesamiento de imágenes incluye la eliminación de dichos datos de imágenes del objeto en dichos datos de imágenes, y el reemplazo de dichos datos de imágenes de objeto en dicha escena por datos que habrían sido visibles en esa escena si dicho objeto no hubiese estado presente.

13. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dichos datos de imágenes hacen referencia a una pluralidad de imágenes, cada una de las cuales muestra dicho objeto, y dicho procesador (11) está configurado para producir una imagen de objeto procesada por dicha acción de efectuar dicha técnica predeterminada de procesamiento de imágenes sobre al menos dicha parte de dichos datos de imágenes de objeto en una de dichas pluralidades de imágenes, y sustituir dicho objeto en otras de dicha pluralidad de imágenes por dicha imagen procesada del objeto.

14. Sistema de procesamiento de datos que comprende un sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes y un sistema móvil, dicho sistema móvil comprende un dispositivo de determinación de posición que proporciona dichos datos de tiempo, posición y orientación, al menos un primer sensor de alcance (3(i)) que proporciona dichos datos del primer sensor de alcance, y al menos una cámara (9(j)) que proporciona dichos datos de imágenes.

15. Método de mapeo de los primeros datos de sensor de alcance de un primer sensor de alcance (3(1)) en datos de imágenes desde al menos una cámara (9(j)), tanto dicho primer sensor de alcance (3(1)) como dicha al menos una cámara (9(j)) se ubican en un sistema móvil en una relación fija entre sí, el método incluye:

• la recepción de datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a dicho sistema móvil, al igual que dichos primeros datos de sensor de alcance de dicho primer sensor de alcance 3(1) incorporado a dicho sistema móvil, y dichos datos de imágenes desde dicha al menos una cámara (9(j)) incorporada a dicho sistema móvil;

• la identificación de una primera nube de puntos dentro de dichos datos del primer sensor de alcance, relacionados con al menos un objeto;

• la producción de una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos;

40 y está caracterizado porque incluye los próximos pasos de

• mapeo de dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según está presentes en dichos datos de imágenes de dicha al menos una cámara (9(j));

• realización de una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.

45 16. Método de acuerdo con la reivindicación 15, en donde dicho método incluye:

• la recepción de segundos datos de sensor de alcance desde un segundo sensor de alcance (3(2)) incorporado a dicho sistema móvil;

• la identificación de una segunda nube de puntos dentro de dichos datos del segundo sensor de alcance, relacionados con dicho al menos un objeto;

• el cálculo de un vector de movimiento para dicho al menos un objeto desde dicha primera y segunda nubes de puntos;

5 • el mapeo de dicha máscara sobre los datos de imágenes de dicho objeto utilizando dicho vector de movimiento.

17. Método de acuerdo con la reivindicación 16, en donde dicho método incluye:

• el cálculo de un tamaño real de dicho objeto basado en dichos datos del primero y segundo sensores de alcance;

10 • la utilización de dicho tamaño real mientras produce dicha máscara.

18. Producto de programa de ordenador que comprende datos e instrucciones adaptados para realizar todos los pasos de cualquiera de los métodos, de acuerdo con las reivindicaciones 15 a 17 cuando dicho producto de programa de ordenador se ejecuta en un ordenador.

19. Portador de datos con un producto de programa de ordenador, según se reivindica en la reivindicación 18.