MÉTODO Y SISTEMA PARA EL MAPEO DE DATOS DE SENSORES DE ALCANCE SOBRE DATOS DE SENSORES DE IMAGEN.

Sistema informático (10) que comprende un procesador (11) y memoria (12;

13; 14; 15) conectada al procesador, donde la memoria comprende un programa de ordenador, que comprende datos e instrucciones configurados para hacer que dicho procesador (11): -reciba los datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a un sistema móvil, al igual que los datos de primer sensor de alcance de al menos un primer sensor de alcance (3(1)) incorporado a dicho sistema móvil, y los datos de imágenes de al menos una cámara (9(j)) incorporada a dicho sistema móvil; -identifique una primera nube de puntos dentro de dichos datos del primer sensor de alcance, asociada con al menos un objeto; -produzca una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos; Y que está caracterizado porque el procesador está configurado de manera adicional para -mapear dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según se encuentran presentes en dichos datos de imágenes de dicha al menos una cámara (9(j)); para -efectuar una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto

Tipo: Patente Internacional (Tratado de Cooperación de Patentes). Resumen de patente/invención. Número de Solicitud: PCT/NL2007/050541.

Solicitante: TELE ATLAS B.V.

Nacionalidad solicitante: Países Bajos.

Dirección: LUCHTHAVENWEG 48 5657 EB EINDHOVEN PAISES BAJOS.

Inventor/es: MIKSA,Krzysztof, GLISZCZYNSKI,Rafal Jan, TABOROWSKI,Lukasz Piotr.

Fecha de Publicación: .

Fecha Solicitud PCT: 7 de Noviembre de 2007.

Clasificación Internacional de Patentes:

  • G01C11/02 SECCION G — FISICA.G01 METROLOGIA; ENSAYOS.G01C MEDIDA DE DISTANCIAS, NIVELES O RUMBOS; TOPOGRAFIA; NAVEGACION; INSTRUMENTOS GIROSCOPICOS; FOTOGRAMETRIA O VIDEOGRAMETRIA (medida del nivel de líquidos G01F;   radio navegación, determinación de la distancia o velocidad mediante la utilización de efectos de propagación, p. ej. efecto Doppler, tiempo de propagación, de ondas de radio, disposiciones análogas que utilicen otras ondas G01S). › G01C 11/00 Fotogrametría o videogrametría, p.ej. estereogrametría; Topografía fotográfica. › Disposiciones para tomar fotografías especialmente adaptadas para la fotogrametría o la topografía fotográfica, p. ej. control de la superposición de fotografías.
  • G01C21/00 G01C […] › Navegación; Instrumentos de navegación no previstos en los grupos G01C 1/00 - G01C 19/00 (medida de la distancia recorrida sobre el suelo por un vehículo G01C 22/00; control de la posición, curso, altitud o actitud de vehículos G05D 1/00; sistemas de control de tráfico para vehículos rodados incluyendo transmisiones de tráfico de instrucciones de navegación para vehículos controlados   G08G 1/0968).
  • G01C21/28 G01C […] › G01C 21/00 Navegación; Instrumentos de navegación no previstos en los grupos G01C 1/00 - G01C 19/00 (medida de la distancia recorrida sobre el suelo por un vehículo G01C 22/00; control de la posición, curso, altitud o actitud de vehículos G05D 1/00; sistemas de control de tráfico para vehículos rodados incluyendo transmisiones de tráfico de instrucciones de navegación para vehículos controlados   G08G 1/0968). › con correlación de datos provenientes de varios instrumentos de navegación.
  • G06T5/00 G […] › G06 COMPUTO; CALCULO; CONTEO.G06T TRATAMIENTO O GENERACION DE DATOS DE IMAGEN, EN GENERAL (especialmente adoptados para aplicaciones particulares, ver las subclases apropiadas, p. ej. G01C, G06K, G09G, H04N). › Perfeccionamiento o restauración de imagen, p. ej. desde un mapeado binario a un mapeado binario creando una imagen similar.

Clasificación PCT:

  • G01C11/02 G01C 11/00 […] › Disposiciones para tomar fotografías especialmente adaptadas para la fotogrametría o la topografía fotográfica, p. ej. control de la superposición de fotografías.
  • G01C21/00 G01C […] › Navegación; Instrumentos de navegación no previstos en los grupos G01C 1/00 - G01C 19/00 (medida de la distancia recorrida sobre el suelo por un vehículo G01C 22/00; control de la posición, curso, altitud o actitud de vehículos G05D 1/00; sistemas de control de tráfico para vehículos rodados incluyendo transmisiones de tráfico de instrucciones de navegación para vehículos controlados   G08G 1/0968).
  • G01C21/28 G01C 21/00 […] › con correlación de datos provenientes de varios instrumentos de navegación.
  • G05D1/02 G […] › G05 CONTROL; REGULACION.G05D SISTEMAS DE CONTROL O DE REGULACION DE VARIABLES NO ELECTRICAS (para la colada continua de metales B22D 11/16; dispositivos obturadores en sí F16K; evaluación de variables no eléctricas, ver las subclases apropiadas de G01; para la regulación de variables eléctricas o magnéticas G05F). › G05D 1/00 Control de la posición, del rumbo, de la altitud o de la actitud de vehículos terrestres, acuáticos, aéreos o espaciales, p. ej. piloto automático (sistemas de radionavegación o sistemas análogos que utilizan otras ondas G01S). › Control de la posición o del rumbo por referencia a un sistema de dos dimensiones.
  • G06F17/30 G06 […] › G06F TRATAMIENTO DE DATOS DIGITALES ELECTRICOS (computadores en los que una parte del cálculo se efectúa hidráulica o neumáticamente G06D, ópticamente G06E; sistemas de computadores basados en modelos de cálculo específicos G06N). › G06F 17/00 Equipo o métodos de tratamiento de datos o de cálculo digital, especialmente adaptados para funciones específicas. › Recuperación de la información; Estructura de bases de datos a este efecto.
  • G06T17/05 G06T […] › G06T 17/00 modelado 3D mediante gráficos de computdor. › Modelos geográficos.

Países PCT: Austria, Bélgica, Suiza, Alemania, Dinamarca, España, Francia, Reino Unido, Grecia, Italia, Liechtensein, Luxemburgo, Países Bajos, Suecia, Mónaco, Portugal, Irlanda, Eslovenia, Finlandia, Rumania, Chipre, Lituania, Letonia, Ex República Yugoslava de Macedonia, Albania.

PDF original: ES-2359852_T3.pdf

 

Ver la galería de la patente con 14 ilustraciones.

Fragmento de la descripción:

Campo de la invención

La presente invención hace referencia al campo de la captura y procesamiento de imágenes y datos provenientes de sensores de alcance por medio de la utilización de un sensor de imagen, como una cámara montada sobre un vehículo en movimiento, tal como un sistema móvil de mapeo (MMS por sus siglas en inglés), y el mapeo de estos datos sobre los datos del sensor de alcance obtenidos por al menos un sensor de alcance ubicado en el mismo vehículo en movimiento.

En una realización, la invención también hace referencia al campo de la eliminación de información privada y confidencial de dichas imágenes. La información privada y confidencial puede asociarse a objetos en movimiento con respecto al mundo fijo (es decir, La Tierra).

Antecedentes de la invención

En algunas aplicaciones MMS el objetivo es capturar particularmente fotografías de fachadas de edificios y otros objetos fijos tales como árboles, carteles en la vía pública y farolas de alumbrado público, que después son empleadas en imágenes de calles 2D y/o 3D “del mundo real”, utilizadas por ejemplo en sistemas de navegación de cehículos. Después, estas imágenes son presentadas a conductores de automóviles que cuentan con un sistema de navegación para que vean en la pantalla del sistema de navegación imágenes 2D y/o 3D correspondientes al mundo real observado al mirar a través de las ventanas del automóvil. Además de los sistemas de navegación de vehículos, estas fotografías pueden ser empleadas en otras aplicaciones, como por ejemplo en juegos para ordenador, donde funcionarían como sistemas independientes o como parte de un entorno de red. Un ejemplo de dicho entorno puede ser Internet. La solución de la presente invención, tal como se presenta a continuación, no se limita a una aplicación específica.

Sin embargo, es posible que millones de imágenes MMS contengan información privada, como por ejemplo rostros de personas y matrículas legibles de automóviles que pueden aparecer en las imágenes de manera no intencional. Se prefiere no utilizar tales imágenes en aplicaciones públicas en las cuales la información privada u otra información no deseada se observe claramente. Por ejemplo, algunos periódicos han denunciado la presencia de dicha información no deseada en imágenes de mapas de carreteras distribuidas por Google™. Las imágenes capturadas en el mundo real representan objetos móviles y estáticos dentro de las inmediaciones de los MMS. En las imágenes, los objetos que contienen información privada o no deseada pueden ser estáticos o móviles con respecto al mundo fijo. Tales objetos deben identificarse entre las imágenes capturadas por la cámara en los MMS.

Algunas aplicaciones del arte previo han intentado identificar objetos móviles basándose solamente en las propiedades de las imágenes y han intentado determinar su trayectoria de movimiento de acuerdo con las propiedades de píxeles de color en secuencias de imágenes. No obstante, dicho enfoque funciona sólo si es posible determinar los objetos en una o más de dos imágenes secuenciales que sirvan para definir la trayectoria.

Otras aplicaciones han revelado sistemas en los cuales se utilizan otro tipo de sensores con el fin de determinar la aproximación de la trayectoria a corto plazo de objetos con respecto a un vehículo equipado con tales sensores. Estos sensores pueden incluir escáneres láser, sistemas de radar y cámaras de vídeo estéreo. Se hace referencia a tales sistemas, por ejemplo, en la introducción de la memoria EP1418444. Este documento hace referencia a aplicaciones en tiempo real en las cuales las posiciones con respecto al vehículo y las velocidades de objetos con respecto al vehículo son importantes, por ejemplo, para evitar accidentes entre el vehículo y los objetos. El documento no revela la manera en que los datos de posición y velocidad obtenidos por los sensores pueden ser mapeados sobre datos de imágenes obtenidas por las cámaras de vídeo estéreo. Además, no revela la manera de determinar las posiciones y velocidades absolutas de tales objetos. En este contexto, la palabra “absoluto” debe comprenderse como algo que es absoluto con respecto al mundo real fijo determinado por la tierra y los objetos fijos a la tierra, como por ejemplo edificios, señales de tráfico, árboles, montañas etc. Este mundo real puede estar definido, por ejemplo, por una cuadrícula de referencia como las utilizadas en el sistema GPS. Además, este documento no hace referencia a cómo tratar datos privados y confidenciales que aparezcan en imágenes capturadas por las cámaras de video.

La utilización de datos de escáner láser para asistir en la identificación de la ubicación del espacio ocupado por edificios se describe, por ejemplo, en la solicitud de patente copendiente PCT/NL2006/050264.

45

55

La memoria WO98/12504 describe un sistema móvil de mapeo diseñado para generar un modelo tridimensional detallado, geométricamente preciso, de un entorno de interior desconocido. No existe límite en la distancia que el sistema móvil puede viajar, ni en la clase de detalles que pueden ser mapeados. El mismo diseño se utiliza para entornos que varían desde simples vestíbulos de oficina hasta largos y sinuosos túneles de minas bajo tierra. Se pueden mapear superficies y características de imágenes adquiridas a través de una configuración única de diferentes clases de sensores de imagen óptica y dispositivos de posicionamiento. Esta configuración garantiza que toda la información requerida para reconstruir el entorno tridimensional se incluirá en las imágenes obtenidas. Siempre y cuando haya suficiente coincidencia entre la intensidad de las imágenes bidimensionales y, si se combinen las mismas con imágenes de alcance tridimensional, el método reconstruirá un entorno ajustando simultáneamente una pluralidad de imágenes.

La patente US 2006152522 describe un sistema de texturización para representaciones electrónicas de objetos e incluye una biblioteca de texturas, un motor de texturas y un módulo gráfico de usuario de interfaz. Se puede almacenar una textura de origen en la biblioteca con un identificador único asociado. La textura de origen puede manipularse por medio del módulo gráfico del usuario de la interfaz a fin de formar una textura compleja. Las manipulaciones para formar texturas complejas pueden capturarse y almacenarse en la biblioteca de texturas como un procedimiento de transformación con un identificador único. El identificador único de la textura compleja o de la textura de origen puede asociarse con una superficie de una representación electrónica de una imagen. Cuando se muestra la representación electrónica, se realiza el procedimiento de transformación y se puede texturizar la superficie asociada a ese procedimiento de transformación.

ZHAO, HUIJING et al. describen en su trabajo titulado "Updating a digital geographic database using vehicle-borne laser scanners and line cameras" [Actualización de una base de datos geográfica digital utilizando escáneres láser y cámaras de línea montados sobre vehículos] (Photogrammetric Engineering & Remote Sensing [Ingeniería fotogramétrica y detección remota], vol. 71, no. 4, abril de 2005), un sistema móvil de mapeo (VLMS), en el cual tres escáneres láser de una fila, cámaras CCD de seis líneas y una unidad de navegación basada en GPS/INS se colocan en una camioneta, y se mide tanto la geometría del objeto como la textura a lo largo de la calle. Este trabajo contribuye con un método de fusionar la salida de datos del VLMS con fuentes de datos geográficos ya existentes, donde el enfoque es la rectificación de parámetros GPS/INS, los cuales pueden contener bastantes errores en zonas urbanas. Se desarrolla un algoritmo para corregir cuatro parámetros en cada actualización GPS/INS, es decir, las coordenadas xyz de posición del vehículo y el ángulo de derrape de la orientación del vehículo, por medio de un registro de puntos láser de VLMS con una fuente de datos existente, por ejemplo DSM.

El algoritmo se examina por medio de los datos VLMS tomados en el área de GINZA, en Tokio.

Mediante la asignación manual de 18 series de puntos de conexión, los parámetros de GPS/INS se corrigen automática y efectivamente a fin de lograr que los puntos láser del VLMS correspondan con un DSM. En la fusión de datos, se extrae una serie de objetos de los datos rectificados de VLMS utilizando una interfaz desarrollada en investigaciones previas, la cual contiene anuncios... [Seguir leyendo]

 


Reivindicaciones:

1. Sistema informático (10) que comprende un procesador (11) y memoria (12; 13; 14; 15) conectada al procesador, donde la memoria comprende un programa de ordenador, que comprende datos e instrucciones configurados para hacer que dicho procesador (11): • reciba los datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a un sistema móvil, al igual que los datos de primer sensor de alcance de al menos un primer sensor de alcance (3(1)) incorporado a dicho sistema móvil, y los datos de imágenes de al menos una cámara (9(j)) incorporada a dicho sistema móvil;

• identifique una primera nube de puntos dentro de dichos datos del primer sensor de alcance, asociada con 10 al menos un objeto;

• produzca una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos; Y que está caracterizado porque el procesador está configurado de manera adicional para

• mapear dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según se encuentran presentes en dichos datos de imágenes de dicha al menos una cámara (9(j)); y para

15 • efectuar una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.

2. Sistema informático (10) de acuerdo con la reivindicación 1, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

• reciba datos de segundo sensor de alcance de un segundo sensor de alcance (3(2)) incorporado a dicho 20 sistema móvil;

• identifique una segunda nube de puntos dentro de dichos datos del segundo sensor de alcance, relacionados con dicho al menos un objeto;

• calcule un vector de movimiento para dicho al menos un objeto a partir de dichas primera y segunda nubes de puntos;

25 • mapee dicha máscara sobre los datos de imágenes de dicho objeto mientras utiliza dicho vector de movimiento.

3. Sistema informático (10) de acuerdo con la reivindicación 2, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

• calcule un tamaño real de dicho objeto basado en dichos datos del primero y segundo sensores de alcance; 30 • utilice dicha longitud real mientras produce dicha máscara.

4. Sistema informático (10) de acuerdo con la reivindicación 3, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11):

• calcule un tamaño observado de dicho objeto basado en uno de dichos datos del primero y segundo sensores de alcance; •calcule dicha máscara en base a dicha longitud observada y dicha longitud real.

5. Sistema informático de acuerdo con la reivindicación 2 ó 3, en donde dicho procesador (11) calcula dicho vector de movimiento asumiendo que una velocidad y dirección de movimiento de cualquier objeto detectado dentro de los datos de dicho sensor de alcance de dicho al menos primer y segundo sensores de alcance (3(i)) es básicamente constante.

6. Sistema informático de acuerdo con cualquiera de las reivindicaciones 2 a 5, en donde dicha identificación de dicha 40 segunda nube de puntos comprende la distinción de al menos un objeto a partir de un objeto de referencia fijo a la tierra.

7. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha identificación de dicha primera nube de puntos comprende la distinción de dicho al menos un objeto a partir de un objeto de referencia fijo a la tierra.

8. Sistema informático de acuerdo con la reivindicación 6 ó 7, en donde dicho objeto de referencia es un edificio.

9. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha técnica

5 predeterminada de procesamiento de imágenes incluye al menos una de las siguientes técnicas: volver borrosa dicha al menos una parte, desenfocar dicha al menos una parte y sustituir dicha al menos una parte por datos de imágenes predeterminados.

10. Sistema informático (10) de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicho programa de ordenador se configura para hacer que dicho procesador (11) identifique dicha al menos una parte mediante la utilización de al menos una de la técnica de reconocimiento de objetos y una técnica de reconocimiento de caracteres.

11. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dicha al menos una parte incluye datos privados y confidenciales.

12. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dichos datos de

15 imágenes de objeto pertenecen a una escena en particular, dicha técnica predeterminada de procesamiento de imágenes incluye la eliminación de dichos datos de imágenes del objeto en dichos datos de imágenes, y el reemplazo de dichos datos de imágenes de objeto en dicha escena por datos que habrían sido visibles en esa escena si dicho objeto no hubiese estado presente.

13. Sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes, en donde dichos datos de imágenes hacen referencia a una pluralidad de imágenes, cada una de las cuales muestra dicho objeto, y dicho procesador (11) está configurado para producir una imagen de objeto procesada por dicha acción de efectuar dicha técnica predeterminada de procesamiento de imágenes sobre al menos dicha parte de dichos datos de imágenes de objeto en una de dichas pluralidades de imágenes, y sustituir dicho objeto en otras de dicha pluralidad de imágenes por dicha imagen procesada del objeto.

14. Sistema de procesamiento de datos que comprende un sistema informático de acuerdo con cualquiera de las reivindicaciones precedentes y un sistema móvil, dicho sistema móvil comprende un dispositivo de determinación de posición que proporciona dichos datos de tiempo, posición y orientación, al menos un primer sensor de alcance (3(i)) que proporciona dichos datos del primer sensor de alcance, y al menos una cámara (9(j)) que proporciona dichos datos de imágenes.

15. Método de mapeo de los primeros datos de sensor de alcance de un primer sensor de alcance (3(1)) en datos de imágenes desde al menos una cámara (9(j)), tanto dicho primer sensor de alcance (3(1)) como dicha al menos una cámara (9(j)) se ubican en un sistema móvil en una relación fija entre sí, el método incluye:

• la recepción de datos de tiempo y posición desde un dispositivo de determinación de posición incorporado a dicho sistema móvil, al igual que dichos primeros datos de sensor de alcance de dicho primer sensor de alcance 3(1) incorporado a dicho sistema móvil, y dichos datos de imágenes desde dicha al menos una cámara (9(j)) incorporada a dicho sistema móvil;

• la identificación de una primera nube de puntos dentro de dichos datos del primer sensor de alcance, relacionados con al menos un objeto;

• la producción de una máscara relacionada con dicho objeto y basada en dicha primera nube de puntos;

40 y está caracterizado porque incluye los próximos pasos de

• mapeo de dicha máscara sobre los datos de imágenes del objeto relacionados con dicho objeto según está presentes en dichos datos de imágenes de dicha al menos una cámara (9(j));

• realización de una técnica predeterminada de procesamiento de imágenes en al menos una parte de dichos datos de imágenes del objeto.

45 16. Método de acuerdo con la reivindicación 15, en donde dicho método incluye:

• la recepción de segundos datos de sensor de alcance desde un segundo sensor de alcance (3(2)) incorporado a dicho sistema móvil;

• la identificación de una segunda nube de puntos dentro de dichos datos del segundo sensor de alcance, relacionados con dicho al menos un objeto;

• el cálculo de un vector de movimiento para dicho al menos un objeto desde dicha primera y segunda nubes de puntos;

5 • el mapeo de dicha máscara sobre los datos de imágenes de dicho objeto utilizando dicho vector de movimiento.

17. Método de acuerdo con la reivindicación 16, en donde dicho método incluye:

• el cálculo de un tamaño real de dicho objeto basado en dichos datos del primero y segundo sensores de alcance;

10 • la utilización de dicho tamaño real mientras produce dicha máscara.

18. Producto de programa de ordenador que comprende datos e instrucciones adaptados para realizar todos los pasos de cualquiera de los métodos, de acuerdo con las reivindicaciones 15 a 17 cuando dicho producto de programa de ordenador se ejecuta en un ordenador.

19. Portador de datos con un producto de programa de ordenador, según se reivindica en la reivindicación 18.

 

Patentes similares o relacionadas:

Modificación de imagen de TCO, del 20 de Marzo de 2019, de NOVARTIS AG: Un método para la modificación de imágenes de Tomografía de Coherencia Óptica - TCO - siendo realizado el método por un sistema informático, […]

Dispositivo y método para mejorar el intercambio de datos de imágenes basado en no linealidad de luminancia perceptual a través de diferentes capacidades de visualización, del 20 de Marzo de 2019, de DOLBY LABORATORIES LICENSING CORPORATION: Un método que comprende: recibir, por un codificador de datos, datos de imágenes con valores de luminancia que representan valores absolutos […]

Modulación de luz basada en la gestión de presentación global, del 11 de Marzo de 2019, de DOLBY LABORATORIES LICENSING CORPORATION: Un método, que comprende: recibir una pluralidad de imágenes de entrada en una señal de video de entrada de un rango dinámico ancho; […]

Identificar y corregir anomalías en una imagen óptica, del 12 de Febrero de 2019, de OPTOS PLC: Un método que comprende: determinar un gradiente de intensidad entre primeros y segundos datos de imagen óptica de una imagen óptica producida por un dispositivo […]

Método para determinar un mapa de pixon en la reconstrucción de imagen iterativa, del 25 de Enero de 2019, de SIEMENS MEDICAL SOLUTIONS USA, INC: Un método implementado por ordenador para reconstruir un modelo de objeto a partir de un conjunto (d) de datos obtenido de un proceso físico, […]

Método y aparato para representar la granularidad de imagen mediante uno o más parámetros, del 24 de Enero de 2019, de DOLBY INTERNATIONAL AB: Un método para proporcionar información del grano de película que comprende los pasos de: caracterizar un flujo de información de imagen antes de la codificación […]

Operador de correlación de tonos multiescala local, del 27 de Diciembre de 2018, de DOLBY LABORATORIES LICENSING CORPORATION: Un procedimiento, que comprende: hacer converger valores de luminancia en una imagen de entrada de alto rango dinámico (HDR) en un dominio logarítmico para generar […]

Gestión de visualización para vídeo de alto rango dinámico, del 3 de Diciembre de 2018, de DOLBY LABORATORIES LICENSING CORPORATION: Un procedimiento que comprende: acceder a una imagen de entrada en un primer espacio de color con un primer rango dinámico; aplicar una etapa de transformación […]

Otras patentes de la CIP G06T17/05

 

 

Patentes más consultadas