METODO Y SISTEMA DE RECUPERACION DE INFORMACION DE IMAGENES EN DISPOSITIVOS MOVILES USANDO METADATOS.

Método y sistema de recuperación de información de imágenes en dispositivos móviles usando metadatos que comprende el empleo de un teléfono móvil (100) y un servidor remoto (102),

y en donde esencialmente, se emplean una pluralidad de metadatos como el giro del dispositivo, la aceleración en el momento de la toma, metadatos de audio, datos de red, precisión y cobertura GPS, tamaño de la región de interés, ángulo respecto a la horizontal, grado de luminosidad exterior, metadatos obtenidos mediante geocodificación inversa, altura sobre el suelo y condiciones climatológicas para la mejora interactiva de la identificación del objeto previamente seleccionado por el usuario.

MÉTODO Y SISTEMA DE RECUPERACIÓN DE INFORMACIÓN DE IMÁGENES EN DISPOSITIVOS MÓVILES USANDO METADATOS

5 DESCRIPCIÓN La presente invención está referida a un método basado en una arquitectura cliente/servidor para la recuperación de información a partir de imágenes obtenidas mediante dispositivos móviles.

1 O Estado de la técnica anterior

15 La búsqueda de información sobre un objeto a partir de su fotografía es útil en aquellos problemas donde es más sencillo describir la consulta mediante una imagen que mediante una descripción textual. En la actualidad, existen multitud de sistemas de recuperación de información a partir de imágenes. Esta tarea, en la que destacan sistemas como Google images [http:/ jimages.google.com], es conocida como content-based image retrieval.

2 O 2 5 Para llevarla a cabo, normalmente se extraen una serie de características de la imagen (locales o globales) , se procesan usando técnicas de agrupación de la información, y finalmente se obtiene un ranking de imágenes similares a la consulta presentes en una base de datos de referencia. Se puede identificar o clasificar el objeto consultando, por ejemplo, la categoría de la primera imagen del ranking {para ello es imprescindible que la base de datos esté etiquetada) .

3 O La principal ventaja de los dispositivos móviles avanzados es la toma de fotografías desde cualquier punto y su envío a través de internet. La recuperación de información de imágenes obtenidas mediante estos dispositivos es un problema de reciente estudio. Actualmente, la aplicación más conocida que aborda este problema es Google Goggles [descrito en US20100260373], que es capaz de reconocer marcas de vino, libros, obras de arte, monumentos y logos comerciales.

3 5 A pesar de que reconocer cualquier tipo de imagen en general es un problema extremadamente complicado, este puede simplificarse en parte usando dispositivos móviles, ya que estos proporcionan datos adicionales (metadatos) sobre la localización espacio/temporal, información sobre el usuario y datos aportados por los

sensores para complementar la información de la imagen.

5 Estos metadatos pueden ser útiles para restringir la búsqueda. Por ejemplo, si tomamos una foto de un objeto en un exterior y conocemos la hora de la toma, podríamos mejorar el reconocimiento seleccionando sólo las imágenes que se han tomado alrededor de dicha hora, ya que las condiciones de iluminación serán similares.

1 O 15 2 O Podemos encontrar en la literatura diversas técnicas de extracción de características, tanto locales (SIFf, SURF, etc.) como globales (color, textura, etc.) . Tras obtener las características de la imagen, se pueden aplicar métricas basadas en distancias, agrupamiento en clusters o histogramas, o usar técnicas de aprendizaje, como vecinos más cercanos, support vector machines, o boosting, para obtener la clase de la imagen, o la imagen con mayor similitud. Para mejorar los resultados en la búsqueda de imágenes, conviene restringir el número de objetos con los que comparar la imagen de la consulta. Metadatos como la fecha o la localización GPS pueden facilitar la identificación de la escena o del objeto reduciendo el espacio de búsqueda. Por ejemplo, usando únicamente metadatos de la cámara se pueden obtener buenos resultados para discriminar entre escenas de interior y de exterior [US2005/0105776].

2 5 En la literatura se ha estudiado el aporte de los metadatos aportados por las cámaras fotográficas [US2ºosjo105776], o por los dispositivos móviles, aunque de una manera básica [US20100260373].

Explicación de la invención

3O 35

medios para la captura de imágenes, así como medios de transmisión de dichas imágenes capturadas junto con una pluralidad de metadatos a un servidor remoto.

5 El método se caracteriza porque comprende una etapa de captura de una imagen mediante el dispositivo móvil, así como la selección de una región dentro de la propia imagen por parte del usuario de dicho dispositivo móvil; en donde en dicha región se encuentra un objeto del cual se quiere obtener alguna información.

1 O Posteriormente, se produce el envío de la región seleccionada de la imagen junto con una pluralidad de metadatos. Tras ello, se identifica en el servidor remoto y se clasifica el objeto identificado, remitiendo dicha información al dispositivo móvil.

15 Por último, se valida la respuesta del servidor remoto en el dispositivo móvil por parte del usuario, indicando cuando esa información es correcta y, en caso contrario, etiquetando el objeto para su devolución y almacenamiento en una base de datos del servidor remoto.

20 25 3 O En un segundo aspecto de la invención, se reivindica el sistema que implementa el método anteriormente descrito. Como se puede observar, se trata de un sistema y un método personalizable, en el sentido de que se pretende que el usuario decida qué tipos de objeto desea clasificar, y colaborativo, en el sentido de que las imágenes que vaya añadiendo un usuario se podrán usar para mejorar las consultas de otros usuarios. A lo largo de la descripción y las reivindicaciones la palabra quot;comprendequot; y sus variantes no pretenden excluir otras características técnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y características de la invención se desprenderán en parte de la descripción y en parte de la práctica de la invención. Los siguientes ejemplos y dibujos se proporcionan a modo de ilustración, y no se pretende que sean limitativos de la presente invención. Además, la presente invención cubre todas las posibles combinaciones de realizaciones particulares y preferidas aquí indicadas.

3 5 Breve descripción de los dibujos

información de imágenes en dispositivos móviles usando metadatos.

Exposición detallada de un modo de realización

5 El esquema general se puede observar en la figura adjunta. El usuario puede tomar

una fotografía mediante el dispositivo móvil (100) y seleccionar la región

correspondiente al objeto del cual se quiere obtener información (106) . La imagen

comprendida en esta región se envía por red al servidor remoto (102) junto con los

metadatos descritos a continuación. El servidor remoto (102) posteriormente

1 O identifica o clasifica el objeto y devuelve la información al usuario, que puede validar

la respuesta. El usuario puede validar la respuesta, indicando si es correcta y, en caso

contrario, especificando el tipo o la clase de objeto.

Por ejemplo, si el sistema identifica que se le está haciendo una foto a una motocicleta

15 pero se trata de una bicicleta, el usuario podrá indicar que la respuesta no es correcta

para añadir la imagen etiquetada a la base de datos del servidor.

Se propone usar los metadatos que se describen a continuación, extraídos a partir de

los sensores que poseen algunos dispositivos móviles:

20

Giro del dispositivo. Un giroscopio puede proporcionar información sobre los

ángulos de Tait-Br y an. Estos representan los ejes de cabeceo, dirección y

alabeo, a partir de los cuales se pueden obtener más metadatos como el ángulo

respecto a la horizontal.

25 Orientación. Si el dispositivo móvil es rectangular, existen cuatro

orientaciones posibles. Este dato es de relevancia para rotar la imagen al

enviarla al servidor, y también para calcular el ángulo respecto a la horizontal.

Posición GPS. Las coordenadas en el momento de la toma pueden usarse para,

por ejemplo, escoger sólo aquellos objetos cercanos a la localización del

30 dispositivo. El verdadero potencial de la posición GPS se puede revelar

mediante geo-codificación inversa.

Datos de aceleración. Usando un acelerómetro se puede obtener la aceleración

respecto cada uno de los ejes en el momento de la toma. Estos datos

proporcionan una indicación sobre la estabilidad del dispositivo, y esta

35 información puede usarse para seleccionar las imágenes más estables como

1. Método de recuperac10n de información de imágenes en dispositivos

5 móviles usando metadatos; en donde dichos dispositivos móviles (100) comprenden

medios para la captura de imágenes y medios de transmisión de dichas imágenes

capturadas más una pluralidad de metadatos a un servidor remoto (102) ;

que se caracteriza porque

(i) la captura de una imagen mediante un dispositivo móvil (100) y la

1 O selección por parte del usuario de dicho dispositivo móvil (100) de una determinada

región dentro de la propia imagen, en donde dicha región se corresponde con un

objeto del cual se quiere obtener alguna información (106) ;

(ii) el envío de la región seleccionada de la imagen junto con una pluralidad de

metadatos;

15 (iii) la identificación (103) en el servidor remoto (102) y clasificación del

objeto identificado, remitiendo dicha información (104) al dispositivo móvil (too) ; y

(iv) la validación de la respuesta del servidor remoto (102) en el dispositivo

móvil (100) por parte del usuario, indicando cuando esa información es correcta y, en

caso contrario, etiquetando el objeto para su devolución y almacenamiento en una

2 O base de datos del servidor remoto (102) .

2. Método de acuerdo con la reivindicación 1 en donde los metadatos

comprenden al menos el giro del dispositivo, la aceleración en el momento de la

toma, metadatos de audio, datos de red, precisión y cobertura GPS, tamaño de la

2 5 región de interés, ángulo respecto a la horizontal, grado de luminosidad exterior,

metadatos obtenidos mediante geocodificación inversa, altura sobre el suelo y

condiciones climatológicas.

3. Método de acuerdo con las reivindicaciones 1 y 2 en donde la información

3 O remitida por el servidor remoto (102) comprende el tipo de objeto e información

adicional respecto a ese objeto.

4. Sistema de recuperación de de información de imágenes en dispositivos

móviles usando metadatos; en donde dichos dispositivos móviles (100) comprenden

3 5 medios para la captura de imágenes y medios de transmisión de dichas imágenes

capturadas más una pluralidad de metadatos a un servidor remoto (102) ;

que se caracteriza porque

implementa medios configurados para la ejecución del método de las reivindicaciones 1 a 3 y que consisten en medios para la selección por parte del usuario de dicho dispositivo móvil (100) de una región dentro de la propia imagen, que se corresponde con un objeto del cual se quiere obtener alguna información (106) ; medios configurados para el envío de la región seleccionada de la imagen junto con una pluralidad de metadatos, comprendiendo al menos el giro del dispositivo, la aceleración en el momento de la toma, metadatos de audio, datos de red, precisión y cobertura GPS, tamaño de la región de interés, ángulo respecto a la horizontal, grado de luminosidad exterior, metadatos obtenidos mediante geocodificación inversa,

O altura sobre el suelo y condiciones climatológicas; y medios para la identificación en el servidor remoto (102) y clasificación del objeto identificado, remitiendo dicha información (104) al dispositivo móvil (100) .