Dispositivo y método de análisis, almacenamiento y representación espacial mediante sonidos.

Método y dispositivo de análisis, almacenamiento y representación espacial mediante sonidos que comprende:

capturar un plano del espacio tridimensional mediante un dispositivo de captura de imágenes (2); extraer información de distancias de los objetos al dispositivo (2); generar un mapa tridimensional de los objetos capturados, estando dichos objetos definidos por sus coordenadas y su distancia al dispositivo (2); que se caracteriza porque comprende las etapas de: i) proporcionar un banco de sonidos que consiste en un conjunto de sonidos establecidos por un usuario; ii) asociar cada punto del espacio definido por sus coordenadas con al menos un sonido del banco de sonidos; iii) crear un mapa de sonidos codificados representando un plano del espacio tridimensional; y iv) reproducir secuencialmente, un sonido desde cada uno de los puntos definidos en el mapa de tal forma que se representa una única línea horizontal o haz de distancias.

La presente invención tiene por objeto un dispositivo configurado para obtener imágenes tridimensionales con sonido junto con sus coordenadas y dirección de adquisición; para posteriormente ser procesada la información y representada de diferentes formas, siendo su transformación en mapas acústicos su principal objetivo para usuarios ciegos. El dispositivo objeto de la invención se ha diseñado e integrado en los laterales de unas gafas, e incluye unas cámaras, unos micrófonos, unos auriculares y una unidad de procesado. La información adquirida es susceptible de ser supervisada para ayudar a guiar a personas con otras discapacidades o particularidades, y puede ser transmitida o almacenada para su manipulación o análisis posterior.

En el caso de ser aplicado a usuarios ciegos, el sistema representa el espacio mediante la transformación en sonidos. Los sonidos se escuchan a través de unos auriculares; estos sonidos son percibidos por el usuario cómo procedente de las superficies de los objetos que se representan. El número de sonidos, el movimiento o la capacidad del usuario van a permitir representar los objetos con sonidos bien en su totalidad, bien por un muestreo de éstos. De esta forma, el usuario concibe el espacio donde está situado y su cerebro reconstruye la forma de este espacio a partir de dichos sonidos. En el caso de almacenamiento para procesado de la información.

ESTADO DE LA TÉCNICA

En la actualidad, el deseo de integración de personas invidentes o con su capacidad visual reducida y la existencia de una tecnología de visión avanzada, hace que se estudien, diseñen y creen diversas propuestas encaminadas a mejorar la vida de dichas personas mejorando su autosuficiencia en el ámbito de su propia movilidad, por lo que se hace casi imprescindible la búsqueda y consolidación de métodos, sistemas y/o dispositivos para la ayuda de percibir el entorno que les rodea.

Existe una gran cantidad de documentación acerca de soluciones para este problema técnico, como por ejemplo la patente americana US2009122161 que dispone de dos

cámaras a una distancia predeterminada configuradas para capturar y transmitir imágenes, y un sistema de tratamiento conectado a las cámaras que se configura para crear un mapa topográfico tridimensional del área de visión comparando sus imágenes y teniendo en cuenta la distancia entre ellas, realiza una modulación en tonos y frecuencias de manera dinámica.

El uso de la estereovisión (conjunto de dos cámaras calibradas) es conocido y su procesado para la generación de una información tridimensional es similar y en cualquier caso es ampliamente conocido en la comunidad científica. El modo y la información adquirida son claves para una adecuada representación e interpretación de la información, y es este un elemento clave y diferenciador. El uso de sonidos, por el contrario, no suele utilizarse como herramienta para el posterior procesado de la información obtenida.

En concreto, el sistema objeto de la invención dispone de un sistema que lo posiciona y orienta en cada imagen, de manera que cada par de fotogramas o par estereoscópico tiene cada imagen, del instante, dirección e inclinación de ambas. Dado que el dispositivo se ha creado y ubicado en unas gafas, el dispositivo incluye dos micrófonos ubicados en cada lateral de las gafas en la patilla. Ello es lo que va a permitir generar una superficie tridimensional en su orientación y correcta coordenada absoluta 3D. Esta información absoluta junto con la medición del grado de inclinación de ambas cámaras con la línea horizontal del terreno permiten crear una información que permita ser almacenada y usada posteriormente.

La información adquirida por el sistema y procesada genera una superficie que puede ser almacenada transmitida como imagen, como superficie o transformada en una función sonora. La información almacenada en audio y video, dispone de la información complementaria del instante, coordenada y dirección.

La representación sonora del espacio se realiza mediante una llamada directa que sustituye cada punto de coordenada x, y, z detectado por las cámaras, en un sonido "virtual" que el usuario percibe cómo si se hubiera originado en la coordenada de referencia. El conjunto de estos sonidos permite a la persona ciega hacer una reconstrucción mental de la superficie. En concreto el sistema utiliza una función sonora generada en tiempo real o almacenada en una banco de sonidos o datos denominada HRTF y que el usuario percibe como coordenadas sonoras provenientes de la superficie, y que el cerebro interpreta como tales.

El uso de una determinada combinación de mapas sonoros generados con HRTF permite asociar sonidos a tonalidades, permitiendo codificar elementos u obstáculos de riesgo. Las siglas HRTF son conocidas en el ámbito técnico y científico y se corresponden con Head Related Transfer Function, son funciones o ecuaciones matemáticas que relacionan cómo se modifica un sonido que se genera desde una punto del espacio determinado an función de si llegan a una posición determinada, y en concreto de si llegan al oído derecho o al oído izquierdo.

En una persona con capacidad visual normal, la percepción de la profundidad se genera mediante la estereovisión del área de visión que se observa. El cerebro, interpreta y percibe un "área o superficie tridimensional". En el caso de que se desee representar dicho espacio por sonidos, es posible escoger diferentes estrategias o maneras de hacerlo. La representación mediante un lenguaje es una de ellas (Ejemplo: "silla a un metro delante"), no obstante, la que se propone y se utiliza en esta invención se basa en un tipo de sonidos asociados a una función matemática de manera que el que llega a un oído es diferente al que llega al otro, y que el usuario percibe cómo si se hubieran emitido desde un determinado punto del espacio. Si disponemos de la información 3D que se desea representar, es posible representarla toda parte de ella. Dado que la percepción del sonido y el número de sonidos que una persona puede interpretar por cada unidad de tiempo es limitada y depende del tipo de sonido, de la capacidad auditiva y del entrenamiento, la cantidad de información o número de puntos por segundo que se pueden representar con sonidos es limitado. Esta "limitación" hace que el sistema deba escoger de qué manera, con qué parte del espacio y que área del espacio se decida representar, pudiendo el usuario, en función del contexto y su necesidad puntual, escoger una de ellas, como por ejemplo, un plano horizontal a modo de "bastón", un "cono frontal" o un "rectángulo a modo de área de pantalla o tv".

Es conocido que el uso de estereovisión o visión artificial están afectados de manera notable por la iluminación (por la noche sin luz no funciona), el uso de información de coordenadas y de dirección es un complemento que permite la generación del mapa 3D a partir de la consulta en un banco de datos de los objetos, así como permite codificar mobiliario fijo que existe, además de poder guiar con sonidos al usuario hacia la dirección requerida.

La patente española ES2133078 describe un sistema para la creación de un espacio acústico virtual, en tiempo real, a partir de la información proporcionada por un sistema de

visión artificial. Un sistema óptico-electrónico capta mediante estereovisión el entorno físico del usuario, y apoyo visual. La captación de imágenes se hace mediante dos microcámaras, se calcula estereovisión, se generarán sonidos virtuales en una unidad portátil y se envían señales acústicas a unos auriculares, de modo que el sujeto obtenga información de la zona del espacio que se desea identificar. Este sistema reconoce objetos y texturas con las cámaras y genera sonidos a través de unas funciones conocidas en el ámbito técnico ya mencionadas y denominadas HRTF.

Ya se ha comentado que el uso de un sistema de estereovisión y su combinación con las funciones HRTF son conocidos en la comunidad científica internacional y han sido de utilizados en proyectos públicos de investigación cómo el proyecto Europeo CASBLIP (Acrónimo del poryecto Cognitive Aid for Blind People, www.casblip.es ). A diferencia de ellos y del proyecto CASBLIP, el sistema que se presenta en éste documento dispone de un calibrado y alineado de cada par de imágenes, unos micrófonos cerca de los oídos y un banco de sonidos almacenado. Estos tres elementos permiten corregir las distorsiones de distancia a objetos derivadas de la inclinación de las cámaras, representar con más rapidez las superficies y no necesariamente con funciones HRTF (sino con cualquier otro tipo de sonidos escogidos por el usuario) y compensar de manera individual el volumen y sonido representado en función...

1.- Método de análisis, almacenamiento y representación espacial mediante sonidos que comprende: capturar un área del espacio tridimensional mediante un dispositivo de captura de imágenes (2); extraer información de distancias de los objetos al dispositivo de captura de imágenes (2); generar un mapa tridimensional de los objetos capturados, estando dichos objetos definidos por sus coordenadas y su distancia al dispositivo de captura (2); que se caracteriza por que comprende las etapas de: i) proporcionar un banco de sonidos que consiste en un conjunto de sonidos establecidos por un usuario; ii) asociar cada punto del espacio definido por sus coordenadas con al menos un sonido del banco de sonidos; iii) crear un mapa de sonidos codificados representando un plano del espacio tridimensional capturado; y iv) reproducir secuencialmente, en un elemento de reproducción de sonido del tipo auricular (3), un sonido desde cada uno de los puntos definidos en el mapa de tal forma que se representa el espacio mediante una única línea horizontal o haz de distancias.

2. Método de acuerdo con la reivindicación 1 en donde la representación del espacio se hace mediante varías líneas horizontales.

3.- Método de acuerdo con la reivindicación 1 en donde la representación del espacio se hace mediante un área de representación.

4.- Dispositivo de análisis y representación espacial que comprende: un cuerpo (1) portable por un usuario; un dispositivo de captura de imágenes (2); un auricular (3); un procesador (4); una memoria; uno o más programas en el que el o los programas están almacenados en la memoria y configurados para ejecutarse mediante el procesador (4) incluyendo los programas instrucciones para ejecutar el método de la reivindicación 1.

5.- Dispositivo de acuerdo con la reivindicación 4 en donde incorpora al menos un micrófono (5).

6.- Dispositivo de acuerdo con la reivindicación 4 en donde incorpora un acelerómetro.

7.- Dispositivo de acuerdo con la reivindicación 4 en donde incorpora un sistema de localización GPS.

8.- Dispositivo de acuerdo con la reivindicación 4 en donde el procesador (4) se comunica con el dispositivo de captura (2) de manera inalámbrica.

9.- Dispositivo de acuerdo con la reivindicación 4 en donde el sistema de captura del espacio se realiza mediante uno o varios radares.

10.- Dispositivo de acuerdo con la reivindicación 4 en donde se incluye un sistema de comunicación con el usuario con un dispositivo táctil.

11.- Dispositivo de acuerdo con la reivindicación 4 en donde los auriculares se sustituyen por dispositivos de transmisión de sonido se realiza por auriculares de conducción ósea o mediante implantes cocleares.

12.- Dispositivo de acuerdo con cualquiera de las reivindicaciones 4-11 en donde el que cada fotograma grabado cuenta con la información del instante, posición y dirección en la que ha sido tomada; y en el que el sonido se almacena mediante dos micrófonos posicionados cerca de cada uno de los oídos del usuario que está realizando la grabación.