Método y aparato para generar textura en una escena tridimensional.

Un método de formación de imágenes en 3D implementado en un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo,

comprendiendo dicho método la monitorización de un volumen definido por un límite de monitorización configurado basado en:

en un modo de tiempo de ejecución:

capturar datos de imágenes de múltiples vistas de un campo de visión correspondiente a dicho volumen monitorizado, utilizando múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido;

determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de los datos de las imágenes a partir de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas;

comparar las posiciones de los objetos de entran en el campo de visión respecto al límite de monitorización configurado y determinar si cualquier objeto está dentro del límite de monitorización configurado o no; y en un modo de aprendizaje, en preparación para el funcionamiento en el modo de tiempo de ejecución, verificar el límite de monitorización configurado mediante:

determinar si hay algunas regiones de baja de textura en el campo de visión para las que no se pueden determinar datos de la medición en 3D suficientemente densos; y

en el caso de que se identifiquen una o más regiones de baja textura:

generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura;

capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura identificadas se iluminan con la textura sintética; y

determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos correspondientes de la medición en 3D para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

Método y aparato para generar textura en una escena tridimensional

Campo de la invención La presente invención se refiere en general a visión artificial y a formación de imágenes en tres dimensiones, y se refiere particularmente a la generación de textura en escenas tridimensionales.

Antecedentes En general, las técnicas de reconstrucción de múltiples vistas primero establecen una correspondencia entre las imágenes bidimensionales (2D) de una escena, como se ve mediante respectivos sensores múltiples. Por ejemplo, dos cámaras pueden estar dispuestas para tener campos de visión solapados, de modo que forman la imagen de la misma área con desplazamientos angulares y de traslación conocidos. La reconstrucción de escenas tridimensionales (3D) implica la triangulación de las correspondencias entre las imágenes en 2D, dada la relación geométrica entre las diferentes vistas.

La tarea de establecer la correspondencia a través de múltiples vistas se basa en la extracción de características de imágenes robustas en cada vista en 2D relacionada. Normalmente, tales características se caracterizan por las variaciones locales en el contraste de las imágenes. Estas variaciones de contraste locales se denominan comúnmente como "textura". En un caso general, la escena vista puede contener regiones que corresponden a superficies que carecen de suficiente textura para una correspondencia con éxito, por lo que es difícil o imposible la obtención de una reconstrucción completa en 3D de la escena. Tales regiones pueden ser llamadas como que son "sin textura". Algunos ejemplos comunes paredes, suelos o mesas pintados e iluminados de manera uniforme.

El riesgo de no poder obtener la correspondencia de imágenes debido a la textura insuficiente a menudo es mitigado usando al menos uno de dos métodos. Un primer método modifica las superficies en cuestión, tales como a través de pintura o mediante la colocación de marcadores texturizados. Otro enfoque implica la proyección de luz estructurada en el área durante la formación de imágenes, para "añadir" la textura a las regiones que de otro modo serían sin textura.

Las aplicaciones en las que es necesario tener una visión totalmente texturizada en todo momento se benefician principalmente de las mitigaciones anteriores. Sin embargo, para grandes áreas de monitorización, tales mitigaciones suelen ser caras y poco prácticas. Imaginemos, por ejemplo, un aparato de detección que está destinado a monitorizar una determinada área definida por los límites que se configuran durante la configuración del sistema. Tales límites pueden corresponder a superficies físicas, o pueden representar superficies virtuales definidas por volúmenes en 3D. Un sistema de visión artificial basado en el uso de cámaras estereoscópicas proporciona un buen ejemplo de trabajo de un sistema de este tipo.

Un aparato basado en la visión estéreo incluye algún tipo de sensor de visión estéreo o analizador de datos de medición que analiza grupos de puntos en 3D en el volumen monitorizado, utilizando criterios necesarios para establecer la presencia y la posición de los objetos más grandes que el tamaño mínimo detectable. La posición de un objeto se compara con el límite configurado, que define el volumen monitorizado, y se toma una decisión en cuanto a si ha producido o no una intrusión.

Un enfoque para la configuración de límites se basa en un usuario que introduce manualmente las coordenadas de los límites. Por ejemplo, un usuario autorizado tiene acceso a una herramienta de configuración basada en un PC que proporciona una interfaz al aparato, para configurar manualmente los límites de monitorización de acuerdo a las coordenadas definidas. Este enfoque requiere que el usuario calcule o sepa los límites antes de la configuración del sistema, y puede no ser conveniente.

Otra forma de configurar los límites es dejar que el aparato los mida. Este enfoque se conoce comúnmente como un modo de "aprendizaje", en el que el aparato aprende automáticamente las posiciones de las superficies físicas ya presentes en el área visualizada. Los límites se configuran automáticamente para colocarse a lo largo de las superficies físicas aprendidas, separadas por una tolerancia/distancia especificada. El usuario puede entonces aceptar o modificar los límites configurados aprendidos, como se requiere para la aplicación. Sin embargo, en la medida en que una porción de los límites que se aprenden automáticamente son sin textura, el aparato perderá tales porciones o no alcanzará dichas porciones con una precisión suficiente. El usuario puede introducir manualmente las coordenadas de las porciones limítrofes problemáticas, pero al hacerlo, impone un inconveniente al usuario e interfiere con la adquisición totalmente automática de la información de los límites.

Por otra parte, durante la configuración de un aparato de este tipo se debe tener cuidado, de tal manera que los límites configurados (que definen el volumen monitorizado) sean consistentes con la naturaleza proyectiva del campo de visión del sensor (por ejemplo, dentro del campo de visión de una cámara de visión estereoscópica incluida dentro del aparato) . En otras palabras, cada parte del límite configurado debe ser visible -sin sombras -en

cualquier parte en el campo de visión del sensor. Además, una vez que se han configurado los límites, el usuario usualmente tiene que comprobar su validez. La verificación se puede hacer moviendo piezas de prueba de textura especiales o paneles de prueba a través de cada límite. Tal enfoque consume tiempo y es inconveniente, y por lo tanto propenso a errores. Además, en algunas aplicaciones de seguridad, puede ser necesario garantizar la presencia de un fondo físico dentro de una distancia máxima desde el sensor, o dentro de una distancia mínima del límite configurado. La validación manual de estas condiciones también puede ser una tarea difícil para el operador.

El documento US2004/0119833 divulga un método y un aparato adaptados para la proyección de textura sintética sobre regiones de baja textura para medir la forma del objeto con un sistema de formación de imágenes de múltiples vistas.

Sumario De acuerdo con la presente invención, se proporciona un método como se indica en la reivindicación 1. Además, de acuerdo con la presente invención, se proporciona un aparato como se indica en la reivindicación 11. Otras características de la invención serán evidentes a partir de las reivindicaciones dependientes, y la descripción que sigue.

En general, esta divulgación enseña un método de formación de imágenes en 3D implementado en un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo. El método incluye la monitorización de un volumen definido por un límite de monitorización configurado sobre la base de, en un modo de tiempo de ejecución, la captura de datos de imágenes de múltiples vistas para un campo de visión que corresponde al volumen monitorizado, utilizando varios sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido. Además, en el modo de tiempo de ejecución, el método incluye la determinación de las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de datos de imágenes de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas, comparando las posiciones de los objetos que entran en el campo de visión contra el límite de monitorización configurado, y determina si tal objeto está dentro o no del límite de monitorización configurado.

Aún más, en un modo de aprendizaje, en preparación para el aparato que funciona en el modo de tiempo de ejecución, el método incluye la verificación del límite de monitorización configurado. Aquí, la verificación del límite de monitorización configurado se basa en determinar si existen regiones de baja textura en el campo de visión para el que datos de la medición en 3D suficientemente densos no se pueden determinar. En el caso de que de que una o más regiones de baja textura sean identificadas, el método incluye: generar datos o señales de salida para controlar una herramienta de textura o guiar a un usuario que controla la herramienta de textura, para proyectar la textura sintética en la uno o más regiones de baja textura; capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura identificadas se iluminan con la textura sintética; y determinar si se ha proporcionado... [Seguir leyendo]

1. Un método de formación de imágenes en 3D implementado en un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo, comprendiendo dicho método la monitorización de un volumen definido por un límite de monitorización configurado basado en:

en un modo de tiempo de ejecución:

capturar datos de imágenes de múltiples vistas de un campo de visión correspondiente a dicho volumen monitorizado, utilizando múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido; determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de los datos de las imágenes a partir de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas; comparar las posiciones de los objetos de entran en el campo de visión respecto al límite de monitorización configurado y determinar si cualquier objeto está dentro del límite de monitorización configurado o no; y en un modo de aprendizaje, en preparación para el funcionamiento en el modo de tiempo de ejecución, verificar el límite de monitorización configurado mediante:

determinar si hay algunas regiones de baja de textura en el campo de visión para las que no se pueden determinar datos de la medición en 3D suficientemente densos; y en el caso de que se identifiquen una o más regiones de baja textura:

generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura; capturar datos de imágenes de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura identificadas se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos correspondientes de la medición en 3D para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

2. El método de la reivindicación 1, que comprende además, para el caso donde no se ha proporcionado suficiente textura, proporcionar una indicación al operador que no se ha proporcionado suficiente textura para el límite de monitorización configurado.

3. El método de la reivindicación 2, que comprende además, para el caso donde el operador controla una herramienta de textura que proyecta la textura sintética, generar datos o señales de salida para guiar al operador en el control de la herramienta de textura, para proyectar la textura sintética, al menos, en las regiones de baja textura para las que no se ha proporcionado suficiente textura.

4. El método de la reivindicación 3, donde la generación de las señales o datos de salida para guiar al operador comprende la generación de información que proporciona una guía visual para el operador de la posición real respecto a la posición deseada de la textura sintética dentro del campo de visión.

5. El método de la reivindicación 3, donde la generación de las señales o los datos de salida para guiar al operador comprende hacer que se muestre una representación visual del campo de visión, indicando dicha representación visual al menos uno de: dónde la textura sintética se detecta actualmente mediante el aparato dentro del campo de visión; y dónde las regiones de baja textura para las que no se haya facilitado suficiente textura están dentro del campo de visión.

6. El método de la reivindicación 1, donde para el caso donde no se ha proporcionado suficiente textura y el operador controla una herramienta de textura que proyecta la textura sintética, el método comprende además la generación de señales o datos de salida provocando una representación visual del campo de visión a visualizar, indicando dicha representación visual el progreso realizado por el aparato respecto al rellenado en las regiones de baja textura con datos de la medición en 3D suficientemente densos, basado en el control del operador de la herramienta de textura para proyectar la textura sintética en el campo de visión.

7. El método de la reivindicación 1, que comprende además aprender automáticamente el límite de monitorización configurado como parte de la operación en dicho modo de aprendizaje, sobre la base de la información de límites derivada de forma automática a partir de los datos de la formación de imágenes de múltiples vistas que se captura mediante los sensores de vistas múltiples respectivos para el campo de visión durante el modo de aprendizaje y se procesan utilizando el algoritmo de correspondencia de múltiples vistas, para generar inicialmente el mapa de la

medición en 3D para el campo de visión.

8. El método de la reivindicación 1, donde la verificación del límite de monitorización configurado incluye la verificación de que está dentro de las tolerancias admisibles respecto a los datos de la medición en 3D configurado.

9. El método de la reivindicación 1, donde el aparato no está calibrado respecto a la textura sintética.

10. El método de la reivindicación 1, donde el aparato controla la herramienta de textura, y donde la generación de los datos o las señales de salida para controlar la herramienta de textura comprende el aparato de generación de señales para guiar la herramienta de textura para la proyección de la textura sintética en el campo de visión.

11. Un aparato que incluye un sistema de formación de imágenes de múltiples vistas estereoscópico o de otro tipo y que está configurado para monitorizar un volumen definido por un límite de monitorización configurado, comprendiendo dicho aparato uno o más circuitos de procesamiento que están configurados para:

en un modo de tiempo de ejecución:

capturar datos de imágenes de múltiples vistas de un campo de visión correspondiente a dicho volumen monitorizado, utilizando múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas que tiene vistas superpuestas del volumen definido; determinar las posiciones de los objetos que entran en el campo de visión mediante el procesamiento de datos de imágenes a partir de los múltiples sensores respectivos usando un algoritmo de correspondencia de múltiples vistas; comparar las posiciones de los objetos que entran en el campo de visión contra el límite de monitorización configurado y determinar si cualquier objeto está o no dentro del límite de monitorización configurado; y en un modo de aprendizaje, en preparación para la operación en el modo de tiempo de ejecución, verificar el límite de monitorización configurado mediante:

determinar si hay regiones de baja de textura en el campo de visión para los que no se pueden determinar datos de la medición en 3D suficientemente densos; y en el caso de que se identifiquen una o más regiones de baja textura:

generar datos o señales de salida para controlar una herramienta de textura o para guiar a un usuario que controla la herramienta de textura, para proyectar una textura sintética en la una o más regiones de baja textura; capturar datos de imagen de múltiples vistas para el campo de visión usando los múltiples sensores respectivos del sistema de formación de imágenes de múltiples vistas, mientras una o más de las regiones de baja textura se iluminan con la textura sintética; y determinar si se ha proporcionado suficiente textura para la medición en 3D de las regiones de baja textura y, si es así, actualizar los datos de la medición en 3D correspondiente para las regiones de baja de textura en un mapa de medición en 3D de dicho campo de visión y proporcionar una indicación a un operador del aparato que se ha proporcionado suficiente textura para el límite de monitorización configurado.

12. El aparato de la reivindicación 11, donde el aparato incluye circuitos de entrada/salida que comprenden al menos una de una interfaz de ordenador y una pantalla, y donde, para el caso donde no se ha proporcionado suficiente textura, el uno o más circuitos de procesamiento están configurados para utilizar el circuito de entrada/salida para proporcionar una indicación al operador que no se ha proporcionado suficiente textura para el límite de monitorización configurado.

13. El aparato de la reivindicación 12, donde el operador controla una herramienta de textura que proyecta la textura sintética, y donde el uno o más circuitos de procesamiento están configurados para utilizar el circuito de entrada/salida para proporcionar una guía visual al operador de la posición real respecto a la posición deseada de la textura sintética.

14. El aparato de la reivindicación 13, donde el uno o más circuitos de procesamiento están configurados para proporcionar la guía visual basada en provocar una representación visual del campo de visión que hay que mostrar, a través de la interfaz del ordenador o a través de la pantalla, indicando dicha representación visual al menos uno de: dónde está la textura sintética actualmente detectada dentro del campo de visión; y dónde están las regiones de baja textura para las que no se ha facilitado suficiente textura dentro del campo de visión.

15. El aparato de la reivindicación 14, donde el uno o más circuitos de procesamiento están configurados para hacer que la representación visual del campo de visión indique los progresos realizados en el rellenado en las regiones de baja textura con datos de la medición en 3D suficientemente densos, basado en el control del operador de la herramienta de textura para proyectar la textura sintética en el campo de visión.

16. El aparato de la reivindicación 11, donde el uno o más circuitos de procesamiento están configurados para aprender automáticamente el límite de monitorización configurado mientras opera en el modo de aprendizaje, sobre la base de estar configurado para derivar la información de límites de forma automática a partir de los datos de las imágenes de múltiples vistas que se capturan mediante los sensores de múltiples vistas durante el modo de

aprendizaje y son procesados utilizando el algoritmo de correspondencia de múltiples vistas, para generar un mapa de medición en 3D inicial para el campo de visión.

17. El aparato de la reivindicación 16, donde el uno o más circuitos de procesamiento están configurados además para determinar a partir de los datos de las imágenes de múltiples vistas capturadas en el modo de aprendizaje, o a partir del mapa de medición en 3D inicial determinado a partir de los mismos, si hay alguna región de baja textura en el campo de visión.

18. El aparato de la reivindicación 11, donde el uno o más circuitos de procesamiento están configurados para verificar que límite de monitorización configurado está dentro de las tolerancias admisibles respecto a los datos de la 15 medición en 3D configurados.

19. El aparato de la reivindicación 11, donde el aparato no está calibrado respecto a la textura sintética.

20. El aparato de la reivindicación 11, donde el aparato controla la herramienta de textura, y donde el uno o más

circuitos de procesamiento están configurados para controlar la herramienta de textura para la proyección de la textura sintética en las regiones de baja textura en el campo de visión.