Sistema y método para optimizar un sistema de seguimiento.

Un método implementado por ordenador para optimizar un sistema de seguimiento (100) que comprende las etapas de:

- adquirir los datos de malla que representan las posibles posiciones y orientaciones de marcador activo en un objeto a seguir, representando los datos de postura las posibles posturas del objeto a seguir en condiciones de funcionamiento, y al menos una posición y orientación de cámara (101),

- calcular la visibilidad de cada nodo en la malla que representa las posibles posiciones de marcador activo a partir de al menos una ventana gráfica de cámara para 10 cada postura de los datos de postura y generar una lista de valores de visibilidad que representan cada nodo, comprendiendo los valores de visibilidad el recuento de cuántas veces es visible un nodo cuando la visibilidad desde cualquier cámara se cuenta una vez por postura (102),

- seleccionar un nodo no seleccionado anteriormente con el recuento de visibilidad más alto como un nodo de colocación de marcador activo (103),

- eliminar los nodos que están más cerca del nodo seleccionado que un umbral de supresión no-máxima (104),

- eliminar las posturas que tienen al menos un número predeterminado de nodos seleccionados (105),

- comprobar si un porcentaje predeterminado de todas las posturas tiene el número predeterminado de nodos seleccionados (106),

- si la comprobación es negativa, repetir las etapas de calcular, seleccionar, eliminar nodos, eliminar posturas y comprobar (106a),

- proyectar las posiciones de nodos seleccionados finales en el plano de imagen de cada ventana gráfica de cámara para cada postura, y calcular la postura de la malla con respecto a las ventanas gráficas de cámara usando un algoritmo de seguimiento para el que se optimizará el sistema (107),

- calcular el error de postura y la cobertura de postura, que es el porcentaje de posturas que pueden estimarse con el algoritmo de seguimiento, comparando los resultados del algoritmo de seguimiento con los datos reales sobre el terreno (108),

- registrar y emitir los resultados de precisión y de cobertura de postura, junto con un número y unas posiciones de nodos de colocación de marcador activo (109),

- comprobar si existe un conjunto de parámetros de optimización, un conjunto de parámetros de estimación de postura, un conjunto de localizaciones de cámara o una malla de objetos 3D nuevos (110),

- si la comprobación es positiva, empezar de nuevo el método con tales datos nuevos a partir de la etapa de adquisición de datos de malla (110a),

- seleccionar de entre los resultados un conjunto de localizaciones de cámara, los datos de malla 3D, un árbol de marcador que comprende las coordenadas 3D de los nodos seleccionados, un conjunto de parámetros de optimización y un conjunto de parámetros de algoritmos de estimación de postura, cumplir al menos una restricción que es una de las siguientes, elegir un conjunto de parámetros con el mínimo error de postura, un sistema con las mínimas posturas ocultas o un sistema con el número mínimo de marcadores, en el que las posturas ocultas son posturas que el algoritmo de estimación de postura no es capaz de calcular (111).

Sistema y método para optimizar un sistema de seguimiento Campo de la invención

La presente invención se refiere al campo del cálculo y la simulación y abarca métodos para optimizar las posiciones de marcadores fiduciales en los sistemas de seguimiento de objetos ópticos, simulando la visibilidad.

Antecedentes de la invención

Se sabe que hay métodos y modelos para realizar el seguimiento de un objeto tridimensional en un entorno y calcular su posición y su orientación (postura) con respecto a un sistema de coordenadas predeterminado. Estos tipos de sistemas de seguimiento se usan, por ejemplo, en aeronaves para determinar la orientación de la cabeza del piloto. Una vez que se adquiere la orientación con respecto al sistema de coordenadas de, por ejemplo, los dispositivos de visualización, entonces es posible, en consecuencia, generar gráficas en los mismos. Existen diferentes métodos para el seguimiento de un objeto en la escena usando medios magnéticos, mecánicos u ópticos. Actualmente, las relaciones espaciales de los objetos también pueden determinarse usando sensores magnéticos o rayos láser, pero la presente invención se refiere específicamente a los sistemas que usan seguidores basados en cámara (de tv de día, térmicos, de IR, de tiempo de vuelo, etc.).

En uno de los sistemas ópticos basados en cámara el piloto lleva un casco con patrones (marcadores fiduciales), y al menos una cámara de seguimiento determina la posición y la orientación del casco usando cálculos geométricos basados en estos patrones. Por lo tanto, la relación espacial de cálculo entre un objeto que tiene un patrón de seguimiento y una cámara se conoce bien en el estado de la técnica. A lo largo del documento, siempre que se mencione una relación espacial, debe entenderse que significa la relación entre un sistema de referencia predeterminado de la entidad con respecto a los de las otras. La determinación de la posición y la orientación de una entidad usando fiduciales se denomina problema de estimación de postura y puede exponerse de la siguiente manera: dado un conjunto de N correspondencias de características entre los puntos tridimensionales (3D) de un objeto y la proyección bidimensional (2D) de ese objeto sobre el plano de la imagen, encontrar la rotación y la traslación del objeto con respecto al sistema de referencia de la cámara. El objetivo es encontrar la rotación y la traslación entre la cámara y el objeto 3D, de manera que se conozca la localización y la orientación del objeto 3D. Este sistema de referencia se basa, en general, en el patrón respectivo de un objeto bajo consideración. Puesto que la posición y la orientación de la cámara de seguimiento con respecto a los otros sistemas de coordenadas se conocen (o pueden calcularse o medirse) en un sistema de seguimiento, también es posible calcular la relación espacial del casco con el sensor de la cámara de seguimiento y, a continuación, con otros sistemas de coordenadas. En este contexto, "objeto a seguir" significa un objeto que tiene un patrón de seguimiento (marcador fiducial) y al que se realiza un seguimiento por un sistema de seguimiento. Puede ser o bien un casco como en un sistema de seguimiento montado en el casco o cualquier otro objeto.

Los patrones usados en los sistemas de seguimiento basados en cámara son o bien patrones gráficos (generalmente en blanco y negro) (marcador pasivo) seguidos por cámaras de luz visible o matrices de fuentes de luz (por ejemplo, diodos emisores de luz o LED) (marcador activo). Estas fuentes de luz pueden elegirse para estar en el intervalo de infrarrojos del espectro electromagnético con una selección adecuada del conjunto de sensor y filtro de cámara. También son posibles otras disposiciones, pero la más conveniente entre las mismas es la que tiene los LED infrarrojos, ya que estos sistemas pueden funcionar en condiciones de iluminación inapropiadas. Las posiciones (localizaciones) de estos LED en el objeto a seguir deben determinarse atentamente para garantizar que se consigue un pequeño error de postura y que la cobertura es alta. Existen algunos métodos usados actualmente para determinar y optimizar las posiciones de los marcadores fiduciales. En uno de tales métodos usados, el número de fiduciales visibles y su ángulo relativo con respecto al sensor óptico se usa como una restricción para determinar las posiciones fiduciales óptimas. Este método está destinado a usarse en grandes áreas con marcas fiduciales y no puede aplicarse para optimizar las localizaciones fiduciales en un objeto a seguir en movimiento que se captura por una cámara estacionaria. Además, cuando se considera un sistema de seguimiento montado en el casco, la tendencia de movimiento del piloto también debe considerarse cuando se calcula la visibilidad fiducial. Además, los parámetros de estimación de postura usados por el algoritmo de estimación de postura no se tienen en cuenta en los métodos actuales, lo que afecta directamente a la precisión de salida del sistema.

Los métodos actuales no ofrecen una manera eficaz de simular las posiciones de cámara y fiduciales de un sistema de seguimiento para optimizar la precisión de estimación de postura del sistema por completo. Para proporcionar una solución a este problema, debe introducirse una nueva metodología que use nuevas etapas para determinar las posiciones fiduciales en un objeto a seguir, que se mueve en frente de una cámara estacionaria.

El documento de patente de Estados Unidos US2004239756, una aplicación en el estado de la técnica, desvela un método que usa una serie de fiduciales visibles y su ángulo relativo con respecto al dispositivo de captura como una restricción para determinar las posiciones fiduciales óptimas y calcular una postura delimitada de error.

Sumario de la invención

Un objetivo de la presente invención es simular las posiciones de cámara y fiduciales y los parámetros de algoritmo de estimación de postura de un sistema de seguimiento para optimizar el sistema.

Descripción detallada de la invención

Un sistema y un método realizados para alcanzar el objetivo de la presente invención se ilustran en las figuras adjuntas, en las que:

La figura 1 es la vista esquemática del sistema de realización preferido.

La figura 2 muestra la gráfica de una malla de posibles posiciones fiduciales en el objeto.

La figura 3 muestra la gráfica del resultado de la rutina de optimización.

La figura 4 es el diagrama de flujo del método preferido de la presente invención.

Los componentes ilustrados en las figuras se referencian de manera individual, haciendo los números y las letras referencia a lo siguiente:

1. Sistema para optimizar el sistema de seguimiento

2. Unidad de procesamiento

3. Dispositivo de entrada/salida

4. Unidad de memoria

100. Método para optimizar el sistema de seguimiento

Un método para optimizar el sistema de seguimiento (100) comprende fundamentalmente las etapas que se definen en la reivindicación 1.

En primer lugar, las posibles posiciones de los fiduciales activos en el objeto a seguir (por ejemplo, un casco para un sistema de seguimiento de cabeza con LED infrarrojos) se modelan matemáticamente para convertir el problema en un problema de optimización específico. Para representar un modelo matemáticamente, hay diversos métodos conocidos en la actualidad y un ejemplo muy básico puede ser la representación de cada posición en el objeto con una coordenada tridimensional. Es importante observar que estas coordenadas en la malla (modelo) se determinan con respecto a un sistema de coordenadas común y deben relacionarse con las posibles localizaciones de cámara. Al mismo tiempo, también deben introducirse los datos de postura que representan posibles posturas del objeto a seguir en condiciones de funcionamiento. En una configuración preferida de la presente Invención, estos datos se adquieren usando unidades de medición inercial (IMU) colocadas en el objeto real en condiciones de funcionamiento reales y los movimientos de los objetos se registran para usarse como los datos de postura. Otra opción es usar una configuración de estimación de postura basada en óptica con muchas cámaras de alta resolución que sea capaz de generar datos de postura precisos y completos y marcadores activos montados en el objeto a seguir. Este sistema de adquisición de datos es diferente del actual, por lo que se espera adquirir de manera más precisa y completa la postura del objeto en condiciones de funcionamiento reales. Estos datos son de nuevo específicos y representan muchas posturas posibles del objeto en diversos escenarios de movimiento. Como se ha indicado, estos datos deben considerarse en los... [Seguir leyendo]

1. Un método implementado por ordenador para optimizar un sistema de seguimiento (100) que comprende las etapas de:

- adquirir los datos de malla que representan las posibles posiciones y orientaciones de marcador activo en un objeto a seguir, representando los datos de postura las posibles posturas del objeto a seguir en condiciones de funcionamiento, y al menos una posición y orientación de cámara (101),

- calcular la visibilidad de cada nodo en la malla que representa las posibles posiciones de marcador activo a partir de al menos una ventana gráfica de cámara para cada postura de los datos de postura y generar una lista de valores de visibilidad que representan cada nodo, comprendiendo los valores de visibilidad el recuento de cuántas veces es visible un nodo cuando la visibilidad desde cualquier cámara se cuenta una vez por postura (102),

- seleccionar un nodo no seleccionado anteriormente con el recuento de visibilidad más alto como un nodo de colocación de marcador activo (103),

- eliminar los nodos que están más cerca del nodo seleccionado que un umbral de supresión no-máxima (104),

- eliminar las posturas que tienen al menos un número predeterminado de nodos seleccionados (105),

- comprobar si un porcentaje predeterminado de todas las posturas tiene el número predeterminado de nodos

seleccionados (106),

- si la comprobación es negativa, repetir las etapas de calcular, seleccionar, eliminar nodos, eliminar posturas y

comprobar (106a),

- proyectar las posiciones de nodos seleccionados finales en el plano de imagen de cada ventana gráfica de cámara para cada postura, y calcular la postura de la malla con respecto a las ventanas gráficas de cámara usando un algoritmo de seguimiento para el que se optimizará el sistema (107),

- calcular el error de postura y la cobertura de postura, que es el porcentaje de posturas que pueden estimarse con el algoritmo de seguimiento, comparando los resultados del algoritmo de seguimiento con los datos reales sobre el terreno (108),

- registrar y emitir los resultados de precisión y de cobertura de postura, junto con un número y unas posiciones de nodos de colocación de marcador activo (109),

- comprobar si existe un conjunto de parámetros de optimización, un conjunto de parámetros de estimación de postura, un conjunto de localizaciones de cámara o una malla de objetos 3D nuevos (110),

- si la comprobación es positiva, empezar de nuevo el método con tales datos nuevos a partir de la etapa de adquisición de datos de malla (110a),

- seleccionar de entre los resultados un conjunto de localizaciones de cámara, los datos de malla 3D, un árbol de marcador que comprende las coordenadas 3D de los nodos seleccionados, un conjunto de parámetros de optimización y un conjunto de parámetros de algoritmos de estimación de postura, cumplir al menos una restricción que es una de las siguientes, elegir un conjunto de parámetros con el mínimo error de postura, un sistema con las mínimas posturas ocultas o un sistema con el número mínimo de marcadores, en el que las posturas ocultas son posturas que el algoritmo de estimación de postura no es capaz de calcular (111).

2. Un método para optimizar el sistema de seguimiento (100) de acuerdo con la reivindicación 1, en el que los datos de postura se adquieren usando unidades de medición inercial (IMU) colocadas en el objeto real en condiciones de funcionamiento reales y los movimientos de los objetos se registran en la etapa de adquisición (101).

3. Un método para optimizar el sistema de seguimiento (100) de acuerdo con la reivindicación 1, en el que los datos de postura se adquieren usando un sistema de adquisición de datos de postura basado en óptica con marcadores activos montados en el objeto a seguir y múltiples cámaras de alta resolución que es capaz de generar datos de postura precisos y completos en la etapa de adquisición (101).

4. Un método para optimizar el sistema de seguimiento (100) de acuerdo con la reivindicación 1 a la reivindicación 3, en el que un modelo de oclusión, que se basa en una normal del marcador con respecto al sistema de coordenadas objeto, un ángulo cónico de iluminación del marcador activo y la postura conocida del objeto, se usa para estimar la visibilidad de los puntos de modelo 3D en la etapa de cálculo (102).

5. Un método para optimizar el sistema de seguimiento (100) de acuerdo con una de las reivindicaciones anteriores, en el que, en la etapa de proyección (107), se genera una imagen sintética añadiendo una determinada cantidad de ruido sobre la imagen después de proyectar las posiciones de nodo.

6. Un método para optimizar el sistema de seguimiento (100) de acuerdo con una de las reivindicaciones anteriores, en el que dicha restricción es la elección de un sistema con el mínimo error de postura en la etapa de selección (111).

7. Un método para optimizar el sistema de seguimiento (100) de acuerdo con una de las reivindicaciones anteriores, en el que dicha restricción es la elección de un sistema con las mínimas posturas ocultas en la etapa de selección (111).

8. Un método para optimizar el sistema de seguimiento (100) de acuerdo con una de las reivindicaciones anteriores, en el que dicha restricción es la elección de un sistema con el número mínimo de marcadores en la etapa de selección (111).

9. Un método para optimizar el sistema de seguimiento (100) de acuerdo con una de las reivindicaciones anteriores, en el que la etapa de eliminación de posturas (105) no se ejecuta antes de colocar un número predeterminado de marcadores en la malla inicial.

10. Un método para optimizar el sistema de seguimiento (100) de acuerdo con una de las reivindicaciones anteriores, en el que el proceso se encamina a la segunda etapa de comprobación (110) si no hay ningún nodo disponible vacío para seleccionar como nodo de colocación de marcador activo en la etapa de selección (103).

11. Un sistema para optimizar un sistema de seguimiento (1) que comprende:

- al menos una unidad de procesamiento (2) configurada para recibir los datos de postura, malla y posición de cámara y para implementar el método para optimizar un sistema de seguimiento (100) de acuerdo con una cualquiera de las reivindicaciones anteriores, usando estos datos para implementar el algoritmo de seguimiento para el que se optimizará el sistema y emitir los resultados encontrados por el método (100) de acuerdo con cualquiera de las reivindicaciones anteriores,

- al menos un dispositivo de entrada/salida (3) conectado a la unidad de procesamiento (2) configurado para recibir los datos de postura, malla y posición de cámara desde una fuente externa, tal como un usuario, y para emitir los resultados encontrados por la unidad de procesamiento (2),

- al menos una unidad de memoria (4) conectada a la unidad de procesamiento (2), configurada para almacenar los resultados de la optimización encontrados por la unidad de procesamiento (2) y cualquier dato de postura, malla y posición de cámara.

12. Un sistema para optimizar un sistema de seguimiento (1) como en la reivindicación 11, en el que la unidad de procesamiento (2) está configurada para recibir los datos de postura, malla y posición de cámara desde el dispositivo de entrada/salida (3).

13. Un sistema para optimizar un sistema de seguimiento (1) como en las reivindicaciones 11 o 12, en el que la unidad de procesamiento (2) está configurada para recibir los datos de postura, malla y posición de cámara desde la unidad de memoria (4).

14. Un sistema para optimizar un sistema de seguimiento (1) como en las reivindicaciones 11 a 13, en el que el dispositivo de entrada/salida (3) está configurado para recibir al menos un dato de postura del objeto a seguir bajo consideración usando una unidad de medición inercial (IMU).

15. Un sistema para optimizar un sistema de seguimiento (1) como en las reivindicaciones 11 a 13, en el que el dispositivo de entrada/salida (3) está configurado para recibir al menos un dato de postura del objeto a seguir bajo consideración usando un sistema de adquisición de datos de postura basado en óptica con múltiples cámaras de alta resolución que es capaz de generar datos de postura precisos y completos.

16. Un sistema para optimizar un sistema de seguimiento (1) como en las reivindicaciones 11 a 15, en el que el dispositivo de entrada/salida (3) está configurado para recibir los datos de posición de cámara y los datos de malla generados por el usuario.

17. Un sistema para optimizar un sistema de seguimiento (1) como en las reivindicaciones 11 a 16, en el que la unidad de memoria (4) es un dispositivo de memoria volátil.

18. Un sistema para optimizar un sistema de seguimiento (1) como en las reivindicaciones 11 a 17, en el que la unidad de memoria (4) es un dispositivo de memoria no volátil.