SISTEMA DE MONITORIZACIÓN PARA LA SUPERVISIÓN Y CONTROL DE OPERACIONES CRÍTICAS EN REMOTO Y MÉTODO DE DETECCIÓN DE CONGELAMIENTO DE IMAGEN.

Sistema de monitorización para la supervisión y control de operaciones críticas en remoto y algoritmo de detección de congelamiento de imagen consistente en un sistema de visualización de imágenes procedentes de un conjunto de sensores en tiempo real con la capacidad para detectar la congelación de parte o la totalidad de la señal de video de entrada y para detectar el fallo o inexistencia de señal de video de entrada para informar al operador mediante sonido,

luces indicativas u overlays sobre la visualización así como ser capaz de seleccionar una entrada de señal de video alternativa para evitar que el operador pueda perder de vista las imágenes del mundo real que está visualizando o se produzca un retardo en la visión de tales imágenes. La invención también se refiere a un algoritmo para realizar las funcionalidades anteriores basado en el empleo de una o varias unidades de cómputo.

SISTEMA DE MONITORIZACiÓN PARA LA SUPERVISiÓN Y CONTROL DE OPERACIONES CRíTICAS EN REMOTO Y MÉTODO DE DETECCiÓN DE CONGELAMIENTO DE IMAGEN

5

CAMPO DE LA INVENCiÓN

10 15 La presente invención se refiere a un sistema de monitorización de video en tiempo real, para la supervisión de operaciones críticas como la de reabastecimiento en vuelo o de cualquier otro mediante control remoto o supervisión de operaciones donde el lapso de tiempo que hay entre la acción real y la visualización remota de la misma es absolutamente fundamental para el éxito de la operación.

ANTECEDENTES

2 O 25 30 Actualmente los métodos de visualización convencional para operaciones críticas por control remoto están basados en el empleo de elementos de presentación como paneles Icd o similares y proyectores que proporcionan una imagen de la operación en remoto a un operador que debe controlar, a través de la visión obtenida, que la operación se desarrolla y se acaba de forma correcta. Estas operaciones críticas se caracterizan porque el operador carece de visión directa del desarrollo de la operación y obtiene tal visión a través de un sistema complejo de vídeo, que proporciona al operador la visión necesaria para completar la misma. Tales operaciones requieren una visión perfecta en tiempo real ya que no disponer de tal visión puede dar lugar a accidentes.

Los sistemas conocidos utilizan un sistema electrónico anexo que por lo general tiene una entrada de señal de vídeo en un formato estandarizado. La señal de vídeo si es de calidad, se adquiere normalmente mediante cámaras de vídeo de alta resolución o sensores de fotones situados en el extremo del dispositivo controlado por el operador, que le facilitan la toma de decisiones sobre posición, distancia y demás parámetros necesarios para la correcta finalización de la operación con éxito. La señal emitida por cámaras y/o sensores viaja a través de un conjunto de líneas digitales para transmitir los datos al lugar de la presentación ya sea el panel, la pantalla o el dispositivo de presentación correspondiente.

Un ejemplo típico de estas operaciones es el reabastecimiento de combustible de aeronaves en vuelo. En el caso de cámaras, la señal se recoge en unos sensores que reciben el impacto de fotones procedentes de los objetos del entorno para producir una señal eléctrica que viaja por unos canales hasta un punto de tratamiento de imagen donde se trata para de nuevo enviarse a través de dichos canales a al menos un monitor cuya electrónica lo recibe y envía a al menos un dispositivo de visualización. Los sistemas de reabastecimiento de combustible en vuelo se basan en el uso de tres tipos de dispositivos como son:

• Hose and Drogue: consistente en el uso de una manguera terminada en una cesta con forma de embudo como dispositivo de interconexión entre un avión cisterna y un aparato receptor o varios, en vuelo.

• FRU (Fuselage Refueling Unit) : similar al anterior donde una manguera central 25 Y de tamaño superior generalmente se emplea para el reabastecimiento.

• Boom: dispositivo que consiste básicamente en un tubo telescópico y extensible adjunto a la parte inferior del avión cisterna mediante un elemento articulado y que puede moverse gracias a unas aletas hasta insertar la "nozzle" o punta del tubo en el receptáculo del avión receptor para 3 O posteriormente suministrarle combustible.

Todos ellos pretenden facilitar el paso de combustible del avión cisterna a la aeronave receptora. Este tipo de operaciones de repostado así como aquellas otras denominadas de tiempo real están caracterizadas por requerir una baja latencia entre los sucesos reales y su visualización remota en el monitor

correspondiente.

Se trata de operaciones consideradas como críticas en las que desde una ubicación remota, el operador controla visualmente todos los pasos y procedimientos para garantizar el éxito de la misión, mediante el accionamiento lOen tiempo real de un conjunto de dispositivos y mandos, y manipula todos estos dispositivos sobre la base de la información visual que recibe, hasta que la operación se lleva a cabo. Este control visual se lleva a cabo de forma indirecta, a través de medios normalmente electrónicos, lo que produce un retardo entre el suceso y la visualización del mismo, debiendo ser tal retardo el mínimo posible Ya sea en las operaciones de abastecimiento de combustible en vuelo o en cualesquiera otras de semejantes características de exigencia o criticidad, en las que también se requiera considerar y minimizar el retardo entre suceso real y visualización del mismo, es fundamental considerar y evaluar el efecto que una 2 O congelación de las imágenes puede tener para operario que las visualiza. El tiempo hasta que éste consigue determinar que realmente existe una congelación y el que subsiguientemente necesita para seguir el procedimiento establecido en tales situaciones puede ser vital o llegar a generar resultados catastróficos.

Operaciones similares se realizan también para todo tipo de dispositivos militares o no y que tienen en cierto modo algún tipo de control remoto. No sólo en los casos mencionados anteriormente, utilizando cualquiera de los sistemas que han sido previamente indicados sino también en cualquier otra situación en las operaciones a distancia que requieran de visión en tiempo real lo más ajustada 3 O posible al instante en que se produce el hecho real, es fundamental garantizar que la imagen de los fotogramas de vídeo fluirá sin interrupción desde la cámara

al dispositivo de presentación final información para tomar decisiones controles de operación. donde el supervisor deberá utilizar esta como qué hacer o cómo manipular los

5 10 Debido a que en muchos casos no es aceptable un retraso considerable entre el instante en el que ocurren los hechos reales y aquel en que las imágenes de los mismos llegan al operador, se hace necesaria la capacidad para detectar que la señal procedente de los sensores de imagen se ha congelado y la capacidad de conmutar de una señal de entrada a otra en caso de que se disponga de dicha alternativa. Ambas capacidades pertenecen al objeto de esta invención.

15 En algunas ocasiones se utilizan cámaras con una velocidad de refresco diferente a la requerida para alimentar el monitor, para fines como evitar el parpadeo u otros efectos similares e indeseables en la presentación. Para tener el número correcto de cuadros de imagen necesitados por la pantalla, se utiliza un buffer de memoria para almacenar temporalmente los datos y poderlos repetir hasta alcanzar la frecuencia deseada.

2 O También a veces, las cámaras o los demás dispositivos que se hallan en la ruta hasta la presentación final requieren algún tipo de tratamiento de imagen que necesita del uso de una memoria de almacenaje del cuadro, al que se le aplican una serie de transformaciones matemáticas para obtener los resultados deseados.

25 30 En otras ocasiones para conseguir aumentar la sensibilidad de los sensores hay que aumentar el tamaño de los pixeles de sensado recurriendo a algún tipo de agrupamiento de los pixeles básicos del sensor o "binning", que termina desembocando en la necesidad de nuevo de recurrir a una memoria para almacenamiento de los píxeles.

5 En cualquiera de los casos anteriores y en otros similares, la existencia de una memoria para almacenar los datos de imagen genera el riesgo de un congelamiento de la imagen en el dispositivo de presentación final. Esto puede traducirse en un mal funcionamiento del sistema que consiste en un bloqueo o congelamiento de toda o parte de la imagen de video lo que produce un retraso indeseado entre el hecho real y la visión que el operador tiene del mismo.

10 15 Este retraso podría generar un desastre, por lo que es completamente inaceptable en muchas aplicaciones, desde el punto de vista de la seguridad, que no exista un mecanismo de detección, indicación e incluso posterior selección de una imagen de video alternativa para evitar perder de vista la escena real de trabajo. Otra mejora opcional introducida en esta invención consiste precisamente en ese empleo de varias fuentes de señal de video alternativas procedentes de distintos sensores. Una vez detectada la congelación o la pérdida de vídeo el sistema puede conmutar entre ellas para conseguir que siempre exista una imagen viva en tiempo real con la que poder trabajar.

2 O 25 Incluso en sistemas 30 donde dos imágenes se superponen para obtener una mezcla de dos imágenes correspondientes una a cada ojo y que unas gafas se encargarán de repartir convenientemente, es interesante asegurar que cuando una imagen del sensor que sea quede congelada o desaparezca, el sistema siga generando algo que...

5 1. Un sistema electrónico de visualización en tiempo real para evitar el congelamiento total o parcial de imágenes en operaciones críticas, caracterizado porque comprende:

10 -Al menos un dispositivo de captación de imágenes de vídeo en tiempo real. -Al menos un sistema convencional de tratamiento de dichas imágenes.

15 -Al menos un display de visualización tal como un dispositivo de panel de la pantalla (Icd o similar) o un proyector de imágenes para generar imágenes originadas en al menos un dispositivo de captura remota de imágenes (sensor) ;

2O -Electrónica, para adaptar la señal de entrada a aquella requerida por el display de visualización, capaz de aplicar un algoritmo de detección de congelación así como de informar de ésta situación al usuario. Este algoritmo estará básicamente estructurado en un procedimiento de almacenaje de información parcial de cuadro y de comparación de la misma con la del cuadro o cuadros siguientes para deducir a partir de ese resultado la existencia de la congelación.

25 -Una o varias cajas donde alojar los elementos anteriores. 2. Un sistema según la reivindicación 1, caracterizado por estar configurado para que su electrónica detecte también la pérdida de señal de video.

3 O 3. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar compuesto además por más de una entrada de video y que selecciona

para poder elegir entre ellas cuando se detecte un fallo de congelación o pérdida de imagen en cualquiera de las mismas.

4. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar configurado para que su electrónica informe por otros medios como luces o comunicación vía serie de la pérdida y congelación de la señal de video de entrada e informar igualmente sobre la misma.

5. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar configurado para que su electrónica informe por otros medios como luces o comunicación vía serie de la pérdida o congelación de la señal de video de entrada e informar igualmente sobre la una u otra.

6. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por estar provisto, al menos, de redundancia adicional en un componente del sistema.

7. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque el componente adicional redundado es la fuente de alimentación.

8. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque el componente adicional redundado es el sistema de supervisión.

9. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque el componente adicional redundado es el panel LeO.

10. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque el componente adicional redundado es el proyector de imagen.

11. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque el componente adicional redundado es el sistema de presentación.

12. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque el componente adicional redundado es el selector de señal de entrada.

13. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque se combinan dos o más de los componentes redundados.

14. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por que sus entradas de vídeo son del tipo serie para facilitar la multiplexación o selección de entre las mismas y para su fácil conversión a ópticas.

15. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque sus entradas de vídeo y de comunicación con el exterior están incluidas en una única señal quedando de este modo los comandos de control y los datos del sistema multiplexados por este mismo canal de forma que sólo harán falta este tipo de entradas/salidas al sistema (aparte de las de alimentación y reset) para un funcionamiento completo.

16. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por tener entradas de vídeo y datos ópticas.

17. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por tener unos paneles tipo Icd dispuestos adyacentemente en batería de forma que cuando alguno de ellos falle, el otro pueda ocupar su lugar de forma automática por estar detrás de él pudiéndose incluso ver su imagen a través del de delante.

18. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque los medios para visualizar las imágenes son proyectores de imagen más pantallas de proyección.

19. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por utilizarse para las operaciones de reabastecimiento aéreo en vuelo.

20. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado por disponer de una electrónica que pueda dibujar overlays mediante la modificación del valor de los datos de entrada de vídeo correspondientes a cada uno de los píxeles de la señal de imagen antes de enviarlos al conector de salida de señal, realizada dicha modificación en la electrónica que recibe dicha información de entrada (fpga o procesador) y los overlays generados aparecen sobre la imagen para proporcionar información adicional al usuario.

21. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque, además, tendrá luces y sonido de información auxiliar y redundante para informar al usuario pudiendo éste a voluntad inhibir uno de los mecanismos de información auxiliar.

22. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque, tendrá luces o sonido de información auxiliar y redundante para informar al usuario.

23. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque las luces de información redundantes para informar al usuario son leds.

24. Un sistema según cualquiera de las reivindicaciones anteriores dotado además con uno o varios micro-controladores internos para informar al exterior sobre la actividad, el estado y el modo de funcionamiento del sistema.

25. Un sistema según cualquiera de las reivindicaciones anteriores en el que el

canal de comunicación se usa también para recibir del exterior comandos e 3 O instrucciones para poder modificar su comportamiento.

26. Un sistema según cualquiera de las reivindicaciones anteriores en el cual el canal de comunicaciones esta redundado.

27. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque, además, tiene una entrada para la reprogramación o reconfiguración de micro-controladores y fpgas de su electrónica desde el exterior.

28. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizado porque emplea dos displays de presentación para generar imagen en 3D y que cuando una imagen de un monitor falla entonces su entrada conmuta a otra imagen y que por tanto tiene la virtud de permitir que el operario siga viendo unas imágenes que no le molesten o que no signifiquen la pérdida de visión en alguno de los ojos.

29. Un sistema según cualquiera de las reivindicaciones anteriores, caracterizadc. porque está dotado de capacidades suficientes para llevar a cabo un algoritmo para la detección de imágenes congeladas que implementa un método que comprende funcionalidades de las siguientes:

a. Almacenamiento de determinadas partes o conjuntos de píxeles de un cuadro

o cuadros de la señal de entrada.

b. Comparación con las partes similares o conjuntos de píxeles del cuadro actual

o siguientes almacenados según el punto anterior.

c. Contabilización de las discrepancias obtenidas de la comparación de la información obtenida de los puntos a y b.

d. Selección de una entrada alternativa, opcional, en caso en que ese número de discrepancias no supere un valor determinado.

30. Un sistema según la reivindicación 29, caracterizado porque el algoritmo para la detección de imágenes congeladas detecta la existencia de una correcta o incorrecta señal de video y procede a contabilización de las discrepancias obtenidas de la comparación de la información obtenida en el almacenamiento de

determinadas partes o conjuntos de píxeles de un cuadro o cuadros de la señal de entrada y compara las partes similares o conjuntos de píxeles del cuadro actual o siguientes almacenados según el punto anterior

5 31. Un sistema según las reivindicaciones 29 ó 30 caracterizado porque además conmuta entre las señales de entrada de video.

la 32. Un sistema según las reivindicaciones 29 ó 30 caracterizado porque el algoritmo para la detección de imágenes congeladas tiene la capacidad para generar overlays de información sobreimpuestos a la imagen para informar del estado del sistema.

15

FIGURA 1

~----------------23

- ------------------f-------------------------------------------------------------------------------------------------------------------------------------------

..

..

~kU _____________-+--+-:~+__+___+_I-+--17 20

I •

~¡ 4 5 .

I .... t'

'I!. o ••

, ---------------t----

.lo ...

19

2

14

1~--------------------22

FIGURA 2

20

~

..........~

L\j1I-, ~Ff======::::i

--f~~f4

17, 18

·"", ""x..:..:..., ..:..:..:..:..:..:..:", , "