Controlador óptimo no invasivo para sistemas inestables basado en aprendizaje en línea.

Controlador no invasivo (2) de un sistema físico real (4), que comprende:

a) un módulo de registro de transiciones, donde se almacenan los nuevos estados del sistema físico real (4); b) un módulo con un modelo de comportamiento del sistema (4) que debe ser controlado; c) un módulo de exploración de estados que identifica transiciones no contenidas en el modelo de comportamiento del sistema (4); d) un módulo de control por mapeado, y e) un módulo de política de control, basado en las transiciones identificadas en el módulo de exploración de estados. Unos sensores (3) detectan el estado (8) del sistema físico real (4), de manera que el estado (8) se transmite a un bus (6) mediante un primer vector (S). El bus (6) descarga los datos relativos al estado (8) mediante un segundo vector (X), pasando los datos del segundo vector (X) al controlador.

CONTROLADOR ÓPTIMO NO INVASIVO PARA SISTEMAS INESTABLES BASADO EN APRENDIZAJE EN LÍNEA

DESCRIPCIÓN DE LA INVENCIÓN

SECTOR DE LA TÉCNICA

Esta invención se enmarca dentro del sector técnico de control de sistemas dinámicos, más concretamente en aquellos caracterizados por ser no-lineales e inestables.

ESTADO DE LA TÉCNICA

Actualmente, el control de sistemas dinámicos no-lineales e inestables se implementa utilizando técnicas clásicas de control –invención del controlador PID en 1910– o –R. J. Veillette, “Reliable linear-quadratic state-feedback control, ”Journal of International Federation of Automatic Control (IFAC) , vol. 31, no. 1, pp. 137-143, 1995–, que durante años han dado resultados aceptables para conseguir el objetivo encomendado de estabilizarlos e incluso dirigirlos a un estado de controlabilidad determinado. Además, hay que tener en cuenta que estas técnicas están muy arraigadas y presentes en determinadas plataformas, de por sí inestables como son aviones, UAVs, satélites, etc. En este tipo de plataformas, por sus características especiales, como por ejemplo su elevado coste, se exige al control aplicado una fiabilidad superior a cualquier otro tipo de sistema como podría ser el de un péndulo invertido con dos ruedas.

Las técnicas de control utilizadas actualmente para estabilizar las plataformas anteriores, se basan en un control por realimentación, comparando el valor real proporcionado por los sensores con el valor de referencia o valor deseado, para a continuación en función de la señal de error (la diferencia entre las dos anteriores) , determinar la maniobra de corrección implementada por los actuadores correspondientes. La mayoría de estas técnicas se basan en el uso de algoritmos que son creados a medida de cada sistema controlado. Esto implica que cualquier diferencia entre el modelo matemático y el sistema real supone un modo de operación no adecuado del sistema. Por este motivo es típico que los algoritmos de control antes de entrar en explotación, deban de ser ajustados para cada sistema concreto. Existen también algoritmos de control que no necesitan un modelo matemático del sistema controlado. Éstos se basan en el uso de técnicas de aprendizaje que permiten generar el controlador de forma automática. En estos casos el sistema aprende de modo autónomo, típicamente llevando a cabo una serie de acciones predeterminadas o aleatorias que permiten identificar cómo se comporta el propio sistema. Dicho de otro modo, si encontrándose el sistema en un estado E y aplicando una acción A llegamos a un estado E', podemos deducir que siempre que se desee llegar al estado E' desde E, bastará con aplicar la acción A. Si el proceso se repite para todos los posibles estados iniciales y finales, conoceremos perfectamente cómo se comporta el sistema. Como este proceso puede suponer unos tiempos de entrenamiento muy extensos, se pueden emplear técnicas de aprendizaje para estimar el comportamiento del sistema en estados desconocidos a partir de estados conocidos. Este proceso se puede aplicar a sistemas estables ya que desde cualquier estado inicial E siempre llegamos a un estado final E' que también es estable y además todos los estados intermedios también los son. El problema de aprendizaje se plantea en sistemas inestables donde la prueba y error llevará irremediablemente al sistema a un estado no controlado.

EXPLICACIÓN DE LA INVENCIÓN

El problema que se plantea, y cuya solución se proporciona con esta invención, consiste en cómo podemos hacer uso de técnicas de control basadas en aprendizaje cuando el sistema sobre el que se actúa es un sistema inestable. En este caso el proceso de aprendizaje puede resultar inútil y se acabe cayendo. Es en este punto donde se ubica la invención propuesta sobre el sistema real, pero utilizando como referencia un sistema de control clásico. Este nuevo esquema se denomina CACM-RL (Control Adjoining Cell Mapping combinado con aprendizaje por refuerzo) , el cual queda descrito por los autores de la presente patente en –M. Gomez, R. V. González, T. Martínez-Marín, D. Meziat and

S. Sánchez, “Optimal Motion Planning by Reinforcement Learning in Autonomous Mobile Vehicles, ” Robotica, vol. 32, no. 2, pp. 159-170, 2012–.

El objeto de la presente invención es disponer de un nuevo controlador no invasivo de sistemas inestables teniendo las siguientes capacidades:

! Apoyarse en la técnica de control “clásica” de forma no invasiva, conviviendo con ella para observar el comportamiento del sistema controlado y, de este modo, aprender del mismo.

! Establecer de modo continuo la diferencia entre el control realizado por el sistema clásico y el control ofrecido por el nuevo controlador. Cuando la diferencia entre ambos sea menor que un determinado umbral, el nuevo controlador puede sustituir al controlador clásico.

! Servir como único elemento controlador del sistema inestable, ejecutando sus funciones de forma óptima y seguir aprendiendo.

El controlador resultante, al hacer uso de la técnica CACM-RL hereda todas las ventajas de la misma, permitiendo además utilizar el proceso de aprendizaje con sistemas inestables.

La solución propuesta elimina los inconvenientes derivados de las soluciones clásicas de control que no son óptimas, adolecen de falta de autonomía, presentan desviaciones no previstas o criticidad en el periodo de muestreo. Esta invención solventa estas deficiencias ofreciendo las siguientes características más ventajosas:

! Solución no invasiva. ! Solución óptima e inteligente con capacidad de aprendizaje sin necesidad de modelos matemáticos. ! No es necesario realizar calibraciones o ajustes de las plataformas, ya que el conocimiento lo adquiere con el entrenamiento. ! Solución capaz de ser aplicada a sistemas dinámicos no-lineales (y por tanto lineales también) e inestables (y por tanto estables también) . ! Solución que garantiza reducción de costes de mantenimiento por el hecho de ser

un control óptimo. ! Se alarga el ciclo de vida útil de los sistemas. ! Solución independiente del periodo de muestreo utilizado para la aplicación del

control. ! Solución que puede evolucionar a medida que el sistema controlado cambia alguno de sus parámetros.

DESCRIPCIÓN DE LOS DIBUJOS

!

La Figura 1 muestra un esquema general del entorno operativo del producto

controlador no invasivo SOTICOL (2) (SOluciones Tecnológicas Innovadoras para

Control Óptimo y pLanificación) que es objeto de la patente propuesta.

!

La Figura 2 representa un diagrama de bloques detallado del sistema patentado,

así como su interconexión con el controlador clásico.

Las siguientes referencias numéricas detallan los distintos elementos que se describen en las figuras: 1 – Sistema de control clásico. 2 – Controlador no invasivo. 3 – Sensores. 4 – Sistema físico real (plataforma) . 5 – Actuadores. 6 – Bus. 7 – Acciones de control. 8 – Estado. S – Primer vector con los datos de estado. X – Segundo vector con las variables de estado.

MODO DE REALIZACIÓN

Acorde con lo presentado en la Figura 1 y por medio del bus (6) , la plataforma (4) (sistema físico real) puede comunicarse con los distintos actuadores (5) . Además, la plataforma (4) (sistema físico real) , por medio de los sensores (3) acoplados a la misma, vuelca su estado (8) al mismo bus (6) , el cual es recibido por el sistema clásico (1) cerrando el bucle de realimentación. El controlador no invasivo (2) , por ejemplo, podría implementarse integrando técnicas computacionales de dinámica de sistemas y esquemas inteligentes de aprendizaje, para diseñar por ejemplo un algoritmo eficiente de control óptimo como es CACM-RL.

De forma simultánea al control clásico, el controlador (2) objeto de esta patente observa qué acciones de control (7) se están aplicando en cada momento, así como la evolución del sistema (transiciones) . A partir de esta información, se aprende autónomamente generando finalmente el controlador óptimo.

Conviene destacar el hecho de que la plataforma, sistema físico real (4) , a través de sus sensores (3) vuelca su estado (8) al bus (6) , sin procesar los datos generados por aquéllos. Por tanto, podemos decir que la plataforma, sistema físico real, (4) vuelca periódicamente un vector S, con los datos de los distintos sensores (3) y será el sistema clásico (1) o el controlador no invasivo patentado (2) el encargado de procesarlos para establecer las variables de estado mediante otro vector X. En general, las dimensiones de ambos vectores no tienen...

– Controlador no invasivo (2) de un sistema físico real (4) , caracterizado por que el controlador no invasivo (2) comprende:

! un módulo de registro de transiciones, donde se almacenan los nuevos estados del

sistema físico real (4) ;

! un módulo con un modelo de comportamiento del sistema (4) que debe ser

controlado;

! un módulo de exploración de estados que identifica transiciones no contenidas en

el modelo de comportamiento del sistema (4) , asimilando dichas transiciones a una

nueva política de control óptimo posterior;

! un módulo de control por mapeado, y

! un módulo de política de control, basado en las transiciones identificadas en el

módulo de exploración de estados.

– Controlador no invasivo (2) según la reivindicación primera, caracterizado por que el controlador no invasivo (2) está acoplado mediante un conmutador al sistema físico real (4) y a un sistema de control clásico (1) , de manera que el conmutador selecciona bien el funcionamiento del sistema de control clásico (1) , o bien el funcionamiento del controlador no invasivo (2) .

– Controlador no invasivo (2) según cualquiera de las reivindicaciones anteriores,

caracterizado por que:

! unos sensores (3) detectan el estado (8) del sistema físico real (4) ;

! el estado (8) se transmite a un bus (6) mediante un primer vector (S) ;

! el bus (6) descarga los datos relativos al estado (8) mediante un segundo vector

(X) ; pasando los datos del segundo vector (X) al controlador.

– Controlador no invasivo (2) según la reivindicación tercera, caracterizado por que el controlador envía datos procesados al bus (6) y éste, seguidamente, transmite dichos datos procesados mediante una serie de acciones de control (7) a unos actuadores (5) , que interactúan con el sistema físico real (4) .

Figura 1

(Controlador no invasivo)

Salida

Figura 2