Procedimiento para la validación, detección de errores y corrección de los datos procedentes de sensores de nivel en ríos.

Procedimiento para la validación, detección de errores y corrección de los datos procedentes de sensores de nivel en ríos.

La presente invención tiene por objeto un procedimiento para la validación, la detección de errores y la corrección de los datos proporcionados por los sensores de nivel de los ríos monitorizados en las cuencas hidrográficas. El procedimiento que se describe y que consta de 4 etapas (re/entrenamiento, selección de mejor dato disponible, incremento de la base de datos y presentación de datos), se ha concebido para ser implementado en un dispositivo hardware del tipo P.C., FPGA o microprocesador como un proceso recurrente, desarrollado en torno a una red neurona no lineal autoregresiva (NNAR), que es reentrenada a cada entrada de datos procedentes de los sensores, tomando para ello la base de datos validados que se está generando. El procedimiento incluye además una doble corrección, la primera considerando la naturaleza discreta de los datos que proporcionan los sensores y la segunda una corrección no causal de los mismos.

Procedimiento para la validación, detección de errores y corrección de los datos procedentes de sensores de nivel en ríos.

Objeto de la invención La presente invención tiene por objeto un procedimiento para la validación, la detección de errores y la corrección de los datos proporcionados por los sensores de nivel de los ríos monitorizados en las cuencas hidrográficas. El procedimiento que se describe y que consta de 4 etapas (reJentrenamiento, selección de mejor dato disponible, incremento de la base de datos y presentación de datos) , se ha concebido para ser implementado en un dispositivo hardware del tipo P.C., FPGA

o microprocesador como un proceso recurrente, desarrollado en tomo a una red

neuronal no lineal auto-regresiva (NNAR) , que es reentrenada a cada entrada de datos procedentes de los sensores, tomando para ello la base de datos validados que se está generando. Esta técnica mejora sensiblemente los resultados obtenidos por técnicas convencionales llegando a niveles de detección de fallos superior al 90%. En el mejor de los casos, los métodos de validación convencionales son capaces de detectar un 13% de errores. Este procedimiento que como efecto técnico da soh.Jción muy eficiente al problema de la calidad e integridad de las series temporales de datos de nivel de nos, es implementable en los equipos informáticos de los Sistemas Automáticos de Información hidrológica (SAIH) de las cuencas hidrográficas.

Estado de la técnica

La validación de datos hidro-meteorológicos consiste en una serie de procedimientos que aseguran la calidad de la información generada, identificando valores incorrectos y detectando problemas que requieren tareas de mantenimiento (Estévez et al., 2011) . La Organización Meteorológica Mundial

presentó recientemente las características básicas y los principios generales para el control de calidad de datos meteorológicos (V'MO, 2010) .

Estos procedimientos están basados en las comprobaciones que se aplican a cada registro: tests de rango (comprueba que el dato esté dentro de unos lim~es establecidos: físicos o instrumentales) , de salto temporal (comprueba el exceSo de variabilidad en un tiempo determinado) , de persistencia temporal (la escasa o nula variabilidad) y de consistencia espacial (anaiza la coherencia del parámetro con localizaciones cercanas) . Se trata de contrastar si existe algún tipo de incongruencia meteorológica que pueda ser detectada mediante estos métodos. El test de rango y los tests de consistencia temporal utilizan datos de una misma localización 0Nade, 1987; Meek and Hatfield, 1994; Eischeid et aL, 1995; You et al., 2007) . Los tests de coherencia espacial emplean datos de estaciones vecinas frente a los cuales se comparan los datos de la estación a validar (Gandin, 1988; Reek et aL, 1992; Eischeid et al., 2000; Feng et aL, 2004; You and Hubbard, 2006) . Hubbard et al. (2005) aplicaron los fundamentos de estos mismos métodos pero basados en decisiones estadísticas, empleando umbrales mensuales para los diferentes tests y estableciendo diferente intervalos de confianza. Existen en la literatura procedimientos específicos para variables meteorológicas concretas, como la radiación solar (Allen, 1996; Geiger et aL, 2002) , velocidad de viento (Graybeal, 2005) o precipitación (You et al., 2007) , basados bien en distribución de frecuencias o en alguno de los principios comentados anteriormente (rango, salto, etc.) . En cambio, no existe en la literatura científica ningún procedimiento de control de calidad específico para la validación de datos procedentes de sensores de niveles en ríos, si bien la aplicación de los procedimientos convencionales en variables meteorológicas adaptados a esta variable puede resultar adecuada. Al mismo tiempo, los diferentes modelos hidrológicos que utilizan estos datos y que se aplican a diferentes escalas espacio-temporales precisan cada vez más de unos datos de calidad para obtener resultados fiables y con garantías.

Bibliografia Allen, R.G., 1996. Assessing integrity of weather data for reference evapotranspiration estimation. Joumal of Irrigation and Drainage Engineering ASCE 122, 97-106. Eischeid JK, Baker CB, Karl T, Diaz HF. 1995. The quality control of long-term climatological data uSing objective data analysis. J. Appl. Meteorol. 34: 2787-2795. Eischeid JK, Pasteris PA, Diaz HF, Plantico MS, Lott NJ. 2000. Creating a serially complete, national daily time series of temperatura and precipitation for the westem United States. J. AppL Meteorol. 39: 1580-1591. Estévez, J., Gavilán, P., Giráldez, J.V. 2011. Guidelines on validation procedures for meteorological data from automatic weather stations. J. Hydro1.402, 144-154. Feng, S., Hu, O., Wang, W., 2004. Ouality control of daily meteorological data in China 1951-2000: a new dataset. Int. J. ClimatoL 24: 853-870.

Gandin LS. 1988. Complex quality control of meteorological observations. Mon. Weather Rev. 116: 1137-1156. Geiger, M.L., Diabate, L.M., Wlad, L., 2002. e quality of measurements of global solar irradiation. Solar Energy 73, 475-480. Graybeal, D.Y., 2005. s with application to data quality assurance. Intemational Joumal of Climatology 26, 29-43. Hubbard, K.G., Goddard S, Sorensen WD, Wells N, Osugi TI. 2005. Performance of quality assurance procedures for an Applied Climate Information System. J. Atmos. Oceanic T echnol. 22: 105-112. Meek, D.W., Hatfield, J.L. 1994. Data quality checking for single station meteorological databases. Agric. For. Meteorol. 69: 85-109. Reek T, Doty SR, Owen TW. 1992. f historical daily temperature and precipitation data from the Cooperative Network. Bull. Am. Meteorol. Soco 73: 753-765. Wade, C.G., 1987. A quality control program for surface mesometeorological data.

J. Atmos. Oceanic Technol. 4: 435-453. WMO. 2010. Manual on the Global Observing System, GlobalAspects, Vol. 1, WMO (Series) , Vol. 544 , 2010 edn. World Meteorological Organization: Geneva, Switzerland. You, J., Hubbard, K.G., 2006. e events. J. Atmos. Oceanic Technol. 23: 184-197. You J, Hubbard KG, Nadarajah S, Kunkel KE. 2007. y assurance procedures on daily precipitation. J. Atmos. Oceanic Technol. 24: 821

834.

Descripción de las figuras La Figura 1 muestra en bloques los elementos que se requieren para la aplicación de este procedimiento: (1) es la fuente de datos, constituida por eVlos sensor/es de nivel del rio/ríos de la cuenca. (2) es el módulo de inteligencia artificial que a partir de datos validados es capaz de abstraer el comportamiento del rio y su probable evolución en un futuro cercano. (3) es la base de datos constituida por una serie inicial validada, y por aquellos otros obtenidos a partir de la decisión experta del procedimiento de validación entre aquellos procedentes directamente del sensor/es o de la salida del módulo de inteligencia artificial. Con la llegada de un nuevo dato, el módulo de inteligencia artificial reconfigura su comportamiento.

(4) l sistema (5) y sirve de realimentación para incrementar la base de datos. n para el caso del análisis de los datos procedentes de un solo sensor de nivel.

Descripción de n El procedimiento objeto de esta invención, se basa en emplear un conjunto hardware/software capaz de validar los datos procedentes de los e nivel instalados en ríos, detectar de manera eficiente la presencia s e de forma que el dato artificial generado se aproxime con gran probabilidad al dato real que debería haberse obtenido. Las técnicas convencionales si n adecuadamente para otros parámetros hidro-climáticos, y es posible u r este caso concreto. El procedimiento que se propone surge de un análisis a de expertos que se encargan de realizar esta tarea. El a describir es una abstracción de ese proceder manual. Como se ha a Figura 1, consta de un primer módulo con inteligencia artificial que ha sido entrenado para conocer la naturaleza del sistema en estudio, en este caso analizar los datos de los sensores de nivel de ríos, y un segundo módulo capaz de o d del dato más probable de la n incorporados en la e n algoritmo recurrente asegurando con ello el mejor desempeño posible.

Modo preferente de realización de n Esta descripción (figura 2) , se corresponde a un n : 1. Etapa de entrenamiento de la red neuronal no lineal autoregresiva (NNAR) . 2. Selección del dato más probable de la serie de niveles. 3. Adición del nuevo dato a la base de datos.

4. Salida de datos del sistema e inicio nuevamente de la etapa 1 con la base de datos incrementada en un dato. La fuente de datos (3) es un sensor de nivel con codificación binaria BCD que envía datos con cadencia diez-minutal a una estación remota que provee a los datos de un sistema de corrección de errores (CRC) antes de...

Procedimiento para la validación, d~!tección de errores y corrección de los datos procedentes de sensores de nivel en ríos caracterizado por:

1. Emplear una red neuronal no lineal auleregresiva (NNAR) de n enlradas (una para cada sensor) , caracterizada por determinar su topología mediante técnicas meta··heurísticas de optimización (por ejemplo algoritmos genéticos) , a partilrde los datos registrados del nivel de los ríos.

2. Emplear un proceso recursiv·o/iterativo de 4 etapas: (i) entrenamiento con el 75% de los dales y un rentrenamienle, (ii) selección de mejor dale disponible, (iii) incremenle de la base de datos y presentación de datos,

que reentrena la red neuronall no lineal autoregresiva NNAR con la llegada de cada dato procedente del sensorles de nivel.

3. Emplear un proceso de selección del mejor dato disponible de acuerdo a la etapa 2 del procedimiento selección del mejor dale disponible, según el

siguiente criterio:

y (t + 1) = ys (t + 1) YNN (t + 1) -Ys (t + 1) < ti (

y (t + 1) = YNN (t + 1) YNN (t + 1) -Ys (t + 1) ~ ti Siendo: t variable temporal usada por el sist~!!ma

y: dato seleccionado Ys: dato de la serie a validar

) INN: predicción de la red neuronal ó: umbral óptimo de selección Según este criterio el dato seleccionado puede ser procedente del propio sensorles de nivelo de la prediCjción de la red neuronal, de forma que el nuevo dato formará parte de la base de daleS (n registros, uno para cada sensor)

Base de datos que, parcialment~! puede ser errónea y, con la que la red será nuevamente entrenada, ya sea empteándota al completo o s610 una parte de la misma.

4. Emplear dos técnicas adidonales de corrección, una basada en la naturaleza discreta de los dalles procedentes del sensor y, otra basada en la no causalidad de los datos analizados:

Técnica basada en la naturaleza discreta de los datos procedentes del sensor:

Yr (t+1) = round[y (t + 1) , -2]

Siendo: y, : dato seleccionado redondeado (round) , según la resolución de los datos de la serie a validar, (en la expresión anterior, ya título de ejemplo, 2 decimales) . y una segunda basada en la no causalidad de los datos analizados para generar los datos que alimentan a la interfaz de salida de datos del sistema (5) :

si Yr (t-1) = Yr (t + 1) entonces Yr (t) = Yr (t -1) Yvaz (t) =Yr (t + 1) Siendo: 15 Yva': dato de salida de datos del sistema y de realimentación a la base de datos