Aparato, procedimiento y medio para detectar una anomalía de carga útil usando la distribución en n-gramas de datos normales.

Un procedimiento, llevado a cabo por un ordenador, de detección de cargas útiles anómalas transmitidas a través deuna red,

que comprende las etapas de:

recibir al menos una carga útil dentro de la red (S250; S350);

determinar una longitud para los datos contenidos en la al menos una carga útil (S252; S352);

generar una distribución estadística de valores de octeto de los datos contenidos en la al menos una carga útil recibidadentro de la red (S256; S354);

seleccionar, de entre una pluralidad de distribuciones estadísticas modelo de valores de octeto, una distribuciónestadística modelo de valores de octeto representativa de las cargas útiles normales transmitidas a través de la red, enbase, al menos en parte, a la longitud determinada, en donde la distribución estadística modelo de valores de octeto tieneuna gama de longitudes predeterminada y se selecciona de modo que la longitud determinada para los datos contenidosen la al menos una carga útil esté incluida dentro de la gama de longitudes predeterminada;

comparar al menos una parte de la distribución estadística generada de valores de octeto con una parte correspondientede la distribución estadística modelo seleccionada de valores de octeto (S356); e

identificar si la al menos una carga útil es una carga útil anómala (S358), en base, al menos en parte, a las diferenciasdetectadas entre la al menos una parte de la distribución estadística generada de valores de octeto para la al menos unacarga útil y la parte correspondiente de la distribución estadística modelo seleccionada de valores de octeto.

Aparato, procedimiento y medio para detectar una anomalía de carga útil usando la distribución en n-gramas de datos normales

Información de prioridad y referencia cruzada con aplicaciones relacionadas Esta solicitud reivindica prioridad de la solicitud provisional de Estados Unidos Nº 60 / 518.742 presentada el 12 de noviembre de 2003, y de la solicitud provisional de Estados Unidos Nº 60 / 613.637 presentada el 28 de septiembre de 2004.

Declaración con respecto a investigación patrocinada federalmente Esta invención se realizó con el apoyo del Gobierno de los Estados Unidos, según el acuerdo número F30602-02-2-0209 10 concedido por DARPA. El Gobierno de los Estados Unidos tiene ciertos derechos en esta invención.

Trasfondo de la invención

Campo técnico La presente invención se refiere al análisis de datos y, más específicamente, a la detección de transmisiones de datos anómalos.

Descripción de la técnica relacionada Los sistemas de ordenadores en red consisten en sedes de procesamiento (p. ej., ordenadores anfitriones) que intercambian datos entre sí. Hay varios protocolos usados por los ordenadores para intercambiar datos. Por ejemplo, TCP / IP es un protocolo de red que proporciona el transporte de datos entre ordenadores que están conectados por una red. A cada ordenador anfitrión se asigna una única dirección del protocolo de Internet (IP) , y los datos son intercambiados entre 20 direcciones de IP de origen y direcciones de IP de destino, a un puerto de destino en el anfitrión de destino y desde un puerto de origen en el anfitrión de origen. Un número de puerto corresponde a un servicio o aplicación específica que “está a la escucha” de datos enviados al mismo en ese puerto, desde algún anfitrión remoto de origen. Algunos puertos están estandarizados y tienen asignado un servicio habitual bien conocido. Por ejemplo, los servidores basados en la Red tienen habitualmente asignado el puerto 80 para la transmisión de solicitudes de la Red, entregadas mediante paquetes de TCP /

IP, con información de control según los comandos del protocolo de transferencia de hipertexto (HTTP) que espera el servidor de la Red. El TCP / IP transfiere tales datos en forma de “paquetes de red” que consisten en la identificación de la dirección de IP, los números de puertos, la información de control y la carga útil. La carga útil son los datos efectivos esperados por el servicio o la aplicación. En el caso del tráfico de la Red, la carga útil puede consistir, por ejemplo, en solicitudes GET para páginas de la Red representadas por los URL.

Según las redes, tal como Internet, se tornan más accesibles para los usuarios, aumenta significativamente la cantidad de datos transmitidos. Esto presenta una oportunidad para que los individuos causen daño a los ordenadores de usuarios desprevenidos. Los gusanos y los virus, en particular, son causas bien conocidas de grietas de seguridad en sistemas de ordenadores. Estos están constituidos por datos maliciosos enviados a un servicio o aplicación, que se aprovechan de una vulnerabilidad (tal como un desborde de un almacén temporal que proporciona acceso como usuario privilegiado al

programa ejecutable del gusano) que provoca que el servicio o aplicación quede inhabilitado, casque o brinde privilegios no autorizados a un atacante. Algunos ejemplos comunes incluyen los recientes gusanos y virus Código Rojo, Nimda y Sobig. Los sistemas convencionales diseñados para detectar y defender los sistemas ante estos sucesos maliciosos e intrusivos dependen de “rúbricas” o “huellas dactilares” que son desarrolladas por seres humanos, o por medios semiautomatizados provenientes de gusanos o virus malignos anteriormente conocidos. Actualmente, los sistemas son protegidos después de que ha sido detectado un gusano, y que ha sido desarrollada y distribuida una rúbrica a los detectores basados en rúbricas, tal como un detector de virus o una regla de cortafuegos.

A fin de reducir la potencial amenaza de los ataques, se establece un cortafuegos para proteger los ordenadores dentro de una red. Los cortafuegos con sistemas de ordenadores que habitualmente permanecen en la pasarela de una red de ordenadores, o que residen en una red, enfrente de un anfitrión u ordenador servidor crítico, y que inspeccionan el tráfico a 45 y desde la red o servidor, y determinan qué tráfico puede avanzar, y qué tráfico será filtrado. Los cortafuegos también pueden ser implementados en forma de software en ordenadores individuales. Como ejemplo, los gusanos que se propagan son habitualmente filtrados por cortafuegos que han sido pre-cargados con una “regla de rúbrica” que detecta la apariencia de un gusano específico. Cuando un paquete y su carga útil “coinciden” con una cadena de rúbrica conocida asociada a un gusano, el cortafuegos bloqueará los paquetes de TCP / IP que el gusano entregó, impidiendo que el

servidor sea atacado por ese gusano.

Este enfoque padece de dos problemas fundamentales. En primer lugar, las cadenas de rúbrica asociadas a los gusanos solamente pueden ser construidas después de que el gusano ha sido detectado. Esto significa que el gusano no fue efectivamente detectado en su primera aparición y, lógicamente, atacó al menos a un servidor, causando daño al servidor. La protección no es posible hasta que un tercero haya construido una cadena de rúbrica y la haya desplegado extensamente en todas las sedes y cortafuegos de la red. Puede perderse un tiempo precioso durante este proceso, que habitualmente puede requerir muchos días. Durante este tiempo, el gusano se habrá extendido con éxito ampliamente por 5 Internet, dañando a muchos miles, si no millones, de anfitriones. Esto es porque los gusanos, en particular, se propagan rápidamente en Internet e infectan y destruyen sistemas a velocidades muy altas. En segundo lugar, hay muchísimos gusanos que han aparecido en Internet, y cada uno de estos ha tenido diversas cadenas de rúbrica construidas para su detección, que están cargadas en todos los cortafuegos. Esto implica que, a lo largo del tiempo, los cortafuegos deben crecer en complejidad a fin de almacenar, procesar y correlacionar muchas cadenas de rúbrica con cada carga útil de paquete entregada a la pasarela o al servidor.

Se han hecho varios intentos para detectar gusanos analizando la velocidad de escaneo y sondeando desde orígenes externos que indicarían que una propagación de gusano está en marcha. Desafortunadamente, este enfoque detecta el comienzo temprano de una propagación y, por definición, el gusano ya ha penetrado con éxito en un sistema, lo ha infectado y ha iniciado su daño y propagación.

En base a lo precedente, sería beneficioso proporcionar un sistema capaz de detectar datos potencialmente dañinos transmitiéndose a través de una red. También sería beneficioso proporcionar un sistema capaz de determinar si datos potencialmente dañinos son o no un programa malicioso. Sería adicionalmente beneficioso proporcionar rúbricas para filtrar programas maliciosos, tales como gusanos y virus, tras una aparición inicial de tales programas.

C. Krügel, T. Toth y E. Kirda describen un Procedimiento Específico de Servicios de Detección de Anomalías para la 20 Detección de Intrusiones por Red, el 30 de abril de 2002 (2002-04030) .

Matthew V. Mahoney describe un Procedimiento de Detección de Anomalías de Tráfico en Red en base a Octetos de Paquetes, el 12 de marzo de 2003 (2003-03-12) .

Matthew V. Mahoney y Philip K. Chan describen Modelos de Aprendizaje del Tráfico en Red para Detectar Ataques Noveles, en agosto de 2002 (2002-08) .

Carol Taylor y Jim Alves-Foss describen el NATE: Análisis en Red de Sucesos Anómalos de Tráfico, un Enfoque de Bajo Coste, el 13 de septiembre de 2001 (2001-09-13) .

Sumario de la invención Estas y otras necesidades son abordadas por la presente invención, en la cual pueden ser detectados datos potencialmente dañinos transmitiéndose a través de una red. Una o más realizaciones de la presente invención utilizan el 30 análisis estadístico de los datos contenidos en una carga útil a fin de determinar si la carga útil es o no potencialmente dañina. El análisis estadístico puede tener la forma de una distribución de valores de octetos de los datos contenidos en la carga útil. Los datos transmitidos a través de la red son comparados con un modelo de datos “normales” previamente recibidos por la red, a fin de determinar su probabilidad de ser dañinos. Los datos normales recibidos por la red pueden ser determinados modelando el tráfico recibido durante un periodo de tiempo fijado. De tal modo, los datos normales... [Seguir leyendo]

1. Un procedimiento, llevado a cabo por un ordenador, de detección de cargas útiles anómalas transmitidas a través de una red, que comprende las etapas de:

recibir al menos una carga útil dentro de la red (S250; S350) ;

determinar una longitud para los datos contenidos en la al menos una carga útil (S252; S352) ;

generar una distribución estadística de valores de octeto de los datos contenidos en la al menos una carga útil recibida dentro de la red (S256; S354) ;

seleccionar, de entre una pluralidad de distribuciones estadísticas modelo de valores de octeto, una distribución estadística modelo de valores de octeto representativa de las cargas útiles normales transmitidas a través de la red, en base, al menos en parte, a la longitud determinada, en donde la distribución estadística modelo de valores de octeto tiene una gama de longitudes predeterminada y se selecciona de modo que la longitud determinada para los datos contenidos en la al menos una carga útil esté incluida dentro de la gama de longitudes predeterminada;

comparar al menos una parte de la distribución estadística generada de valores de octeto con una parte correspondiente de la distribución estadística modelo seleccionada de valores de octeto (S356) ; e identificar si la al menos una carga útil es una carga útil anómala (S358) , en base, al menos en parte, a las diferencias detectadas entre la al menos una parte de la distribución estadística generada de valores de octeto para la al menos una carga útil y la parte correspondiente de la distribución estadística modelo seleccionada de valores de octeto.

2. El procedimiento de la reivindicación 1, en el cual la gama de longitudes predeterminada de la distribución estadística modelo seleccionada de valores de octeto está basada en divisiones seleccionadas usando estimaciones de núcleo para 20 la distribución estadística modelo seleccionada de valores de octeto de todas las cargas útiles normales (S254) .

3. El procedimiento de la reivindicación 1, en el cual la gama de longitudes predeterminada de la distribución estadística modelo seleccionada de valores de octeto está basada en divisiones seleccionadas aplicando al menos un algoritmo de agrupamiento a la distribución estadística modelo seleccionada de valores de octeto de todas las cargas útiles normales.

4. El procedimiento de la reivindicación 1, en el cual la distribución estadística generada de valores de octeto de la al

menos una carga útil es una distribución de valores de octeto de la frecuencia media y la varianza de los datos contenidos en la al menos una carga útil, y la distribución estadística modelo seleccionada de valores de octeto es una distribución de valores de octeto de la frecuencia media y la varianza, representativa de las cargas útiles normales.

5. El procedimiento de la reivindicación 1, en el cual la distribución estadística generada de valores de octeto de la al menos una carga útil es una distribución de valores de octeto de los datos contenidos en la al menos una carga útil, y la distribución estadística modelo seleccionada de valores de octeto es una distribución de valores de octeto representativa de las cargas útiles normales.

6. El procedimiento de la reivindicación 5, en el cual la distribución estadística generada de valores de octeto de la al menos una carga útil es un total de frecuencias de octetos de los datos contenidos en la al menos una carga útil, y la distribución estadística modelo seleccionada de valores de octeto es un total de frecuencias de octetos para cargas útiles normales.

7. El procedimiento de la reivindicación 5, en el cual la distribución estadística generada de valores de octeto de la al menos una carga útil es un total de frecuencias de octetos, ordenado por clasificación, de los datos contenidos en la al menos una carga útil, y la distribución estadística modelo seleccionada de valores de octeto es un total de frecuencias de octetos, ordenado por clasificación, para cargas útiles normales.

8. El procedimiento de la reivindicación 1, en el cual:

la etapa de comparación comprende adicionalmente una etapa de medir una métrica de distancia entre la distribución estadística generada de valores de octeto de los datos contenidos en dicha (s) carga (s) útil (es) y la distribución estadística modelo seleccionada de valores de octeto (S518) ; y

la etapa de identificación comprende adicionalmente una etapa de identificar cargas útiles anómalas como las cargas 45 útiles que, al menos en parte, superan una métrica de distancia predeterminada (S520) .

9. El procedimiento de la reivindicación 8, en el cual la métrica de distancia se calcula en base a una distancia de Mahalanobis entre la distribución estadística generada de valores de octeto de los datos contenidos en la al menos una carga útil y la distribución estadística modelo seleccionada de valores de octeto.

10. El procedimiento de la reivindicación 8, en el cual la distribución estadística generada de valores de octeto de los datos contenidos en la al menos una carga útil tiene un perfil decadente, y en el cual la medición de la métrica de distancia es iniciada en el extremo decadente.

11. El procedimiento de la reivindicación 8, que comprende adicionalmente las etapas de:

fijar un umbral de alerta correspondiente a un número deseado de alertas para cargas útiles anómalas detectadas; y ajustar automáticamente la métrica de distancia predeterminada hasta que se alcance el umbral de alerta.

12. El procedimiento de la reivindicación 1, en el cual la gama de longitudes predeterminada es seleccionada a partir de al menos una parte de prefijo de la distribución estadística modelo seleccionada de valores de octeto.

13. El procedimiento de la reivindicación 1, en el cual la gama de longitudes predeterminada es seleccionada a partir de al 10 menos una parte de sufijo de la distribución estadística modelo seleccionada de valores de octeto.

14. El procedimiento de la reivindicación 1, en el cual la gama de longitudes predeterminada es seleccionada a partir de al menos una parte central de la distribución estadística modelo seleccionada de valores de octeto.

15. El procedimiento de la reivindicación 1, en el cual la gama de longitudes predeterminada de la distribución estadística modelo seleccionada de valores de octeto es seleccionada a partir de un grupo de divisiones que consiste en: de 0 a 50

octetos, de 50 a 150 octetos, de 150 a 155 octetos, de 0 a 255 octetos, menos de 1.000 octetos, más de 2.000 octetos y más de 10.000 octetos.

16. El procedimiento de la reivindicación 1, en el cual al menos una entre la distribución estadística generada de valores de octeto para la al menos una carga útil, la pluralidad de distribuciones estadísticas modelo de valores de octeto y la distribución estadística modelo seleccionada de valores de octeto se genera usando una distribución en n-gramas, en donde cada n-grama es una agrupación variable de octetos.

17. El procedimiento de la reivindicación 16, en el cual n es un valor mixto de agrupaciones de octetos.

18. El procedimiento de la reivindicación 16, en el cual n = 1.

19. El procedimiento de la reivindicación 16, en el cual n = 2.

20. El procedimiento de la reivindicación 16, en el cual n = 3.

21. El procedimiento de la reivindicación 1, que comprende adicionalmente una etapa de determinar si una carga útil anómala detectada es o no un virus o gusano (S434) .

22. El procedimiento de la reivindicación 21, que comprende adicionalmente las etapas de: identificar un puerto que haya sido sondeado por el virus o gusano; comparar el tráfico de egreso con la distribución estadística generada de valores de octeto para el virus o gusano, a fin de

detectar sondeos al mismo puerto en otras máquinas; y detectar la propagación del gusano o virus en base a la etapa de comparación.

23. El procedimiento de la reivindicación 21, que comprende adicionalmente una etapa de asignar distintos factores de peso a valores de octeto seleccionados.

24. El procedimiento de la reivindicación 23, en el cual mayores factores de peso son asignados a valores de octeto 35 correspondientes a códigos operativos de un sistema de ordenador.

25. El procedimiento de la reivindicación 21, que comprende adicionalmente una etapa de generar una rúbrica para cualquier carga útil anómala determinada como virus o gusano (S682) .

26. El procedimiento de la reivindicación 25, en el cual la etapa de generar una rúbrica comprende adicionalmente las

etapas de: identificar la cadena común más larga para los datos contenidos en la carga útil determinada como virus o 40 gusano; y

generar la rúbrica en base, al menos en parte, a la cadena común más larga.

27. El procedimiento de la reivindicación 25, en el cual la etapa de generación comprende adicionalmente las etapas de:

identificar la sub-secuencia común más larga para los datos contenidos en la carga útil determinada como el virus o gusano; y

generar la rúbrica en base, al menos en parte, a la sub-secuencia común más larga.

28. El procedimiento de la reivindicación 25, que comprende adicionalmente una etapa de intercambiar rúbricas de virus o gusanos con uno o más servidores.

29. Un sistema para detectar cargas útiles anómalas transmitidas a través de una red, que comprende:

un ordenador acoplado a la red, y que recibe al menos una carga útil a través de la red; y

una o más distribuciones estadísticas modelo de valores de octeto, representativas de las cargas útiles normales recibidas a través de la red;

estando dicho ordenador configurado para:

determinar una longitud para los datos contenidos en dicha al menos una carga útil (S252, S352) ,

generar una distribución estadística de valores de octeto de los datos contenidos en dicha al menos una carga útil recibida dentro de la red (S256, S354) ,

seleccionar, entre la una o más distribución (es) estadística (s) modelo de valores de octeto, una distribución estadística modelo de valores de octeto basada, al menos en parte, en la longitud determinada, en donde la distribución estadística modelo de valores de octeto tiene una gama de longitudes predeterminada y se selecciona de modo que la longitud

determinada para los datos contenidos en la al menos una carga útil esté incluida en la gama de longitudes predeterminada;

comparar al menos una parte de dicha distribución estadística generada de valores de octeto con una parte correspondiente de la distribución estadística modelo seleccionada de valores de octeto de dicha una o más distribución (es) estadística (s) modelo de valores de octeto (S356) , e identificar si dicha al menos una carga útil es una carga útil anómala (S358) , en base, al menos en parte, a las diferencias detectadas entre la al menos una parte de la distribución estadística generada de valores de octeto para dicha al menos una carga útil y la parte correspondiente de dicha distribución estadística modelo seleccionada de valores de octeto.

30. El sistema de la reivindicación 29, en el cual dicho ordenador está adicionalmente configurado para:

medir una métrica de distancia entre la distribución estadística generada de valores de octeto de los datos contenidos en 25 dicha al menos una carga útil y dicha distribución estadística modelo seleccionada de valores de octeto (S518) ; e identificar cargas útiles anómalas como las cargas útiles que, al menos en parte, superan una métrica de distancia predeterminada (S520) .

31. El sistema de la reivindicación 29, en el cual dicho ordenador está adicionalmente configurado para:

fijar un umbral de alerta correspondiente a un número deseado de alertas para cargas útiles anómalas detectadas; y 30 ajustar automáticamente dicha métrica de distancia predeterminada hasta que se alcance dicho umbral de alerta.

32. El sistema de la reivindicación 29, en el cual dicho ordenador comprende al menos un puerto y está adicionalmente configurado para:

determinar si una carga útil anómala detectada es o no un virus o gusano;

identificar al menos un puerto que ha sido sondeado por dicho virus o gusano; y

detectar la propagación de dicho gusano o virus comparando el tráfico de egreso con la distribución estadística generada de valores de octeto para dicho virus o gusano, a fin de detectar sondeos al al menos un puerto en al menos otro ordenador.

33. Un medio legible por ordenador que lleva instrucciones ejecutables por un ordenador, para modelar los datos de carga útil recibidos en una red, haciendo dichas instrucciones que dicho ordenador realice el procedimiento de: 40 recibir al menos una carga útil a través de la red (S250; S350) ;

determinar una longitud para los datos contenidos en la al menos una carga útil (S252; S352) ; generar una distribución estadística de valores de octeto de los datos contenidos en la al menos una carga útil recibida dentro de la red;

seleccionar, entre una pluralidad de distribuciones estadísticas modelo de valores de octeto, una distribución estadística modelo de valores de octeto, representativa de las cargas útiles normales transmitidas a través de la red, en base, al menos en parte, a la longitud determinada, en donde la distribución estadística modelo de valores de octeto tiene una gama de longitudes predeterminada, y se selecciona de modo que la longitud determinada para los datos contenidos en la al menos una carga útil esté incluida dentro de la gama de longitudes predeterminada;

comparar al menos una parte de la distribución estadística generada de valores de octeto con una parte correspondiente de la distribución estadística modelo seleccionada de valores de octeto (S356) e identificar si dicha al menos una carga útil es una carga útil anómala (S358) , en base, al menos en parte, a las diferencias detectadas entre la al menos una parte de la distribución estadística generada de valores de octeto para la al menos una carga útil y la parte correspondiente de la distribución estadística modelo seleccionada de valores de octeto.

34. El medio legible por ordenador de la reivindicación 33, que comprende adicionalmente instrucciones para hacer que dicho ordenador realice el procedimiento de:

medir una métrica de distancia entre la distribución estadística generada de valores de octeto de los datos contenidos en dicha al menos una carga útil y dicha distribución estadística modelo seleccionada de valores de octeto (S518) ; e identificar cargas útiles anómalas como las cargas útiles que, al menos en parte, superan una métrica de distancia predeterminada (S520) .

35. El medio legible por ordenador de la reivindicación 33, que comprende adicionalmente instrucciones para hacer que dicho ordenador realice el procedimiento de:

fijar un umbral de alerta correspondiente a un número deseado de alertas para cargas útiles anómalas detectadas; y

ajustar automáticamente dicha métrica de distancia predeterminada hasta que se alcance dicho umbral de alerta.

36. El medio legible por ordenador de la reivindicación 33, que comprende adicionalmente instrucciones para hacer que dicho ordenador realice el procedimiento de:

determinar si una carga útil anómala detectada es o no un virus o gusano (S434) ;

identificar el al menos un puerto que ha sido sondeado por dicho virus o gusano; y

detectar la propagación de dicho gusano o virus comparando el tráfico de egreso con la distribución estadística generada de valores de octeto para dicho virus o gusano, a fin de detectar sondeos al al menos un puerto en al menos otro ordenador.

FIG. 12