SISTEMA Y MÉTODO DE ALMACENAMIENTO Y RETRANSMISIÓN DE DATOS CON MÚLTIPLES SALTOS Y MÚLTIPLES TRAYECTORIAS PARA TRANSFERENCIAS MASIVAS.

Sistema y método de almacenamiento y retransmisión de datos con múltiples saltos y múltiples trayectorias para transferencias masivas de datos.

El objeto de la invención es dividir un archivo grande en múltiples trozos usando varios nodos de almacenamiento intermedios para sortear MTAB (Múltiples Time Aligned Bottlenecks) y acortar los tiempos de entrega para datos masivos. Se emplea planificación y encaminamiento de múltiples trayectorias/múltiples saltos de almacenamiento y retransmisión (SnF) de trozos en periodos de tiempo prolongados.

Sistema y método de almacenamiento y retransmisión de datos con múltiples saltos y múltiples trayectorias para transferencias masivas.

Campo de la invención

El objeto de la presente invención usa la técnica de dividir un archivo grande en múltiples trozos usando varios nodos de almacenamiento intermedios para sortear MTAB (Multiple Time Aligned Bottlenecks, atascos múltiples alineados en el tiempo) y acortar los tiempos de entrega para datos masivos. Se emplea encaminamiento y planificación de múltiples trayectorias/múltiples saltos de almacenamiento y retransmisión (SnF) de trozos en periodos de tiempo prolongados.

La invención propone un sistema y un método que planifica las transferencias de datos en varias horas en el futuro a partir de un momento de inicio de transmisión.

La presente invención puede implementarse como una plataforma de transferencia masiva genérica a la cabeza de diversos sistemas.

ANTECEDENTES DE LA TÉCNICA

El enlace de atasco de un flujo de datos masivo tolerante al retardo (DTB) duradero puede cambiar durante el curso de un día como resultado de los precios y la intensidad de demanda diurna. Considérese, por ejemplo, el caso de un emisor en la costa oeste de los EE. UU. que trata de enviar un DVD de 4, 8 GB directamente a un receptor en la costa este (3 horas de diferencia horaria) . Supóngase que ambos se conectan a través de ISP que limitan la tasa de transmisión de los flujos masivos de sus clientes residenciales durante las horas punta de la tardenoche (por ejemplo, desde las 8 p.m. hasta las 11 p.m.) con el fin de crear espacio libre para tráfico interactivo. Es fácil verificar que incluso con enlaces de acceso simétrico rápidos de 10 Mbps la transferencia puede tardar hasta 7 horas, mientras que normalmente debe tardar sólo 1 hora dadas las capacidades de acceso. El problema es que si el emisor inicia una transferencia directa a las 5 p.m. hora del Pacífico (que no es hora punta en el ISP emisor) , la transmisión se bloqueará durante 3 horas por el ISP receptor que estará en sus horas punta locales. Pasadas esas 3 horas, será el emisor el que entre en sus horas punta y así la transferencia se bloqueará durante otras 3 horas. Por consiguiente, la transmisión finalizará aproximadamente a media noche hora del Pacífico, con el emisor transmitiendo a la máxima velocidad durante la última hora. Problemas similares pueden aparecer en aplicaciones empresariales, por ejemplo, entre centros de datos situados en zonas horarias remotas que se usan mutuamente con fines de copia de seguridad. Cuando uno de ellos tiene ancho de banda libre debido a tráfico de usuario final reducido no puede aprovecharse completamente de ello y hacer una copia de seguridad de sus datos en un centro de datos remoto, porque en ese momento exacto el centro de datos remoto puede estar recibiendo su tráfico de usuario punta (debido a su ubicación en una zona horaria remota) .

Situaciones similares pueden surgir incluso dentro de la misma zona horaria. Por ejemplo, el emisor y el receptor pueden establecer de manera manual topes en el ancho de banda masivo autoimpuestos en diferentes momentos del día para proteger sus sesiones interactivas, o sus redes de acceso pueden llegar al máximo, debido a su naturaleza, en diferentes horas locales (por ejemplo, residenciales frente a empresas frente a redes universitarias) .

La situación anterior se llama problema de los múltiples atascos alineados en el tiempo (o MTAB) . El MTAB es un problema de sincronismo. Puesto que todas las conexiones de extremo a extremo (E2E) deben cruzar los enlaces de dos bordes (primer y último salto) , la redirección espacial en forma de encaminamiento de superposición de una única o múltiples trayectorias no puede evitar el MTAB. Lo que se necesita en su lugar es un tipo de redirección temporal con el fin de “desplazar en el tiempo” el ancho de banda del emisor mientras el receptor está bloqueado, salvándolo de que se desperdicie. Esto puede conseguirse realizando almacenamiento y retransmisión (SnF) de datos con la ayuda de uno o múltiples nodos de almacenamiento intermedios. Intercambiar ancho de banda por almacenamiento tiene sentido puesto que los costes de almacenamiento siguen bajando mucho más rápido que los costes de ancho de banda [1]. Volviendo al ejemplo anterior, el emisor puede retransmitir todo el archivo a un nodo de almacenamiento de este tipo durante cualquier ventana de tiempo de 1 hora entre 5 p.m. y 8

p.m. del Pacífico, que a su vez puede entregarlo al receptor a las 9 p.m. del Pacífico, con lo que se obtiene un tiempo de finalización de 4 horas en lugar de 7 horas.

Actualmente existen cuatro soluciones básicas para realizar transferencias masivas tolerantes con el retardo (DTB) en un día:

- Primera solución: con una red dedicada entre fuente y destino. Esta solución se ha aplicado en el caso del acelerador de partículas Large Hadron Collider (Gran Colisionador de hadrones) (LHC) del CERN que genera 27 Terabytes de datos sin tratar diariamente que tienen que transmitirse a centros de almacenamiento y análisis remotos en todo el mundo. Esto se maneja mediante la rejilla de cálculo de LHC (http://lcg.web.cern.ch/LCG/) que es una óptica dedicada a redes con nodos en Europa, Asia y Norteamérica.

- Segunda solución: una solución sencilla para transferir datos de DTB es enviarlos en forma física usando servicios postales o de mensajería.

- Tercera solución: enviando los datos a través de ISP comerciales usando transferencias orientadas a la conexión E2E existentes. En este caso, la transmisión puede tener lugar sobre protocolos ftp o http usando los mejores servicios posibles convencionales ofrecidos por los ISP. Una alternativa es usar soluciones compatibles con tráfico interactivo como Scavenger [7] y TCP Nice [11] que cuidan de transmitir los datos de DTB con el mínimo impacto negativo posible en el tráfico interactivo que fluye a través de la propia red. En el caso de Scavenger, esto se consigue etiquetando el tráfico de DTB como de baja prioridad y dejando que los encaminadores le den servicio sólo si hay ancho de banda libre de tráfico interactivo de mayor prioridad. En el caso de TCP Nice, el tráfico interactivo se protege haciendo que TCP Nice retroceda y reduzca su tasa de transmisión más rápida que la de TCP convencional que lleva el tráfico interactivo.

La tercera solución implica varios inconvenientes. Con el fin de explicar los problemas relacionados debe considerarse una política E2E-CBR de tasa de transmisión B/T casi constante que pueda entregar el volumen B dentro del plazo límite T. En el caso de datos de LHC esto requeriría un flujo de al menos 2, 5 Gbps (27 Terabytes por día) . Suponiendo que la transferencia tiene que volver a producirse cada día, E2E-CBR haría subir los percentiles 95 de los ISP de acceso de emisión y de recepción en exactamente B/T de 2, 5 Gbps costándoles algo entre 75.000 $ y 225.000 $ en costes de tránsito mensual adicionales (30.000 -90.000 $ por Gbps según precios recientes) . Dicho de otro modo, puesto que E2E-CBR está sujeto a aumentar el volumen cargado en exactamente su tasa de transmisión promedio, no proporciona ninguna ventaja en comparación con la compra de líneas dedicadas de exactamente la misma tasa de transmisión. Usando Scavenger y TCP Nice puede enviarse datos de DTB adicionales a través de las líneas existentes que llevan tráfico interactivo, aprovechando los intervalos de tiempo durante los cuales el tráfico interactivo es bajo. Sin embargo, tal como se ha mencionado anteriormente, esto puede ser problemático cuando hay capacidad infrautilizada en algunos, aunque no todos, los enlaces implicados entre puntos de dos extremos. En ese caso, las soluciones de E2E, como Scavenger y TCP Nice, ajustarán la tasa de transmisión a la tasa de transmisión del enlace más lento (el de capacidad menos infrautilizada que va a usarse para datos de DTB) . Esto prohíbe usar la capacidad infrautilizada de todos los enlaces restantes que en efecto está desperdiciándose.

En [2, 3, 4], de los mismos inventores de la presente solicitud, se describe un sistema para enviar una gran cantidad de datos (por ejemplo, datos científicos) masivos a coste cero o bajo entre ISP de acceso que están sujetos a fijación de precios de percentil 95/5 usando SnF de una única trayectoria y un único salto a través de un nodo de almacenamiento único. Esto sin embargo tiene el problema de que en ciertos casos, dependiendo de la cantidad...

1. Sistema de almacenamiento y retransmisión de datos con múltiples saltos y múltiples trayectorias para transferencias masivas de datos compatibles con ISP que comprende una pluralidad de nodos (100) incluyendo cada nodo (100) :

un módulo (1) de gestión de superposición que está dispuesto para añadir un nuevo nodo en una superposición, eliminarlo y mantener unas conexiones de superposición durante la participación del nodo

(100) en el sistema;

un módulo (2) de predicción de volumen de transferencia de datos que está dispuesto para mantener una

serie de tiempo con el volumen máximo previsto de datos que puede retransmitirse a cada nodo vecino

durante cada una de unas ranuras de tiempo que pueden abarcar un día entero;

un servidor de autocarga en donde ser registra dicho nodo (100) y que lo devuelve a un conjunto W de nodos de almacenamiento intermedios que se usan para realizar almacenamiento y retransmisión;

caracterizado porque cada nodo (100) comprende:

un módulo (3) de planificación y encaminamiento para todas las transferencias de datos entre dichos

nodos (100) , uno de ellos emisor v, unos nodos de almacenamiento w E W y un nodo (100) receptor u; integrando y usando dicho módulo (3)

• unas predicciones de volumen de datos de transferencia para calcular un plan de transferencia inicial y seguir actualizándolo periódicamente a medida que recibe unas predicciones actualizadas desde los nodos (100) , y

• medios para resolver un problema de optimización de flujo de red máximo; y

un módulo (4) de gestión de transmisión dispuesto para recibir, planificar y encaminar órdenes desde el módulo (3) de planificación y encaminamiento de nodos (100) emisores v para los que un nodo local está retransmitiendo y ejecutar dichas órdenes.

2. Método de almacenamiento y retransmisión de datos con múltiples saltos y múltiples trayectorias para transferencias masivas de datos que comprende las etapas de:

gestionar una superposición añadiendo temporalmente un nuevo nodo (100) de superposición, eliminándolo y manteniendo unas conexiones de superposición durante la participación del nodo; y

mantener durante una ranura tiempo un volumen máximo previsto de datos que puede retransmitirse a cada nodo vecino durante dicha ranura de tiempo;

caracterizado porque comprende:

- planificar y encaminar todas las transferencias de datos entre el emisor v, unos nodos de almacenamiento w E W y el nodo receptor u; incluyendo dicha planificación y encaminamiento una etapa de predicción de volumen para calcular un plan de transferencia inicial y seguir actualizándolo periódicamente a medida que recibe unas predicciones actualizadas desde dichos nodos de almacenamiento w E W y proporcionar una optimización de flujo de red máxima; y

- gestionar una transmisión de datos en la que se reciben las órdenes de planificación y encaminamiento de unos emisores (100) para los que el nodo local está retransmitiendo y ejecutar dichas órdenes.

3. Método según la reivindicación 2, en el que dicha etapa de predicción de volumen abarca al menos varias horas en el futuro a partir de un momento de inicio de envío de datos dado.