MECANISMO DE TRANSFERENCIA DE DATOS DE ALTA VELOCIDAD.

La presente solicitud es una continuación en parte de la Solicitud de Patente de los Estados Unidos Nº de serie 09/038.440, presentada el 11 de Marzo de 1998, que se basa en la Solicitud Provisional de los Estados Unidos Nº 60/063.831, presentada el 30 de Octubre de 1997. Campo de la invención La invención se refiere a mecanismos de transferencia de datos y, en particular, a una Conducción de Datos DataPipe de alta velocidad, basada en software para proporcionar una transferencia de datos fiable y de alta velocidad entre ordenadores. Antecedentes de la invención Es bastante obvio que los datos, en el procedimiento de archivarse o transferirse desde una localización a otra, pasarán a través de diversas fases donde tendrán lugar diferentes operaciones tales como la compresión, transferencia de red, almacenamiento, etc. sobre los mismos. Hay esencialmente dos enfoques que pueden hacerse cuando se implementa tal mecanismo de transferencia. Uno sería dividir el procedimiento de archivo en sub-tareas, cada una de las cuales realizaría una función específica (por ejemplo, la Compresión). Esto requeriría a continuación la copia de los datos dentro de las sub-tareas, lo que podría resultar en un uso intensivo del procesador. El otro método sería minimizar las copias, y tener un programa monolítico que realizaría todas las funciones de archivo. La desventaja de este método sería la pérdida de paralelismo. Una tercera alternativa sería, por supuesto, usar hilos (threads) para hacer estas tareas y usar protocolos de señalización de hilos, sin embargo, se ha constatado que esto no sería enteramente práctico ya que los hilos no se soportan totalmente sobre muchas plataformas de cálculo. Por consiguiente, es altamente deseable obtener un mecanismo de transferencia de datos de alta velocidad implementado en software y desarrollado para las necesidades de transferencia de datos fiable y de alta velocidad entre ordenadores. Es un objeto de la invención desvelar la implementación de la Conducción de Datos de acuerdo con el producto de recuperación y respaldo de Vault98 del Sistema CommVault. Durante el desarrollo de la Conducción de Datos, se asume que los datos, a medida que se mueven desde la fuente de archivo (cliente de respaldo) al destino de archivo (servidor de respaldo en oposición a los medios), pueden sufrir una transformación o examen en diversas etapas entre ellos. Esta puede ser acomodar diversas acciones tales como la compresión de datos, indexación, envoltura de objetos, etc. que necesitan realizarse sobre los datos que se están archivando. Otra suposición es que los datos pueden transmitirse sobre la red a las máquinas remotas o transferirse a medios conectados localmente para su archivo. Tanto los ordenadores de transmisión como de recepción ejecutan un software denominado en este documento como la Conducción de Datos. Aunque el mecanismo de transferencia de la Conducción de Datos a describir en este documento es un componente clave de los esquemas de los productos software de respaldo y recuperación, la Conducción de Datos no está restringida a este uso. Es un mecanismo de transferencia de datos de propósito general implementado en software que es capaz de mover los datos sobre una red entre un ordenador transmisor y uno receptor a muy altas velocidades y en un modo que permite la plena utilización de uno o más trayectos de red y la plena utilización del ancho de banda de la red. También puede usarse una Conducción de Datos para mover los datos desde un dispositivo de almacenamiento a otro dentro de un ordenador único sin el uso de una red. De este modo, el concepto de la Conducción de Datos no está confinado a su implementación sólo en sistemas conectados en red, sino que se puede operar también para transferir datos en ordenadores no conectados en red. El documento WO 98/39707 desvela un sistema y un método para monitorizar descargas por una aplicación cliente. Estos se describen de modo que están particularmente adaptados para su uso con transferencias en modo de flujos. Sin embargo, el sistema de la técnica anterior no considera si el modo de transferencia de los datos es el mejor adaptado para la operación de almacenamiento. En particular, este documento desvela un sistema de almacenamiento de datos que tiene un dispositivo de almacenamiento y motores de datos de la fuente y de destino. El sistema usa un protocolo de transferencia de ficheros (FTP) para el almacenamiento de un fichero, y, en un modo de transferencia, el fichero se divide en bloques estando cada uno de los bloques precedido por uno o más bytes de cabecera. Sumario de la invención Es un objeto de la invención proporcionar en un sistema de comunicaciones que tiene un dispositivo de almacenamiento de origen y un dispositivo de almacenamiento de destino, un aparato de conducción de transferencia de datos para transferir datos en una secuencia de N etapas, donde N es un número entero positivo mayor que 1, desde el dispositivo de almacenamiento origen al de destino. 2 E01906769 26-12-2011   De acuerdo con la presente invención se proporciona un sistema de almacenamiento de datos como se define en la reivindicación 1. En realizaciones de la invención, el aparato puede comprender memoria dedicada que tiene un número predeterminado de memorias intermedias dedicadas para transportar los datos asociados con la transferencia de datos desde el dispositivo o procedimiento de origen al dispositivo o procedimiento de destino; y un módulo de control maestro para registrar y controlar los procedimientos asociados con el aparato de transferencia de datos para la participación en las N etapas de la secuencia de transferencia de datos. Los procedimientos incluyen al menos una primera etapa de procedimiento para la inicialización de la transferencia de datos y una última etapa de procedimiento de orden N para completar la transferencia de datos. La primera etapa de procedimiento es operativa para asignar una memoria intermedia del número predeterminado de memorias intermedias disponibles dentro de la memoria dedicada para la recogida, procesamiento y envío de los datos desde el dispositivo de origen a la siguiente etapa de procedimiento. La última etapa de procedimiento de orden N es operativa para recibir una memoria intermedia asignada a la primera etapa de procedimiento desde la etapa de orden (N - 1) de procedimiento en la secuencia de transferencia de datos y para liberar la memoria intermedia una vez que se ha completado el procesamiento y el almacenamiento en el dispositivo de destino para permitir la reasignación de la memoria intermedia. El procedimiento de control maestro incluye además un medio para la monitorización de las diversas memorias intermedias de la pila de memorias intermedias adjudicadas o asignadas a procedimientos particulares en la conducción, en el que el medio de monitor se puede operar para impedir la asignación de memorias intermedias adicionales a procedimientos particulares cuando el número de memorias intermedias asignadas actualmente excede un umbral predeterminado. Descripción de los dibujos La invención se entenderá mejor con referencia a los siguientes dibujos, en los que: La FIG. 1 es un diagrama de bloques de una arquitectura de la Conducción de Datos. La FIG. 2A es un esquema del procedimiento de transferencia de la Conducción de Datos sobre un único ordenador. La FIG. 2B es un esquema del procedimiento de transferencia de la Conducción de Datos sobre múltiples ordenadores. La FIG. 2C es un esquema del procedimiento de asignación de memorias intermedias de transferencia de la Conducción de Datos desde una pila de memorias intermedias almacenadas en una memoria compartida. La FIG. 2D es un esquema que ilustra el control de las relaciones de un procedimiento monitor maestro a diversos procedimientos adjuntos. Las FIG. 3A 3C ilustran diversos mensajes transferidos entre procedimientos de aplicación y el procedimiento monitor maestro. Las FIG. 4A 4B ilustran esquemas de un procedimiento de módulo adjunto para el espacio de memoria compartido. Las FIG. 5A 5B representan diagramas de flujo de la operación de los procedimientos del secuenciador y resecuenciador. La FIG. 6 representa un flujo de transferencia de datos de ejemplo entre diversas etapas de procesamiento dentro de la Conducción de Datos. La FIG. 7 ilustra un procedimiento de transferencia de la conducción de datos sobre ordenadores múltiples que tienen procedimientos con instancias múltiples. La FIG. 8 representa un sistema modular de datos y gestión de almacenamiento que funciona de acuerdo con los principios de la presente invención. La FIG. 9 es una cabecera de ejemplo que está típicamente colocada al comienzo de los fragmentos de datos que se envían a través del sistema de gestión de almacenamiento de la FIG. 8. La FIG. 10 es un sistema modular de datos y gestión... [Seguir leyendo]

1. Un sistema de almacenamiento de datos (800) para la transferencia de un archivo de datos a al menos un dispositivo de almacenamiento (812), comprendiendo el sistema de almacenamiento de datos: un motor de datos fuente (806), que: divide el fichero en una pluralidad de fragmentos (1243, 1263, 1283) en base a los diferentes formatos de ficheros de datos dentro del fichero, y asocia con cada uno de la pluralidad de fragmentos una información de cabecera (900) que contiene instrucciones respecto al fragmento asociado y el formato del fichero de los datos del fragmento asociado; y un motor de datos de destino (810) que recibe la pluralidad de fragmentos y almacena la pluralidad de fragmentos en localizaciones sobre al menos un dispositivo de almacenamiento (812) de acuerdo con las instrucciones en la información de cabecera de cada uno de la pluralidad de fragmentos. 2. El sistema de almacenamiento de datos de la reivindicación 1, en el que cada uno de los fragmentos incluye una información de pie (1271, 1285) que instruye al motor de datos de destino (810) con respecto a los fragmentos. 3. El sistema de almacenamiento de datos de cualquiera de las reivindicaciones anteriores en el que la información de cabecera (900) comprende además al menos uno de los siguientes: control de versión (902), comprensión en línea (904), vigilancia en línea (906), transferencia de cabeceras (908), selección del algoritmo de compresión (910), etiquetado de compensación y bloque (912), comprobación de redundancia cíclica en línea (914), un módulo de descarte de la comprobación de redundancia cíclica redundante (916), un módulo de re-arranque desde el punto de fallo (918), y un módulo de bloqueo de grupo (920). 4. El sistema de almacenamiento de datos de la reivindicación 1, en el que el motor de datos fuente (806) analiza el fichero para determinar si enviar el fichero al motor de datos de destino (810) en fragmentos de acuerdo con el formato del fichero. 5. El sistema de almacenamiento de datos de acuerdo con cualquiera de las reivindicaciones anteriores en el que el motor de datos fuente (806) envía el fichero al motor de datos de destino (810) en fragmentos junto con la información de cabecera (900) que instruye al motor de datos de destino respecto a los fragmentos de acuerdo con el formato del fichero. 6. El sistema de almacenamiento de datos de acuerdo con cualquiera de las reivindicaciones anteriores en el que el formato de fichero comprende uno cualquiera o más del grupo consistente de formato de texto, formato de audio, y formato de video. 7. Un mecanismo de transferencia de datos de alta velocidad para el almacenamiento de datos que comprende un sistema de almacenamiento de datos de acuerdo con cualquier de las reivindicaciones anteriores y una aplicación de software (804) que puede usarse para generar los datos que se van a almacenar; en el que dicho motor de los datos fuente (810) recibe, desde la aplicación de software (804), los datos que se van a almacenar y en el que dicho al menos un dispositivo de almacenamiento (812) se usa para almacenar los datos que se generan por la aplicación de software. 8. Un mecanismo de transferencia de datos de alta velocidad para el almacenamiento de datos de la reivindicación 7, en el que el motor de datos fuente (806) configura los datos de modo que las instrucciones para el almacenamiento de los datos están contenidas tanto en la información de cabecera (900) como en al menos un pie (1271, 1285). E01906769 26-12-2011   16 E01906769 26-12-2011   17 E01906769 26-12-2011   18 E01906769 26-12-2011   19 E01906769 26-12-2011   E01906769 26-12-2011   21 E01906769 26-12-2011   22 E01906769 26-12-2011   23 E01906769 26-12-2011   24 E01906769 26-12-2011   E01906769 26-12-2011   26 E01906769 26-12-2011   27 E01906769 26-12-2011   28 E01906769 26-12-2011   29 E01906769 26-12-2011   E01906769 26-12-2011   31 E01906769 26-12-2011   32 E01906769 26-12-2011