Trasferimento di file ad alto volume

Trasferimento file

Elabora Numeri massicci di file rapidamente come un singolo Trasferimento.

Anche quando la quantità totale di dati è la stessa, la natura di un trasferimento cambia completamente man mano che il numero di file aumenta. Un singolo file da 100 GB e un milione di file da 100 KB possono contenere una quantità simile di dati, ma con molti file piccoli, non solo il Throughput di rete ma anche la Scoperta file, le operazioni di Apertura/Chiusura, i Metadati, la gestione della Directory, l'elaborazione della Coda, l'I/O del File system e i Risultati di trasferimento individuali hanno un grande impatto sul tempo di elaborazione totale.

Trasferimento file

Man mano che il numero di file aumenta, l'Elaborazione complessiva dei file è più importante della sola Velocità di rete.

Il Trasferimento di file di grandi dimensioni e il Trasferimento di file ad alto volume affrontano problemi diversi. Un singolo file di grandi dimensioni dipende fortemente dal throughput su un lungo flusso di dati e dalla Ripresa nel punto di interruzione. Con molti file piccoli, tuttavia, il sistema ripetutamente scopre, apre, legge, trasferisce, crea al target, chiude e registra il risultato per ogni singolo file. Man mano che il numero di file aumenta, il costo accumulato di queste piccole operazioni può determinare il tempo di trasferimento totale.

Per il Trasferimento ad alto volume, semplicemente aumentare i Gbps è quindi meno importante che aumentare la capacità di elaborazione sostenuta dell'intera Pipeline di elaborazione dei file, includendo il File System di origine, l'elaborazione di Directory e Metadati, la Coda di trasferimento, la Scrittura sul target e il Risultato del file. INNORIX gestisce il Trasferimento di rete e l'Elaborazione di file come un unico lavoro ad alto volume invece di trattarli separatamente.

Trasferimento file

Elabora tutto dalla scoperta al risultato finale come una singola Pipeline ad alto volume.

Il Trasferimento di file ad alto volume inizia prima che il primo byte venga inviato. Il sistema deve scoprire quali file esistono all'origine, selezionare il Set di file richiesto per il lavoro, elaborare le informazioni su Directory e Metadati e mettere il lavoro in una Coda prima che inizi il Movimento dati effettivo. Al target, anche la creazione di file, la Scrittura, la Chiusura e la registrazione dei risultati vengono ripetute per ogni file.

INNORIX non lascia questi passaggi come operazioni separate pre- e post-trasferimento. Gestisce la completa Pipeline Scopri → Filtra/Seleziona → Coda → Trasferisci → Verifica → Risultato file. Ciò consente agli operatori di visualizzare non solo il Progresso di rete, ma anche quanta parte dell'intero Dataset è stata scoperta e elaborata, quali File sono completi e quali rimangono, il tutto all'interno del contesto di un singolo Trasferimento.

Trasferimento file

Elabora i file in parallelo preservando la struttura originale di file e directory.

L'aggregazione di molti file piccoli in un singolo Archivio può semplificare il trasferimento stesso. Ma quando l'archiviazione diventa un passaggio di trasferimento extra, i file devono prima essere confezionati o compressi all'origine, quindi estratti al target, seguiti dalla verifica del risultato. In Ricerca, Visione artificiale, Media e Pacchetti software in cui la Struttura di directory stessa ha un significato all'interno del Dataset, questo può diventare un'attività operativa separata.

INNORIX preserva le relazioni originali di File e Directory mentre elabora più file in parallelo attraverso la gestione della Coda e la Concorrenza dinamica. Riduce il ritardo accumulato dell'invio dei file uno per uno in sequenza, evitando il presupposto che l'apertura del massimo numero possibile di file contemporaneamente sia sempre meglio. Invece, la concorrenza viene gestita per completare l'intero Dataset in modo affidabile.

Trasferimento file

Mantieni l'Elaborazione sostenuta all'interno della Capacità dell'origine e del target.

L'aumento continuo della concorrenza non sempre rende il Trasferimento ad alto volume più veloce. Le letture del File System di origine e l'elaborazione dei Metadati, le scritture concorrenti di Archiviazione target, l'I/O del disco e le risorse di Rete possono essere tutti condivisi con altri carichi di lavoro. La concorrenza eccessiva può invece concentrare la pressione sulla Coda e sull'Archiviazione.

INNORIX gestisce il lavoro complessivo attraverso i controlli di Coda e Concorrenza e regola l'Elaborazione parallela in base alle condizioni di Origine, Target e Rete. L'obiettivo non è eseguire il numero massimo possibile di File in un momento, ma mantenere una Velocità di elaborazione sostenuta dei file all'interno della capacità dell'infrastruttura attuale mentre si completa l'intero Dataset.

Trasferimento file

Preserva Risultati individuali su Milioni di file e Recupera solo ciò che è necessario.

In un Trasferimento ad alto volume, il Progresso complessivo e il tasso di successo medio da soli potrebbero non dirti se il lavoro effettivo è completo. Se 1.284.389 su 1.284.392 file sono stati consegnati, il tasso di successo potrebbe sembrare estremamente alto, ma operativamente è più importante sapere quali tre File hanno avuto esito negativo e se possono essere elaborati di nuovo.

INNORIX mantiene lo Stato individuale del file insieme all'Esecuzione complessiva. I risultati completati vengono preservati, i Trasferimenti interrotti vengono Ripresi e solo i File richiesti negli stati Non riuscito o Parziale vengono Ritentati selettivamente. Ciò rende il Ripristino un processo di identificazione dei File che non sono ancora completi e completamento del Dataset finale, invece di rieseguire l'intero Dataset.

Trasferimento file

Verifica la Consegna completa del Dataset richiesto, non solo un Tasso di successo elevato.

Quando il numero di file è piccolo, la differenza tra il 99,99% e il 100% potrebbe sembrare insignificante. Su larga scala, tuttavia, anche una piccola percentuale rappresenta un numero significativo di File effettivi. Lo 0,01% di un milione di file è 100 file, e lo 0,01% di 100 milioni di file è 10.000 file. Per il Trasferimento ad alto volume, un tasso di successo medio da solo non è quindi sufficiente per determinare che il lavoro è finito.

INNORIX mostra il progresso complessivo nell'Esecuzione, identifica l'ambito fallito tramite lo Stato file e verifica il risultato finale tramite la Ricevuta dopo il Ritentativo e il Ripristino. Lo standard di completamento per il Trasferimento ad alto volume non è semplicemente una percentuale di successo elevata, ma se il Set di file richiesto dall'azienda è stato effettivamente completato da capo a fondo e il suo risultato può essere verificato.

Trasferimento file

Fornisci il Set di file richiesto con la Struttura di directory e i Filtri intatti.

Un Dataset ad alto volume è spesso più che un semplice elenco di File. La Struttura di directory stessa può far parte dei dati. Nei Dataset di ricerca, nella Visione artificiale, nei Progetti multimediali e nei Pacchetti software, le relazioni della Directory di origine potrebbero aver bisogno di rimanere intatte al Target in modo che i sistemi downstream possano utilizzare i dati immediatamente.

Allo stesso tempo, avere milioni di File alla Fonte non significa che ogni file debba sempre essere spostato. INNORIX seleziona i target di trasferimento per Nome file, Estensione, Directory e condizioni richieste mentre preserva le relazioni originali di File e Directory. Ciò rende possibile selezionare il Set di file effettivamente richiesto per il lavoro a livello di Dataset e consegnarlo nella sua struttura originale invece di duplicare l'intera Fonte.

Trasferimento file

Estendi i Dataset una tantum a Flussi di dati continui.

I Dati ad alto volume vengono spesso generati continuamente anziché una sola volta. Le Immagini da Visione artificiale, i Log, i Dati dei sensori, i Risultati della ricerca e gli Asset multimediali creano nuovi File ogni giorno o continuamente, quindi i dati creati dopo una migrazione iniziale potrebbero aver bisogno di essere consegnati ripetutamente attraverso lo stesso Percorso di trasferimento.

INNORIX inizia con un Dataset una tantum e connette il Trasferimento programmato, l'Evento file, l'API e le richieste esterne allo stesso Modello di flusso. I nuovi File possono essere filtrati, elaborati tramite Trasferimento ad alto volume e i loro Risultati di completamento passati al Flusso successivo o al Callback, estendendo lo stesso Trasferimento dal movimento in blocco una tantum alla Consegna dati continua.

Trasferimento file

Applica lo stesso Trasferimento ad alto volume alla Raccolta da più Fonti e alla Distribuzione su più Target.

Grandi quantità di File non vengono sempre generate su un singolo Server. I Dati possono essere prodotti simultaneamente in Fabbriche, Rami, Dispositivi e Server di elaborazione. Al contrario, un Dataset di immagini, un Pacchetto software o un Asset multimediale potrebbe aver bisogno di essere distribuito su più Server o Ambienti di calcolo.

INNORIX connette il Trasferimento ad alto volume alla Raccolta N:1 e alla Distribuzione 1:N. Nella Raccolta, preserva le relazioni di File e Percorso per ogni Fonte mentre mostra quanto è stato raccolto da ogni Fonte e quali File rimangono. Nella Distribuzione, gestisce il progresso e i Risultati del file per ogni Target. Ciò consente all'Elaborazione a livello di file ad alto volume e ai criteri di completamento a livello di endpoint di Distribuzione e Raccolta di funzionare insieme.

Trasferimento file

Applica lo stesso Modello operativo ad alto volume su Server, Archiviazione file e Archiviazione oggetti.

Numeri massicci di File non sono limitati a un singolo Server o File System. I Dati ad alto volume possono esistere in Archiviazione file condivisa, Archiviazione oggetti, Cloud, Data center, Rami e Fabbriche. Nell'Archiviazione oggetti, grandi quantità di Oggetti sono Elencati e Filtrati prima di essere elaborati tramite Coda e Trasferimento parallelo invece di essere gestiti come file di File System.

I metodi di Scoperta e accesso differiscono per tipo di archiviazione, ma operativamente lo stesso Modello ad alto volume può essere applicato al lavoro complessivo, ai Risultati di File o Oggetti individuali, al Ritentativo e allo stato di completamento finale. Ovunque si trovino i dati, Scoperta, Coda, Elaborazione parallela, Ripristino e Risultato sono connessi attraverso un'unica architettura di trasferimento.

Trasferimento file

Connetti il Movimento ad alto volume continuo per i Dati AI e generati da macchine.

I Dati AI e generati da macchine sono ambienti rappresentativi per il Trasferimento ad alto volume. La Visione artificiale produce numeri massicci di File di immagini, i Dataset di addestramento AI possono contenere grandi collezioni di Immagini e Etichette, e nei Sistemi autonomi, Sensori, Ricerca e Patologia digitale, sia il tasso di generazione dei file che il numero totale di file influenzano direttamente l'Architettura di trasferimento.

INNORIX applica il Trasferimento ad alto volume a questi Profili di dati e lo connette, quando necessario, alla Consegna dati AI, alla Raccolta e al Trasferimento automatico. Il Trasferimento ad alto volume stesso si concentra sulla scoperta, l'elaborazione e il recupero di grandi quantità di File fino al completamento del risultato, mentre la Consegna dati al Calcolo, la Raccolta e la Distribuzione su più Endpoint e l'automazione dell'esecuzione sono combinate attraverso le Capacità di trasferimento corrispondenti.

Trasferimento file

Visualizza tutto dal Dataset completo fino a un singolo File in una sola Esecuzione.

Man mano che il numero di file aumenta, il controllo diretto dei log su singoli Server non è più sufficiente per comprendere l'intero lavoro. Gli Operatori devono prima visualizzare quanto del Dataset completo è stato elaborato, approfondire la Coda e i File non riusciti quando necessario, e quindi determinare lo stato di completamento finale dopo il Ripristino.

INNORIX mostra lo stato complessivo del Trasferimento e il numero di File elaborati nell'Esecuzione, fornisce risultati individuali tramite lo Stato file, elabora il lavoro rimanente tramite Coda e Ritentativo e conferma il risultato finale tramite la Ricevuta. Ciò fornisce una struttura operativa che tratta milioni di File come un'unico lavoro consentendo comunque agli Operatori di approfondire il livello di singolo File quando necessario.

Trasferimento file

100 milioni di file è un Punto di convalida della scala, non la Definizione di Volume elevato.

Il punto in cui il Trasferimento ad alto volume diventa necessario non è definito da un numero specifico di file. I flussi di lavoro esistenti potrebbero rallentare con solo migliaia di File, mentre i Dataset e i Dati di macchina possono crescere fino a milioni o decine di milioni. La domanda importante non è quanti file si qualifichino come 'volume elevato', ma se Scoperta, Trasferimento, Ripristino e Risultato possono continuare ad essere elaborati e gestiti nello stesso modo man mano che il numero di file aumenta.

100.000.000 di file non significa che ogni cliente debba operare su quella scala. È un punto in un Test di scala utilizzato per verificare se l'Architettura di trasferimento ad alto volume INNORIX può gestire la crescita nei conteggi di file effettivi. Il valore del prodotto non risiede nel numero stesso, ma nel mantenimento dello stesso Modello di trasferimento dalle piccole Batch ai Dataset su larga scala generati continuamente.

Trasferimento file

Gestisci migliaia fino a 100 milioni di file come un singolo Trasferimento ad alto volume.

Instead of turning large numbers of Files into a separate Archive workflow just for transfer, preserve the original File and Directory Structure and process them through Discovery, Queue, and Parallel Processing. Maintain sustained throughput according to Source and Target Capacity, and when individual Files encounter problems, reprocess only the required scope based on File-Level Results.

Start with a One-Time Dataset and apply the same High-Volume Transfer Model to recurring Data Flows, Collection and Distribution, Object Storage, and AI and Machine Data. From the entire Run down to individual Files and the final Receipt, operate everything within one consistent structure.