GPU & STORAGE FILE TRANSFER
Invia al server GPU i dati di cui ha bisogno,
e rimetti i risultati in archiviazione.
Trasferisci i dataset e i modelli contenuti in object storage, su un NAS o in un data center ai tuoi server GPU.
I checkpoint e i risultati prodotti durante il training e l'inference possono anche tornare all'archiviazione. La tua infrastruttura AI esistente rimane così com'è, mentre il movimento dei file tra archiviazione e GPU compute viene gestito su una sola piattaforma.
AI INFRASTRUCTURE INTEGRATION
La tua infrastruttura AI rimane esattamente come è.
INNORIX sposta i dati.
I sistemi che decidono compute e workload nella tua infrastruttura AI rimangono esattamente così come sono.
INNORIX fornisce dataset e modelli tra source e target che questi sistemi nominano e invia checkpoint e risultati back all'archiviazione.
INNORIX non gestisce la schedulazione GPU o la pipeline AI. Sposta i file che i sistemi esistenti decidono.
STORAGE & GPU CONNECTIVITY
Un transfer layer per il data path
tra archiviazione e GPU compute.
Sia che il dataset e il modello risiedano in object storage cloud, in un data center o in archiviazione privata, possono essere forniti all'ambiente GPU in cui viene eseguito il lavoro.
I dati si muovono tra diversi cloud, regioni e ambienti on-premises mentre l'infrastruttura di archiviazione e GPU rimane così com'è. Il percorso e il target vengono impostati in modo da corrispondere all'ambiente: una GPU cloud, un GPU cluster di data center o la tua.
Cloud a GPUObject storage in una regione, consegnato a un GPU cluster in un'altra.
ORIGINEObject StorageUS West · S3
68%
1.63 TB di 2.4 TB trasferiti
DESTINAZIONECloud GPUAsia · NVIDIA H100
AI DATA LIFECYCLE
Dal dataset al modello, dal checkpoint al risultato,
lo stesso data delivery.
L'addestramento AI inizia con l'inserimento del dataset e del modello nell'ambiente GPU e continua attraverso l'archiviazione dei checkpoint che produce e la raccolta del risultato finale.
INNORIX sposta i file di cui ogni fase ha bisogno tra archiviazione e l'ambiente GPU e automatizza il movement di dati che si ripete. La preparazione dei file per il training, il mantenimento dei risultati intermedi e la consegna di quelli finali sono tutti collegati, quindi il trasferimento dei file funziona allo stesso modo in tutto il flusso di lavoro AI.
Esecuzione di training #4821resnet-vision · gpu-cluster-01 · iniziato 09:52
DatasetDati di training pronti
training-dataset.tar2.4 TB · 12.480 file
ModelloModello consegnato
foundation-model48 GB · 12 file
AI TrainingIn esecuzione
Epoch 64 / 10064%
GPU Cluster8 GPU
CheckpointStato di training archiviato
checkpoint-064320 GB · 64 file
RisultatoRisultato raccolto
inference-result120 GB · 3.420 file
I checkpoint si ripetono, quindi una lunga esecuzione non viene mai persa
DATA READINESS & RECOVERY
Meno tempo con una GPU in attesa di dati,
e un trasferimento interrotto continua.
I dati di cui AI training e inference hanno bisogno spaziano da file singoli di diversi terabyte a milioni di piccole immagini e documenti. INNORIX riduce il carico che la dimensione e il numero creano sul trasferimento e fornisce dati di grandi dimensioni all'ambiente GPU in modo affidabile.
Se la rete fallisce o il trasferimento si interrompe, ciò che è già completato viene mantenuto e solo la parte mancante viene inviata di nuovo. Il resume automatico, i tentativi e la verifica eliminano trasferimenti inutili ripetuti e confermano che i dati di cui l'AI ha bisogno sono pronti.
Trasferimenti di grandi dimensioni
Un dataset da terabyte in un singolo trasferimento
Molti piccoli file
Milioni di file, gestiti in modo affidabile
Nessun progresso perso
Ciò che è stato completato viene mantenuto; solo il resto viene inviato di nuovo
Transfer #4821-01Object Storage → gpu-cluster-01
2.4 TB di 2.4 TB trasferiti
Parti di questo trasferimento
ORCHESTRATOR & API
Il tuo orchestrator AI esegue il trasferimento
nel momento in cui ha bisogno.
Il trasferimento di file si connette al tuo orchestrator, scheduler e pipeline AI esistenti senza modificarli. Specifica i file e il target da Kubeflow, Airflow, SLURM o dal tuo sistema personalizzato attraverso l'API e INNORIX esegue il trasferimento e restituisce il suo avanzamento e il risultato.
Il tuo sistema AI pianifica ed esegue il lavoro esattamente come fa oggi, mentre INNORIX gestisce il movimento dei file tra GPU cluster, cloud storage e il data center. I callback di completamento e i risultati di esecuzione vanno back nel workflow, quindi la preparazione dei dati, il training e la raccolta dei risultati continuano automaticamente.
Semplice da connettere
Un'API standard, connessa subito
Niente da cambiare
Utilizzato senza toccare il sistema AI
Risultati che puoi vedere
Stato, log e callback di completamento
Transfer APItr_8f3a2e6b · chiamato da airflow-dag-vision
- AI OrchestratorKubeflow · Airflow · Custom
- SchedulerSLURM · PBS · LSF
- AI ApplicationTraining · Inference · Fine-tuning
- High-Speed Transfer
- Resume & Retry
- Verification
- GPU ClusterNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
RESPONSEJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Stato di esecuzione
- Richiesto10:14
- Trasferimento10:15
- Completato10:33
- Callback inviato10:33
UNIFIED OPERATIONS
Esegui ogni trasferimento di file tra GPU e archiviazione
da una sola schermata.
Gestisci trasferimenti diversi come consegna di dataset, raccolta di checkpoint, movimento di modelli e raccolta di risultati in INNORIX Studio.
Controlla cosa è in esecuzione e cosa è stato completato e segui un trasferimento non riuscito nell'intervallo che lo richiede.
Esecuzioni Recenti
- Training Dataset DeliveryCompletato
- Checkpoint CollectionTrasferimento in corso
- Model DistributionCompletato
GET STARTED
Inizia a trasferire tra server GPU e archiviazione.
Connetti object storage, NAS e archiviazione on-premises ai tuoi server GPU.
Componi trasferimenti di dataset e modelli in Studio o connetti il trasferimento di file alla tua pipeline AI esistente attraverso l'API.
TECHNICAL FAQ
Domande frequenti
I file possono essere trasferiti tra un server GPU e object storage?
Sì. Connetti object storage e server GPU supportati per trasferire dataset, modelli e altri file. Le condizioni di connessione per l'archiviazione e i server GPU devono essere confermate per il tuo ambiente.
Un server GPU on-premises può essere connesso al cloud storage?
I server on-premises e il cloud object storage supportati possono essere impostati come source o target.
I dati su un NAS o un ordinario file server possono essere inviati a un server GPU?
Un ambiente file server o NAS supportato può essere connesso per fornire dati a un server GPU. Il metodo di connessione effettivo dipende dal sistema operativo, dal file system e dalla configurazione di rete.
Anche modelli e checkpoint possono essere trasferiti oltre ai dataset?
Sì. Dataset, model weights, checkpoint, dati di valutazione, risultati e altri file utilizzati o prodotti dal lavoro AI possono essere trasferiti.
Può gestire dataset di immagini di grandi dimensioni o file su scala TB?
INNORIX supporta sia file molto grandi che un gran numero di file piccoli. Le prestazioni di trasferimento effettive dipendono dalla composizione del file, dall'API di archiviazione, dalla rete e dalle specifiche del dispositivo.
I checkpoint prodotti su un server GPU possono essere raccolti automaticamente?
I file di checkpoint possono essere configurati per andare all'archiviazione in base a una pianificazione, a un evento o alla richiesta di un sistema esterno. L'esistenza o meno di un checkpoint e quali file vengono selezionati è deciso dal sistema AI esistente e dalle impostazioni di trasferimento.
INNORIX esegue la schedulazione GPU o il training AI stesso?
No. Il provisioning GPU, la schedulazione, il training e la pipeline AI vengono gestiti dall'infrastruttura esistente. INNORIX esegue il movimento dei file richiesto da quel lavoro.
Può integrarsi con un orchestrator AI esistente come Kubeflow?
Un orchestrator esistente può richiedere un trasferimento di file attraverso l'API e verificare il risultato di completamento. L'integrazione con un particolare framework deve essere verificata rispetto all'API effettivo e all'ambiente di runtime.
Il training può essere configurato per avviarsi una volta completato il trasferimento?
Un orchestrator esistente può confermare il risultato di completamento del trasferimento e quindi avviare il training. Una richiesta di trasferimento accettata e i dati effettivamente consegnati devono essere mantenuti distinti.
Cosa succede se la rete viene interrotta durante un trasferimento di dataset?
Usa le funzionalità Resume e Retry supportate per continuare un trasferimento interrotto. Quanto può recuperare dipende dal tipo di file e dall'ambiente di trasferimento.
Può essere utilizzato dove il server GPU cambia ogni volta?
L'endpoint GPU che uno scheduler esistente ha selezionato può essere connesso come target di trasferimento. La gestione di un endpoint che differisce al momento dell'esecuzione è descritta in dettaglio nella pagina del prodotto Dynamic Endpoint Transfer.
Dove controllo il progresso e i risultati di AI Data Delivery?
Runs in INNORIX Studio mostra il progresso di trasferimento e il risultato di completamento. Un sistema AI esistente può integrarsi attraverso l'API supportato per interrogare lo stato e il risultato.
Ognuna di queste capacità,su una singola piattaforma.
La capacità su questa pagina è una delle molte funzionalità di trasferimento file che INNORIX Platform fornisce. Dal trasferimento di file all'automazione e alle operazioni unificate, prova ogni funzionalità gratuitamente.
Inizia GratuitamenteStai cercando la data delivery per l'AI?
Esamineremo l'impostazione di trasferimento di cui hai bisogno per l'ambiente di archiviazione e GPU che già esegui.
- Revisione delle connessioni di archiviazione e ambiente GPU
- Configurazione di trasferimenti di dataset di grandi dimensioni
- Connessione a una pipeline AI esistente