GPU & STORAGE FILE TRANSFER
Stuur een GPU-server de gegevens die het nodig heeft,
en zet de resultaten terug in de opslag.
Zet de datasets en modellen uit objectopslag, een NAS of een datacentrum over naar uw GPU-servers.
De checkpoints en resultaten die ontstaan tijdens training en inferentie kunnen ook teruggaan naar de opslag. Uw bestaande KI-infrastructuur blijft ongewijzigd, terwijl de bestandsverplaatsing tussen opslag en GPU-compute wordt beheerd op één platform.
AI INFRASTRUCTURE INTEGRATION
Uw KI-infrastructuur blijft ongewijzigd.
INNORIX verplaatst de gegevens.
De systemen die compute en workload in uw KI-infrastructuur bepalen, blijven precies zoals ze zijn.
INNORIX levert datasets en modellen tussen de source en target die deze systemen noemen, en stuurt checkpoints en resultaten terug naar opslag.
INNORIX beheert niet de GPU-planning of de KI-pijplijn. Het verplaatst de bestanden waarover uw bestaande systemen beslissen.
STORAGE & GPU CONNECTIVITY
Één transferlaag voor het datapad
tussen opslag en GPU-compute.
Of de dataset en het model in Cloud-objectopslag, in een datacentrum of in particuliere opslag staan — ze kunnen aan de GPU-omgeving worden geleverd waarin het werk draait.
Gegevens verplaatsen zich tussen verschillende clouds, regio's en on-premises-omgevingen, terwijl opslag- en GPU-infrastructuur ongewijzigd blijven. Route en doel worden ingesteld op de omgeving — een cloud-GPU, een GPU-cluster in het datacentrum of uw eigen.
Cloud naar GPUObjectopslag in één regio, geleverd aan een GPU-cluster in een ander.
BRONObject StorageUS West · S3
68%
1,63 TB van 2,4 TB overgedragen
DOELCloud GPUAzië · NVIDIA H100
AI DATA LIFECYCLE
Van dataset tot model, checkpoint en resultaat,
hetzelfde gegevenslevering.
KI-training begint met het krijgen van de dataset en het model in de GPU-omgeving, en gaat door met het opslaan van de checkpoints die het produceert en het verzamelen van het eindresultaat.
INNORIX verplaatst de bestanden die elke fase nodig heeft tussen opslag en de GPU-omgeving, en automatiseert de gegevensverplaatsing die steeds terugkomt. Het voorbereiden van bestanden voor training, het bewaren van tussenresultaten en het leveren van de uiteindelijke resultaten zijn allemaal verbonden, dus bestandsoverdracht werkt op dezelfde manier in de hele KI-workflow.
Trainingrun #4821resnet-vision · gpu-cluster-01 · gestart 09:52
DatasetTrainingsgegevens gereed
training-dataset.tar2,4 TB · 12.480 bestanden
ModelModel geleverd
foundation-model48 GB · 12 bestanden
KI-trainingDraait
Epoch 64 / 10064%
GPU-Cluster8 GPUs
CheckpointTrainingstoestand opgeslagen
checkpoint-064320 GB · 64 bestanden
ResultaatResultaat verzameld
inference-result120 GB · 3.420 bestanden
Checkpoints herhalen zich, dus een lange run gaat nooit verloren
DATA READINESS & RECOVERY
Minder tijd met een GPU die op gegevens wacht,
en een onderbroken overdracht gaat verder.
De gegevens die KI-training en -inferentie nodig hebben, variëren van enkele bestanden van meerdere terabytes tot miljoenen kleine afbeeldingen en documenten. INNORIX neemt de last die grootte en aantal op de overdracht creëren weg, en levert grote gegevens betrouwbaar aan de GPU-omgeving.
Als het netwerk uitvalt of de overdracht stopt, blijft wat al voltooid is behouden en wordt alleen het ontbrekende deel opnieuw verstuurd. Automatisch hervatten, pogingen en verificatie verwijderen onnodige herhaalde overdrachten en bevestigen dat de gegevens die KI nodig heeft, gereed zijn.
Grote overdrachten
Een terabyte-dataset in één overdracht
Veel kleine bestanden
Miljoenen bestanden, betrouwbaar afgehandeld
Geen verloren voortgang
Wat klaar is, blijft behouden; alleen de rest wordt opnieuw verstuurd
Overdracht #4821-01Object Storage → gpu-cluster-01
2,4 TB van 2,4 TB overgedragen
Delen van deze overdracht
ORCHESTRATOR & API
Uw KI-orchestrator voert de overdracht
op het moment uit dat het dat nodig heeft.
Bestandsoverdracht maakt verbinding met uw bestaande KI-orchestrator, scheduler en pijplijn zonder deze te veranderen. Noem de bestanden en het doel via de API van Kubeflow, Airflow, SLURM of uw eigen systeem, en INNORIX voert de overdracht uit en geeft de voortgang en het resultaat terug.
Uw KI-systeem plant en voert het werk precies uit zoals vandaag, terwijl INNORIX de bestandsverplaatsing tussen GPU-clusters, cloud-opslag en het datacentrum afhandelt. Afsluitcallbacks en run-resultaten voeden terug in de workflow, dus gegevensvorbereiding, training en ergebnissammlung lopen automatisch door.
Eenvoudig aan te sluiten
Een standaard-API, onmiddellijk verbonden
Niets aan te passen
Gebruikt zonder het KI-systeem aan te raken
Resultaten die u kunt zien
Status, logs en een afsluitcallback
Transfer APItr_8f3a2e6b · aangeroepen door airflow-dag-vision
- KI-OrchestratorKubeflow · Airflow · Aangepast
- SchedulerSLURM · PBS · LSF
- KI-ToepassingTraining · Inferentie · Fine-tuning
- High-Speed-overdracht
- Resume & Retry
- Verificatie
- GPU-ClusterNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
ANTWOORDJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Run-status
- Aangevraagd10:14
- Overdracht bezig10:15
- Voltooid10:33
- Callback verstuurd10:33
UNIFIED OPERATIONS
Voer elke bestandsoverdracht tussen GPU en opslag
uit op één scherm.
Beheer overdrachten die zo uiteenlopend zijn als datasetlevering, checkpoint-verzameling, modelverplaatsing en ergebnissammlung in INNORIX Studio.
Controleer wat draait en wat klaar is, en volg een mislukte overdracht alleen op in het bereik dat het nodig heeft.
Recente Runs
- Levering TrainingsdatasetVoltooid
- Checkpoint-verzamelingOverdracht bezig
- ModelverdelingVoltooid
GET STARTED
Begin met het overdragen tussen GPU-servers en opslag.
Verbind objectopslag, NAS en on-premises opslag met uw GPU-servers.
Stel dataset- en modeloverdrachtconfiguraties in in Studio, of verbind bestandsoverdracht met uw bestaande KI-pijplijn via de API.
TECHNICAL FAQ
Veelgestelde vragen
Kunnen bestanden tussen een GPU-server en objectopslag worden overgedragen?
Ja. Verbind ondersteunde objectopslag en GPU-servers voor het overdragen van datasets, modellen en andere bestanden. De verbindingsvoorwaarden voor de opslag en GPU-servers moeten voor uw omgeving worden bevestigd.
Kan een on-premises GPU-server worden verbonden met cloudopslag?
Ondersteunde on-premises-servers en cloud-objectopslag kunnen als source of target worden ingesteld.
Kunnen gegevens op een NAS of een gewone bestandsserver naar een GPU-server worden verzonden?
Een ondersteunde bestandsserver of NAS-omgeving kan worden verbonden om gegevens aan een GPU-server te leveren. De werkelijke verbindingsmethode hangt af van het besturingssysteem, het bestandssysteem en de netwerkconfiguratie.
Kunnen modellen en checkpoints net als datasets worden overgedragen?
Ja. Datasets, modelgewichten, checkpoints, evaluatiegegevens, resultaten en andere bestanden die door KI-werk worden gebruikt of geproduceerd, kunnen worden overgedragen.
Kan het grote afbeeldingsdatasets of TB-schaal bestanden verwerken?
INNORIX ondersteunt zowel zeer grote bestanden als grote aantallen kleine bestanden. De overdrachtssnelheid die u werkelijk krijgt, hangt af van de bestandssamenstelling, de opslag-API, het netwerk en de apparaatspecificaties.
Kunnen checkpoints die op een GPU-server zijn geproduceerd automatisch worden verzameld?
Checkpointbestanden kunnen worden ingesteld om volgens een schema, bij een evenement of op verzoek van een extern systeem naar opslag te gaan. Of een checkpoint bestaat en welke bestanden zijn geselecteerd, wordt bepaald door de bestaande KI-systeem en de overdrachtsinstelling.
Voert INNORIX zelf GPU-planning of KI-training uit?
Nee. GPU-provisioning, planning, training en de KI-pijplijn worden behandeld door bestaande infrastructuur. INNORIX voert de bestandsverplaatsing uit die werk nodig heeft.
Kan het worden geïntegreerd met een bestaande KI-orchestrator zoals Kubeflow?
Een bestaande orchestrator kan via de API een bestandsoverdracht aanvragen en het voltooiingsresultaat controleren. Integratie met een bepaald framework moet worden beoordeeld tegen de werkelijke API en runtime-omgeving.
Kan training zodra de overdracht is voltooid worden gestart?
Een bestaande orchestrator kan het voltooiingsresultaat van de overdracht bevestigen en vervolgens training starten. Een aanvaard overdrachtsverzoek en werkelijk geleverde gegevens moeten onderscheiden blijven.
Wat gebeurt er als het netwerk tijdens een datasetoverdracht wordt onderbroken?
Gebruikmaak van de ondersteunde functies Resume en Retry om een onderbroken overdracht voort te zetten. Hoe ver het kan herstellen, hangt af van het bestandstype en de overdrachtsomgeving.
Kan het worden gebruikt waar de GPU-server elke keer verandert?
Het GPU-eindpunt dat een bestaande scheduler heeft gekozen, kan als overdoeldoel worden verbonden. De afhandeling van een eindpunt dat zich during de uitvoering wijzigt, wordt gedetailleerd beschreven op de productpagina Dynamische eindpuntoverdracht.
Waar kan ik de voortgang en resultaten van KI Data Delivery controleren?
Runs in INNORIX Studio toont de overdrachtsvoortgang en het voltooiingsresultaat. Een bestaand KI-systeem kan via de ondersteunde API worden geïntegreerd om de status en het resultaat op te vragen.
Elk van deze mogelijkheden,op een enkel platform.
De mogelijkheid op deze pagina is een van de vele functies voor bestandsoverdracht die INNORIX Platform biedt. Van bestandsoverdracht tot automatisering en geïntegreerde operaties: probeer elke functie gratis.
Gratis startenOverweegt u gegevenszustellung voor KI?
We gaan de overdrachtsinstelling door die u nodig heeft voor de opslag- en GPU-omgeving die u al voert.
- Beoordeling van opslag- en GPU-omgevingsverbindingen
- Instellen van grote dataset-overdrachten
- Integratie met uw bestaande AI-systemen