GPU & STORAGE FILE TRANSFER
Senden Sie einem GPU-Server die Daten, die er braucht,
und legen Sie die Ergebnisse zurück in den Speicher.
Übertragen Sie die Datasets und Models aus Object Storage, einem NAS oder einem Rechenzentrum an Ihre GPU-Server.
Die während Training und Inference erzeugten Checkpoints und Results können ebenso zurück in den Speicher wandern. Ihre bestehende KI-Infrastruktur bleibt unverändert, während die Dateibewegung zwischen Storage und GPU-Compute auf einer Plattform verwaltet wird.
AI INFRASTRUCTURE INTEGRATION
Ihre KI-Infrastruktur bleibt unverändert.
INNORIX bewegt die Daten.
Die Systeme, die in Ihrer KI-Infrastruktur über Compute und Workload entscheiden, bleiben genau, wie sie sind.
INNORIX liefert Datasets und Models zwischen der von diesen Systemen benannten Source und Target und sendet Checkpoints und Results zurück in den Speicher.
INNORIX verwaltet nicht das GPU-Scheduling oder die KI-Pipeline. Es bewegt die Dateien, über die Ihre bestehenden Systeme entscheiden.
STORAGE & GPU CONNECTIVITY
Eine Transfer-Schicht für den Datenpfad
zwischen Storage und GPU-Compute.
Ob Dataset und Model in Cloud-Object-Storage, in einem Rechenzentrum oder in privatem Speicher liegen — sie können an die GPU-Umgebung geliefert werden, in der die Arbeit läuft.
Daten bewegen sich zwischen verschiedenen Clouds, Regionen und On-Premises-Umgebungen, während Storage- und GPU-Infrastruktur unverändert bleiben. Route und Ziel werden passend zur Umgebung festgelegt — eine Cloud-GPU, ein GPU-Cluster im Rechenzentrum oder Ihr eigenes.
Cloud zu GPUObject Storage in einer Region, zugestellt an einen GPU-Cluster in einer anderen.
QUELLEObject StorageUS West, S3
68%
1,63 TB von 2,4 TB übertragen
ZIELCloud GPUAsien, NVIDIA H100
AI DATA LIFECYCLE
Von Dataset über Model, Checkpoint bis Result —
dieselbe Datenzustellung.
KI-Training beginnt damit, Dataset und Model in die GPU-Umgebung zu bringen, und setzt sich fort über das Speichern der erzeugten Checkpoints bis zum Einsammeln des finalen Ergebnisses.
INNORIX bewegt die Dateien, die jede Stufe benötigt, zwischen Storage und der GPU-Umgebung, und automatisiert die immer wieder anfallende Datenbewegung. Die Dateien für das Training vorzubereiten, die Zwischenergebnisse zu bewahren und die finalen zuzustellen, ist alles miteinander verbunden, sodass Dateiübertragung über den gesamten KI-Workflow hinweg gleich funktioniert.
Trainingslauf #4821resnet-vision, gpu-cluster-01, gestartet 09:52
DatasetTrainingsdaten bereit
training-dataset.tar2,4 TB, 12.480 Dateien
ModelModel zugestellt
foundation-model48 GB, 12 Dateien
KI-TrainingLäuft
Epoche 64 / 10064%
GPU-Cluster8 GPUs
CheckpointTrainingsstand gespeichert
checkpoint-064320 GB, 64 Dateien
ErgebnisErgebnis eingesammelt
inference-result120 GB, 3.420 Dateien
Checkpoints wiederholen sich, sodass ein langer Lauf niemals verloren geht
DATA READINESS & RECOVERY
Weniger Zeit, in der eine GPU auf Daten wartet,
und eine unterbrochene Übertragung läuft weiter.
Die Daten, die KI-Training und -Inference benötigen, reichen von einzelnen Dateien mit mehreren Terabyte bis zu Millionen kleiner Bilder und Dokumente. INNORIX nimmt der Übertragung die Last, die Größe und Anzahl erzeugen, und liefert große Datenmengen verlässlich an die GPU-Umgebung.
Fällt das Netzwerk aus oder stoppt die Übertragung, bleibt das bereits Abgeschlossene erhalten, und nur der fehlende Teil wird erneut gesendet. Automatisches Resume, Wiederholungen und Verifizierung vermeiden unnötige wiederholte Übertragungen und bestätigen, dass die von der KI benötigten Daten bereit sind.
Große Übertragungen
Ein Terabyte-Dataset in einer einzigen Übertragung
Viele kleine Dateien
Millionen Dateien, verlässlich gehandhabt
Kein verlorener Fortschritt
Was fertig ist, bleibt erhalten; nur der Rest wird erneut gesendet
Übertragung #4821-01Object Storage → gpu-cluster-01
2,4 TB von 2,4 TB übertragen
Teile dieser Übertragung
ORCHESTRATOR & API
Ihr KI-Orchestrator führt die Übertragung
genau dann aus, wenn er sie braucht.
Dateiübertragung verbindet sich mit Ihrem bestehenden KI-Orchestrator, Scheduler und Pipeline, ohne sie zu verändern. Benennen Sie Dateien und Ziel über die API aus Kubeflow, Airflow, SLURM oder Ihrem eigenen System, und INNORIX führt die Übertragung aus und gibt Fortschritt und Ergebnis zurück.
Ihr KI-System plant und führt die Arbeit genau so aus wie heute, während INNORIX die Dateibewegung zwischen GPU-Clustern, Cloud-Speicher und dem Rechenzentrum übernimmt. Abschluss-Callbacks und Run-Ergebnisse fließen zurück in den Workflow, sodass Datenvorbereitung, Training und Ergebnissammlung automatisch weiterlaufen.
Einfach zu verbinden
Eine Standard-API, sofort verbunden
Nichts zu ändern
Genutzt, ohne das KI-System anzufassen
Ergebnisse, die Sie sehen können
Status, Logs und ein Abschluss-Callback
Transfer APItr_8f3a2e6b, aufgerufen von airflow-dag-vision
- KI-OrchestratorKubeflow, Airflow, Eigenentwicklung
- SchedulerSLURM, PBS, LSF
- KI-AnwendungTraining, Inference, Fine-Tuning
- High-Speed-Transfer
- Resume & Retry
- Verifizierung
- GPU-ClusterNVIDIA H100, A100
- Cloud StorageS3, GCS, Azure Blob
- Data CenterNAS, Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
ANTWORTJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Run-Status
- Angefordert10:14
- Übertragung läuft10:15
- Abgeschlossen10:33
- Callback gesendet10:33
UNIFIED OPERATIONS
Führen Sie jede Dateiübertragung zwischen GPU und Storage
von einem Bildschirm aus.
Verwalten Sie so unterschiedliche Übertragungen wie Dataset-Zustellung, Checkpoint-Sammlung, Model-Bewegung und Ergebnissammlung in INNORIX Studio.
Prüfen Sie, was läuft und was abgeschlossen ist, und verfolgen Sie eine fehlgeschlagene Übertragung nur in dem Bereich, der es braucht.
Letzte Runs
- Zustellung des Trainings-DatasetsAbgeschlossen
- Checkpoint-SammlungÜbertragung läuft
- Model-VerteilungAbgeschlossen
GET STARTED
Beginnen Sie mit der Übertragung zwischen GPU-Servern und Storage.
Verbinden Sie Object Storage, NAS und On-Premises-Speicher mit Ihren GPU-Servern.
Stellen Sie Dataset- und Model-Übertragungen in Studio zusammen, oder verbinden Sie Dateiübertragung über die API mit Ihrer bestehenden KI-Pipeline.
TECHNICAL FAQ
Häufig gestellte Fragen
Können Dateien zwischen einem GPU-Server und Object Storage übertragen werden?
Ja. Verbinden Sie unterstützten Object Storage und GPU-Server, um Datasets, Models und andere Dateien zu übertragen. Die Verbindungsbedingungen für Storage und GPU-Server müssen für Ihre Umgebung bestätigt werden.
Kann ein On-Premises-GPU-Server mit Cloud-Speicher verbunden werden?
Unterstützte On-Premises-Server und Cloud-Object-Storage können als Source oder Target festgelegt werden.
Können Daten von einem NAS oder einem gewöhnlichen Dateiserver an einen GPU-Server gesendet werden?
Ein unterstützter Dateiserver oder eine NAS-Umgebung kann verbunden werden, um Daten an einen GPU-Server zu liefern. Die tatsächliche Verbindungsmethode hängt vom Betriebssystem, dem Dateisystem und der Netzwerkkonfiguration ab.
Können neben Datasets auch Models und Checkpoints übertragen werden?
Ja. Datasets, Model-Weights, Checkpoints, Evaluationsdaten, Results und andere Dateien, die von KI-Arbeit genutzt oder erzeugt werden, können übertragen werden.
Kann es große Bild-Datasets oder TB-große Dateien handhaben?
INNORIX unterstützt sowohl sehr große Dateien als auch große Mengen kleiner Dateien. Die tatsächlich erreichte Übertragungsleistung hängt von der Dateizusammensetzung, der Storage-API, dem Netzwerk und den Gerätespezifikationen ab.
Können auf einem GPU-Server erzeugte Checkpoints automatisch eingesammelt werden?
Checkpoint-Dateien können so eingerichtet werden, dass sie nach Zeitplan, bei einem Ereignis oder auf Anfrage eines externen Systems in den Speicher gelangen. Ob überhaupt ein Checkpoint existiert und welche Dateien ausgewählt werden, entscheiden das bestehende KI-System und die Übertragungseinstellungen.
Führt INNORIX selbst GPU-Scheduling oder KI-Training aus?
Nein. GPU-Provisioning, Scheduling, Training und die KI-Pipeline werden von der bestehenden Infrastruktur übernommen. INNORIX führt die Dateibewegung aus, die diese Arbeit benötigt.
Kann es sich mit einem bestehenden KI-Orchestrator wie Kubeflow integrieren?
Ein bestehender Orchestrator kann über die API eine Dateiübertragung anfordern und das Abschlussergebnis prüfen. Die Integration mit einem bestimmten Framework muss anhand der tatsächlichen API und Laufzeitumgebung geprüft werden.
Kann das Training so konfiguriert werden, dass es nach Abschluss der Übertragung startet?
Ein bestehender Orchestrator kann das Übertragungsabschlussergebnis bestätigen und dann das Training starten. Eine angenommene Übertragungsanfrage und tatsächlich zugestellte Daten müssen klar unterschieden werden.
Was passiert, wenn das Netzwerk während einer Dataset-Übertragung unterbrochen wird?
Nutzen Sie die unterstützten Resume- und Retry-Funktionen, um eine unterbrochene Übertragung fortzusetzen. Wie weit die Wiederherstellung reicht, hängt vom Dateityp und der Übertragungsumgebung ab.
Kann es dort eingesetzt werden, wo sich der GPU-Server jedes Mal ändert?
Der vom bestehenden Scheduler ausgewählte GPU-Endpoint kann als Übertragungsziel verbunden werden. Die Handhabung eines zur Laufzeit abweichenden Endpoints ist ausführlich auf der Produktseite Dynamic Endpoint Transfer beschrieben.
Wo prüfe ich Fortschritt und Ergebnisse von AI Data Delivery?
Runs in INNORIX Studio zeigt den Übertragungsfortschritt und das Abschlussergebnis. Ein bestehendes KI-System kann sich über die unterstützte API integrieren, um Status und Ergebnis abzufragen.
Jede dieser Fähigkeiten,auf einer einzigen Plattform.
Die Fähigkeit auf dieser Seite ist eine von vielen Dateitransfer- Funktionen, die die INNORIX Platform bietet. Vom Dateitransfer über Automatisierung bis zum einheitlichen Betrieb, probieren Sie jede Funktion kostenlos aus.
Kostenlos startenÜberlegen Sie sich Datenzustellung für KI?
Wir gehen die Übertragungseinrichtung durch, die Sie für die bereits von Ihnen betriebene Storage- und GPU-Umgebung benötigen.
- Überprüfung der Storage- und GPU-Umgebungsverbindungen
- Einrichtung großer Dataset-Übertragungen
- Anbindung an eine bestehende KI-Pipeline