TRANSFERT DE FICHIERS GPU ET STOCKAGE
Envoyez au serveur GPU les données dont il a besoin,
et mettez les résultats en stockage.
Transférez les Datasets et modèles contenus dans le stockage d'objets, sur un NAS ou dans un data centre vers vos serveurs GPU.
Les points de contrôle et résultats produits pendant l'entraînement et l'inférence peuvent également revenir au stockage. Votre infrastructure IA existante reste telle qu'elle est, tandis que le mouvement des fichiers entre le stockage et le calcul GPU est géré sur une seule plateforme.
INTÉGRATION DE L'INFRASTRUCTURE IA
Votre infrastructure IA reste telle qu'elle est.
INNORIX déplace les données.
Les systèmes qui décident du calcul et de la charge de travail dans votre infrastructure IA restent exactement comme ils sont.
INNORIX livre les Datasets et modèles entre la source et la cible que ces systèmes nomment, et renvoie les points de contrôle et résultats au stockage.
INNORIX ne gère pas la planification GPU ou le pipeline IA. Il déplace les fichiers que vos systèmes existants décident.
CONNECTIVITÉ STOCKAGE ET GPU
Une couche de transfert pour le chemin de données
entre le stockage et le calcul GPU.
Que le Dataset et le modèle se trouvent dans le stockage d'objets cloud, dans un data centre ou dans le stockage privé, ils peuvent être livrés à l'environnement GPU où le travail s'exécute.
Les données se déplacent entre différents clouds, régions et environnements sur site tandis que l'infrastructure de stockage et GPU reste telle qu'elle est. L'itinéraire et la cible sont définis pour correspondre à l'environnement — un GPU cloud, un cluster GPU data centre, ou le vôtre.
Cloud vers GPUStockage d'objets dans une région, livré à un cluster GPU dans une autre.
SOURCEStockage d'objetsUS West, S3
68%
1,63 TB sur 2,4 TB transféré
CIBLEGPU cloudAsie, NVIDIA H100
CYCLE DE VIE DES DONNÉES IA
Du Dataset au modèle, au checkpoint et au résultat,
la même livraison de données.
L'entraînement IA commence par mettre le Dataset et le modèle dans l'environnement GPU, et continue par le stockage des points de contrôle qu'il produit et la collecte du résultat final.
INNORIX déplace les fichiers dont chaque étape a besoin entre le stockage et l'environnement GPU, et automatise le mouvement des données qui se répète. La préparation des fichiers pour l'entraînement, le maintien des résultats intermédiaires et la livraison des résultats finaux sont tous connectés, donc le transfert de fichiers fonctionne de la même manière dans l'ensemble du flux de travail IA.
Exécution d'entraînement n° 4821resnet-vision, gpu-cluster-01, démarré 09:52
DatasetDonnées d'entraînement prêtes
training-dataset.tar2,4 TB, 12 480 fichiers
ModèleModèle livré
foundation-model48 GB, 12 fichiers
Entraînement IAEn cours d'exécution
Époque 64 / 10064%
Cluster GPU8 GPU
CheckpointÉtat d'entraînement stocké
checkpoint-064320 GB, 64 fichiers
RésultatRésultat collecté
inference-result120 GB, 3 420 fichiers
Les points de contrôle se répètent, donc une exécution longue n'est jamais perdue
DISPONIBILITÉ DES DONNÉES ET RÉCUPÉRATION
Moins de temps avec un GPU attendant des données,
et un transfert interrompu continue.
Les données dont l'entraînement et l'inférence IA ont besoin vont de fichiers uniques de plusieurs téraoctets à des millions de petites images et documents. INNORIX allège la charge que la taille et le nombre créent sur le transfert, et livre les données volumineuses à l'environnement GPU de manière fiable.
Si le réseau tombe en panne ou le transfert s'arrête, ce qui est déjà terminé est conservé et seule la partie manquante est renvoyée. La reprise automatique, les nouvelles tentatives et la vérification éliminent les transferts inutiles répétés et confirment que les données dont l'IA a besoin sont prêtes.
Transferts volumineux
Un Dataset d'un téraoctet dans un seul transfert
Nombreux petits fichiers
Des millions de fichiers, gérés de manière fiable
Pas de progression perdue
Ce qui a terminé est conservé ; seul le reste est renvoyé
Transfert n° 4821-01Stockage d'objets → gpu-cluster-01
2,4 TB sur 2,4 TB transféré
Parties de ce transfert
ORCHESTRATEUR ET API
Votre orchestrateur IA exécute le transfert
au moment où il en a besoin.
Le transfert de fichiers se connecte à votre orchestrateur IA, planificateur et pipeline existants sans les changer. Nommez les fichiers et la cible de Kubeflow, Airflow, SLURM ou votre propre système via l'API, et INNORIX exécute le transfert et retourne sa progression et son résultat.
Votre système IA planifie et exécute le travail exactement comme il le fait aujourd'hui, tandis qu'INNORIX gère le mouvement des fichiers entre les clusters GPU, le stockage en cloud et le data centre. Les rappels d'achèvement et les résultats d'exécution se réintègrent dans le flux de travail, de sorte que la préparation des données, l'entraînement et la collecte des résultats se poursuivent automatiquement.
Simple à connecter
Une API standard, connectée immédiatement
Rien à changer
Utilisé sans toucher au système IA
Les résultats que vous pouvez voir
État, journaux et rappel d'achèvement
API de transferttr_8f3a2e6b, appelé par airflow-dag-vision
- Orchestrateur IAKubeflow, Airflow, Personnalisé
- PlanificateurSLURM, PBS, LSF
- Application IAEntraînement, Inférence, Ajustement fin
- Transfert à haute vitesse
- Reprise et nouvelle tentative
- Vérification
- Cluster GPUNVIDIA H100, A100
- Stockage cloudS3, GCS, Azure Blob
- Data CenterNAS, Stockage d'objets
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
RÉPONSEJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
État de l'exécution
- Demandé10:14
- Transfert en cours10:15
- Terminé10:33
- Rappel envoyé10:33
OPÉRATIONS UNIFIÉES
Exécutez tous les transferts de fichiers entre GPU et stockage
à partir d'un seul écran.
Gérez les transferts aussi différents que la livraison de Dataset, la collecte de points de contrôle, le mouvement de modèles et la collecte de résultats dans INNORIX Studio.
Vérifiez ce qui s'exécute et ce qui a terminé, et suivez un transfert qui a échoué sur seulement la plage qui en a besoin.
Exécutions récentes
- Livraison de Dataset d'entraînementTerminé
- Collecte de checkpointTransfert en cours
- Distribution de modèlesTerminé
COMMENCER
Commencez à transférer entre les serveurs GPU et le stockage.
Connectez le stockage d'objets, NAS et stockage sur site à vos serveurs GPU.
Composez les transferts de Dataset et modèles dans Studio, ou connectez le transfert de fichiers à votre pipeline IA existant via l'API.
FAQ TECHNIQUE
Questions fréquemment posées
Les fichiers peuvent-ils être transférés entre un serveur GPU et le stockage d'objets ?
Oui. Connectez le stockage d'objets supporté et les serveurs GPU pour transférer les Datasets, modèles et autres fichiers. Les conditions de connexion pour le stockage et les serveurs GPU doivent être confirmées pour votre environnement.
Un serveur GPU sur site peut-il être connecté au stockage en cloud ?
Les serveurs sur site supportés et le stockage d'objets cloud peuvent être définis comme source ou cible.
Les données sur un NAS ou un serveur de fichiers ordinaire peuvent-elles être envoyées à un serveur GPU ?
Un environnement de serveur de fichiers ou NAS supporté peut être connecté pour livrer les données à un serveur GPU. La méthode de connexion réelle dépend du système d'exploitation, du système de fichiers et de la configuration du réseau.
Les modèles et points de contrôle peuvent-ils être transférés ainsi que les Datasets ?
Oui. Les Datasets, poids de modèles, points de contrôle, données d'évaluation, résultats et autres fichiers utilisés ou produits par le travail IA peuvent être transférés.
Peut-il gérer de grands Datasets d'images ou des fichiers à l'échelle du TB ?
INNORIX supporte à la fois des fichiers très volumineux et un grand nombre de petits fichiers. Les performances de transfert que vous obtenez réellement dépendent de la composition des fichiers, de l'API de stockage, du réseau et des spécifications du périphérique.
Les fichiers de checkpoint produits sur un serveur GPU peuvent-ils être collectés automatiquement ?
Les fichiers de checkpoint peuvent être configurés pour aller au stockage selon un calendrier, un événement ou la demande d'un système externe. Le fait qu'un point de contrôle existe et quels fichiers sont sélectionnés est décidé par le système IA existant et les paramètres de transfert.
INNORIX effectue-t-il la planification GPU ou l'entraînement IA lui-même ?
Non. L'approvisionnement en GPU, la planification, l'entraînement et le pipeline IA sont gérés par l'infrastructure existante. INNORIX exécute le mouvement des fichiers que ce travail nécessite.
Peut-il s'intégrer à un orchestrateur IA existant tel que Kubeflow ?
Un orchestrateur existant peut demander un transfert de fichiers via l'API et vérifier le résultat d'achèvement. L'intégration avec un framework particulier doit être examinée par rapport à l'API réelle et à l'environnement d'exécution.
L'entraînement peut-il être configuré pour commencer une fois le transfert terminé ?
Un orchestrateur existant peut confirmer le résultat d'achèvement du transfert et ensuite démarrer l'entraînement. Une demande de transfert acceptée et les données réellement livrées doivent être gardées distinctes.
Que se passe-t-il si le réseau est interrompu pendant un transfert de Dataset ?
Utilisez les fonctionnalités de reprise et de nouvelle tentative supportées pour continuer un transfert interrompu. La portée de la récupération dépend du type de fichier et de l'environnement de transfert.
Peut-il être utilisé où le serveur GPU change à chaque fois ?
Le point de terminaison GPU qu'un planificateur existant a sélectionné peut être connecté comme cible de transfert. La gestion d'un point de terminaison qui diffère au moment de l'exécution est décrite en détail sur la page du produit Dynamic Endpoint Transfer.
Où puis-je vérifier la progression et les résultats d'AI Data Delivery ?
Les exécutions dans INNORIX Studio affichent la progression du transfert et le résultat d'achèvement. Un système IA existant peut s'intégrer via l'API supportée pour interroger l'état et le résultat.
Chacune de ces capacités,sur une seule plateforme.
La capacité présentée sur cette page est l'une des nombreuses fonctionnalités de transfert de fichiers que propose l'INNORIX Platform. Du transfert de fichiers à l'automatisation et à l'exploitation unifiée, essayez gratuitement chaque fonctionnalité.
Démarrer gratuitementVous envisagez une livraison de données pour l'IA ?
Nous examinons la configuration de transfert dont vous avez besoin pour l'environnement de stockage et GPU que vous utilisez déjà.
- Examen des connexions d'environnement de stockage et GPU
- Configuration des transferts de Dataset volumineux
- Connexion à un pipeline IA existant