Transfert de fichiers à volume élevé

Transfert de fichiers

Traitez rapidement des volumes massifs de fichiers comme un seul transfert.

Même lorsque la quantité totale de données reste identique, la nature d'un transfert change complètement à mesure que le nombre de fichiers augmente. Un seul fichier de 100 Go et un million de fichiers de 100 Ko peuvent contenir une quantité de données similaire, mais avec de nombreux petits fichiers, ce n'est pas seulement le débit réseau qui compte : la découverte des fichiers, les opérations d'ouverture/fermeture, les métadonnées, la gestion des Directory, le traitement de la file d'attente, les I/O du système de fichiers et les résultats individuels de transfert ont aussi un impact majeur sur le temps de traitement total.

Transfert de fichiers

Quand le nombre de fichiers augmente, le traitement global des fichiers compte plus que la seule vitesse réseau.

Le transfert de fichiers volumineux et le transfert à fort volume répondent à des problèmes différents. Un seul fichier volumineux dépend fortement du débit sur un flux de données long et de Resume au point d'interruption. Avec de nombreux petits fichiers, en revanche, le système découvre, ouvre, lit, transfère, crée à la cible, ferme et enregistre le résultat de chaque fichier individuellement, de façon répétée. À mesure que le nombre de fichiers augmente, le coût cumulé de ces petites opérations peut déterminer le temps total de transfert.

Pour un transfert à fort volume, il est donc moins important d'augmenter simplement les Gbps que d'accroître la capacité de traitement soutenue de l'ensemble du pipeline de traitement des fichiers, incluant le système de fichiers source, le traitement des Directory et des métadonnées, la file d'attente de transfert, l'écriture à la cible et le résultat de fichier. INNORIX exploite le transfert réseau et le traitement des fichiers comme un seul job à fort volume plutôt que de les traiter séparément.

Transfert de fichiers

Traitez tout, de la découverte au résultat final, comme un seul pipeline à fort volume.

Le transfert de fichiers à fort volume commence avant même l'envoi du premier octet. Le système doit découvrir quels fichiers existent à la source, sélectionner le jeu de fichiers requis pour le job, traiter les informations de Directory et de métadonnées, et placer le travail dans une file d'attente avant que le Data Movement réel ne commence. À la cible, la création de fichier, l'écriture, la fermeture et l'enregistrement du résultat sont également répétés pour chaque fichier.

INNORIX ne laisse pas ces étapes comme des opérations séparées, avant et après le transfert. Il exploite le pipeline complet Découverte → Filtre/Sélection → File d'attente → Transfert → Vérification → Résultat de fichier. Les opérateurs peuvent ainsi voir non seulement la progression réseau, mais aussi quelle part du Dataset complet a été découverte et traitée, quels fichiers sont terminés et lesquels restent, tout cela dans le contexte d'un seul transfert.

Transfert de fichiers

Traitez les fichiers en parallèle tout en préservant la structure d'origine des fichiers et des Directory.

Regrouper de nombreux petits fichiers dans une seule archive peut simplifier le transfert lui-même. Mais lorsque l'archivage devient une étape de transfert supplémentaire, les fichiers doivent d'abord être empaquetés ou compressés à la source, puis extraits à la cible, suivis d'une vérification du résultat. Dans la recherche, la Machine Vision, les médias et les packages logiciels où la structure des Directory porte elle-même une signification au sein du Dataset, cela peut devenir une tâche opérationnelle distincte.

INNORIX préserve les relations d'origine entre fichiers et Directory tout en traitant plusieurs fichiers en parallèle grâce à la gestion de la file d'attente et à la concurrence dynamique. Cela réduit le délai cumulé lié à l'envoi séquentiel des fichiers un par un, tout en évitant l'hypothèse selon laquelle ouvrir le plus grand nombre possible de fichiers à la fois serait toujours optimal. La concurrence est au contraire pilotée pour terminer l'ensemble du Dataset de manière fiable.

Transfert de fichiers

Maintenez un traitement soutenu dans les limites de capacité de la source et de la cible.

Augmenter continuellement la concurrence ne rend pas toujours le transfert à fort volume plus rapide. Les lectures du système de fichiers source et le traitement des métadonnées, les écritures concurrentes sur le stockage cible, les I/O disque et les ressources réseau peuvent tous être partagés avec d'autres Workload. Une concurrence excessive peut au contraire concentrer la pression sur la file d'attente et le stockage.

INNORIX pilote l'ensemble du job via des contrôles de file d'attente et de concurrence, et ajuste le traitement parallèle selon les conditions de la source, de la cible et du réseau. L'objectif n'est pas de traiter le plus grand nombre possible de fichiers à un instant donné, mais de maintenir un taux de traitement des fichiers soutenable dans les limites de capacité de l'infrastructure actuelle, tout en menant à terme l'ensemble du Dataset.

Transfert de fichiers

Préservez les résultats individuels sur des millions de fichiers et ne récupérez que ce qui est nécessaire.

Dans un transfert à fort volume, la progression globale et le taux de succès moyen seuls ne suffisent pas toujours à dire si le job réel est terminé. Si 1,284,389 fichiers sur 1,284,392 ont été livrés, le taux de succès peut paraître extrêmement élevé, mais sur le plan opérationnel, il est plus important de savoir quels sont les trois fichiers en échec et s'ils peuvent être retraités.

INNORIX conserve le File Status individuel avec le Run global. Les résultats terminés sont préservés, les transferts interrompus sont repris via Resume, et seuls les fichiers nécessaires, en état Failed ou Partial, sont repris sélectivement via Retry. Recovery devient ainsi un processus qui identifie les fichiers non encore terminés et achève le Dataset final, plutôt que de relancer l'ensemble du Dataset.

Transfert de fichiers

Vérifiez la livraison complète du Dataset requis, pas seulement un taux de succès élevé.

Lorsque le nombre de fichiers est faible, la différence entre 99.99% et 100% peut sembler insignifiante. À grande échelle, cependant, même un faible pourcentage représente un nombre significatif de fichiers réels. 0.01% d'un million de fichiers représente 100 fichiers, et 0.01% de 100 millions de fichiers représente 10,000 fichiers. Pour un transfert à fort volume, un taux de succès moyen seul ne suffit donc pas à établir que le job est terminé.

INNORIX affiche la progression globale dans le Run, identifie le périmètre en échec via File Status, et vérifie le résultat final via Receipt après Retry et Recovery. Le critère d'achèvement d'un transfert à fort volume n'est pas simplement un pourcentage de succès élevé, mais le fait que le jeu de fichiers requis par le métier ait réellement été mené à terme de bout en bout et que son résultat puisse être vérifié.

Transfert de fichiers

Livrez le jeu de fichiers requis avec la structure de Directory et les filtres intacts.

Un Dataset à fort volume est souvent plus qu'une simple liste de fichiers. La structure de Directory peut elle-même faire partie des données. Dans les Dataset de recherche, la Machine Vision, les projets médias et les packages logiciels, les relations de Directory de la source peuvent devoir rester intactes à la cible pour que les systèmes en aval puissent utiliser les données immédiatement.

En même temps, le fait de disposer de millions de fichiers à la source ne signifie pas que chaque fichier doit toujours être déplacé. INNORIX sélectionne les cibles de transfert par nom de fichier, extension, Directory et conditions requises, tout en préservant les relations d'origine entre fichiers et Directory. Cela permet de sélectionner, au niveau du Dataset, le jeu de fichiers réellement requis pour le job, et de le livrer dans sa structure d'origine plutôt que de dupliquer l'intégralité de la source.

Transfert de fichiers

Étendez les Dataset ponctuels vers des flux de données continus.

Les données à fort volume sont souvent générées de façon continue plutôt qu'une seule fois. Les images de Machine Vision, les logs, les données de capteurs, les résultats de recherche et les assets médias créent de nouveaux fichiers chaque jour ou en continu, si bien que les données créées après une migration initiale peuvent devoir être livrées de façon répétée via le même chemin de transfert.

INNORIX commence avec un Dataset ponctuel et connecte le transfert planifié (Schedule), les Event de fichiers, l'API et les demandes externes au même modèle de Flow. Les nouveaux fichiers peuvent être filtrés, traités via le transfert à fort volume, et leurs résultats d'achèvement transmis au Flow suivant ou au Callback, étendant ainsi le même transfert d'un mouvement en masse ponctuel vers une Data Delivery continue.

Transfert de fichiers

Appliquez le même transfert à fort volume à la Collection depuis plusieurs sources et à la Distribution vers plusieurs cibles.

De grands volumes de fichiers ne sont pas toujours générés sur un seul serveur. Les données peuvent être produites simultanément dans des usines, des agences, des équipements et des serveurs de traitement. À l'inverse, un Dataset d'images, un package logiciel ou un asset média peut devoir être distribué vers plusieurs serveurs ou environnements Compute.

INNORIX connecte le transfert à fort volume à la Collection N:1 et à la Distribution 1:N. Lors de la Collection, il préserve les relations entre fichiers et chemins pour chaque source, tout en indiquant la part déjà collectée depuis chaque source et les fichiers restants. Lors de la Distribution, il gère la progression et les résultats de fichier pour chaque cible. Cela permet au traitement à fort volume au niveau du fichier et aux critères d'achèvement au niveau Endpoint de la Distribution & Collection de fonctionner ensemble.

Transfert de fichiers

Appliquez le même modèle d'exploitation à fort volume aux serveurs, au stockage de fichiers et au stockage d'objets.

Les volumes massifs de fichiers ne se limitent pas à un seul serveur ou système de fichiers. Les données à fort volume peuvent exister à travers le stockage de fichiers partagé, le stockage d'objets, le Cloud, les Data Center, les agences et les usines. Dans le stockage d'objets, de grands volumes d'objets sont listés et filtrés avant d'être traités via la file d'attente et le transfert parallèle, plutôt que d'être traités comme des fichiers d'un système de fichiers.

Les méthodes de découverte et d'accès diffèrent selon le type de stockage, mais sur le plan opérationnel, le même modèle à fort volume peut s'appliquer au job global, aux résultats individuels de fichier ou d'objet, à Retry et à l'état d'achèvement final. Où que se trouvent les données, la découverte, la file d'attente, le traitement parallèle, Recovery et le résultat sont reliés par une architecture de transfert unique.

Transfert de fichiers

Connectez le mouvement continu à fort volume pour les données AI et générées par machine.

Les données AI et générées par machine sont des environnements représentatifs du transfert à fort volume. La Machine Vision produit des volumes massifs de fichiers image, les Dataset d'entraînement AI peuvent contenir de vastes collections d'images et de labels, et dans les systèmes autonomes, les capteurs, la recherche et la pathologie numérique, le taux de génération de fichiers et le nombre total de fichiers influencent tous deux directement l'architecture de transfert.

INNORIX applique le transfert à fort volume à ces profils de données et le connecte, si nécessaire, à AI Data Delivery, à la Collection et au transfert automatisé. Le transfert à fort volume en lui-même se concentre sur la découverte, le traitement et la récupération de grands volumes de fichiers jusqu'à ce que le résultat soit complet, tandis que Data Delivery vers Compute, la Collection et la Distribution sur plusieurs Endpoint, ainsi que l'automatisation de l'exécution, sont combinées via les capacités de transfert correspondantes.

Transfert de fichiers

Visualisez tout, du Dataset complet jusqu'à un fichier individuel, dans un seul Run.

À mesure que le nombre de fichiers augmente, vérifier directement les logs sur des serveurs individuels ne suffit plus à comprendre l'ensemble du job. Les opérateurs doivent d'abord voir quelle part du Dataset complet a été traitée, descendre si besoin jusqu'à la file d'attente et aux fichiers en échec, puis déterminer l'état d'achèvement final après Recovery.

INNORIX affiche l'état global du transfert et le nombre de fichiers traités dans le Run, fournit des résultats individuels via File Status, traite le travail restant via la file d'attente et Retry, et confirme le résultat final via Receipt. Cela offre une structure d'exploitation qui traite des millions de fichiers comme un seul job, tout en permettant aux opérateurs de descendre, si nécessaire, jusqu'au niveau de chaque fichier.

Transfert de fichiers

100 millions de fichiers est un point de validation d'échelle, pas la définition du volume élevé.

Le seuil à partir duquel un transfert à fort volume devient nécessaire n'est pas défini par un nombre de fichiers précis. Des workflows existants peuvent déjà ralentir avec seulement quelques milliers de fichiers, tandis que les Dataset et les données machine peuvent croître jusqu'à des millions, voire des dizaines de millions. La question importante n'est pas à partir de combien de fichiers on parle de « volume élevé », mais de savoir si la découverte, le transfert, Recovery et le résultat peuvent continuer à être traités et exploités de la même manière à mesure que le nombre de fichiers augmente.

100,000,000 fichiers ne signifie pas que chaque client doit opérer à cette échelle. C'est un point d'un test d'échelle utilisé pour vérifier si l'architecture de transfert à fort volume d'INNORIX peut absorber la croissance du nombre réel de fichiers. La valeur du produit ne réside pas dans le chiffre lui-même, mais dans le fait de maintenir le même modèle de transfert, des petits Batch jusqu'aux Dataset à grande échelle générés en continu.

Transfert de fichiers

Exploitez de quelques milliers à 100 millions de fichiers comme un seul transfert à fort volume.

Plutôt que de transformer un grand nombre de fichiers en un workflow d'archivage séparé uniquement pour le transfert, conservez la structure de fichiers et de répertoires d'origine et traitez-les via Discovery, Queue et traitement parallèle. Maintenez un débit soutenu selon la capacité de la source et de la cible, et lorsque certains fichiers rencontrent des problèmes, ne retraitez que le périmètre requis sur la base des résultats au niveau fichier.

Commencez par un Dataset ponctuel, puis appliquez le même modèle de transfert haut volume aux Flows de données récurrents, à la collecte et à la distribution, au stockage d'objets, ainsi qu'aux données AI et machine. Du Run complet jusqu'aux fichiers individuels et jusqu'au Receipt final, pilotez l'ensemble au sein d'une structure unique et cohérente.