DATA MANAGEMENT

Les fichiers que vous avez déplacés une fois,
devenus des données que vous pouvez réutiliser.

Reliez des fichiers dispersés entre serveurs, stockage objet et appareils sur site en un seul Dataset,
et suivez le parcours et l'historique des modifications d'un fichier exactement comme ils se sont produits.

DATASET

Des fichiers dispersés,
réunis en un seul Dataset.

Les fichiers situés sur différents serveurs, dans le stockage objet et sur des appareils sur site sont reliés en un seul Dataset et gérés ensemble, sans être déplacés.

Un Dataset est un ensemble logique de pointeurs vers l'endroit où se trouvent déjà les fichiers. Il ne les copie pas en un seul lieu.

  • ServeurSeoul HQ

    • design.zip
    • spec_document.pdf
    • project_plan.xlsx
  • Stockage objetS3 Storage

    • model_data.bin
    • media_assets.zip
    • training_set.tar
  • Appareil en périphérieFactory Line

    • sensor_logs.csv
    • vision_data.mp4
    • inspection.zip
  • Site distantTokyo Branch

    • reference.pdf
    • manual.zip
    • daily_report.xlsx

Production DatasetFichiers répartis sur plusieurs emplacements, Un seul Dataset logique

1 248 fichiers, 4 emplacements
FichierEmplacementTailleMis à jour
design.zipSeoul HQ / Server12.8 GBAujourd'hui 14:22
model_data.binS3 Storage8.5 GBAujourd'hui 13:56
sensor_logs.csvFactory Edge2.4 GBAujourd'hui 10:18
reference.pdfTokyo Branch28 MBAujourd'hui 08:12

Les fichiers originaux ne sont jamais déplacés ni copiés. Ils restent exactement où ils se trouvent.

DISTRIBUTED DATASETS

Où que se trouvent les fichiers,
gérez-les comme un seul ensemble.

Recherchez des fichiers hébergés sur des serveurs, dans le stockage objet et sur des appareils sur site depuis un seul écran, et gérez-les tous de la même manière.

  • Chaque emplacement sur un seul écran

    Les fichiers sur différents serveurs, services de stockage et appareils sur site sont consultés et gérés au sein d'un seul Dataset.

  • De la même manière, où qu'ils se trouvent

    Serveurs locaux, stockage objet, appareils en périphérie — le stockage diffère, l'interface de recherche, de sélection et de gestion ne change pas.

  • Prêt pour ce que vous ajoutez ensuite

    Un nouvel appareil ou service de stockage rejoint un Dataset existant et continue d'être géré avec le reste.

Datasets

  • Production Assets1,248 files, 3 locations
  • Training Data8,420 files, 2 locations
  • Media Archive2,193 files, 4 locations
  • Daily Collection365 files, 5 locations
  • Design Files542 files, 2 locations
NomEmplacementTailleTypeMis à jour
designSeoul HQ / Server—FolderAujourd'hui 14:22
modelS3 Storage—FolderAujourd'hui 13:56
simulation_data.zipSeoul HQ / NAS12.8 GBZIPAujourd'hui 11:03
sensor_logs.csvFactory Edge2.4 GBCSVAujourd'hui 10:18
training_set.tarS3 Storage48.6 GBTARAujourd'hui 09:41
inspection.zipFactory Edge1.6 GBZIPAujourd'hui 09:12
reference.pdfSeoul HQ / Server28 MBPDFAujourd'hui 08:12
manual.zipS3 Storage5.3 GBZIPHier 17:44

Emplacements de ce dataset

  • Seoul HQ / Server532 files, 42%
  • S3 Storage428 files, 34%
  • Factory Edge288 files, 23%

DATASET REUSE

Un fichier déplacé une fois,
réutilisé dans la tâche suivante.

Les fichiers arrivés par collecte, transfert ou téléversement web sont conservés comme un Dataset
et remis directement à la tâche de transfert suivante comme entrée.

Collecter ou transférer

Factory CollectionFactory Line → CenterTerminé

  • machine_log_001.csv2.1 GB
  • machine_log_002.csv2.3 GB
  • inspection_image.zip8.4 GB
  • sensor_data.tar12.6 GB

1 248 fichiers collectés

Conserver comme Dataset

Production Dataset1,248 files, 3 locations

NomEmplacementTaille
machine_logFactory Edge4.4 GB
inspectionSeoul HQ / Server8.4 GB
sensor_data.tarS3 Storage12.6 GB
reference.pdfSeoul HQ / Server28 MB

Réutiliser dans la tâche suivante

New FlowCenter → GPU Cluster

Source

Production Dataset

Destination

GPU Cluster

  • Fichiers modifiés uniquement
  • Vérification après transfert
  • Planification

Exécuter le Flow

Toujours disponible pour la tâche suivante

  • Résultats de collecte en l'état

    Les fichiers collectés depuis des équipements deviennent immédiatement un Dataset.

  • Les téléversements web aussi

    Les fichiers téléversés via EX sont gérés exactement de la même manière.

  • Réutilisés entre plusieurs tâches

    Un seul Dataset alimente autant de tâches de transfert que nécessaire.

  • Toujours à jour

    Sélectionnez uniquement les fichiers modifiés et envoyez-les à la tâche suivante.

FILE TRACE & LINEAGE

Jusqu'au parcours d'un seul fichier,
tout est enregistré.

Où un fichier a été créé, quand il s'est déplacé et quelle tâche l'a transporté — l'ensemble du parcours est traçable depuis un seul écran.

Résultats de recherche (5)

  • model_weights.bin/datasets/ai-training/48.6 GB
  • model_weights_v2.bin/datasets/ai-training/48.6 GB
  • model_config.json/datasets/ai-training/12 KB
  • AI Training Dataset3 files, 78.6 GB
  • Daily Collection365 files, 5 locations

model_weights.bin48.6 GB, AI Training DatasetDernière mise à jour le 19-10-2025 14:22

Parcours du fichier

TransféréData Center2025-10-18 22:07
Source
Seoul HQ / Server
Destination
Data Center
Résultat du transfert
Terminé (vérifié)
Durée du transfert
12m 34s
Vitesse moyenne
5.9 GB/min
Vérification
SHA-256, Correspondant

FILE HISTORY & METADATA

Le fichier peut changer.
L'historique ne se rompt jamais.

Métadonnées, historique des modifications, résultats de transfert et statut de vérification sont tous consultés et gérés depuis un seul écran.

  • Informations du fichier et métadonnées

    Informations de base du fichier, le Dataset et le projet auquel il appartient, les tags métier et plus encore.

  • Historique des modifications

    Tout ce qui est arrivé au fichier — création, déplacement, modification — dans l'ordre.

  • Résultat de transfert et vérification

    Le résultat de chaque transfert, sa durée et s'il a été vérifié : un historique sur lequel vous pouvez vous appuyer.

inspection_data.zip8.4 GB, Factory Collection Dataset

Dernier reçu de transfertVérifié

Type de transfert
Serveur à serveur
Source
Factory Edge
Destination
Data Center
Taille transférée
8.4 GB
Durée
12m 14s
Somme de contrôle (SHA-256)
3f8a2c6e9d…7b1e4d9a3c
Vérification
Réussi