DATA MANAGEMENT

Arquivos que movió una vez,
como datos que puede volver a usar.

Vincule arquivos dispersos en servidores, armazenamento de objetos y dispositivos locales en un solo Dataset,
y siga la ruta y el historial de cambios de un arquivo exactamente como ocurrieron.

DATASET

Arquivos dispersos,
como un solo Dataset.

Los arquivos que están en distintos servidores, armazenamento de objetos y dispositivos locales se vinculan en un solo Dataset y se gestionan juntos, sin moverse.

Un Dataset es un conjunto lógico de referencias a donde ya están los arquivos. No los copia a un solo lugar.

  • ServerSeoul HQ

    • design.zip
    • spec_document.pdf
    • project_plan.xlsx
  • Object StorageS3 Storage

    • model_data.bin
    • media_assets.zip
    • training_set.tar
  • Dispositivo EdgeFactory Line

    • sensor_logs.csv
    • vision_data.mp4
    • inspection.zip
  • Site remotoTokyo Branch

    • reference.pdf
    • manual.zip
    • daily_report.xlsx

Production DatasetArquivos en múltiples ubicaciones · Un dataset lógico

1.248 arquivos · 4 ubicaciones
ArquivoLocalTamanoAtualizado
design.zipSeoul HQ / Server12.8 GBHoje 14:22
model_data.binS3 Storage8.5 GBHoje 13:56
sensor_logs.csvFactory Edge2.4 GBHoje 10:18
reference.pdfTokyo Branch28 MBHoje 08:12

Los arquivos originales nunca se mueven ni se copian. Permanecen exactamente donde están.

DISTRIBUTED DATASETS

Dondequiera que estén los arquivos,
gestiónelos como uno solo.

Busque arquivos almacenados en servidores, object storage y dispositivos locales desde una sola tela, y gestiónelos todos de la misma manera.

  • Cada ubicación en una sola tela

    Los arquivos de distintos servidores, servicios de armazenamento y dispositivos locales se revisan y gestionan dentro de un solo Dataset.

  • Da mesma forma, onde quer que estejam

    Servidores locales, object storage, dispositivos edge: el armazenamento cambia, la interfaz para buscar, seleccionar y gestionar no.

  • Pronto para o que você adicionar depois

    Un nuevo dispositivo o servicio de armazenamento se incorpora a un Dataset existente y continúa gestionándose junto con el resto.

Datasets

  • Production Assets1,248 files, 3 locations
  • Training Data8,420 files, 2 locations
  • Media Archive2,193 files, 4 locations
  • Daily Collection365 files, 5 locations
  • Design Files542 files, 2 locations
NameLocalTamanoTipoAtualizado
designSeoul HQ / Server—FolderHoje 14:22
modelS3 Storage—FolderHoje 13:56
simulation_data.zipSeoul HQ / NAS12.8 GBZIPHoje 11:03
sensor_logs.csvFactory Edge2.4 GBCSVHoje 10:18
training_set.tarS3 Storage48.6 GBTARHoje 09:41
inspection.zipFactory Edge1.6 GBZIPHoje 09:12
reference.pdfSeoul HQ / Server28 MBPDFHoje 08:12
manual.zipS3 Storage5.3 GBZIPOntem 17:44

Locais neste dataset

  • Seoul HQ / Server532 files, 42%
  • S3 Storage428 files, 34%
  • Factory Edge288 files, 23%

DATASET REUSE

Un arquivo movido una vez,
reutilizado en el siguiente trabajo.

Los arquivos que llegan por recopilación, transferencia o carga web se conservan como un Dataset
y se entregan directamente al siguiente trabajo de transferencia como su entrada.

Coletar ou transferir

Factory CollectionFactory Line → CenterConcluído

  • machine_log_001.csv2.1 GB
  • machine_log_002.csv2.3 GB
  • inspection_image.zip8.4 GB
  • sensor_data.tar12.6 GB

1.248 arquivos recopilados

Manter como Dataset

Production Dataset1,248 files, 3 locations

NameLocalTamano
machine_logFactory Edge4.4 GB
inspectionSeoul HQ / Server8.4 GB
sensor_data.tarS3 Storage12.6 GB
reference.pdfSeoul HQ / Server28 MB

Reutilizar no próximo job

New FlowCenter → GPU Cluster

Origem

Production Dataset

Destino

GPU Cluster

  • Solo arquivos modificados
  • Verificação após a transferência
  • Agendamento

Executar Flow

Sigue disponível para el siguiente trabajo

  • Resultados coletados como estão

    Los arquivos recopilados del equipe se convierten en un Dataset de inmediato.

  • Uploads via Web também

    Los arquivos cargados a través de EX se gestionan exactamente de la misma manera.

  • Reutilizado entre jobs

    Um Dataset alimenta quantos jobs de transferência você precisar.

  • Siempre atualizado

    Escolha solo los arquivos que cambiaron y envíelos al siguiente trabajo.

FILE TRACE & LINEAGE

Hasta la ruta de un solo arquivo,
todo queda registrado.

Dónde se creó un arquivo, cuándo se movió y qué trabajo lo transportó: toda la ruta se puede rastrear desde una sola tela.

Resultados de la busca (5)

  • model_weights.bin/datasets/ai-training/48.6 GB
  • model_weights_v2.bin/datasets/ai-training/48.6 GB
  • model_config.json/datasets/ai-training/12 KB
  • AI Training Dataset3 files, 78.6 GB
  • Daily Collection365 files, 5 locations

model_weights.bin48.6 GB, AI Training DatasetÚltima atualização em 19/10/2025 14:22

Recorrido del arquivo

TransferidoData Center2025-10-18 22:07
Origem
Seoul HQ / Server
Destino
Data Center
Resultado da transferência
Concluído (Verificado)
Tempo de transferência
12m 34s
Velocidade média
5.9 GB/min
Verificação
SHA-256, Correspondente

FILE HISTORY & METADATA

El arquivo puede cambiar.
El registro nunca se rompe.

Los metadatos, el historial de cambios, los resultados de la transferencia y el estado de verificación se revisan y gestionan todos desde una sola tela.

  • Informação y metadatos del arquivo

    Informação básica del arquivo, el Dataset y el proyecto al que pertenece, etiquetas de negocio y más.

  • Histórico de alterações

    Todo lo que le ocurrió al arquivo —creado, movido, modificado— en orden.

  • Resultado da transferência e verificação

    O resultado de cada transferência, quanto tempo levou e se foi verificada: um registro no qual você pode confiar.

inspection_data.zip8.4 GB, Factory Collection Dataset

Comprovante de transferência mais recenteVerificado

Tipo de transferência
Servidor para servidor
Origem
Factory Edge
Destino
Data Center
Tamano transferido
8.4 GB
Duração
12m 14s
Soma de verificação (SHA-256)
3f8a2c6e9d…7b1e4d9a3c
Verificação
Aprovado