AI DATA DELIVERY
AI가 실행되는 곳으로,
필요한 데이터를.
AI 학습과 추론에 필요한 Dataset과 Model을 GPU 서버와 클러스터로 전달하고, 작업 중 생성되는 Checkpoint와 최종 Result를 다시 저장소로 수집합니다.
클라우드, 데이터센터, 온프레미스 등 데이터가 저장된 위치와 AI가 실행되는 환경이 달라도 필요한 파일을 안정적으로 이동시킬 수 있습니다. 기존 AI 인프라와 학습 환경을 변경하지 않고, 데이터 준비부터 결과 수집까지 AI 작업에 필요한 파일 전송을 하나의 플랫폼으로 연결합니다.
- Dataset학습 데이터2.4 TB
- Model사전 학습 모델48 GB
- Auxiliary DataConfig · Tokenizer12 GB
학습 작업68%
- Epoch
- 68 / 100
- GPU
- GPU 8장
- Checkpoint학습 상태320 GB
- Result생성 결과120 GB
- Logs학습 로그8 GB
AI WORKFLOW
학습의 시작부터 결과까지,
AI 작업의 모든 단계에서.
AI 학습은 Dataset과 Model을 GPU 환경에 준비하는 것에서 시작해, 학습 중 생성되는 Checkpoint를 저장하고 최종 Result를 수집하는 과정으로 이어집니다.
INNORIX는 각 단계에서 필요한 파일을 적절한 저장소와 GPU 환경 사이에 전달하고, 반복적으로 발생하는 데이터 이동을 자동화합니다. 학습에 필요한 파일을 준비하는 과정뿐 아니라 중간 결과의 보관과 최종 결과의 전달까지 연결하여, AI 워크플로우 전반에서 일관된 파일 전송 환경을 제공합니다.
학습 작업 #4821resnet-vision · gpu-cluster-01 · 09:52 시작
Dataset학습 데이터 준비
training-dataset.tar2.4 TB · 파일 12,480개
Model모델 전달
foundation-model48 GB · 파일 12개
AI Training실행 중
Epoch 64 / 10064%
GPU ClusterGPU 8장
Checkpoint학습 상태 저장
checkpoint-064320 GB · 파일 64개
Result결과 데이터 회수
inference-result120 GB · 파일 3,420개
반복 저장으로 안정적인 학습
DATA DELIVERY
저장소는 어디에 있든,
GPU는 어디에서 실행되든.
Dataset과 Model이 클라우드 객체 스토리지, 데이터센터, 프라이빗 스토리지 중 어디에 저장되어 있더라도 AI 작업이 실행되는 GPU 환경으로 전달할 수 있습니다.
서로 다른 클라우드와 리전, 온프레미스 환경 사이에서도 기존 저장소와 GPU 인프라를 유지한 채 필요한 데이터를 전송합니다. Cloud GPU, 데이터센터 GPU 클러스터 등 작업 환경에 맞춰 전송 경로와 대상을 구성할 수 있습니다.
Cloud to GPU다른 리전의 객체 스토리지 데이터를 글로벌 GPU 클러스터로 전송합니다.
SOURCEObject StorageUS West · S3
68%
1.63 TB / 2.4 TB 전송됨
TARGETCloud GPUAsia · NVIDIA H100
DATA READINESS
수 TB의 Dataset도, 수백만 개의 파일도
AI가 사용할 수 있도록.
AI 학습과 추론에 필요한 데이터는 수 TB에 이르는 대용량 파일부터 이미지, 문서처럼 수백만 개의 작은 파일까지 다양한 형태로 구성됩니다. 파일 크기와 개수에 따라 발생하는 전송 부담을 줄이고, 대규모 데이터를 안정적으로 GPU 환경에 전달합니다.
네트워크 장애나 전송 중단이 발생해도 이미 완료된 데이터는 유지하고 필요한 부분만 재전송합니다. 자동 재개와 재시도, 전송 결과 검증을 통해 불필요한 반복 전송을 줄이고, AI 작업에 필요한 데이터가 정상적으로 준비되었는지 확인할 수 있습니다.
대용량 전송
TB급 Dataset도 하나의 전송으로
대량 파일 처리
수백만 개 파일도 안정적으로
중단 없는 전송
완료된 데이터는 유지하고 필요한 부분만 재전송
전송 작업 #4821-01Object Storage → gpu-cluster-01
2.4 TB / 2.4 TB 전송됨
전송 구간
AI INTEGRATION
기존 AI 환경은 그대로.
파일 전송만 연결하세요.
기존 AI Orchestrator, Scheduler, AI Pipeline을 변경하지 않고 파일 전송 기능을 연동할 수 있습니다. Kubeflow, Airflow, SLURM 등 기존 시스템에서 API로 필요한 파일과 전송 대상을 지정하면 INNORIX가 전송을 실행하고 진행 상태와 완료 결과를 반환합니다.
AI 시스템은 기존 방식대로 작업을 스케줄링하고 실행하며, INNORIX는 GPU 클러스터와 클라우드 스토리지, 데이터센터 사이의 파일 이동을 담당합니다. 전송 완료 알림과 실행 결과를 기존 워크플로우에 연결하여 데이터 준비, 학습 실행, 결과 수집 등의 작업을 자동으로 이어갈 수 있습니다.
간단한 연동
표준 API로 즉시 연결
기존 환경 유지
AI 시스템 변경 없이 사용
실행 결과 확인
상태, 로그, 완료 알림 제공
Transfer APItr_8f3a2e6b · airflow-dag-vision 호출
- AI OrchestratorKubeflow · Airflow · Custom
- SchedulerSLURM · PBS · LSF
- AI ApplicationTraining · Inference · Fine-tuning
- High-Speed Transfer
- Resume & Retry
- Verification
- GPU ClusterNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
RESPONSEJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
실행 상태
- Requested10:14
- Transferring10:15
- Completed10:33
- Callback sent10:33
이 모든 기능을,하나의 플랫폼에서.
지금 보고 계신 기능은 INNORIX Platform이 제공하는 다양한 파일 전송 기능 중 하나입니다. 파일 전송부터 자동화와 통합 운영까지, 모든 기능을 무료로 직접 체험해 보세요.
무료 시작하기AI 데이터 전송을 검토하고 계신가요?
현재 사용 중인 저장소와 GPU 환경에 맞춰 필요한 전송 구성을 함께 검토해드립니다.
- Storage, GPU 환경 연결 검토
- 대용량 Dataset 전송 구성
- 기존 AI Pipeline 연동 방안