GPU & STORAGE FILE TRANSFER
ส่งเซิร์ฟเวอร์ GPU ข้อมูลที่ต้องการ
และใส่ผลลัพธ์กลับไป Storage
ถ่ายโอน Datasets และ Models ที่เก็บไว้ใน Object Storage บน NAS หรือในศูนย์ข้อมูลไปยังเซิร์ฟเวอร์ GPU ของคุณ
Checkpoints และผลลัพธ์ที่สร้างขึ้นระหว่าง Training และ Inference สามารถไป Storage ได้เช่นกัน โครงสร้างพื้นฐาน AI ของคุณที่มีอยู่แล้วยังคงเป็นเช่นเดิม ขณะที่การเคลื่อนไฟล์ระหว่าง Storage และ GPU Compute ได้รับการจัดการบนแพลตฟอร์มเดียว
AI INFRASTRUCTURE INTEGRATION
โครงสร้างพื้นฐาน AI ของคุณยังคงเป็นเช่นเดิม
INNORIX เคลื่อนข้อมูล
ระบบที่ตัดสินใจ Compute และ Workload ในโครงสร้างพื้นฐาน AI ของคุณ ยังคงเหมือนเดิมทุกประการ
INNORIX ส่งมอบ Datasets และ Models ระหว่าง Source และ Target ที่ระบบเหล่านั้นตั้งชื่อให้ และส่ง Checkpoints และ Results กลับไป Storage
INNORIX ไม่จัดการ GPU Scheduling หรือ AI Pipeline มันเคลื่อนไฟล์ที่ระบบที่มีอยู่ของคุณตัดสินใจ
STORAGE & GPU CONNECTIVITY
ชั้นการถ่ายโอนหนึ่งชั้นสำหรับเส้นทางข้อมูล
ระหว่าง Storage และ GPU Compute
ไม่ว่า Dataset และ Model จะอยู่ใน Cloud Object Storage ในศูนย์ข้อมูล หรือใน Private Storage พวกเขาสามารถส่งมอบไปยังสภาพแวดล้อม GPU ที่งานทำงาน
ข้อมูลเคลื่อนไหวระหว่าง Clouds ภูมิภาค และสภาพแวดล้อม On-Premises ต่างๆ ในขณะที่ Storage และ GPU Infrastructure ยังคงเหมือนเดิม เส้นทางและเป้าหมายถูกตั้งค่าให้ตรงกับสภาพแวดล้อม -- Cloud GPU Data Center GPU Cluster หรือของคุณเอง
Cloud ไปยัง GPUObject Storage ในภูมิภาคหนึ่ง ส่งมอบไปยัง GPU Cluster ในอีกภูมิภาคหนึ่ง
ต้นทางObject StorageUS West · S3
68%
1.63 TB จาก 2.4 TB ถ่ายโอน
ปลายทางCloud GPUเอเชีย · NVIDIA H100
AI DATA LIFECYCLE
จาก Dataset ไปถึง Model Checkpoint และ Result
การส่งข้อมูลเดียวกัน
AI Training เริ่มต้นด้วยการนำ Dataset และ Model เข้าไปในสภาพแวดล้อม GPU และดำเนินต่อไปจนถึงการเก็บ Checkpoints ที่สร้างขึ้นและรวบรวม Result สุดท้าย
INNORIX เคลื่อนไฟล์ที่แต่ละขั้นตอนต้องใช้ระหว่าง Storage และสภาพแวดล้อม GPU และทำให้การเคลื่อนข้อมูลเป็นอัตโนมัติที่เกิดขึ้นซ้ำๆ การเตรียม Datasets สำหรับ Training การเก็บ Intermediate Results และการ Deliver Results สุดท้ายเชื่อมต่อกัน ดังนั้นการถ่ายโอนไฟล์จึงทำงานเหมือนกันในทั้ง AI Workflow
Training Run #4821resnet-vision · gpu-cluster-01 · เริ่มต้น 09:52
Datasetข้อมูล Training พร้อม
training-dataset.tar2.4 TB · 12,480 ไฟล์
ModelModel ส่งมอบแล้ว
foundation-model48 GB · 12 ไฟล์
การฝึก AIกำลังรัน
รอบฝึก 64 / 10064%
คลัสเตอร์ GPU8 GPUs
Checkpointสถานะ Training เก็บแล้ว
checkpoint-064320 GB · 64 ไฟล์
ผลลัพธ์Result รวบรวมแล้ว
inference-result120 GB · 3,420 ไฟล์
Checkpoints ซ้ำกัน ดังนั้น Long Run จึงไม่มีการสูญเสีย
DATA READINESS & RECOVERY
เวลาน้อยลงที่ GPU รอข้อมูล
และการถ่ายโอนที่ถูกขัดจังหวะจะดำเนินต่อ
ข้อมูลที่ AI Training และ Inference ต้องใช้มีตั้งแต่ไฟล์เดี่ยวของ Terabytes หลายตัวไปจนถึง Millions ของรูปภาพและเอกสารเล็กๆ น้อยๆ INNORIX ลดโหลดที่ขนาดและตัวเลขสร้างจากการถ่ายโอน และส่งมอบข้อมูลขนาดใหญ่ไปยังสภาพแวดล้อม GPU อย่างน่าเชื่อถือ
หากเครือข่ายหล่นหรือการถ่ายโอนหยุด สิ่งที่เสร็จแล้วจะได้รับการเก็บไว้ และเพียงส่วนที่ขาดไปเท่านั้นที่จะถูกส่งซ้ำ Automatic Resume Retries และการตรวจสอบ ตัดการถ่ายโอนซ้ำที่ไม่จำเป็น และยืนยันว่าข้อมูลที่ AI ต้องการพร้อมแล้ว
การถ่ายโอนขนาดใหญ่
Dataset Terabyte เดียวในการถ่ายโอนครั้งเดียว
ไฟล์เล็กจำนวนมาก
Millions ของไฟล์ จัดการได้อย่างน่าเชื่อถือ
ไม่มีความก้าวหน้าสูญเสีย
สิ่งที่สำเร็จได้รับการเก็บไว้ เพียงส่วนที่เหลือเท่านั้นที่ส่งอีกครั้ง
การโอนย้าย #4821-01Object Storage → gpu-cluster-01
2.4 TB จาก 2.4 TB ถ่ายโอน
ส่วนของการถ่ายโอนนี้
ORCHESTRATOR & API
Orchestrator AI ของคุณรันการถ่ายโอน
ในขณะที่ต้องการ
การถ่ายโอนไฟล์เชื่อมต่อกับ AI Orchestrator Scheduler และ Pipeline ที่มีอยู่โดยไม่ต้องเปลี่ยนพวกเขา ตั้งชื่อไฟล์และปลายทางจาก Kubeflow Airflow SLURM หรือระบบของคุณเองผ่าน API และ INNORIX รันการถ่ายโอนและส่งคืนความก้าวหน้าและผลลัพธ์ของมัน
ระบบ AI ของคุณจัดตารางและรันงานเหมือนที่ทำวันนี้ ขณะที่ INNORIX จัดการการเคลื่อนไฟล์ระหว่าง GPU Clusters Cloud Storage และศูนย์ข้อมูล Completion Callbacks และผลลัพธ์การรันป้อนข้อมูลกลับไปยัง Workflow ดังนั้นการเตรียมข้อมูล Training และการรวบรวม Result ดำเนินต่อไปโดยอัตโนมัติ
ง่ายต่อการเชื่อมต่อ
API มาตรฐาน เชื่อมต่อทันที
ไม่มีอะไรต้องเปลี่ยน
ใช้โดยไม่สัมผัส AI System
ผลลัพธ์ที่คุณเห็น
สถานะ บันทึก และ Completion Callback
Transfer APItr_8f3a2e6b · เรียกโดย airflow-dag-vision
- ตัวประสานงาน AIKubeflow · Airflow · พัฒนาเอง
- SchedulerSLURM · PBS · LSF
- แอปพลิเคชัน AIการฝึก · การอนุมาน · การปรับแต่งอย่างละเอียด
- การโอนย้ายความเร็วสูง
- Resume & Retry
- การตรวจสอบ
- คลัสเตอร์ GPUNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
การตอบกลับJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
สถานะการรัน
- ส่งคำขอแล้ว10:14
- กำลังถ่ายโอน10:15
- เสร็จสิ้น10:33
- Callback ส่ง10:33
UNIFIED OPERATIONS
รันการถ่ายโอนไฟล์ทั้งหมดระหว่าง GPU และ Storage
จากหน้าจอเดียว
จัดการการถ่ายโอนที่แตกต่างกันเช่น Dataset Delivery Checkpoint Collection Model Movement และ Result Gathering ใน INNORIX Studio
ตรวจสอบว่าอะไรกำลังรันและสิ่งที่เสร็จแล้ว และติดตามการถ่ายโอนที่ล้มเหลวเฉพาะช่วงที่ต้องใช้
Runs ล่าสุด
- การส่งมอบ Dataset สำหรับการฝึกเสร็จสิ้น
- การรวบรวม Checkpointกำลังถ่ายโอน
- การแจกจ่ายโมเดลเสร็จสิ้น
GET STARTED
เริ่มต้นใช้งานการโอนย้ายข้อมูลสำหรับ AI ได้ฟรี
AI Data Delivery รวมอยู่ใน INNORIX Platform แล้ว เมื่อสมัครใช้งานแบบฟรี คุณสามารถเชื่อมต่อ Storage เซิร์ฟเวอร์ GPU และสภาพแวดล้อมการประมวลผล AI ได้ และตั้งค่าได้ทุกขั้นตอน ตั้งแต่การส่งมอบชุดข้อมูล (Dataset) ที่จำเป็นสำหรับการฝึกโมเดลและการอนุมาน (Inference) ไปจนถึงการดึงข้อมูลผลลัพธ์กลับมา
เขียน Dataset และ Model Transfers ใน Studio หรือเชื่อมต่อการถ่ายโอนไฟล์กับ AI Pipeline ที่มีอยู่ของคุณผ่าน API
TECHNICAL FAQ
คำถามที่พบบ่อย
สามารถถ่ายโอนไฟล์ระหว่างเซิร์ฟเวอร์ GPU และ Object Storage ได้หรือไม่
ได้ เชื่อมต่อ Object Storage และ GPU Servers ที่รองรับเพื่อถ่ายโอน Datasets Models และไฟล์อื่นๆ ต้องยืนยันเงื่อนไขการเชื่อมต่อสำหรับ Storage และ GPU Servers สำหรับสภาพแวดล้อมของคุณ
เซิร์ฟเวอร์ GPU On-Premises สามารถเชื่อมต่อกับ Cloud Storage ได้หรือไม่
On-Premises Servers และ Cloud Object Storage ที่รองรับสามารถตั้งค่าเป็น Source หรือ Target ได้
สามารถส่งข้อมูลบน NAS หรือเซิร์ฟเวอร์ไฟล์ธรรมดาไปยังเซิร์ฟเวอร์ GPU ได้หรือไม่
สามารถเชื่อมต่อสภาพแวดล้อมเซิร์ฟเวอร์ไฟล์หรือ NAS ที่รองรับเพื่อส่งมอบข้อมูลไปยังเซิร์ฟเวอร์ GPU วิธีการเชื่อมต่อตามจริงขึ้นอยู่กับระบบปฏิบัติการ ระบบไฟล์ และการตั้งค่าเครือข่าย
Models และ Checkpoints สามารถถ่ายโอนเช่นเดียวกับ Datasets ได้หรือไม่
ได้ Datasets Model Weights Checkpoints Evaluation Data Results และไฟล์อื่นๆ ที่ใช้หรือสร้างโดยงาน AI สามารถถ่ายโอนได้
สามารถจัดการ Large Image Datasets หรือไฟล์ TB-Scale ได้หรือไม่
INNORIX รองรับทั้งไฟล์ขนาดใหญ่มากและจำนวนไฟล์ขนาดเล็กจำนวนมาก ประสิทธิภาพการถ่ายโอนที่คุณได้รับจริง ๆ ขึ้นอยู่กับองค์ประกอบไฟล์ Storage API เครือข่าย และข้อมูลจำเพาะอุปกรณ์
สามารถรวบรวม Checkpoints ที่สร้างขึ้นบนเซิร์ฟเวอร์ GPU โดยอัตโนมัติได้หรือไม่
ไฟล์ Checkpoint สามารถตั้งค่าให้ไป Storage ตามตารางเวลา ในเหตุการณ์ หรือตามคำขอของระบบภายนอก ไม่ว่า Checkpoint จะมีอยู่หรือไม่ และเลือกไฟล์ไหน ถูกตัดสินใจโดยระบบ AI ที่มีอยู่และการตั้งค่าการถ่ายโอน
INNORIX ทำ GPU Scheduling หรือ AI Training เองหรือไม่
ไม่ GPU Provisioning Scheduling Training และ AI Pipeline ได้รับการจัดการโดยโครงสร้างพื้นฐานที่มีอยู่ INNORIX ดำเนินการเคลื่อนไฟล์ที่งานต้องการ
สามารถรวมเข้ากับ AI Orchestrator ที่มีอยู่ เช่น Kubeflow ได้หรือไม่
Orchestrator ที่มีอยู่สามารถขอการถ่ายโอนไฟล์ผ่าน API และตรวจสอบผลการเสร็จสิ้น การรวมกับ Framework เฉพาะต้องทบทวนกับ API จริง และสภาพแวดล้อม Runtime
สามารถตั้งค่า Training เพื่อเริ่มต้นหลังจากการถ่ายโอนเสร็จสิ้นได้หรือไม่
Orchestrator ที่มีอยู่สามารถยืนยันผลการเสร็จสิ้นการถ่ายโอนและเริ่มต้น Training คำขอการถ่ายโอนที่ยอมรับและข้อมูลที่ส่งมอบจริง ๆ ต้องเก็บแยกต่างหาก
จะเกิดอะไรขึ้นหากเครือข่ายถูกขัดจังหวะระหว่างการถ่ายโอน Dataset
ใช้คุณลักษณะ Resume และ Retry ที่รองรับเพื่อดำเนินการถ่ายโอนที่ถูกขัดจังหวะต่อ ระดับการกู้คืนไปได้ขึ้นอยู่กับประเภทไฟล์และสภาพแวดล้อมการถ่ายโอน
สามารถใช้ได้เมื่อเซิร์ฟเวอร์ GPU เปลี่ยนแปลงทุกครั้งหรือไม่
Endpoint GPU ที่ Scheduler ที่มีอยู่เลือกสามารถเชื่อมต่อเป็น Target การถ่ายโอนได้ การจัดการ Endpoint ที่แตกต่างในเวลา Execution อธิบายอย่างละเอียดบนหน้าผลิตภัณฑ์ Dynamic Endpoint Transfer
ฉันสามารถตรวจสอบความก้าวหน้าและผลลัพธ์ของ AI Data Delivery ได้ที่ไหน
Runs ใน INNORIX Studio แสดงความก้าวหน้าการถ่ายโอนและผลการเสร็จสิ้น ระบบ AI ที่มีอยู่สามารถรวมผ่าน API ที่รองรับเพื่อสอบถามสถานะและผลลัพธ์
ทุกความสามารถเหล่านี้อยู่บนแพลตฟอร์มเดียว
ความสามารถในหน้านี้เป็นหนึ่งในฟีเจอร์การโอนย้ายไฟล์ มากมายที่ INNORIX Platform มีให้ ตั้งแต่การโอนย้ายไฟล์ไปจนถึงการทำงานอัตโนมัติและการดำเนินงานแบบครบวงจร ลองใช้ทุกฟีเจอร์ได้ฟรี
เริ่มต้นใช้งานฟรีมองหาการส่งมอบข้อมูลสำหรับ AI หรือไม่
เราจะทบทวนการตั้งค่าการถ่ายโอนที่คุณต้องการสำหรับสภาพแวดล้อม Storage และ GPU ที่คุณรันอยู่แล้ว
- การตรวจสอบการเชื่อมต่อ Storage และ GPU Environment
- ตั้งค่าการถ่ายโอน Dataset ขนาดใหญ่
- การเชื่อมต่อกับ AI Pipeline ที่มีอยู่