GPU & STORAGE FILE TRANSFER
Gửi máy chủ GPU dữ liệu nó cần,
và đặt kết quả quay lại lưu trữ.
Truyền tệp các bộ dữ liệu và mô hình được giữ trong lưu trữ đối tượng, trên NAS hoặc trong trung tâm dữ liệu tới các máy chủ GPU của bạn.
Các checkpoint và kết quả được tạo trong huấn luyện và suy luận cũng có thể quay lại lưu trữ. Cơ sở hạ tầng AI hiện có của bạn vẫn như cũ, trong khi chuyển động tệp giữa lưu trữ và GPU compute được quản lý trên một nền tảng.
AI INFRASTRUCTURE INTEGRATION
Cơ sở hạ tầng AI của bạn vẫn như cũ.
INNORIX di chuyển dữ liệu.
Các hệ thống quyết định compute và workload trong cơ sở hạ tầng AI của bạn vẫn chính xác như chúng đã có.
INNORIX cung cấp các bộ dữ liệu và mô hình giữa nguồn và mục tiêu mà những hệ thống đó đặt tên, và gửi các checkpoint và kết quả quay lại lưu trữ.
INNORIX không quản lý GPU scheduling hoặc AI pipeline. Nó di chuyển các tệp mà các hệ thống hiện có quyết định.
STORAGE & GPU CONNECTIVITY
Một transfer layer cho data path
giữa lưu trữ và GPU compute.
Cho dù bộ dữ liệu và mô hình nằm trong lưu trữ đối tượng đám mây, trong trung tâm dữ liệu hoặc trong lưu trữ riêng tư, chúng có thể được cung cấp cho môi trường GPU nơi công việc chạy.
Dữ liệu di chuyển giữa các đám mây khác nhau, các vùng và môi trường tại chỗ trong khi cơ sở hạ tầng lưu trữ và GPU vẫn như cũ. Tuyến đường và mục tiêu được đặt để phù hợp với môi trường — một GPU đám mây, một cụm GPU trung tâm dữ liệu, hoặc của bạn.
Đám mây tới GPULưu trữ đối tượng ở một vùng, được cung cấp cho cụm GPU ở vùng khác.
NGUỒNLưu trữ đối tượngUS West · S3
68%
1.63 TB của 2.4 TB đã truyền tệp
ĐỦGPU đám mâyChâu Á · NVIDIA H100
AI DATA LIFECYCLE
Từ bộ dữ liệu tới mô hình, checkpoint và kết quả,
cùng một cung cấp dữ liệu.
Huấn luyện AI bắt đầu bằng cách đưa bộ dữ liệu và mô hình vào môi trường GPU, và tiếp tục thông qua lưu trữ các checkpoint nó tạo ra và thu thập kết quả cuối cùng.
INNORIX di chuyển các tệp mỗi giai đoạn cần giữa lưu trữ và môi trường GPU, và tự động hóa chuyển động dữ liệu lặp lại. Chuẩn bị các tệp để huấn luyện, giữ các kết quả trung gian và cung cấp các kết quả cuối cùng đều được kết nối, vì vậy truyền tệp hoạt động theo cách tương tự trên toàn bộ quy trình làm việc AI.
Lần chạy huấn luyện #4821resnet-vision · gpu-cluster-01 · bắt đầu 09:52
DatasetDữ liệu huấn luyện sẵn sàng
training-dataset.tar2.4 TB · 12,480 tệp
ModelMô hình được cung cấp
foundation-model48 GB · 12 tệp
Huấn luyện AIĐang chạy
Epoch 64 / 10064%
Cụm GPU8 GPUs
CheckpointTrạng thái huấn luyện được lưu trữ
checkpoint-064320 GB · 64 tệp
Kết quảKết quả được thu thập
inference-result120 GB · 3,420 tệp
Checkpoints lặp lại, vì vậy một lần chạy dài không bao giờ bị mất
DATA READINESS & RECOVERY
Ít thời gian hơn với GPU chờ dữ liệu,
và truyền tệp bị gián đoạn tiếp tục.
Dữ liệu mà huấn luyện AI và suy luận cần dao động từ các tệp đơn lẻ nhiều terabyte tới hàng triệu hình ảnh nhỏ và tài liệu. INNORIX giải quyết tải mà kích thước và số lượng tạo ra ngoài truyền tệp, và cung cấp dữ liệu lớn cho môi trường GPU một cách đáng tin cậy.
Nếu mạng gặp sự cố hoặc truyền tệp dừng lại, những gì đã hoàn thành được giữ và chỉ phần thiếu được gửi lại. Tự động resume, retries và verification loại bỏ các lần truyền tệp lặp lại không cần thiết và xác nhận rằng dữ liệu AI cần sẵn sàng.
Truyền tệp lớn
Một bộ dữ liệu terabyte trong một lần truyền tệp
Nhiều tệp nhỏ
Hàng triệu tệp, được xử lý một cách đáng tin cậy
Không mất tiến trình
Những gì hoàn thành được giữ; chỉ phần còn lại được gửi lại
Truyền tải #4821-01Lưu trữ đối tượng → gpu-cluster-01
2.4 TB của 2.4 TB đã truyền tệp
Các bộ phận của truyền tệp này
ORCHESTRATOR & API
Orchestrator AI của bạn chạy truyền tệp
tại thời điểm nó cần.
Truyền tệp kết nối với orchestrator, scheduler và pipeline AI hiện có của bạn mà không thay đổi chúng. Đặt tên các tệp và mục tiêu từ Kubeflow, Airflow, SLURM hoặc hệ thống của bạn thông qua API, và INNORIX chạy truyền tệp và trả lại tiến độ và kết quả của nó.
Hệ thống AI của bạn lên lịch và chạy công việc chính xác như cách nó làm hôm nay, trong khi INNORIX xử lý chuyển động tệp giữa các cụm GPU, lưu trữ đám mây và trung tâm dữ liệu. Các callbacks hoàn thành và kết quả chạy nuôi trở lại quy trình làm việc, vì vậy chuẩn bị dữ liệu, huấn luyện và tập hợp kết quả tiếp tục tự động.
Đơn giản để kết nối
Một API tiêu chuẩn, được kết nối ngay lập tức
Không có gì thay đổi
Được sử dụng mà không cần chạm vào hệ thống AI
Kết quả bạn có thể thấy
Status, logs và một callback hoàn thành
API truyền tệptr_8f3a2e6b · gọi bởi airflow-dag-vision
- AI OrchestratorKubeflow · Airflow · Tự phát triển
- SchedulerSLURM · PBS · LSF
- Ứng dụng AITraining · Inference · Fine-tuning
- Truyền tải tốc độ cao
- Resume & Retry
- Xác minh
- Cụm GPUNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Trung tâm dữ liệuNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
PHẢN HỒIJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Chạy status
- Yêu cầu10:14
- Đang truyền tệp10:15
- Hoàn tất10:33
- Callback đã gửi10:33
UNIFIED OPERATIONS
Chạy mọi truyền tệp giữa GPU và lưu trữ
trừ một màn hình.
Quản lý truyền tệp khác nhau như cung cấp bộ dữ liệu, tập hợp checkpoint, chuyển động mô hình và tập hợp kết quả trong INNORIX Studio.
Kiểm tra những gì đang chạy và những gì đã kết thúc, và theo dõi truyền tệp không thành công chỉ trong phạm vi cần nó.
Chạy gần đây
- Cung cấp Bộ dữ liệu Huấn luyệnHoàn tất
- Tập hợp CheckpointĐang truyền tệp
- Phân phối Mô hìnhHoàn tất
BẮT ĐẦU
Bắt đầu truyền tệp dữ liệu cho AI miễn phí.
AI Data Delivery được bao gồm trong INNORIX Platform. Với một đăng ký miễn phí, bạn có thể kết nối lưu trữ, máy chủ GPU và môi trường điện toán AI, và thiết lập mọi thứ từ cung cấp các tập dữ liệu mà đào tạo và suy luận cần đến lấy dữ liệu kết quả.
Soạn truyền tệp bộ dữ liệu và mô hình trong Studio, hoặc kết nối truyền tệp với quy trình AI hiện có của bạn thông qua API.
TECHNICAL FAQ
Các câu hỏi thường gặp
Có thể truyền tệp giữa máy chủ GPU và lưu trữ đối tượng không?
Có. Kết nối lưu trữ đối tượng được hỗ trợ và các máy chủ GPU để truyền tệp các bộ dữ liệu, mô hình và các tệp khác. Các điều kiện kết nối cho lưu trữ và các máy chủ GPU phải được xác nhận cho môi trường của bạn.
Có thể kết nối máy chủ GPU tại chỗ với lưu trữ đám mây không?
Các máy chủ tại chỗ được hỗ trợ và lưu trữ đối tượng đám mây có thể được đặt làm nguồn hoặc mục tiêu.
Có thể gửi dữ liệu trên NAS hoặc máy chủ tệp thông thường tới máy chủ GPU không?
Một máy chủ tệp được hỗ trợ hoặc môi trường NAS có thể được kết nối để cung cấp dữ liệu cho máy chủ GPU. Phương pháp kết nối thực tế phụ thuộc vào hệ điều hành, hệ thống tệp và cấu hình mạng.
Có thể truyền tệp mô hình và checkpoint cũng như bộ dữ liệu không?
Có. Bộ dữ liệu, trọng lượng mô hình, checkpoint, dữ liệu đánh giá, kết quả và các tệp khác được sử dụng hoặc tạo bởi công việc AI có thể được truyền tệp.
Nó có thể xử lý bộ dữ liệu hình ảnh lớn hoặc tệp quy mô TB không?
INNORIX hỗ trợ cả tệp rất lớn và số lượng tệp nhỏ lớn. Hiệu suất truyền tệp bạn thực sự nhận được phụ thuộc vào thành phần tệp, API lưu trữ, mạng và thông số kỹ thuật thiết bị.
Có thể tập hợp các tệp checkpoint được tạo trên máy chủ GPU tự động không?
Các tệp checkpoint có thể được thiết lập để đi tới lưu trữ theo lịch trình, theo sự kiện hoặc theo yêu cầu của hệ thống bên ngoài. Liệu checkpoint có tồn tại hay không, và những tệp nào được chọn, được quyết định bởi hệ thống AI hiện có và cài đặt truyền tệp.
INNORIX có thực hiện GPU scheduling hoặc đào tạo AI chính nó không?
Không. GPU provisioning, scheduling, training và AI pipeline được xử lý bởi cơ sở hạ tầng hiện có. INNORIX thực hiện chuyển động tệp mà công việc đó cần.
Nó có thể tích hợp với orchestrator AI hiện có như Kubeflow không?
Một orchestrator hiện có có thể yêu cầu truyền tệp thông qua API và kiểm tra kết quả hoàn thành. Tích hợp với một framework cụ thể phải được xem xét lại so với API thực tế và môi trường runtime.
Có thể cấu hình huấn luyện để bắt đầu sau khi truyền tệp hoàn tất không?
Một orchestrator hiện có có thể xác nhận kết quả hoàn thành truyền tệp và sau đó bắt đầu huấn luyện. Yêu cầu truyền tệp được chấp nhận và dữ liệu thực sự được cung cấp phải được giữ riêng biệt.
Điều gì xảy ra nếu mạng bị gián đoạn trong khi truyền tệp bộ dữ liệu?
Sử dụng các tính năng Resume và Retry được hỗ trợ để tiếp tục truyền tệp bị gián đoạn. Mức độ khôi phục phụ thuộc vào loại tệp và môi trường truyền tệp.
Nó có thể được sử dụng nơi máy chủ GPU thay đổi mỗi lần không?
Endpoint GPU mà một scheduler hiện có đã chọn có thể được kết nối làm mục tiêu truyền tệp. Xử lý endpoint khác nhau tại thời gian thực thi được mô tả chi tiết trên trang sản phẩm Dynamic Endpoint Transfer.
Tôi có thể kiểm tra tiến độ và kết quả Cung cấp dữ liệu AI ở đâu?
Lần chạy trong INNORIX Studio hiển thị tiến độ truyền tệp và kết quả hoàn thành. Một hệ thống AI hiện có có thể tích hợp thông qua API được hỗ trợ để truy vấn trạng thái và kết quả.
Mỗi một trong những khả năng này,trên một nền tảng duy nhất.
Khả năng trên trang này là một trong nhiều tính năng truyền tệp mà INNORIX Platform cung cấp. Từ truyền tệp đến tự động hóa và vận hành thống nhất, hãy thử mọi tính năng miễn phí.
Bắt đầu Miễn phíĐang xem xét cung cấp dữ liệu cho AI?
Chúng tôi sẽ xem xét thiết lập truyền tệp bạn cần cho môi trường lưu trữ và GPU mà bạn đã chạy.
- Xem xét các kết nối môi trường lưu trữ và GPU
- Thiết lập truyền tệp bộ dữ liệu lớn
- Kết nối với quy trình AI hiện có