Mulai Gratis

TRANSFER FILE GPU & PENYIMPANAN

Kirimkan data yang dibutuhkan server GPU,
dan kembalikan hasilnya ke penyimpanan.

Pindahkan dataset dan model yang disimpan di penyimpanan objek, NAS, atau data center ke server GPU Anda.

Checkpoint dan hasil yang dihasilkan selama pelatihan dan inferensi juga dapat dikembalikan ke penyimpanan. Infrastruktur AI yang ada tetap berjalan seperti biasanya, sementara pergerakan file antara penyimpanan dan komputasi GPU dikelola di satu platform.

INTEGRASI INFRASTRUKTUR AI

Infrastruktur AI Anda tetap seperti apa adanya.
INNORIX memindahkan data.

Sistem yang menentukan komputasi dan beban kerja di infrastruktur AI Anda tetap persis seperti yang ada.

INNORIX memberikan dataset dan model antara sumber dan target yang dinamakan sistem tersebut, dan mengirimkan checkpoint dan hasil kembali ke penyimpanan.

Infrastruktur AI AndaINNORIX
Penyediaan GPUMemberikan dataset dan model
Penjadwalan beban kerjaTransfer file itu sendiri
Pipa pelatihan dan evaluasiMengirim checkpoint dan hasil
Metadata dan lineage artefakStatus transfer dan hasil

INNORIX tidak mengelola penjadwalan GPU atau pipa AI. Ini memindahkan file yang telah diputuskan sistem yang sudah ada.

KONEKTIVITAS PENYIMPANAN & GPU

Satu lapisan transfer untuk jalur data
antara penyimpanan dan komputasi GPU.

Apakah dataset dan model berada di penyimpanan objek cloud, di data center atau di penyimpanan pribadi, mereka dapat dikirimkan ke lingkungan GPU tempat pekerjaan berjalan.

Data bergerak antara cloud yang berbeda, wilayah, dan lingkungan on-premises sementara infrastruktur penyimpanan dan GPU tetap seperti yang ada. Rute dan target diatur agar sesuai dengan lingkungan - GPU cloud, cluster GPU data center, atau milik Anda sendiri.

Cloud ke GPUPenyimpanan objek di satu wilayah, dikirimkan ke cluster GPU di wilayah lain.

Terhubung

SUMBERPenyimpanan ObjekUS West · S3

training-dataset2,4 TB
foundation-model48 GB
image-dataset820 GB
auxiliary-data12 GB
Mentransfer

68%

1,63 TB dari 2,4 TB ditransfer

TARGETGPU CloudAsia · NVIDIA H100

NVIDIA H100Tersedia
NVIDIA A100Tersedia
NVIDIA L40STersedia
NVIDIA L4Tersedia
training-dataset.tar2,4 TB · 12.480 fileMentransfer
68%

1,63 TB dari 2,4 TB ditransfer

SIKLUS HIDUP DATA AI

Dari dataset ke model, checkpoint, dan hasil,
pengiriman data yang sama.

Pelatihan AI dimulai dengan memasukkan dataset dan model ke lingkungan GPU, dan berlanjut melalui penyimpanan checkpoint yang dihasilkannya dan pengumpulan hasil akhir.

INNORIX memindahkan file yang dibutuhkan setiap tahap antara penyimpanan dan lingkungan GPU, dan mengotomatisasi pergerakan data yang berulang. Mempersiapkan file untuk pelatihan, menyimpan hasil perantara, dan memberikan hasil akhir semuanya terhubung, sehingga transfer file bekerja dengan cara yang sama di seluruh alur kerja AI.

Jalankan pelatihan #4821resnet-vision · gpu-cluster-01 · dimulai 09:52

  1. DatasetData pelatihan siap

    training-dataset.tar2,4 TB · 12.480 file

  2. ModelModel dikirimkan

    foundation-model48 GB · 12 file

  3. Pelatihan AIBerjalan

    Epoch 64 / 10064%

    GPU Cluster8 GPU

  4. CheckpointStatus pelatihan disimpan

    checkpoint-064320 GB · 64 file

  5. HasilHasil dikumpulkan

    inference-result120 GB · 3.420 file

Checkpoint berulang, sehingga jalankan panjang tidak pernah hilang

training-dataset.tar2,4 TB · 12.480 filePenyimpanan ObjekGPU ClusterSelesai100%

KESIAPAN DATA & PEMULIHAN

Waktu lebih sedikit GPU menunggu data,
dan transfer yang terputus dapat dilanjutkan.

Data yang dibutuhkan pelatihan dan inferensi AI berkisar dari file tunggal beberapa terabyte hingga jutaan gambar dan dokumen kecil. INNORIX menghilangkan beban yang diciptakan ukuran dan jumlah tersebut dari transfer, dan memberikan data besar ke lingkungan GPU dengan andal.

Jika jaringan gagal atau transfer berhenti, apa yang telah selesai disimpan dan hanya bagian yang hilang yang dikirim lagi. Resume otomatis, percobaan ulang, dan verifikasi menghilangkan transfer berulang yang tidak perlu dan mengkonfirmasi bahwa data yang dibutuhkan AI siap.

  • Transfer besar

    Dataset terabyte dalam satu transfer

  • Banyak file kecil

    Jutaan file, ditangani dengan andal

  • Tidak ada kemajuan yang hilang

    Apa yang selesai disimpan; hanya sisanya yang dikirim lagi

Transfer #4821-01Penyimpanan Objek → gpu-cluster-01

training-dataset.tar2,4 TB · 12.480 fileSelesai
100%

2,4 TB dari 2,4 TB ditransfer

Bagian dari transfer ini

bagian 0001–40001,01 TBSelesai
bagian 4001–80000,67 TBSelesai
bagian 8001–124800,72 TBSelesai
  • Data yang selesai disimpanTidak dikirim ulang setelah berhenti
  • Resume otomatisBerlanjut saat koneksi kembali
  • Diverifikasi dan tanpa rugiData diverifikasi setelah transfer

ORCHESTRATOR & API

Orchestrator AI Anda menjalankan transfer
pada saat yang dibutuhkan.

Transfer file terhubung ke orchestrator, penjadwal, dan pipa AI yang sudah ada tanpa mengubahnya. Namai file dan target dari Kubeflow, Airflow, SLURM, atau sistem Anda sendiri melalui API, dan INNORIX menjalankan transfer dan mengembalikan kemajuan dan hasilnya.

Sistem AI Anda menjadwalkan dan menjalankan pekerjaan tepat seperti yang dilakukannya hari ini, sementara INNORIX menangani pergerakan file antara cluster GPU, penyimpanan cloud, dan data center. Callback penyelesaian dan hasil jalankan umpan kembali ke alur kerja, sehingga persiapan data, pelatihan, dan pengumpulan hasil berlangsung secara otomatis.

  • Sederhana untuk dihubungkan

    API standar, terhubung langsung

  • Tidak ada yang perlu diubah

    Digunakan tanpa menyentuh sistem AI

  • Hasil yang dapat Anda lihat

    Status, log, dan callback penyelesaian

API Transfertr_8f3a2e6b · dipanggil oleh airflow-dag-vision

Callback dikirim
  • Orchestrator AIKubeflow · Airflow · Kustom
  • PenjadwalSLURM · PBS · LSF
  • Aplikasi AIPelatihan · Inferensi · Fine-tuning
INNORIXMenjalankan transfer
  • Transfer Kecepatan Tinggi
  • Resume & Retry
  • Verifikasi
  • GPU ClusterNVIDIA H100 · A100
  • Penyimpanan CloudS3 · GCS · Azure Blob
  • Data CenterNAS · Penyimpanan Objek

POST/api/v1/transferscURL

1{2  "source": "s3://training-dataset",3  "target": "gpu-cluster-01",4  "files": "dataset/*.tar",5  "callback": "https://ai.company.com/webhook"6}

RESPONSEJSON

1{2  "transferId": "tr_8f3a2e6b",3  "status": "completed",4  "files": "12,480",5  "size": "2.4 TB",6  "progress": "100%",7  "callback": "delivered"8}

Status jalankan

  1. Diminta10:14
  2. Mentransfer10:15
  3. Selesai10:33
  4. Callback dikirim10:33

OPERASI TERPADU

Jalankan setiap transfer file antara GPU dan penyimpanan
dari satu layar.

Kelola transfer yang berbeda seperti pengiriman dataset, pengumpulan checkpoint, pergerakan model, dan pengumpulan hasil di INNORIX Studio.

Periksa apa yang sedang berjalan dan apa yang telah selesai, dan ikuti transfer yang gagal hanya pada jangkauan yang membutuhkannya.

Jalankan Terbaru

  • Pengiriman Dataset PelatihanSelesai
  • Pengumpulan CheckpointMentransfer
  • Distribusi ModelSelesai

MULAI

Mulai mentransfer antara server GPU dan penyimpanan.

Hubungkan penyimpanan objek, NAS, dan penyimpanan on-premises ke server GPU Anda.

Komposisi transfer dataset dan model di Studio, atau hubungkan transfer file ke pipa AI yang sudah ada melalui API.

FAQ TEKNIS

Pertanyaan yang sering diajukan

Bisakah file ditransfer antara server GPU dan penyimpanan objek?

Ya. Hubungkan penyimpanan objek yang didukung dan server GPU untuk mentransfer dataset, model, dan file lainnya. Kondisi koneksi untuk penyimpanan dan server GPU harus dikonfirmasi untuk lingkungan Anda.

Bisakah server GPU on-premises terhubung ke penyimpanan cloud?

Server on-premises yang didukung dan penyimpanan objek cloud dapat diatur sebagai sumber atau target.

Bisakah data di NAS atau server file biasa dikirim ke server GPU?

Lingkungan server file atau NAS yang didukung dapat terhubung untuk mengirimkan data ke server GPU. Metode koneksi sebenarnya tergantung pada sistem operasi, sistem file, dan konfigurasi jaringan.

Bisakah model dan checkpoint ditransfer serta dataset?

Ya. Dataset, bobot model, checkpoint, data evaluasi, hasil, dan file lain yang digunakan atau dihasilkan oleh pekerjaan AI dapat ditransfer.

Bisakah menangani dataset gambar besar atau file skala TB?

INNORIX mendukung file yang sangat besar dan jumlah file kecil yang besar. Kinerja transfer yang sebenarnya Anda dapatkan tergantung pada komposisi file, API penyimpanan, jaringan, dan spesifikasi perangkat.

Bisakah checkpoint yang diproduksi di server GPU dikumpulkan secara otomatis?

File checkpoint dapat diatur untuk pergi ke penyimpanan sesuai jadwal, acara, atau permintaan sistem eksternal. Apakah checkpoint ada sama sekali, dan file mana yang dipilih, ditentukan oleh sistem AI yang sudah ada dan pengaturan transfer.

Apakah INNORIX melakukan penjadwalan GPU atau pelatihan AI itu sendiri?

Tidak. Penyediaan GPU, penjadwalan, pelatihan, dan pipa AI ditangani oleh infrastruktur yang sudah ada. INNORIX melakukan pergerakan file yang dibutuhkan pekerjaan tersebut.

Bisakah terintegrasi dengan orchestrator AI yang sudah ada seperti Kubeflow?

Orchestrator yang sudah ada dapat meminta transfer file melalui API dan memeriksa hasil penyelesaian. Integrasi dengan kerangka kerja tertentu harus ditinjau terhadap API aktual dan lingkungan runtime.

Bisakah pelatihan dikonfigurasi untuk dimulai setelah transfer selesai?

Orchestrator yang sudah ada dapat mengkonfirmasi hasil penyelesaian transfer dan kemudian memulai pelatihan. Permintaan transfer yang diterima dan data yang sebenarnya dikirimkan harus tetap terpisah.

Apa yang terjadi jika jaringan terputus selama transfer dataset?

Gunakan fitur Resume dan Retry yang didukung untuk melanjutkan transfer yang terputus. Seberapa jauh dapat dipulihkan tergantung pada jenis file dan lingkungan transfer.

Bisakah digunakan di mana server GPU berubah setiap kali?

Endpoint GPU yang dipilih penjadwal yang sudah ada dapat terhubung sebagai target transfer. Penanganan endpoint yang berbeda pada waktu eksekusi dijelaskan secara terperinci di halaman produk Transfer Endpoint Dinamis.

Di mana saya dapat memeriksa kemajuan dan hasil AI Data Delivery?

Jalankan di INNORIX Studio menunjukkan kemajuan transfer dan hasil penyelesaian. Sistem AI yang sudah ada dapat terintegrasi melalui API yang didukung untuk menanyakan status dan hasilnya.

Setiap satu dari kemampuan ini,pada satu platform.

Kemampuan di halaman ini adalah salah satu dari banyak fitur transfer file yang Platform INNORIX sediakan. Dari transfer file hingga otomasi dan operasi terpadu, coba setiap fitur gratis.

Mulai Gratis

Mencari pengiriman data untuk AI?

Kami akan membahas pengaturan transfer yang Anda butuhkan untuk penyimpanan dan lingkungan GPU yang sudah Anda jalankan.

  • Ulasan koneksi penyimpanan dan lingkungan GPU
  • Pengaturan transfer dataset besar
  • Menghubungkan ke pipa AI yang sudah ada

Kami menggunakan detail ini hanya untuk menjawab pertanyaan Anda. Lihat Kebijakan privasi kami.