GPU & STORAGE FILE TRANSFER
GPU sunucusuna ihtiyaç duyduğu verileri gönderin,
ve sonuçları depolamaya geri koyun.
Nesne depolamada, bir NAS'ta veya bir veri merkezinde tutulan dataset'leri ve model'leri GPU sunucularınıza aktarın.
Eğitim ve çıkarım sırasında üretilen kontrol noktaları ve sonuçlar da depolamaya geri gidebilir. Mevcut AI altyapınız olduğu gibi kalırken, depolama ve GPU işlem arasındaki dosya hareketi tek bir platformda yönetilir.
AI INFRASTRUCTURE INTEGRATION
AI altyapınız olduğu gibi kalır.
INNORIX verileri taşır.
AI altyapınızda işlem ve iş yükünü belirleyen sistemler tam olarak olduğu gibi kalır.
INNORIX, bu sistemlerin adlandırdığı kaynak ve hedef arasında veri setleri ve model'leri iletir ve kontrol noktaları ile sonuçları depolamaya geri gönderir.
INNORIX GPU scheduling'i veya AI pipeline'ı yönetmez. Mevcut sistemlerin karar verdiği dosyaları taşır.
STORAGE & GPU CONNECTIVITY
Depolama ve GPU işlem arasındaki veri yolu
için bir aktarım katmanı.
Veri seti ve model bulut nesne depolamada, bir veri merkezinde veya özel depolamada olsun, iş çalıştığı GPU ortamına teslim edilebilir.
Veriler farklı bulutlar, bölgeler ve şirket içi ortamlar arasında hareket ederken depolama ve GPU altyapısı olduğu gibi kalır. Rota ve hedef ortama uygun şekilde ayarlanır — bulut GPU, veri merkezi GPU kümesi veya kendi kaynağınız.
Buluttan GPU'yaBir bölgedeki nesne depolama, başka bir bölgedeki bir GPU kümesine teslim edildi.
KAYNAKNesne DepolamaABD Batı · S3
68%
2,4 TB'den 1,63 TB aktarıldı
HEDEFBulut GPUAsya · NVIDIA H100
AI DATA LIFECYCLE
Veri setinden model, kontrol noktası ve sonuca,
aynı veri teslimine.
AI eğitimi, veri setini ve model'i GPU ortamına almakla başlar ve üretttiği kontrol noktalarını depolama ve son sonucu toplama aşamalarından geçer.
INNORIX, her aşamanın ihtiyaç duyduğu dosyaları depolama ve GPU ortamı arasında taşır ve tekrarlayan veri hareketini otomatikleştirir. Dosyaları eğitim için hazırlama, ara sonuçları tutma ve sonuçları teslim etme tümü bağlanmıştır, bu nedenle dosya aktarımı tüm AI iş akışında aynı şekilde çalışır.
Eğitim çalışması #4821resnet-vision · gpu-cluster-01 · 09:52'de başlatıldı
DatasetEğitim verileri hazır
training-dataset.tar2,4 TB · 12.480 dosya
ModelModel teslim edildi
foundation-model48 GB · 12 dosya
AI EğitimiÇalışıyor
Dönem 64 / 10064%
GPU Kümesi8 GPU
Kontrol NoktasıEğitim durumu kaydedildi
checkpoint-064320 GB · 64 dosya
SonuçSonuç toplandı
inference-result120 GB · 3.420 dosya
Kontrol noktaları tekrarlandığından, uzun bir çalışma asla kaybolmaz
DATA READINESS & RECOVERY
GPU'nun veriler için bekleme süresi daha az,
ve kesintiye uğrayan aktarım devam eder.
AI eğitim ve çıkarımın ihtiyaç duyduğu veriler, birkaç terabaytlık tek dosyalardan milyonlarca küçük resim ve belgeye kadar değişir. INNORIX, boyut ve sayının oluşturduğu yükü aktarımdan alır ve büyük verileri GPU ortamına güvenilir bir şekilde teslim eder.
Ağ başarısız olursa veya aktarım durmazsa, zaten tamamlanan tutulur ve yalnızca eksik kısım yeniden gönderilir. Otomatik resume, yeniden denemeler ve doğrulama gereksiz tekrar aktarımları ortadan kaldırır ve AI'nin ihtiyaç duyduğu verilerin hazır olduğunu doğrular.
Büyük aktarımlar
Tek bir aktarımda bir terabayt veri seti
Birçok küçük dosya
Milyonlarca dosya, güvenilir bir şekilde işlendi
Kayıp ilerleme yok
Tamamlanan tutulur; yalnızca geri kalanı tekrar gönderilir
Aktarım #4821-01Nesne Depolama → gpu-cluster-01
2,4 TB'den 2,4 TB aktarıldı
Bu aktarımın parçaları
ORCHESTRATOR & API
AI orchestrator'unuz aktarımı
ihtiyaç duyduğu anda çalıştırır.
Dosya aktarımı, mevcut AI orchestrator, scheduler ve pipeline'ınıza bunları değiştirmeden bağlanır. Kubeflow, Airflow, SLURM veya kendi sisteminizden API aracılığıyla dosyaları ve hedefi adlandırın ve INNORIX aktarımı çalıştırır ve ilerleme ile sonucunu döndürür.
AI sisteminiz işi tam olarak bugün yaptığı şekilde zamanlar ve çalıştırırken, INNORIX GPU kümeleri, bulut depolama ve veri merkezi arasında dosya hareketini işler. Tamamlanma callbacks'leri ve çalıştırma sonuçları iş akışına geri beslenirse, veri hazırlama, eğitim ve sonuç toplama otomatik olarak devam eder.
Bağlamak basit
Standart bir API, hemen bağlandı
Değiştirilecek bir şey yok
AI sistemiyle dokunmadan kullanıldı
Görebileceğiniz sonuçlar
Durum, günlükler ve bir tamamlanma geri çağırması
Aktarım APItr_8f3a2e6b · airflow-dag-vision tarafından çağrıldı
- AI OrchestratorKubeflow · Airflow · Özel
- SchedulerSLURM · PBS · LSF
- AI UygulamasıEğitim · Çıkarım · Fine-tuning
- Yüksek Hızlı Aktarım
- Resume & Yeniden Dene
- Doğrulama
- GPU KümesiNVIDIA H100 · A100
- Bulut DepolamaS3 · GCS · Azure Blob
- Veri MerkeziNAS · Nesne Depolama
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
RESPONSEJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Çalıştırma durumu
- İstendi10:14
- Aktarılıyor10:15
- Tamamlandı10:33
- Callback gönderildi10:33
UNIFIED OPERATIONS
GPU ve depolama arasındaki her dosya aktarımını
tek bir ekrandan çalıştırın.
Dataset teslimi, kontrol noktası toplama, model hareketi ve sonuç toplama gibi farklı aktarımları INNORIX Studio'da yönetin.
Neyin çalıştığını ve neyin bittiğini kontrol edin ve başarısız bir aktarımı yalnızca ihtiyacı olan aralıkta izleyin.
Son Çalışmalar
- Eğitim Veri Seti TeslimiTamamlandı
- Kontrol Noktası ToplamaAktarılıyor
- Model DağıtımıTamamlandı
BAŞLAYIN
GPU sunucuları ve depolama arasında aktarım yapmaya başlayın.
AI Data Delivery, INNORIX Platform içinde sunulur. Ücretsiz bir abonelikle depolama, GPU sunucuları ve AI bilişim ortamlarını bağlayabilir; eğitim ve çıkarım için gereken veri setlerinin teslimatından elde edilen sonuç verilerinin alınmasına kadar her şeyi kurabilirsiniz.
Studio'da veri seti ve model aktarımları oluşturun veya API aracılığıyla dosya aktarımını mevcut AI pipeline'ınıza bağlayın.
TECHNICAL FAQ
Sık sorulan sorular
Dosyalar bir GPU sunucusu ile nesne depolama arasında aktarılabilir mi?
Evet. Dataset'leri, model'leri ve diğer dosyaları aktarmak için desteklenen nesne depolamayı ve GPU sunucularını bağlayın. Depolama ve GPU sunucularının bağlantı koşulları ortamınız için onaylanmalıdır.
Şirket içi bir GPU sunucusu bulut depolamaya bağlanabilir mi?
Desteklenen şirket içi sunucular ve bulut nesne depolama, kaynak veya hedef olarak ayarlanabilir.
Bir NAS'ta veya sıradan bir dosya sunucusundaki veriler GPU sunucusuna gönderilebilir mi?
Desteklenen bir dosya sunucusu veya NAS ortamı, verileri GPU sunucusuna teslim etmek için bağlanabilir. Gerçek bağlantı yöntemi, işletim sistemine, dosya sistemine ve ağ yapılandırmasına bağlıdır.
Model'ler ve kontrol noktaları da dataset'ler gibi aktarılabilir mi?
Evet. Dataset'ler, model ağırlıkları, kontrol noktaları, değerlendirme verileri, sonuçlar ve AI çalışması tarafından kullanılan veya üretilen diğer dosyalar aktarılabilir.
Büyük görüntü veri setlerini veya TB ölçeğinde dosyaları işleyebilir mi?
INNORIX çok büyük dosyaları ve çok sayıda küçük dosyaları destekler. Gerçekte aldığınız aktarım performansı, dosya bileşimi, depolama API'si, ağ ve cihaz özelliklerine bağlıdır.
Bir GPU sunucusunda üretilen kontrol noktaları otomatik olarak toplanabilir mi?
Kontrol noktası dosyaları, bir zamanlamaya, bir olaya veya harici bir sistem tarafından yapılan isteme göre depolamaya gitmek üzere ayarlanabilir. Bir kontrol noktasının olup olmadığı ve hangi dosyaların seçileceği, mevcut AI sistem ve aktarım ayarları tarafından kararlaştırılır.
INNORIX GPU scheduling'i veya AI eğitimini kendisi yapıyor mu?
Hayır. GPU sağlaması, scheduling, eğitim ve AI pipeline mevcut altyapı tarafından işlenmiştir. INNORIX bu işin ihtiyaç duyduğu dosya hareketini gerçekleştirir.
Kubeflow gibi mevcut bir AI orchestrator'u ile entegre olabilir mi?
Mevcut bir orchestrator, API aracılığıyla dosya aktarımı talep edebilir ve tamamlanma sonucunu kontrol edebilir. Belirli bir çerçeve ile entegrasyon, gerçek API ve çalışma zamanı ortamına karşı gözden geçirilmelidir.
Aktarım tamamlandıktan sonra eğitim başlayacak şekilde yapılandırılabilir mi?
Mevcut bir orchestrator, aktarım tamamlanma sonucunu doğrulayabilir ve ardından eğitimi başlatabilir. Kabul edilen bir aktarım isteği ve gerçekten teslim edilen veriler ayrı tutulmalıdır.
Bir veri seti aktarımı sırasında ağ kesintiye uğrarsa ne olur?
Kesintiye uğrayan bir aktarımı devam ettirmek için desteklenen Resume ve Yeniden Deneme özelliklerini kullanın. Ne kadar kurtarabileceği dosya türüne ve aktarım ortamına bağlıdır.
Her seferinde GPU sunucusu değiştiğinde kullanılabilir mi?
Mevcut bir scheduler tarafından seçilen GPU uç noktası, aktarım hedefi olarak bağlanabilir. Yürütme zamanında farklı olan bir uç noktayı işleme, Dinamik Uç Nokta Aktarımı ürün sayfasında detaylı olarak açıklanmıştır.
AI Data Delivery ilerleme durumunu ve sonuçlarını nerede kontrol edebilirim?
INNORIX Studio'daki Çalıştırmalar, aktarım ilerlemesini ve tamamlanma sonucunu gösterir. Mevcut bir AI sistemi, durumu ve sonucu sorgulamak için desteklenen API aracılığıyla entegre olabilir.
Every one of these capabilities,on a single platform.
Bu sayfadaki özellik, INNORIX Platform'un sunduğu çok sayıda dosya aktarım özelliğinden biridir. Dosya aktarımından otomasyona ve birleşik operasyonlara kadar her özelliği ücretsiz deneyin.
Ücretsiz BaşlaAI için veri teslimine bakıyor musunuz?
Zaten çalıştığınız depolama ve GPU ortamı için ihtiyacınız olan aktarım kurulumunu gözden geçireceğiz.
- Depolama ve GPU ortamı bağlantılarının gözden geçirilmesi
- Büyük veri seti aktarımlarının kurulması
- Mevcut bir AI pipeline'ına bağlanma