GPU & STORAGE FILE TRANSFER
Wyślij serwerowi GPU dane, których potrzebuje,
i włóż wyniki z powrotem do magazynu.
Przenieś zestawy danych i modele przechowywane w magazynie obiektów, na NAS lub w centrum danych na serwery GPU.
Checkpointy i wyniki wytwarzane podczas treningu i wnioskowania mogą również powrócić do magazynu. Twoja istniejąca infrastruktura AI pozostaje taka, jaka jest, podczas gdy ruch plików między magazynem a obliczeniami GPU jest zarządzany na jednej platformie.
AI INFRASTRUCTURE INTEGRATION
Twoja infrastruktura AI pozostaje taka, jaka jest.
INNORIX przenosi dane.
Systemy, które decydują o obliczeniach i obciążeniach w infrastrukturze AI, pozostają dokładnie takie, jakie są.
INNORIX dostarcza zestawy danych i modele między źródłem a celem, które wskazują te systemy, i odsyła checkpointy i wyniki z powrotem do magazynu.
INNORIX nie zarządza planowaniem GPU ani potokiem AI. Przenosi pliki, które decydują istniejące systemy.
STORAGE & GPU CONNECTIVITY
Jedna warstwa transferu dla ścieżki danych
między magazynem a obliczeniami GPU.
Niezależnie od tego, czy zestaw danych i model znajdują się w magazynie obiektów w chmurze, w centrum danych lub w magazynie prywatnym, mogą być dostarczone do środowiska GPU, w którym działa praca.
Dane przesuwają się między różnymi chmurami, regionami i środowiskami on-premises, podczas gdy magazyn i infrastruktura GPU pozostają takie, jakie są. Trasa i cel są ustawiane, aby pasować do środowiska — GPU w chmurze, klaster GPU w centrum danych lub twój własny.
Cloud do GPUMagazyn obiektów w jednym regionie, dostarczony do klastra GPU w innym.
ŹRÓDŁOObject StorageUS West · S3
68%
1.63 TB z 2.4 TB przeniesione
CELCloud GPUAzja · NVIDIA H100
AI DATA LIFECYCLE
Od zestawu danych do modelu, checkpointa i wyniku,
ten sam transfer danych.
Szkolenie AI rozpoczyna się od wczytania zestawu danych i modelu do środowiska GPU, i trwa przez przechowywanie wytworzonego checkpointa i zbieranie ostatecznego wyniku.
INNORIX przenosi pliki, które każdy etap potrzebuje między magazynem a środowiskiem GPU, i automatyzuje ruch danych, który powtarza się. Przygotowywanie plików do treningu, przechowywanie wyników pośrednich i dostarczanie ostatecznych wyników są połączone, więc transfer plików działa w ten sam sposób na całym przepływie pracy AI.
Przebieg treningu #4821resnet-vision · gpu-cluster-01 · rozpoczęto 09:52
DatasetDane treningowe gotowe
training-dataset.tar2.4 TB · 12 480 plików
ModelModel dostarczone
foundation-model48 GB · 12 plików
AI TrainingUruchamianie
Epoka 64 / 10064%
GPU Cluster8 GPUs
CheckpointStan treningu zapisany
checkpoint-064320 GB · 64 pliki
WynikWynik zebrany
inference-result120 GB · 3 420 plików
Checkpointy powtarzają się, więc długi przebieg nigdy nie jest tracony
DATA READINESS & RECOVERY
Mniej czasu z GPU czekającym na dane,
i przerwany transfer trwa dalej.
Dane, które szkolenie AI i wnioskowanie potrzebują, wahają się od pojedynczych plików kilku terabajtów do milionów małych obrazów i dokumentów. INNORIX zmniejsza obciążenie, które rozmiar i liczba tworzą transfer, i niezawodnie dostarcza duże dane do środowiska GPU.
Jeśli sieć ulegnie awarii lub transfer się zatrzyma, to, co już się ukończyło, jest zachowywane, a tylko brakująca część jest wysyłana ponownie. Automatyczne wznowienie, ponowne próby i weryfikacja eliminują niepotrzebne powtórzenia transferu i potwierdzają, że dane AI potrzebuje, są gotowe.
Duże transfery
Zestaw danych terabajtowy w jednym transferze
Wiele małych plików
Miliony plików, obsługiwane niezawodnie
Brak utraconego postępu
To, co się skończyło, jest przechowywane; tylko reszta jest wysyłana ponownie
Transfer #4821-01Object Storage → gpu-cluster-01
2.4 TB z 2.4 TB przeniesione
Części tego transferu
ORCHESTRATOR & API
Twój orkiestrator AI uruchamia transfer
w momencie, w którym go potrzebuje.
Transfer pliku łączy się z istniejącym orkiestratorem AI, scheduler i potokiem bez ich zmiany. Nazwij pliki i cel z Kubeflow, Airflow, SLURM lub twojego własnego systemu za pośrednictwem API, a INNORIX uruchamia transfer i zwraca jego postęp i wynik.
Twój system AI planuje i uruchamia pracę dokładnie tak, jak robi to dzisiaj, podczas gdy INNORIX obsługuje ruch plików między klastrami GPU, magazynem chmury i centrum danych. Callback ukończenia i wyniki uruchomienia zasilają przepływ pracy, dzięki czemu przygotowanie danych, szkolenie i zbieranie wyników prowadzone są automatycznie.
Proste do podłączenia
Standardowy API, podłączony natychmiast
Nic do zmiany
Używane bez dotykania systemu AI
Wyniki, które możesz zobaczyć
Status, dzienniki i callback ukończenia
Transfer APItr_8f3a2e6b · wywołane przez airflow-dag-vision
- AI OrchestratorKubeflow · Airflow · Własne
- SchedulerSLURM · PBS · LSF
- AI ApplicationTraining · Inference · Fine-Tuning
- High-Speed Transfer
- Resume & Retry
- Weryfikacja
- GPU ClusterNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
ODPOWIEDŹJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Status uruchomienia
- Żądane10:14
- Transfer10:15
- Ukończone10:33
- Callback wysłany10:33
UNIFIED OPERATIONS
Uruchamiaj każdy transfer pliku między GPU a magazynem
z jednego ekranu.
Zarządzaj transferami tak różnymi jak dostawa zestawu danych, zbieranie checkpointa, ruch modelu i zbieranie wyników w INNORIX Studio.
Sprawdź, co się uruchamia i co się skończyło, i kontynuuj nieudany transfer tylko w zakresie, który go potrzebuje.
Ostatnie Runs
- Dostarczanie Dataset treningowegoUkończone
- Kolekcja CheckpointTransfer
- Dystrybucja ModelUkończone
GET STARTED
Zacznij transferować między serwerami GPU a magazynem.
Połącz magazyn obiektów, NAS i magazyn on-premises z serwerami GPU.
Skomponuj transfery zestawów danych i modeli w Studio lub połącz transfer pliku z istniejącym potokiem AI za pośrednictwem API.
TECHNICAL FAQ
Często zadawane pytania
Czy pliki mogą być przenoszone między serwerem GPU a magazynem obiektów?
Tak. Połącz obsługiwany magazyn obiektów i serwery GPU, aby przenieść zestawy danych, modele i inne pliki. Warunki połączenia dla magazynu i serwerów GPU muszą być potwierdzone dla Twojego środowiska.
Czy serwer GPU on-premises może być podłączony do magazynu chmury?
Obsługiwane serwery on-premises i magazyn obiektów w chmurze mogą być ustawione jako źródło lub cel.
Czy dane na NAS lub zwykłym serwerze plików mogą być wysyłane na serwer GPU?
Obsługiwane środowisko serwera plików lub NAS może być podłączone, aby dostarczyć dane do serwera GPU. Rzeczywista metoda połączenia zależy od systemu operacyjnego, systemu plików i konfiguracji sieci.
Czy modele i checkpointy mogą być przenoszone wraz z zestawami danych?
Tak. Zestawy danych, wagi modeli, checkpointy, dane ewaluacji, wyniki i inne pliki używane lub wytwarzane przez pracę AI mogą być przenoszone.
Czy może obsługiwać duże zestawy danych obrazów lub pliki w skali TB?
INNORIX obsługuje zarówno bardzo duże pliki, jak i dużą liczbę małych plików. Wydajność transferu, którą faktycznie otrzymasz, zależy od składu pliku, interfejsu API magazynu, sieci i specyfikacji urządzenia.
Czy checkpointy wytwarzane na serwerze GPU mogą być zbierane automatycznie?
Pliki checkpointa mogą być ustawiane, aby przejść do magazynu zgodnie z harmonogramem, na zdarzeniu lub na żądanie systemu zewnętrznego. Czy checkpoint w ogóle istnieje i które pliki są wybierane, decyduje istniejący system AI i ustawienia transferu.
Czy INNORIX wykonuje planowanie GPU lub szkolenie AI?
Nie. Aprowizacja GPU, planowanie, szkolenie i potok AI są obsługiwane przez istniejącą infrastrukturę. INNORIX przeprowadza ruch pliku, który ta praca potrzebuje.
Czy może się integrować z istniejącym orkiestratorem AI, takim jak Kubeflow?
Istniejący orkiestrator może żądać transferu pliku za pośrednictwem API i sprawdzić wynik ukończenia. Integracja z konkretną strukturą musi być sprawdzona w stosunku do rzeczywistego interfejsu API i środowiska wykonawczego.
Czy szkolenie może być skonfigurowane, aby rozpoczęło się po ukończeniu transferu?
Istniejący orkiestrator może potwierdzić wynik ukończenia transferu, a następnie rozpocząć szkolenie. Zaakceptowane żądanie transferu i faktycznie dostarczone dane muszą być rozpatrywane oddzielnie.
Co się stanie, jeśli sieć zostanie przerwana podczas transferu zestawu danych?
Użyj obsługiwanych funkcji Resume i Retry, aby kontynuować przerwany transfer. Jak daleko może się odzyskać, zależy od typu pliku i środowiska transferu.
Czy może być używane tam, gdzie serwer GPU zmienia się za każdym razem?
Punkt końcowy GPU, który wybrał istniejący scheduler, może być podłączony jako cel transferu. Obsługa punktu końcowego, który różni się w czasie wykonania, jest szczegółowo opisana na stronie produktu Dynamic Endpoint Transfer.
Gdzie mogę sprawdzić postęp AI Data Delivery i wyniki?
Uruchomienia w INNORIX Studio pokazują postęp transferu i wynik ukończenia. Istniejący system AI może się zintegrować za pośrednictwem obsługiwanego API, aby wysłać zapytanie o stan i wynik.
Każda z tych możliwości,na jednej platformie.
Możliwość na tej stronie jest jedną z wielu funkcji transferu plików jakie zapewnia platforma INNORIX. Od transferu plików do automatyzacji i ujednoliconych operacji, spróbuj każdej funkcji za darmo.
Zacznij za darmoSzukasz transferu danych dla AI?
Przejdziemy przez konfigurację transferu, której potrzebujesz dla magazynu i środowiska GPU, które już uruchamiasz.
- Przegląd połączeń magazynu i środowiska GPU
- Konfigurowanie dużych transferów zbiorów danych
- Podłączenie do istniejącego potoku AI