Transfer dużych plików

transfer plików

Prześlij duże pliki do ukończenia tym samym przepływem pracy.

Nie ma jednej wielkości pliku, która definiuje duży plik. Nawet plik 500 MB może stać się znacznym obciążeniem transferu, gdy trzeba go wysłać wielokrotnie lub przez niestabilną sieć. Z filmami mierzonymi w dziesiątkach gigabajtów, danymi badawczymi w setkach gigabajtów i zestawami danych w skali terabajtowej, czas transferu i koszt retransmisji po awarii stają się znacznie większe.

transfer plików

Transfer dużych plików rozpoczyna się od obciążenia transferu, a nie konkretnej wielkości pliku.

Plik 500 MB może być zwyczajny w jednym środowisku, ale wielokrotne wysyłanie tego samego pliku do zdalnej lokacji lub przesyłanie go przez niestabilną sieć może превратить transfer w sam w siebie operacyjne obciążenie. Gdy pliki rosną z dziesiątek lub setek gigabajtów na terabajtów, czas transferu, widoczność postępu, retransmisja po awarii, wykorzystanie sieci na duże odległości i końcowe potwierdzenie ukończenia stają się coraz ważniejsze.

Transfer dużych plików to zatem mniej o przejściu na inny produkt powyżej określonego progu wielkości i bardziej o rozszerzeniu wymaganych Transfer Capabilities w ramach tej samej architektury wraz ze wzrostem wielkości pliku i wymagań operacyjnych. INNORIX obsługuje ruch danych na dużą skalę na podstawie nie tylko wielkości pliku, ale także rzeczywistego czasu trwania transferu, kosztu odzyskiwania, warunków sieciowych i częstotliwości transferu.

transfer plików

Prześlij oryginalny plik bezpośrednio ze źródła do celu.

Ręczne dzielenie lub kompresowanie dużego pliku przed transferem, a następnie ponowne montowanie lub rozpakowanie na celu tworzy pracę przygotowawczą i przywróceniową poza samym transferem. Gdy pliki stają się większe, te ręczne kroki dodają złożoność nie tylko do czasu transferu, ale także do procedur operacyjnych i weryfikacji wyników.

INNORIX pozwala na wybranie oryginalnego pliku ze źródła i przesłanie go bezpośrednio do celu. Tam, gdzie ścieżka transferu na to pozwala, Control i Monitoring są obsługiwane przez Platform, podczas gdy rzeczywisty Data Movement jest ustanowiony między wymaganym Source i Target, zmniejszając architektury, które wielokrotnie przesuwają te same duże dane przez Intermediate Server lub Shared Storage.

transfer plików

Odzyskaj przerwania i powtarzające się awarie w ramach tego samego transferu.

Im większy plik, tym dłużej może trwać transfer, a większy jest koszt ponownego rozpoczęcia, gdy coś pójdzie nie tak. Na długodystansowych sieciach WAN, lokacjach zdalnych i niestabilnych sieciach, zmiany połączenia lub utracie pakietów może dojść wiele razy podczas jednego transferu. Uniemożliwienie jednemu przerwaniu stania się całkowitą retransmisją jest krytyczne dla zmniejszenia rzeczywistego czasu ukończenia.

INNORIX utrzymuje Transfer State i używa Resume, Partial Transfer, Retry i Recovery, dzięki czemu transfer może kontynuować się od wymaganego punktu na podstawie danych, które już zostały ukończone. Wiele przerw jest zarządzane jako część procesu ukończenia jednego transferu dużego pliku, a nie jako oddzielne nowe transfery.

transfer plików

Zamień pojemność sieci i pamięci masowej na rzeczywistą przepustowość transferu dużych plików.

Nawet przy wysokiej przepustowości sieci, transfer dużych plików może nie w pełni wykorzystać dostępną pojemność. Rzeczywista przepustowość jest określana razem przez opóźnienie i RTT, utratę pakietów, wydajność odczytu pamięci masowej źródła, wydajność zapisu pamięci masowej celu, inny ruch i metodę transferu.

Gdy pojedyncza sesja nie może wykorzystać pełną dostępną pojemność, INNORIX stosuje Parallel Sessions i Dynamic Concurrency i obsługuje transfer zgodnie z możliwościami przetwarzania źródła i celu. Zamiast patrzenia na jeden numer sieciowy, traktuje Source Read → Transfer Processing → Network → Target Write jako jedną End-to-End Performance Path i zamienia pojemność, którą można faktycznie wykorzystać w File Throughput.

transfer plików

Obsługuj Transfer Capacity na dużych odległościach, wielu sieciach i infrastrukturze wspóldzielonej.

Rzeczywista wydajność może się znacznie różnić między transferami w ramach tego samego centrum danych i transferami między krajami lub kontynentami, nawet w tej samej sieci 10 Gbps. Wraz ze wzrostem odległości, RTT i utrata pakietów mają większy wpływ, a pojedyncze połączenie może mieć trudności w wykorzystaniu całej dostępnej przepustowości. Gdy źródło i cel mają wiele interfejsów sieciowych lub ścieżek, pojemność między wieloma połączeniami może być również wykorzystywana do Data Movement.

Jednocześnie sieci przedsiębiorstw nie są przeznaczone wyłącznie do transferu plików. Aplikacje, bazy danych, kopie zapasowe i ruch użytkowników dzielą tę samą sieć, co sprawia, że ogólny przydział pojemności i obsługa są tak ważne, jak szczytowa prędkość poszczególnych transferów. INNORIX używa Parallel Transfer, Dynamic Concurrency i Queue management do wykorzystania dostępnej pojemności na środowiskach długodystansowych i Multi-Network, jednocześnie obsługując wiele transferów w ramach istniejącej infrastruktury.

transfer plików

Skaluj od jednego dużego pliku do wielu dużych transferów i mieszanych zestawów danych.

Transfer dużych plików nie zawsze oznacza przesunięcie jednego pliku. Wielu użytkowników może wysyłać duże pliki w tym samym czasie, wiele serwerów może dostarczać duże zestawy danych, lub jeden zestaw danych może zawierać setki gigabajtów wideo obok tysięcy plików metadanych, dużych modeli i plików pomocniczych.

INNORIX zarządza nie tylko przepustowością poszczególnego dużego pliku, ale również Queue, Concurrency i pojemnością Source i Target, gdy wiele transferów działa jednocześnie. W przypadku zestawów danych łączących charakterystykę Large File i High-Volume, przetwarzanie można dostosować do wielkości pliku i liczby plików, podczas gdy całe zadanie jest zarządzane jako pojedynczy Run.

transfer plików

Śledzenie postępu, integralności i wyników końcowych jako jednego procesu ukończenia.

Gdy plik wieloterabajtowy został przesłany przez długi okres, samo znanie, że proces się skończył, może nie wystarczać. Operatorzy muszą wiedzieć, jak daleko każdy plik został przesłany, czy odzyskiwanie miało miejsce podczas transferu i czy wszystkie wymagane pliki ostatecznie ukończyły się z oczekiwanym rezultatem.

INNORIX zapewnia widoczność postępu za pomocą Run i File Status, obsługuje problemy podczas transferu poprzez Recovery i pozwala operatorom zweryfikować stan końcowy poprzez File Result i Receipt po ukończeniu.

transfer plików

Połącz powtarzające się transfery dużych plików z automatyzacją i Flow.

Transfer dużego pliku może być migracją jednorazową lub dostarczaniem zestawu danych powtarzanym każdego dnia lub każdego tygodnia. Ten sam Large File Transfer powinien móc się uruchomić nie tylko przez ręczne wykonanie w Console, ale również za pośrednictwem Schedule, File Event, API lub żądania z istniejącego workflow, z wynikiem jego ukończenia połączonym z następnym procesem biznesowym.

INNORIX używa tego samego Transfer Engine na całym On Demand i One-Time Transfer, Scheduled i Event-Driven execution, API i Flow. To zmienia transfer dużych plików z oddzielnego ręcznego zadania w powtarzalną możliwość dla enterprise data movement.

transfer plików

Zastosuj ten sam Large File Transfer z serwerów do Object Storage i AI Compute.

Duże pliki nie poruszają się tylko między serwerami. Kombinacje Source i Target nadal się zmieniają w ramach migracji Data Center-to-Cloud, dostarczania zestawów danych AI z Object Storage do Compute, dystrybucji oprogramowania i mediów między siedzibą główną a oddziałami oraz Results i Checkpoints zwrócone z Compute do Storage.

Branże i obciążenia mogą się wahać od Media/VFX, AI, Research, Healthcare, Engineering, Geospatial i Backup/Archive do Manufacturing, ale podstawowe wymagania pozostają takie same: prześlij duże pliki, utrzymuj długotrwałe transfery i zweryfikuj wynik końcowy. INNORIX stosuje ten sam Large File, Resume, Recovery i Result Transfer Model na różnych typach punktów końcowych i rozszerza tę samą możliwość na Server-to-Server, Object Storage, Web, Distribution i AI Data Delivery.

transfer plików

Utrzymuj ten sam Transfer i Operation Model w miarę wzrostu wielkości pliku.

Zamiast budowania oddzielnego środowiska transferu dla każdej wielkości pliku lub obciążenia, transfery dużych plików mogą używać tego samego modelu operacyjnego co inne Data Movement na platformie INNORIX. Niezależnie od tego, czy punkt wyjścia to Manual Transfer, Flow, API czy platforma AI, używany jest ten sam Large File Transfer Engine, a stan operacyjny i wyniki pozostają widoczne poprzez Runs i Monitoring, File Status i Receipt.

10 TB nie jest progiem, przy którym plik staje się "duży". Jest to jeden punkt w Scale Test używanym do zweryfikowania, jak daleko Transfer Architecture może obsłużyć wzrastające rozmiary plików w ten sam sposób. W zależności od środowiska operacyjnego, obciążenie transferu może rozpocząć się zaledwie od kilkuset megabajtów. Ważniejsze niż konkretna liczba jest to, czy ten sam Transfer, Recovery i Operation Model mogą być utrzymywane wraz ze wzrostem plików.

transfer plików

Rozszerz Transfer Capability w miarę wzrostu wielkości pliku.

Prześlij oryginalne pliki takie jakie są z plików biznesowych mierzonych w setkach megabajtów do zestawów danych w skali terabajtowej, użyj przetwarzania równoległego, aby skorzystać z dostępnej pojemności sieciowej i kontynuuj ten sam Transfer po przerwaniach poprzez Resume i Recovery.

Zastosuj ten sam Large File Transfer na serwerach, Cloud, Object Storage i AI Compute, połącz pracę powtarzającą się za pośrednictwem automatyzacji i Flow, oraz zweryfikuj wyniki końcowe poprzez Run i Receipt.