Transfer plików o dużej objętości

transfer plików

Przetwarzaj ogromne ilości plików szybko jako jeden transfer.

Nawet gdy całkowita ilość danych jest taka sama, natura transferu zmienia się całkowicie wraz ze wzrostem liczby plików. Pojedynczy plik 100 GB i milion plików 100 KB mogą zawierać podobną ilość danych, ale z wieloma małymi plikami nie tylko Network Throughput, ale także File Discovery, Open/Close operations, Metadata, Directory handling, Queue processing, File System I/O i poszczególne Transfer Results mają duży wpływ na całkowity czas przetwarzania.

transfer plików

Wraz ze wzrostem liczby plików, całkowite przetwarzanie plików ma znaczenie większe niż sama szybkość sieci.

Large File Transfer i High-Volume File Transfer rozwiązują różne problemy. Pojedynczy duży plik zależy w dużej mierze od przepustowości w długim strumieniu danych i Resume w punkcie przerwania. Z wieloma małymi plikami system wielokrotnie odkrywa, otwiera, czyta, transferuje, tworzy w celu, zamyka i rejestruje wynik dla każdego pliku. Wraz ze wzrostem liczby plików, skumulowany koszt tych małych operacji może określić całkowity czas transferu.

Dla High-Volume Transfer, zwłaszczą zwiększenie Gbps jest mniej ważne niż zwiększenie zdolności przetwarzania całego File Processing Pipeline, w tym Source File System, Directory i Metadata processing, Transfer Queue, Target Write i File Result. INNORIX obsługuje Network Transfer i File Processing jako jedno High-Volume zadanie zamiast traktowania ich oddzielnie.

transfer plików

Przetwarzaj wszystko od Discovery do Final Result jako jeden High-Volume Pipeline.

High-Volume File Transfer zaczyna się przed wysłaniem pierwszego bajtu. System musi odkryć, które pliki istnieją w Source, wybrać zestaw plików wymagany dla zadania, przetworzyć informacje Directory i Metadata i umieścić pracę w Queue przed rozpoczęciem rzeczywistego Data Movement. W Target, tworzenie pliku, Write, Close i rejestrowanie wyniku są również powtarzane dla każdego pliku.

INNORIX nie pozostawia tych kroków jako oddzielne operacje pre- i post-transfer. Obsługuje kompletny Discover → Filter/Select → Queue → Transfer → Verify → File Result Pipeline. To pozwala operatorom zobaczyć nie tylko Network Progress, ale także ile całego Dataset zostało odkryte i przetworzone, które pliki są ukończone i które pozostają, wszystko w kontekście jednego transferu.

transfer plików

Przetwarzaj pliki równolegle, zachowując oryginalną strukturę File i Directory.

Pakowanie wielu małych plików w jedno archiwum może uprościć transfer. Ale gdy archiwizacja staje się dodatkowym etapem transferu, pliki muszą być najpierw zapakowane lub skompresowane w Source, następnie rozpakowane w Target, następnie weryfikacja wyniku. W Research, Machine Vision, Media i Software Packages, gdzie sama struktura Directory nosi znaczenie w Dataset, to może stać się osobnym zadaniem operacyjnym.

INNORIX zachowuje oryginalne relacje File i Directory, przetwarzając wiele plików równolegle poprzez Queue management i Dynamic Concurrency. Zmniejsza skumulowane opóźnienie wysyłania plików sekwencyjnie jeden po drugim, unikając założenia, że ​​otwieranie maksymalnej możliwej liczby plików na raz jest zawsze najlepsze. Zamiast tego współbieżność jest obsługiwana w celu zakoń czenia całego Dataset niezawodnie.

transfer plików

Utrzymuj sustai ned przetwarzania w ramach Source i Target Capacity.

Ciągłe zwiększanie współbieżności nie zawsze przyspieszą High-Volume Transfer. Source File System reads i Metadata processing, Target Storage concurrent writes, Disk I/O i Network resources mogą być współdzielone z innymi obciążeniami. Nadmierna współbieżność może zamiast tego skupić nacisk na Queue i Storage.

INNORIX obsługuje całe zadanie poprzez Queue i Concurrency controls i dostosowuje Parallel Processing według Source, Target i Network conditions. Celem nie jest uruchomienie możliwej największej liczby plików w jednym momencie, ale utrzymanie zrównoważonego File Processing Rate w ramach pojemności bieżącej infrastruktury, jednocześnie uzupełniając cały Dataset.

transfer plików

Zachowaj poszczególne rezultaty w milionach plików i odzyskaj tylko to, co jest potrzebne.

W High-Volume Transfer, sam ogólny Progress i średni wskaźnik powodzenia mogą nie powiedzieć Ci, czy rzeczywiste zadanie jest ukończone. Jeśli 1,284,389 z 1,284,392 plików zostało dostarczone, wskaźnik sukcesu może wydawać się niezwykle wysoki, ale operacyjnie ważniejsze jest wiedzieć, które trzy pliki nie powiodły się i czy mogą być ponownie przetwarzane.

INNORIX utrzymuje poszczególny File Status razem z ogólnym Run. Ukończone wyniki są zachowywane, przerwane transfery są wznowione, a tylko wymagane Files w Failed lub Partial states są selektywnie ponownie próbowane. To sprawia, że Recovery jest procesem identyfikacji plików, które nie są jeszcze ukończone i dokończenia ostatecznego Dataset, zamiast ponownego uruchamiania całego Dataset.

Transfer plików

Weryfikuj kompletne dostarczenie wymaganego Dataset, nie tylko wysoki wskaźnik powodzenia.

Gdy liczba plików jest mała, różnica między 99.99% a 100% może wydawać się nieistotna. Jednak na dużą skalę nawet mały odsetek reprezentuje znaczący numer rzeczywistych plików. 0.01% jednego miliona plików to 100 plików, a 0.01% 100 milionów plików to 10,000 plików. Dla High-Volume Transfer, sam średni wskaźnik sukcesu nie wystarczy zatem do określenia, że prace są skończone.

INNORIX pokazuje ogólny progress w Run, identyfikuje failed scope poprzez File Status i weryfikuje ostateczny wynik poprzez Receipt po Retry i Recovery. Standard ukończenia dla High-Volume Transfer nie jest po prostu wysokim procentem powodzenia, ale tym, czy zestaw File wymagany przez biznes został rzeczywiście ukończony end to end i jego wynik może być zweryfikowany.

transfer plików

Dostarczaj wymagany zestaw plików z intaktną strukturą Directory i filtrami.

High-Volume Dataset to często więcej niż prosta lista plików. Sama struktura Directory może być częścią danych. W Research Datasets, Machine Vision, Media Projects i Software Packages, relacje Source Directory mogą mieć pozostać nienaruszone w Target, aby downstream systems mogły natychmiast użyć danych.

Jednocześnie posiadanie milionów plików w Source nie oznacza, że każdy plik musi być zawsze przenoszony. INNORIX wybiera Transfer targets poprzez File Name, Extension, Directory i wymagane warunki, jednocześnie zachowując oryginalne relacje File i Directory. To sprawia, że ​​możliwe jest wybranie zbioru File faktycznie wymaganego dla zadania na poziomie Dataset i dostarczenie go w oryginalnej strukturze zamiast duplikowania całego Source.

Transfer plików

Rozszerz jednorazowe Datasets na ciągłe Data Flows.

High-Volume Data jest często generowana ciągle niż raz. Machine Vision Images, Logs, Sensor Data, Research Results i Media Assets tworzą nowe Files codziennie lub stale, więc dane utworzone po początkowej Migracji mogą mieć być dostarczone wielokrotnie przez tę samą Transfer Path.

INNORIX zaczyna od One-Time Dataset i łączy Scheduled Transfer, File Event, API i zewnętrzne żądania do tego samego Flow Model. Nowe Files mogą być filtrowane, przetwarzane poprzez High-Volume Transfer i ich wyniki ukończenia mogą być przekazane do następnej Flow lub Callback, rozszerzając ten sam Transfer od jednorazowego ruchu zbiorczego do ciągłego Data Delivery.

transfer plików

Zastosuj ten sam High-Volume Transfer do Collection z wielu źródeł i Distribution do wielu celów.

Duże liczby Files nie są zawsze generowane na jednym serwerze. Dane mogą być produkowane jednocześnie w fabrykach, oddziałach, urządzeniach i serwerach przetwarzających. Odwrotnie, jeden Image Dataset, Software Package lub Media Asset może musiały zostać dystrybuowane na wiele serwerów lub środowisk Compute.

INNORIX łączy High-Volume Transfer do N:1 Collection i 1:N Distribution. W Collection, zachowuje relacje File i Path dla każdego Source, jednocześnie pokazując, ile zostało zebrane z każdego Source i które Files pozostają. W Distribution zarządza postępem i File Results dla każdego Target. To pozwala High-Volume File-Level processing i Endpoint-Level completion criteria of Distribution & Collection pracować razem.

transfer plików

Zastosuj ten sam High-Volume Operating Model w serwerach, pamięci plików i pamięci obiektów.

Ogromne liczby Files nie są ograniczone do jednego serwera lub systemu plików. High-Volume Data mogą istnieć w Shared File Storage, Object Storage, Cloud, Data Centers, Branches i Factories. W Object Storage, duże liczby Objects są Listed i Filtered przed przetworzeniem poprzez Queue i Parallel Transfer zamiast bycia obsługiwanym jako File System files.

Metody Discovery i access różnią się w zależności od typu magazynu, ale operacyjnie ten sam High-Volume Model może być zastosowany do całego zadania, poszczególnych File lub Object Results, Retry i ostatecznego stanu ukończenia. Gdziekolwiek rezydują dane, Discovery, Queue, Parallel Processing, Recovery i Result są połączone poprzez jedną architekturę Transfer.

transfer plików

Podłącz ciągły High-Volume Movement dla AI i Machine-Generated Data.

AI i Machine-Generated Data są reprezentatywnymi środowiskami dla High-Volume Transfer. Machine Vision produces massive numbers of Image Files, AI Training Datasets mogą zawierać duże kolekcje Images i Labels, a w Autonomous Systems, Sensors, Research i Digital Pathology, zarówno file generation rate i total file count bezpośrednio wpływają na Transfer Architecture.

INNORIX applies High-Volume Transfer do tych Data Profiles i łączy to, gdy potrzeba, do AI Data Delivery, Collection i Automated Transfer. High-Volume Transfer itself focuses na discovering, processing i recovering dużych liczb Files do completion result, podczas gdy Data Delivery do Compute, Collection i Distribution w poprzek wielu Endpoints, i execution automation są łączone poprzez corresponding Transfer Capabilities.

transfer plików

Widzisz wszystko od całego Dataset do poszczególnego pliku w jednym Run.

Wraz ze wzrostem liczby plików, bezpośrednie sprawdzanie dzienników na poszczególnych serwerach już nie wystarczy do zrozumienia całego zadania. Operatorzy muszą widzieć, ile całego Dataset zostało przetworzone w pierwszej kolejności, drill down do Queue i failed Files gdy potrzeba, a następnie określić ostateczny stan ukończenia po Recovery.

INNORIX shows ogólny Transfer state i liczbę przetworzonych Files w Run, provides individual results poprzez File Status, processes remaining work poprzez Queue i Retry i confirms ostateczny wynik poprzez Receipt. To provides operating structure które traktują miliony Files jako jedno zadanie, jednocześnie pozwalając operatorom drill down do individual File level gdy potrzeba.

transfer plików

100 Million Files jest punktem walidacji skali, nie definicją High Volume.

Punkt, w którym High-Volume Transfer staje się konieczna, nie jest określony przez konkretny liczby plików. Istniejące przepływy pracy mogą spowolnić się z zaledwie tysiącami plików, podczas gdy Datasets i Machine Data mogą rosnąć w miliony lub dziesiątki milionów. Ważnym pytaniem nie jest, ile plików kwalifikuje się jako "high volume", ale czy Discovery, Transfer, Recovery i Result mogą być nadal przetwarzane i obsługiwane w ten sam sposób jak liczby plików rosną.

100,000,000 Files nie oznacza, że każdy klient musi operować na tej skali. Jest to jeden punkt w Scale Test używanym do weryfikacji, czy architektura INNORIX High-Volume Transfer może obsługiwać wzrost rzeczywistych liczby plików. Wartość produktu leży nie w liczbie samej, ale w utrzymaniu tego samego Transfer Model od małych Batches do stale generowanych dużych Datasets.

transfer plików

Obsługuj tysiące do 100 milionów plików jako jeden High-Volume Transfer.

Zamiast zamieniać dużą liczbę Plików w oddzielny przepływ pracy Archive tylko do transferu, zachowaj oryginalną Strukturę Plików i Katalogów i przetwarzaj je przez Discovery, Queue i Parallel Processing. Zachowaj utrzymywany przepustowość zgodnie ze Zdolnością Źródła i Celu, a gdy poszczególne Pliki napotykają problemy, przetwarzaj ponownie tylko wymagany zakres na podstawie Wyników na poziomie Pliku.

Zacznij od One-Time Dataset i zastosuj ten sam Model Transfer Dużych Ilości do cyklicznych Data Flows, Collection i Distribution, Object Storage oraz Data dotyczących AI i Machine. Od całego Run aż do poszczególnych Plików i ostatecznego Receipt, operuj wszystkim w ramach jednej spójnej struktury.