Передавання великих файлів

File Transfer

Передавайте великі файли до завершення в межах того самого Workflow.

Немає єдиного розміру файлу, який визначає «великий файл». Навіть файл на 500 МБ може стати значним навантаженням на передавання, якщо його доводиться надсилати повторно або через нестабільну мережу. За наявності відео на десятки гігабайт, дослідницьких даних на сотні гігабайт і Dataset терабайтного масштабу час передавання та вартість повторної передачі після збою стають значно вищими.

File Transfer

Передавання великих файлів починається з навантаження на передавання, а не з конкретного розміру файлу.

Файл на 500 МБ може бути звичним в одному середовищі, але повторне надсилання того самого файлу на віддалений майданчик або передавання через нестабільну мережу може перетворити саме передавання на операційне навантаження. Коли файли зростають від десятків чи сотень гігабайт до терабайтного діапазону, дедалі важливішими стають час передавання, видимість прогресу, повторна передача після збою, використання мережі на великих відстанях і кінцева перевірка завершення.

Тож передавання великих файлів полягає не так у переході на інший продукт після певного порогу розміру, як у розширенні потрібних можливостей передавання в межах тієї самої архітектури в міру зростання розміру файлів і операційних вимог. INNORIX керує масштабним переміщенням даних, зважаючи не лише на розмір файлу, а й на фактичну тривалість передавання, вартість відновлення, стан мережі та частоту передавання.

File Transfer

Передавайте оригінальний файл безпосередньо від Джерела до Цілі.

Ручне розділення або стискання великого файлу перед передаванням і подальше складання чи розпакування на цілі створює додаткову роботу з підготовки та відновлення понад саме передавання. Зі зростанням розміру файлів ці ручні кроки ускладнюють не лише час передавання, а й операційні процедури та перевірку результату.

INNORIX дозволяє вибрати оригінальний файл на джерелі й передати його безпосередньо на ціль. Там, де шлях передавання дозволяє, Control і Monitoring бере на себе платформа, тоді як фактичне переміщення даних встановлюється безпосередньо між потрібним джерелом і ціллю, що скорочує архітектури, які повторно переміщують ті самі великі дані через проміжний сервер або спільне сховище.

File Transfer

Відновлюйте після переривань і повторних збоїв у межах того самого передавання.

Чим більший файл, тим довше може тривати передавання і тим вища вартість початку заново, якщо щось піде не так. У далекосяжних WAN, на віддалених майданчиках і в нестабільних мережах зміни з’єднання чи втрата пакетів можуть траплятися кілька разів протягом одного передавання. Запобігання тому, щоб одне переривання перетворилося на повну повторну передачу, критично важливе для скорочення фактичного часу завершення.

INNORIX підтримує стан передавання і застосовує продовження, часткове передавання, повторні спроби та відновлення, щоб передавання могло тривати з потрібної точки на основі вже завершених даних. Численні переривання опрацьовуються як частина процесу завершення одного передавання великого файлу, а не як окремі нові передавання.

File Transfer

Перетворюйте можливості мережі та сховища на фактичну пропускну здатність для великих файлів.

Навіть за високої пропускної здатності мережі передавання великого файлу може не повністю використовувати доступну потужність. Фактична пропускна здатність визначається одночасно латентністю та RTT, втратою пакетів, швидкістю читання зі сховища джерела, швидкістю запису у сховище цілі, іншим трафіком і методом передавання.

Коли одна сесія не може використати всю доступну потужність, INNORIX застосовує паралельні сесії та динамічну паралельність і керує передаванням відповідно до можливостей обробки джерела й цілі. Замість орієнтування на одне мережеве число, це розглядає читання з джерела → обробку передавання → мережу → запис у ціль як єдиний наскрізний шлях продуктивності та перетворює потужність, яку реально можна використати, на пропускну здатність для файлів.

File Transfer

Керуйте потужністю передавання на великих відстанях, у кількох мережах і спільній інфраструктурі.

Фактична продуктивність може суттєво відрізнятися між передаваннями в межах одного центру обробки даних і передаваннями між країнами чи континентами, навіть у тій самій мережі на 10 Гбіт/с. Зі зростанням відстані RTT і втрата пакетів впливають сильніше, і одне з’єднання може не впоратися з використанням усієї доступної пропускної здатності. Коли джерело і ціль мають кілька мережевих інтерфейсів чи шляхів, для переміщення даних можна використати потужність кількох з’єднань одночасно.

Водночас корпоративні мережі не призначені виключно для передавання файлів. Застосунки, бази даних, резервні копії та трафік користувачів використовують ту саму мережу, тож загальний розподіл потужності та керування ним стають не менш важливими, ніж пікова швидкість окремого передавання. INNORIX використовує паралельне передавання, динамічну паралельність і керування черговістю, щоб використовувати доступну потужність у середовищах з великими відстанями й кількома мережами, одночасно керуючи кількома передаваннями в межах наявної інфраструктури.

File Transfer

Масштабуйтеся від одного великого файлу до кількох великих передавань і змішаних Dataset.

Передавання великих файлів не завжди означає переміщення одного файлу. Кілька користувачів можуть одночасно надсилати великі файли, кілька серверів можуть доставляти великі Dataset, або один Dataset може містити сотні гігабайт відео разом із тисячами файлів метаданих, великими моделями та супутніми файлами.

INNORIX керує не лише пропускною здатністю окремого великого файлу, а й черговістю, паралельністю та потужністю джерела й цілі, коли кілька передавань виконуються одночасно. Для Dataset, що поєднують ознаки великих файлів і значних обсягів даних, обробку можна адаптувати до розміру та кількості файлів, керуючи всім завданням як одним Run.

File Transfer

Стежте за прогресом, цілісністю та кінцевим результатом як за єдиним процесом завершення.

Коли файл на кілька терабайт передається протягом тривалого часу, просто знати, що процес завершився, може бути недостатньо. Операторам потрібно знати, наскільки далеко передано кожен файл, чи відбувалося відновлення під час передавання і чи всі потрібні файли зрештою завершилися з очікуваним результатом.

INNORIX забезпечує видимість прогресу через Run і статус файлу, усуває проблеми під час передавання через відновлення, а після завершення дозволяє операторам перевірити кінцевий стан через результат файлу та квитанцію.

File Transfer

З’єднуйте регулярні передавання великих файлів з Automation і Flow.

Передавання великого файлу може бути одноразовою міграцією або доставкою Dataset, що повторюється щодня чи щотижня. Те саме передавання великих файлів має запускатися не лише вручну в Console, а й за Schedule, File Event, через API або за запитом з наявного workflow, з прив’язкою результату завершення до наступного бізнес-процесу.

INNORIX використовує той самий Transfer Engine для On Demand і одноразового передавання, запланованого та подієво-керованого виконання, API і Flow. Завдяки цьому передавання великих файлів перетворюється з окремого ручного завдання на повторювану можливість для переміщення корпоративних даних.

File Transfer

Застосовуйте те саме передавання великих файлів від серверів до Object Storage і AI Compute.

Великі файли переміщуються не лише між серверами. Комбінації джерела й цілі продовжують змінюватися — від міграції з центру обробки даних у хмару до Dataset для AI, що доставляються з Object Storage у Compute, програмного забезпечення та медіа, що розповсюджуються між головним офісом і філіями, а також результатів і Checkpoints, що повертаються з Compute у сховище.

Галузі та робочі навантаження можуть варіюватися від Media/VFX, AI, досліджень, охорони здоров’я, інжинірингу, геопросторових даних і резервного копіювання/архівування до виробництва, але основні вимоги залишаються тими самими: переміщувати великі файли, підтримувати тривалі передавання і перевіряти кінцевий результат. INNORIX застосовує ту саму модель передавання великих файлів, продовження, відновлення та результатів до різних типів кінцевих точок і поширює ту саму можливість на передавання «сервер — сервер», Object Storage, Web, розповсюдження та AI Data Delivery.

File Transfer

Збережіть ту саму модель передавання та роботи в міру зростання розміру файлу.

Замість створення окремого середовища передавання для кожного розміру файлу чи робочого навантаження, передавання великих файлів може використовувати ту саму операційну модель, що й інші переміщення даних на платформі INNORIX. Незалежно від того, чи початкова точка — це ручне передавання, Flow, API чи AI-платформа, використовується той самий Transfer Engine для великих файлів, а операційний статус і результати залишаються видимими через Runs і моніторинг, статус файлу та квитанцію.

10 ТБ — це не порог, після якого файл стає «великим». Це одна з точок у Scale Test, що використовується для перевірки того, наскільки добре архітектура передавання може опрацьовувати зростаючі розміри файлів однаковим способом. Залежно від операційного середовища навантаження на передавання може виникати вже за кількох сотень мегабайт. Важливіше за конкретне число — чи вдається підтримувати ту саму модель передавання, відновлення та роботи в міру зростання файлів.

File Transfer

Розширюйте можливості передавання в міру зростання розміру файлу.

Передавайте оригінальні файли без змін — від бізнес-файлів на кілька сотень мегабайт до Dataset терабайтного масштабу, — використовуйте паралельну обробку, щоб скористатися доступною потужністю мережі, і продовжуйте те саме передавання після переривань через продовження та відновлення.

Застосовуйте те саме передавання великих файлів на серверах, у хмарі, Object Storage і AI Compute, з’єднуйте регулярну роботу через Automation і Flow та перевіряйте кінцеві результати через Run і квитанцію.