Передавання великих обсягів файлів

Передавання файлів

Швидко опрацьовуйте величезну кількість файлів як єдиний Transfer.

Навіть якщо загальний обсяг даних однаковий, природа Transfer повністю змінюється зі збільшенням кількості файлів. Один файл на 100 ГБ і мільйон файлів по 100 КБ можуть містити приблизно однаковий обсяг даних, але за великої кількості малих файлів на загальний час обробки суттєво впливають не лише пропускна здатність мережі, а й File Discovery, операції Open/Close, Metadata, обробка Directory, обробка Queue, File System I/O та результати окремих Transfer.

Передавання файлів

Зі зростанням кількості файлів загальна обробка файлів важливіша, ніж лише швидкість мережі.

Передавання великих файлів і передавання великих обсягів файлів вирішують різні проблеми. Один великий файл значно залежить від пропускної здатності протягом довгого потоку даних і Resume у точці переривання. Натомість за великої кількості малих файлів система повторно виявляє, відкриває, читає, передає, створює на цілі, закриває та записує результат для кожного окремого файлу. Зі збільшенням кількості файлів накопичена вартість цих малих операцій може визначати загальний час Transfer.

Тому для High-Volume Transfer просто збільшувати Гбіт/с менш важливо, ніж підвищувати стійку пропускну спроможність обробки всього File Processing Pipeline, включно з File System джерела, обробкою Directory та Metadata, Transfer Queue, записом на цілі та результатом файлу. INNORIX керує мережевим Transfer та обробкою файлів як єдиним завданням High-Volume, а не розглядає їх окремо.

Передавання файлів

Опрацьовуйте все від Discovery до фінального результату як єдиний High-Volume Pipeline.

Передавання великих обсягів файлів починається ще до надсилання першого байта. Система повинна виявити, які файли існують у Джерелі, вибрати набір файлів, потрібний для завдання, обробити інформацію Directory та Metadata і помістити роботу в Queue, перш ніж почнеться фактичний Data Movement. На Цілі створення файлу, запис, закриття та запис результату також повторюються для кожного файлу.

INNORIX не залишає ці кроки як окремі операції до і після Transfer. Він керує повним Pipeline: Discover → Filter/Select → Queue → Transfer → Verify → File Result. Завдяки цьому оператори можуть бачити не лише Network Progress, а й те, скільки всього Dataset виявлено та опрацьовано, які файли завершено, а які залишаються, — все в межах одного Transfer.

Передавання файлів

Опрацьовуйте файли паралельно, зберігаючи оригінальну структуру файлів і Directory.

Об’єднання багатьох малих файлів в один Archive може спростити сам Transfer. Але коли архівування стає додатковим кроком Transfer, файли спочатку потрібно упакувати або стиснути в Джерелі, потім розпакувати в Цілі, а після цього перевірити результат. У Research, Machine Vision, Media та Software Package, де структура Directory сама по собі несе значення в межах Dataset, це може перетворитися на окреме операційне завдання.

INNORIX зберігає оригінальні відносини файлів і Directory, опрацьовуючи кілька файлів паралельно через керування Queue та Dynamic Concurrency. Це зменшує накопичену затримку від послідовного надсилання файлів один за одним, водночас уникаючи припущення, що відкриття максимально можливої кількості файлів одночасно завжди найкраще. Натомість паралельність керується так, щоб надійно завершити весь Dataset.

Передавання файлів

Підтримуйте стійку обробку в межах потужності Джерела і Цілі.

Постійне збільшення паралельності не завжди робить High-Volume Transfer швидшим. Читання та обробка Metadata у File System Джерела, одночасні записи у сховищі Цілі, Disk I/O та мережеві ресурси можуть спільно використовуватися з іншими workload. Надмірна паралельність може натомість зосередити тиск на Queue та сховищі.

INNORIX керує загальним завданням через контроль Queue та Concurrency і налаштовує Parallel Processing відповідно до умов Джерела, Цілі та мережі. Мета не в тому, щоб обробити максимально можливу кількість файлів за один момент, а в тому, щоб підтримувати стійку швидкість обробки файлів у межах потужності наявної Infrastructure, завершуючи весь Dataset.

Передавання файлів

Зберігайте окремі результати серед мільйонів файлів і відновлюйте лише потрібне.

У High-Volume Transfer загальний Progress і середній відсоток успіху самі по собі не завжди показують, чи фактично завершено завдання. Якщо доставлено 1 284 389 з 1 284 392 файлів, відсоток успіху виглядає надзвичайно високим, але операційно важливіше знати, які саме три файли не вдалося передати та чи можна обробити їх повторно.

INNORIX керує індивідуальним File Status разом із загальним Run. Завершені результати зберігаються, перервані Transfer відновлюються через Resume, а лише потрібні файли у статусі «Failed» чи «Partial» вибірково повторюються через Retry. Завдяки цьому Recovery стає процесом виявлення файлів, які ще не завершені, і завершення фінального Dataset, а не повторного виконання всього Dataset.

Передавання файлів

Підтверджуйте повну доставку потрібного Dataset, а не лише високий відсоток успіху.

Коли кількість файлів невелика, різниця між 99,99% і 100% може здаватися незначною. Але за великого масштабу навіть невеликий відсоток відповідає значній кількості фактичних файлів. 0,01% від мільйона файлів — це 100 файлів, а 0,01% від 100 мільйонів файлів — це 10 000 файлів. Тому для High-Volume Transfer самого середнього відсотка успіху недостатньо, щоб визначити, що завдання завершено.

INNORIX показує загальний Progress у Run, визначає обсяг, що не вдався, через File Status і підтверджує фінальний результат через Receipt після Retry та Recovery. Критерій завершення для High-Volume Transfer не просто високий відсоток успіху, а те, чи потрібний бізнесу набір файлів фактично завершено від початку до кінця і чи можна підтвердити його результат.

Передавання файлів

Доставляйте потрібний набір файлів зі збереженою структурою Directory та фільтрами.

Dataset великого обсягу часто є більшим, ніж простий список файлів. Сама структура Directory може бути частиною даних. У Research Dataset, Machine Vision, медіапроєктах і Software Package відносини Directory Джерела часто повинні залишатися незмінними в Цілі, щоб подальші системи могли одразу використовувати дані.

При цьому наявність мільйонів файлів у Джерелі не означає, що кожен файл завжди потрібно переміщувати. INNORIX вибирає цілі Transfer за назвою файлу, розширенням, Directory та потрібними умовами, зберігаючи оригінальні відносини файлів і Directory. Це дозволяє вибрати набір файлів, фактично потрібний для завдання, на рівні Dataset і доставити його в оригінальній структурі, замість дублювання всього Джерела.

Передавання файлів

Розширюйте одноразові Dataset до безперервних потоків даних.

Дані великого обсягу часто створюються безперервно, а не одноразово. Зображення Machine Vision, Log, дані датчиків, результати Research і медіаресурси створюють нові файли щодня або постійно, тож дані, створені після початкової Migration, можуть потребувати повторної доставки через той самий Transfer Path.

INNORIX починає з одноразового Dataset і з’єднує Scheduled Transfer, File Event, API та зовнішні запити з тією самою моделлю Flow. Нові файли можна фільтрувати, опрацьовувати через High-Volume Transfer, а їхні результати завершення передавати в наступний Flow чи Callback — так той самий Transfer розширюється від одноразового масового переміщення до безперервної доставки даних.

Передавання файлів

Застосовуйте той самий High-Volume Transfer до збору з кількох Джерел і розподілу на кілька Цілей.

Великі обсяги файлів не завжди створюються на одному Server. Дані можуть генеруватися одночасно на заводах, у філіях, на Device та Processing Server. І навпаки, один Dataset зображень, Software Package чи медіаресурс може потребувати розподілу на кілька Server чи Compute-середовищ.

INNORIX з’єднує High-Volume Transfer зі збором N:1 та розподілом 1:N. Під час збору він зберігає відносини файлів і Path для кожного Джерела, показуючи, скільки зібрано з кожного Джерела та які файли залишаються. Під час розподілу він керує Progress і результатами файлів для кожної Цілі. Це дозволяє поєднати обробку на рівні файлів High-Volume з критеріями завершення на рівні Endpoint для Distribution і Collection.

Передавання файлів

Застосовуйте ту саму операційну модель High-Volume до Server, файлового сховища та об’єктного сховища.

Величезні обсяги файлів не обмежуються одним Server чи File System. Дані великого обсягу можуть існувати в спільному файловому сховищі, об’єктному сховищі, Cloud, центрах обробки даних, філіях і на заводах. В об’єктному сховищі велика кількість об’єктів Listed і Filtered перед тим, як опрацьовуватися через Queue та Parallel Transfer, замість опрацювання як файлів File System.

Методи Discovery та доступу відрізняються залежно від типу сховища, але операційно ту саму модель High-Volume можна застосувати до загального завдання, окремих результатів файлів чи об’єктів, Retry та фінального статусу завершення. Незалежно від того, де зберігаються дані, Discovery, Queue, Parallel Processing, Recovery та результат з’єднані через єдину архітектуру Transfer.

Передавання файлів

З’єднуйте безперервне High-Volume переміщення для AI та даних, створених машинами.

AI та дані, створені машинами, є типовими середовищами для High-Volume Transfer. Machine Vision створює величезну кількість файлів зображень, AI Training Dataset можуть містити великі колекції зображень і Label, а в Autonomous System, датчиках, Research і Digital Pathology як швидкість створення файлів, так і загальна кількість файлів безпосередньо впливають на Transfer Architecture.

INNORIX застосовує High-Volume Transfer до цих Data Profile і за потреби з’єднує його з AI Data Delivery, Collection та Automated Transfer. Сам High-Volume Transfer зосереджується на виявленні, обробці та відновленні великої кількості файлів до повного завершення результату, тоді як доставка Data до Compute, Collection і Distribution між кількома Endpoint та автоматизація виконання поєднуються через відповідні можливості Transfer.

Передавання файлів

Переглядайте все від усього Dataset до окремого файлу в одному Run.

Зі збільшенням кількості файлів безпосередня перевірка логів на окремих Server більше не достатня для розуміння всього завдання. Операторам потрібно спочатку побачити, скільки всього Dataset опрацьовано, за потреби деталізувати до Queue та файлів, що не вдалися, а потім визначити фінальний стан завершення після Recovery.

INNORIX показує загальний стан Transfer і кількість опрацьованих файлів у Run, надає окремі результати через File Status, опрацьовує залишкову роботу через Queue та Retry і підтверджує фінальний результат через Receipt. Це забезпечує операційну структуру, яка розглядає мільйони файлів як одне завдання, при цьому дозволяючи операторам за потреби деталізувати до рівня окремого файлу.

Передавання файлів

100 мільйонів файлів — це точка перевірки масштабу, а не визначення «великого обсягу».

Момент, коли High-Volume Transfer стає необхідним, не визначається конкретною кількістю файлів. Наявні workflow можуть сповільнюватися вже за кількох тисяч файлів, тоді як Dataset і Machine Data можуть зростати до мільйонів чи десятків мільйонів. Важливе питання не в тому, скільки файлів вважається «великим обсягом», а в тому, чи можуть Discovery, Transfer, Recovery та Result продовжувати опрацьовуватися й керуватися однаково зі зростанням кількості файлів.

100 000 000 файлів не означає, що кожен клієнт повинен працювати в такому масштабі. Це одна точка в Scale Test, що перевіряє, чи здатна архітектура INNORIX High-Volume Transfer впоратися зі зростанням фактичної кількості файлів. Цінність продукту не в самому числі, а в підтримці тієї самої моделі Transfer від малих Batch до безперервно створюваних Dataset великого масштабу.

Передавання файлів

Керуйте від тисяч до 100 мільйонів файлів як єдиним High-Volume Transfer.

Замість перетворення великої кількості файлів на окремий робочий процес архівування лише для передачі, вихідна структура файлів і каталогів зберігається, а обробка відбувається через Discovery, Queue і паралельну обробку. Пропускна здатність підтримується стабільно відповідно до можливостей джерела та цілі, а якщо з окремими файлами виникають проблеми, повторній обробці підлягає лише потрібна область на основі результатів на рівні файлів.

Почніть з одноразового Dataset і застосуйте ту саму модель масової передачі до регулярних потоків даних, збору та розподілу, Object Storage, а також даних AI та машинних даних. Від усього Run до окремих файлів і фінальної квитанції — усе працює в межах єдиної узгодженої структури.