GPU & STORAGE FILE TRANSFER
Надішліть GPU-серверу потрібні йому дані,
а результати поверніть у сховище.
Передавайте Datasets і Models, що зберігаються в Object Storage, на NAS чи в дата-центрі, на ваші GPU-сервери.
Checkpoints і Results, отримані під час Training та Inference, можуть так само повертатися до сховища. Ваша наявна AI-інфраструктура залишається незмінною, а переміщення файлів між Storage і GPU Compute керується на одній платформі.
AI INFRASTRUCTURE INTEGRATION
Ваша AI-інфраструктура залишається незмінною.
INNORIX переміщує дані.
Системи, що вирішують щодо Compute й Workload у вашій AI-інфраструктурі, залишаються саме такими, якими вони є.
INNORIX доставляє Datasets і Models між Source і Target, названими цими системами, та надсилає Checkpoints і Results назад у сховище.
INNORIX не керує GPU-плануванням чи AI Pipeline. Він переміщує файли, щодо яких рішення приймають ваші наявні системи.
STORAGE & GPU CONNECTIVITY
Єдиний рівень передавання для шляху даних
між сховищем і GPU Compute.
Незалежно від того, чи Dataset і Model лежать у хмарному Object Storage, у дата-центрі чи в приватному сховищі, їх можна доставити в GPU-середовище, де виконується робота.
Дані рухаються між різними хмарами, регіонами та локальними середовищами, тоді як інфраструктура сховища й GPU залишається незмінною. Маршрут і ціль налаштовуються відповідно до середовища — хмарний GPU, GPU-кластер у дата-центрі або ваш власний.
З хмари на GPUObject Storage в одному регіоні, доставлено на GPU-кластер в іншому.
ДЖЕРЕЛОObject StorageUS West · S3
68%
передано 1,63 ТБ з 2,4 ТБ
ЦІЛЬCloud GPUАзія · NVIDIA H100
AI DATA LIFECYCLE
Від Dataset через Model, Checkpoint до Result —
те саме доставлення даних.
AI-тренування починається з перенесення Dataset і Model у GPU-середовище, а далі триває через збереження отриманих Checkpoints і збір фінального результату.
INNORIX переміщує файли, потрібні на кожному етапі, між сховищем і GPU-середовищем та автоматизує переміщення даних, що повторюється знову і знову. Підготовка файлів для тренування, збереження промiжних результатів і доставлення фінальних — усе це пов'язано, тож передавання файлів працює однаково протягом усього AI-процесу.
Тренувальний прогон #4821resnet-vision · gpu-cluster-01 · розпочато 09:52
DatasetДані для тренування готові
training-dataset.tar2,4 ТБ · 12 480 файлів
ModelModel доставлено
foundation-model48 ГБ · 12 файлів
AI-тренуванняВиконується
Епоха 64 / 10064%
GPU-кластер8 GPUs
CheckpointСтан тренування збережено
checkpoint-064320 ГБ · 64 файли
РезультатРезультат зібрано
inference-result120 ГБ · 3 420 файлів
Checkpoints повторюються, тож довгий прогон ніколи не втрачається
DATA READINESS & RECOVERY
Менше часу, коли GPU чекає на дані,
і перерване передавання триває далі.
Дані, потрібні для AI-тренування та Inference, варіюються від окремих файлів на кілька терабайт до мільйонів дрібних зображень і документів. INNORIX знімає з передавання навантаження, яке створюють розмір і кількість, і надійно доставляє великі обсяги даних у GPU-середовище.
Якщо мережа відмовляє або передавання зупиняється, уже завершене зберігається, а повторно надсилається лише відсутня частина. Автоматичне відновлення, повтори та перевірка усувають непотрібні повторні передавання та підтверджують, що дані, потрібні AI, готові.
Великі передавання
Терабайтний Dataset в одному передаванні
Багато дрібних файлів
Мільйони файлів, опрацьовані надійно
Жодного втраченого прогресу
Завершене зберігається; повторно надсилається лише решта
Передавання #4821-01Object Storage → gpu-cluster-01
передано 2,4 ТБ з 2,4 ТБ
Частини цього передавання
ORCHESTRATOR & API
Ваш AI-оркестратор запускає передавання
саме тоді, коли це потрібно.
Передавання файлів з'єднується з вашим наявним AI-оркестратором, планувальником і Pipeline без їхніх змін. Назвіть файли та ціль через API з Kubeflow, Airflow, SLURM чи власної системи, і INNORIX виконає передавання та поверне його хід виконання й результат.
Ваша AI-система планує й виконує роботу точно так, як і сьогодні, тоді як INNORIX бере на себе переміщення файлів між GPU-кластерами, хмарним сховищем і дата-центром. Callback завершення та результати Run надходять назад у Workflow, тож підготовка даних, тренування та збір результатів продовжуються автоматично.
Легко підключити
Стандартний API, підключений одразу
Нічого не потрібно змінювати
Використовується без втручання в AI-систему
Результати, які ви бачите
Статус, логи та callback завершення
Transfer APItr_8f3a2e6b · викликано airflow-dag-vision
- AI-оркестраторKubeflow · Airflow · власна розробка
- SchedulerSLURM · PBS · LSF
- AI-застосунокНавчання · Інференс · Донавчання
- High-Speed-передавання
- Resume & Retry
- Перевірка
- GPU-кластерNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
ВІДПОВІДЬJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Статус Run
- Запит прийнято10:14
- Передається10:15
- Завершено10:33
- Callback надіслано10:33
UNIFIED OPERATIONS
Керуйте кожним передаванням файлів між GPU та сховищем
з одного екрана.
Керуйте такими різними передаваннями, як доставлення Dataset, збір Checkpoint, переміщення Model і збір результатів, в INNORIX Studio.
Перевіряйте, що виконується і що завершено, і доопрацьовуйте невдале передавання лише в тому діапазоні, де це потрібно.
Останні Runs
- Доставлення тренувального DatasetЗавершено
- Збір CheckpointПередається
- Розподіл ModelЗавершено
GET STARTED
Почніть передавання між GPU-серверами та сховищем.
Підключіть Object Storage, NAS і локальне сховище до ваших GPU-серверів.
Складайте передавання Dataset і Model у Studio або підключайте передавання файлів через API до вашої наявної AI Pipeline.
TECHNICAL FAQ
Поширені запитання
Чи можна передавати файли між GPU-сервером і Object Storage?
Так. Підключіть підтримуваний Object Storage і GPU-сервери, щоб передавати Datasets, Models та інші файли. Умови з'єднання для сховища та GPU-серверів потрібно підтвердити для вашого середовища.
Чи можна підключити локальний GPU-сервер до хмарного сховища?
Підтримувані локальні сервери та хмарний Object Storage можна налаштувати як Source або Target.
Чи можна надсилати дані з NAS або звичайного файлового сервера на GPU-сервер?
Можна підключити підтримуваний файловий сервер або середовище NAS, щоб доставляти дані на GPU-сервер. Фактичний спосіб з'єднання залежить від операційної системи, файлової системи та конфігурації мережі.
Чи можна передавати Models і Checkpoints так само, як Datasets?
Так. Можна передавати Datasets, Model Weights, Checkpoints, дані Evaluation, Results та інші файли, що використовуються чи створюються в AI-роботі.
Чи може воно обробляти великі Dataset із зображеннями або файли TB-масштабу?
INNORIX підтримує як дуже великі файли, так і великі обсяги дрібних файлів. Фактична продуктивність передавання залежить від складу файлів, API сховища, мережі та характеристик пристрою.
Чи можна автоматично збирати Checkpoints, створені на GPU-сервері?
Файли Checkpoint можна налаштувати так, щоб вони надходили в сховище за розкладом, за подією або на запит зовнішньої системи. Чи існує Checkpoint взагалі, і які файли обираються, вирішують наявна AI-система та налаштування передавання.
Чи виконує INNORIX самостійно GPU-планування або AI-тренування?
Ні. GPU-провізування, планування, тренування та AI Pipeline обробляє наявна інфраструктура. INNORIX виконує переміщення файлів, потрібне для цієї роботи.
Чи може воно інтегруватися з наявним AI-оркестратором, таким як Kubeflow?
Наявний оркестратор може запитати передавання файлу через API та перевірити результат завершення. Інтеграцію з конкретним фреймворком потрібно перевіряти на основі фактичного API та середовища виконання.
Чи можна налаштувати тренування так, щоб воно починалося після завершення передавання?
Наявний оркестратор може підтвердити результат завершення передавання і потім розпочати тренування. Прийнятий запит на передавання та фактично доставлені дані потрібно чітко розрізняти.
Що відбувається, якщо мережа переривається під час передавання Dataset?
Скористайтеся підтримуваними функціями Resume і Retry, щоб продовжити перерване передавання. Наскільки далеко може зайти відновлення, залежить від типу файлу та середовища передавання.
Чи можна використовувати це там, де GPU-сервер змінюється щоразу?
Endpoint GPU, обраний наявним планувальником, можна підключити як ціль передавання. Обробка Endpoint, що відрізняється під час виконання, детально описана на сторінці продукту Dynamic Endpoint Transfer.
Де перевірити хід виконання та результати AI Data Delivery?
Runs в INNORIX Studio показує хід передавання та результат завершення. Наявна AI-система може інтегруватися через підтримуваний API, щоб запитувати статус і результат.
Кожна з цих можливостей,на єдиній платформі.
Можливість на цій сторінці — одна з багатьох функцій передавання файлів, які пропонує INNORIX Platform. Від передавання файлів до автоматизації та єдиного керування операціями — спробуйте кожну функцію безкоштовно.
Почати безкоштовноРозглядаєте доставлення даних для AI?
Ми розглянемо налаштування передавання, потрібне для вашого наявного середовища сховища та GPU.
- Перевірка з'єднань середовища сховища та GPU
- Налаштування передавання великих Datasets
- Підключення до наявної AI Pipeline