GPU & STORAGE FILE TRANSFER
Отправьте GPU серверу нужные ему данные,
и верните результаты в хранилище.
Передавайте наборы данных и модели, хранящиеся в object storage, на NAS или в центре обработки данных, на ваши GPU серверы.
Контрольные точки и результаты, созданные во время обучения и вывода, также могут возвращаться в хранилище. Ваша существующая инфраструктура ИИ остаётся в неизменном виде, а движение файлов между хранилищем и GPU вычисления управляется на одной платформе.
AI INFRASTRUCTURE INTEGRATION
Ваша инфраструктура ИИ остаётся в неизменном виде.
INNORIX перемещает данные.
Системы, которые определяют вычисления и рабочую нагрузку в вашей инфраструктуре ИИ, остаются в точности такими же.
INNORIX доставляет наборы данных и модели между источником и целью, названными этими системами, и отправляет контрольные точки и результаты обратно в хранилище.
INNORIX не управляет планированием GPU или конвейером ИИ. Он перемещает файлы, которые решают ваши существующие системы.
STORAGE & GPU CONNECTIVITY
Один уровень передачи для пути данных
между хранилищем и GPU вычисления.
Находится ли набор данных и модель в облачном object storage, в центре обработки данных или в частном хранилище, они могут быть доставлены в среду GPU, где выполняется работа.
Данные движутся между различными облаками, регионами и локальными средами, в то время как инфраструктура хранилища и GPU остаётся в неизменном виде. Маршрут и цель устанавливаются в соответствии со средой — облачный GPU, кластер GPU в центре обработки данных или ваш собственный.
Облако в GPUObject storage в одном регионе, доставлено в кластер GPU в другом.
ИСТОЧНИКObject StorageUS West · S3
68%
1.63 ТБ из 2.4 ТБ передано
ЦЕЛЬОблачный GPUАзия · NVIDIA H100
AI DATA LIFECYCLE
От набора данных к модели, контрольной точке и результату,
одна и та же доставка данных.
Обучение ИИ начинается с получения набора данных и модели в среду GPU и продолжается сохранением контрольных точек, которые он создаёт, и сбором финального результата.
INNORIX перемещает файлы, необходимые каждому этапу, между хранилищем и среда GPU, и автоматизирует движение данных, которое повторяется. Подготовка файлов для обучения, сохранение промежуточных результатов и доставка финальных — всё подключено, поэтому передача файлов работает одинаково во всём рабочем процессе ИИ.
Запуск обучения #4821resnet-vision · gpu-cluster-01 · запущено 09:52
Набор данныхДанные обучения готовы
training-dataset.tar2.4 ТБ · 12 480 файлов
МодельМодель доставлена
foundation-model48 ГБ · 12 файлов
Обучение ИИВыполняется
Эпоха 64 / 10064%
Кластер GPU8 GPUs
Контрольная точкаСостояние обучения сохранено
checkpoint-064320 ГБ · 64 файла
РезультатРезультат собран
inference-result120 ГБ · 3 420 файлов
Контрольные точки повторяются, поэтому долгий запуск никогда не потеряется
DATA READINESS & RECOVERY
Меньше времени GPU ждёт данные,
и прерванная передача продолжается.
Данные, необходимые для обучения и вывода ИИ, варьируются от одного файла в несколько терабайт до миллионов небольших изображений и документов. INNORIX убирает нагрузку, которую создают размер и количество, с передачи и надёжно доставляет большие данные в среду GPU.
Если сеть выходит из строя или передача останавливается, то что уже завершено, сохраняется, и повторно отправляется только отсутствующая часть. Автоматическое возобновление, повторные попытки и проверка исключают ненужные повторные передачи и подтверждают, что данные, необходимые ИИ, готовы.
Большие передачи
Набор данных в несколько терабайт в одной передаче
Много небольших файлов
Миллионы файлов, обработаны надёжно
Нет потери прогресса
То, что завершено, сохраняется; повторно отправляется только остаток
Передача #4821-01Object Storage → gpu-cluster-01
2.4 ТБ из 2.4 ТБ передано
Части этой передачи
ORCHESTRATOR & API
Ваш оркестратор ИИ запускает передачу
в момент, когда она нужна.
Передача файлов подключается к вашему существующему оркестратору ИИ, планировщику и конвейеру без их изменения. Назовите файлы и цель из Kubeflow, Airflow, SLURM или собственной системы через API, и INNORIX запустит передачу и вернёт её прогресс и результат.
Ваша система ИИ планирует и запускает работу точно так, как сегодня, в то время как INNORIX обрабатывает движение файлов между кластерами GPU, облачным хранилищем и центром обработки данных. Обратные вызовы завершения и результаты запусков возвращаются в рабочий процесс, поэтому подготовка данных, обучение и сбор результатов продолжаются автоматически.
Просто подключить
Стандартный API, подключен сразу
Ничего не менять
Используется без изменения системы ИИ
Результаты, которые вы видите
Статус, журналы и обратный вызов завершения
API передачиtr_8f3a2e6b · вызывается airflow-dag-vision
- Оркестратор ИИKubeflow · Airflow · Пользовательский
- ПланировщикSLURM · PBS · LSF
- Приложение ИИОбучение · Вывод · Fine-tuning
- Высокоскоростная передача
- Возобновление и повторная попытка
- Проверка
- Кластер GPUNVIDIA H100 · A100
- Облачное хранилищеS3 · GCS · Azure Blob
- Центр обработки данныхNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
ОТВЕТJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Статус запуска
- Запрошено10:14
- Передача10:15
- Завершено10:33
- Обратный вызов отправлен10:33
UNIFIED OPERATIONS
Запускайте все передачи файлов между GPU и хранилищем
с одного экрана.
Управляйте передачами, такими как доставка набора данных, сбор контрольной точки, движение модели и сбор результатов в INNORIX Studio.
Проверьте, что выполняется и что завершено, и следите за сбоем передачи только в диапазоне, которому это нужно.
Недавние запуски
- Доставка набора данных обученияЗавершено
- Сбор контрольной точкиПередача
- Распределение моделиЗавершено
GET STARTED
Начните передачу данных для AI бесплатно.
Доставка данных AI включена в INNORIX Platform. С бесплатной подписью вы можете подключить хранилище, GPU-серверы и окружения AI вычислений и установить всё самостоятельно от доставки наборов данных для обучения и логического вывода до получения итоговых данных.
Создавайте передачи наборов данных и моделей в Studio или подключайте передачу файлов к существующему конвейеру ИИ через API.
TECHNICAL FAQ
Часто задаваемые вопросы
Могут ли файлы быть переданы между GPU сервером и object storage?
Да. Подключите поддерживаемое object storage и GPU серверы для передачи наборов данных, моделей и других файлов. Условия подключения для хранилища и GPU серверов должны быть подтверждены для вашей среды.
Может ли локальный GPU сервер быть подключен к облачному хранилищу?
Поддерживаемые локальные серверы и облачное object storage могут быть установлены как источник или цель.
Могут ли данные на NAS или обычном файловом сервере быть отправлены на GPU сервер?
Поддерживаемый файловый сервер или среда NAS может быть подключена для доставки данных на GPU сервер. Фактический метод подключения зависит от операционной системы, файловой системы и конфигурации сети.
Могут ли модели и контрольные точки быть переданы, а также наборы данных?
Да. Могут быть переданы наборы данных, веса модели, контрольные точки, данные оценки, результаты и другие файлы, используемые или созданные работой ИИ.
Может ли он обрабатывать большие наборы данных изображений или файлы масштаба ТБ?
INNORIX поддерживает как очень большие файлы, так и большое количество небольших файлов. Производительность передачи, которую вы получите, зависит от композиции файлов, API хранилища, сети и спецификаций устройства.
Могут ли контрольные точки, созданные на GPU сервере, быть собраны автоматически?
Файлы контрольной точки могут быть установлены для перехода в хранилище по расписанию, по событию или по запросу внешней системы. Существует ли контрольная точка вообще и какие файлы выбраны, решает существующая система ИИ и параметры передачи.
Выполняет ли INNORIX планирование GPU или само обучение ИИ?
Нет. Подготовка GPU, планирование, обучение и конвейер ИИ обрабатываются существующей инфраструктурой. INNORIX выполняет движение файлов, необходимое для этой работы.
Может ли он интегрироваться с существующим оркестратором ИИ, таким как Kubeflow?
Существующий оркестратор может запросить передачу файлов через API и проверить результат завершения. Интеграция с конкретной платформой должна быть пересмотрена с учётом фактического API и среды выполнения.
Может ли обучение быть настроено на запуск после завершения передачи?
Существующий оркестратор может подтвердить результат завершения передачи и затем запустить обучение. Принятый запрос передачи и фактически доставленные данные должны быть четко разделены.
Что происходит, если сеть прерывается во время передачи набора данных?
Используйте поддерживаемые функции возобновления и повторной попытки для продолжения прерванной передачи. Как далеко она может восстановиться, зависит от типа файла и среды передачи.
Может ли он использоваться, когда GPU сервер меняется каждый раз?
Конечная точка GPU, которую выбрал существующий планировщик, может быть подключена как цель передачи. Обработка конечной точки, которая отличается во время выполнения, описана подробно на странице продукта Dynamic Endpoint Transfer.
Где я проверю прогресс и результаты AI Data Delivery?
Запуски в INNORIX Studio показывают прогресс передачи и результат завершения. Существующая система ИИ может интегрироваться через поддерживаемый API для запроса состояния и результата.
Каждая из этих возможностей,на одной платформе.
Возможность на этой странице — одна из многих возможностей передачи файлов, которую предоставляет INNORIX Platform. От передачи файлов до автоматизации и объединённых операций, попробуйте каждую функцию бесплатно.
Начать бесплатноРассматриваете доставку данных для ИИ?
Мы расскажем о настройке передачи, необходимой для среды хранилища и GPU, которую вы уже запускаете.
- Проверка подключения хранилища и среды GPU
- Настройка передачи больших наборов данных
- Подключение к существующему конвейеру ИИ