Передача больших файлов

передача файлов

Передача больших файлов до завершения с использованием одного рабочего процесса.

Не существует единого размера файла, определяющего большой файл. Даже файл размером 500 МБ может стать значительной нагрузкой на передачу, когда его необходимо отправлять повторно или через нестабильную сеть. С видеороликами объемом в десятки гигабайт, исследовательскими данными в сотни гигабайт и наборами данных масштаба терабайт время передачи и стоимость повторной передачи после отказа становятся намного выше.

передача файлов

Large File Transfer начинается с нагрузки передачи, а не с конкретного размера файла.

Файл размером 500 МБ может быть обычным в одной среде, но повторная отправка того же файла на удаленный сайт или передача его через нестабильную сеть может превратить саму передачу в операционную нагрузку. По мере увеличения файлов от десятков или сотен гигабайт в диапазон терабайт, время передачи, видимость прогресса, повторная передача после сбоя, использование сети на больших расстояниях и проверка окончательного завершения становятся все более важными.

Поэтому Large File Transfer менее связана с переходом на другой продукт выше определенного порога размера и больше о расширении требуемых Transfer Capabilities в той же архитектуре по мере увеличения размера файла и операционных требований. INNORIX управляет крупномасштабным data movement на основе не только размера файла, но также фактической длительности передачи, стоимости восстановления, условий сети и частоты передачи.

передача файлов

Передача исходного файла напрямую от источника к цели.

Ручное разделение или сжатие большого файла перед передачей, а затем его переассемблирование или распаковка на целевом устройстве создает подготовительные и восстановительные работы, выходящие за рамки самой передачи. По мере увеличения размера файлов эти ручные шаги добавляют сложность не только ко времени передачи, но также к операционным процедурам и проверке результатов.

INNORIX позволяет выбрать исходный файл на источнике и передать его напрямую на целевое устройство. Где путь передачи позволяет, Control и Monitoring осуществляются Platform, в то время как фактическое Data Movement устанавливается между требуемым Source и Target, сокращая архитектуры, которые повторно перемещают одни и те же большие данные через Intermediate Server или Shared Storage.

передача файлов

Восстановление прерываний и повторяющихся отказов в рамках одной передачи.

Чем больше файл, тем дольше может работать передача и тем выше стоимость начала заново, когда что-то пойдет не так. Через WAN на больших расстояниях, удаленные сайты и нестабильные сети, изменения соединения или потеря пакетов могут происходить несколько раз во время одной передачи. Предотвращение превращения одного прерывания в полную повторную передачу имеет решающее значение для сокращения фактического времени завершения.

INNORIX поддерживает Transfer State и использует Resume, Partial Transfer, Retry и Recovery, чтобы передача могла продолжиться с требуемой точки на основе данных, которые уже были завершены. Несколько прерываний управляются как часть процесса завершения одной large-file transfer, а не как отдельные новые передачи.

передача файлов

Превратить емкость сети и хранилища в фактическую пропускную способность больших файлов.

Даже при высокой пропускной способности сети передача большого файла может не использовать всю доступную емкость. Фактическая пропускная способность определяется латентностью и RTT, потерей пакетов, производительностью чтения исходного хранилища, производительностью записи целевого хранилища, другим трафиком и методом передачи.

Когда один сеанс не может использовать всю доступную емкость, INNORIX применяет Parallel Sessions и Dynamic Concurrency и управляет передачей в соответствии с возможностями обработки источника и цели. Вместо того, чтобы смотреть на одно сетевое число, он рассматривает Source Read → Transfer Processing → Network → Target Write как один End-to-End Performance Path и превращает емкость, которая может быть использована, в File Throughput.

передача файлов

Работа с емкостью передачи на больших расстояниях, несколько сетей и общей инфраструктуры.

Фактическая производительность может существенно различаться между передачами внутри одного центра обработки данных и передачами между странами или континентами, даже в одной и той же сети 10 Gbps. По мере увеличения расстояния RTT и потеря пакетов оказывают большее влияние, и одно соединение может с трудом использовать всю доступную пропускную способность. Когда источник и цель имеют несколько сетевых интерфейсов или путей, емкость через несколько соединений также может использоваться для Data Movement.

В то же время корпоративные сети не используются исключительно для передачи файлов. Приложения, базы данных, резервные копии и трафик пользователей используют одну и ту же сеть, что делает общее распределение емкости и операции столь же важными, как пиковая скорость отдельной передачи. INNORIX использует Parallel Transfer, Dynamic Concurrency и Queue management, чтобы использовать доступную емкость в среде дальних и мультисетевых передач, одновременно осуществляя несколько передач в пределах существующей инфраструктуры.

передача файлов

Масштабирование от одного большого файла к несколько крупным передачам и смешанным наборам данных.

Large File Transfer не всегда означает перемещение одного файла. Несколько пользователей могут отправлять большие файлы одновременно, несколько серверов могут доставлять большие наборы данных, или один набор данных может содержать сотни гигабайт видео вместе с тысячами файлов метаданных, большими моделями и вспомогательными файлами.

INNORIX управляет не только пропускной способностью отдельного большого файла, но также Queue, Concurrency и Source и Target Capacity, когда несколько передач работают одновременно. Для наборов данных, которые объединяют Large File и High-Volume характеристики, обработка может быть адаптирована к размеру файла и количеству файлов, пока весь job управляется как один Run.

передача файлов

Отслеживание прогресса, целостности и окончательных результатов как одного процесса завершения.

Когда файл объемом в несколько терабайт передавался в течение длительного периода, простого знания того, что процесс завершился, может быть недостаточно. Операторы должны знать, как далеко был передан каждый файл, произошло ли восстановление во время передачи и завершены ли все требуемые файлы с ожидаемым результатом.

INNORIX обеспечивает видимость прогресса через Run и File Status, обрабатывает проблемы во время передачи через Recovery и позволяет операторам проверить окончательное состояние через File Result и Receipt после завершения.

передача файлов

Подключение повторяющихся передач больших файлов к автоматизация и Flow.

Large-file transfer может быть одноразовой миграцией или доставкой набора данных, повторяемой каждый день или каждую неделю. Один и тот же Large File Transfer должен быть способен запускаться не только через ручное выполнение в Console, но также через Schedule, File Event, API или запрос из существующего workflow, с его результатом завершения, подключенным к следующему бизнес-процессу.

INNORIX использует один и тот же механизм передачи для выполнения по запросу и разовых передач, запланированного и событийного выполнения, API и Flow. Благодаря этому передача больших файлов превращается из отдельной ручной задачи в повторяемую возможность для перемещения данных в масштабе предприятия.

передача файлов

Применение одной и той же передачи больших файлов от серверов к Object Storage и AI Compute.

Большие файлы перемещаются не только между серверами. Комбинации Source и Target продолжают меняться на миграции Data Center to Cloud, доставке AI datasets из Object Storage на Compute, распределении программного обеспечения и СМИ между штаб-квартирой и филиалами, а также возврате Results и Checkpoints из Compute в Storage.

Отрасли и рабочие нагрузки могут варьироваться от Media/VFX, AI, Research, Healthcare, Engineering, Geospatial и Backup/Archive до Manufacturing, но основные требования остаются прежними: перемещение больших файлов, поддержание long-running transfers и проверка окончательного результата. INNORIX применяет одну и ту же Large File, Resume, Recovery и Result Transfer Model в различных типах конечных точек и расширяет одну и ту же возможность на Server-to-Server, Object Storage, Web, Distribution и AI Data Delivery.

передача файлов

Сохранение одной и той же Transfer и Operation Model по мере увеличения размера файла.

Вместо того чтобы создавать отдельную среду передачи для каждого размера файла или рабочей нагрузки, передача больших файлов может использовать ту же операционную модель, что и другие перемещения данных на INNORIX Platform. Независимо от того, что служит отправной точкой — ручная передача, Flow, API или AI-платформа, — используется один и тот же механизм передачи больших файлов, а рабочий статус и результаты остаются видимыми через Runs, Мониторинг, статус файлов и квитанцию.

10 TB не является порогом, выше которого файл становится "large". Это одна точка в Scale Test, используемая для проверки того, насколько далеко Transfer Architecture может справляться с растущими размерами файлов одним и тем же способом. В зависимости от операционной среды, transfer burden может начаться уже при нескольких сотнях мегабайт. Что имеет большее значение, чем конкретное число, - это способна ли одна и та же Transfer, Recovery и Operation Model поддерживаться по мере увеличения файлов.

передача файлов

Расширение Transfer Capability по мере увеличения размера файла.

Передача исходных файлов как они есть от деловых файлов размером в сотни мегабайт до наборов данных масштаба терабайт, используйте параллельную обработку в своих интересах доступной емкости сети и продолжайте одну и ту же передачу после прерываний через Resume и Recovery.

Применение одной и той же Large File Transfer на серверов, Cloud, Object Storage и AI Compute, подключение повторяющейся работы через автоматизация и Flow, и проверка окончательных результатов через Run и Receipt.