Высокообъёмная передача файлов

Передача файлов

Обрабатывайте огромное количество файлов быстро как одну передачу.

Даже когда общее количество данных одинаково, характер передачи полностью меняется по мере увеличения количества файлов. Один файл размером 100 Гб и один миллион файлов размером 100 КБ могут содержать похожее количество данных, но при наличии множества маленьких файлов не только пропускная способность сети, но и обнаружение файлов, операции открытия/закрытия, метаданные, обработка каталогов, обработка очереди, ввод-вывод файловой системы и отдельные результаты передачи имеют основное влияние на общее время обработки.

Передача файлов

По мере увеличения количества файлов, общая обработка файлов имеет большее значение, чем одна скорость сети.

Передача больших файлов и высокообъёмная передача файлов решают разные проблемы. Один большой файл сильно зависит от пропускной способности по долгому потоку данных и возобновления в точке прерывания. Однако при наличии множества маленьких файлов система повторно обнаруживает, открывает, читает, передаёт, создаёт в цели, закрывает и записывает результат для каждого отдельного файла. По мере увеличения количества файлов накопленная стоимость этих небольших операций может определять общее время передачи.

Для высокообъёмной передачи, поэтому просто увеличение Гбит/с менее важно, чем увеличение устойчивой ёмкости обработки всего конвейера обработки файлов, включая исходную файловую систему, обработку каталогов и метаданных, очередь передачи, написание целей и результат файла. INNORIX управляет передачей сети и обработкой файлов как одной высокообъёмной задачей, а не рассматривая их отдельно.

Передача файлов

Обрабатывайте всё от обнаружения к окончательному результату как один конвейер высокообъёма.

Высокообъёмная передача файлов начинается до того, как первый байт будет отправлен. Система должна обнаружить, какие файлы существуют в источнике, выбрать требуемый набор файлов для задачи, обработать информацию о каталогах и метаданных и поместить работу в очередь до начала фактического движения данных. В цели создание файлов, написание, закрытие и запись результатов также повторяются для каждого файла.

INNORIX не оставляет эти шаги как отдельные предварительно и после передачи операции. Он управляет полным конвейером обнаружить → фильтр/выбрать → очередь → передать → проверить → результат файла. Это позволяет операторам видеть не только ход сети, но и то, сколько всего набора данных было обнаружено и обработано, какие файлы завершены и какие остаются, всё в контексте одной передачи.

Передача файлов

Обрабатывайте файлы параллельно, сохраняя исходную структуру файлов и каталогов.

Связывание множества маленьких файлов в один архив может упростить саму передачу. Но когда архивирование становится дополнительным этапом передачи, файлы должны быть сначала упакованы или сжаты в источнике, затем извлечены в цели, а затем проверка результата. В исследованиях, машинном зрении, медиа и пакетах программного обеспечения, где сама структура каталогов несёт смысл в наборе данных, это может стать отдельной операционной задачей.

INNORIX сохраняет исходные связи файлов и каталогов при обработке нескольких файлов параллельно через управление очередью и динамический параллелизм. Это снижает накопленную задержку отправки файлов последовательно один за другим, в то время как избегая предположения, что открытие максимально возможного количества файлов сразу всегда лучше. Вместо этого параллелизм работает для полного и надёжного завершения всего набора данных.

Передача файлов

Поддерживайте устойчивую обработку в пределах ёмкости источника и целей.

Постоянное увеличение параллелизма не всегда делает высокообъёмную передачу быстрее. Чтение исходной файловой системы и обработка метаданных, одновременные записи хранилища целей, ввод-вывод диска и сетевые ресурсы могут быть общими с другими рабочими нагрузками. Чрезмерный параллелизм может сосредоточить давление на очередь и хранилище.

INNORIX управляет всей задачей через элементы управления очередью и параллелизмом и регулирует параллельную обработку в соответствии с условиями источника, целей и сети. Цель — не запускать максимально возможное количество файлов одновременно, а поддерживать устойчивую скорость обработки файлов в пределах ёмкости текущей инфраструктуры при завершении всего набора данных.

Передача файлов

Сохраняйте отдельные результаты для миллионов файлов и восстанавливайте только то, что необходимо.

В высокообъёмной передаче общий ход выполнения и средний процент успеха могут не сказать вам, завершена ли фактически задача. Если 1 284 389 из 1 284 392 файлов были доставлены, процент успеха может выглядеть чрезвычайно высоким, но операционно более важно знать, какие три файла потерпели неудачу и могут ли они быть обработаны снова.

INNORIX поддерживает отдельный статус файлов вместе с общим запуском. Завершённые результаты сохраняются, прерванные передачи возобновляются, и только требуемые файлы в состояниях сбоя или частичного выполнения избирательно повторяются. Это делает восстановление процессом определения файлов, которые ещё не завершены, и завершения окончательного набора данных, а не повторным запуском всего набора данных.

Передача файлов

Проверьте полную доставку требуемого набора данных, а не просто высокий процент успеха.

Когда количество файлов невелико, разница между 99,99% и 100% может показаться незначительной. Однако в крупном масштабе даже небольшой процент представляет значительное количество фактических файлов. 0,01% одного миллиона файлов — это 100 файлов, а 0,01% 100 миллионов файлов — это 10 000 файлов. Для высокообъёмной передачи средний процент успеха поэтому недостаточно для определения завершения задачи.

INNORIX показывает общий ход выполнения в запуске, определяет неудачную область через статус файла и проверяет окончательный результат через подтверждение после повторного подключения и восстановления. Стандарт завершения для высокообъёмной передачи — это не просто высокий процент успеха, а является ли требуемый бизнесом набор файлов действительно завершён от начала до конца и его результат можно проверить.

Передача файлов

Доставьте требуемый набор файлов с сохранённой структурой каталогов и фильтрами.

Высокообъёмный набор данных — это часто больше, чем простой список файлов. Сама структура каталогов может быть частью данных. В наборах данных исследований, машинном зрении, медиа-проектах и пакетах программного обеспечения связи исходных каталогов могут должны оставаться неповрежденными в цели, чтобы нижестоящие системы могли немедленно использовать данные.

В то же время наличие миллионов файлов в источнике не означает, что каждый файл должен всегда быть перемещён. INNORIX выбирает цели передачи по имени файла, расширению, каталогу и необходимым условиям, сохраняя исходные связи файлов и каталогов. Это делает возможным выбрать требуемый для задачи набор файлов на уровне набора данных и доставить его в его исходной структуре вместо дублирования всего источника.

Передача файлов

Расширьте одноразовые наборы данных в непрерывные потоки данных.

Высокообъёмные данные часто создаются непрерывно, а не один раз. Изображения машинного зрения, журналы, данные датчиков, результаты исследований и медиа-активы создают новые файлы каждый день или непрерывно, поэтому данные, созданные после начальной миграции, могут потребовать повторной доставки через один и тот же путь передачи.

INNORIX начинает с одноразового набора данных и подключает передачу расписания, событие файла, API и внешние запросы к одной и той же модели потока. Новые файлы могут быть отфильтрованы, обработаны через высокообъёмную передачу, и их результаты завершения переданы на следующий поток или обратный вызов, расширяя ту же передачу от одноразового большого перемещения в непрерывную доставку данных.

Передача файлов

Примените одну и ту же высокообъёмную передачу к сбору из нескольких источников и распределению по нескольким целям.

Большое количество файлов не всегда создаётся на одном сервере. Данные могут производиться одновременно по фабрикам, филиалам, устройствам и серверам обработки. Наоборот, один набор изображений, пакет программного обеспечения или медиа-актив могут потребовать распределения на несколько серверов или окружений вычислений.

INNORIX подключает высокообъёмную передачу к сбору N:1 и распределению 1:N. При сборе она сохраняет связи файлов и путей для каждого источника, показывая, сколько было собрано из каждого источника и какие файлы остаются. При распределении она управляет ходом выполнения и результатами файлов для каждой цели. Это позволяет обработке файлов высокообъёмного уровня и критериям завершения целевого уровня распределения и сбора работать вместе.

Передача файлов

Примените одну и ту же операционную модель высокообъёма для серверов, файлового хранилища и object storage.

Массовое количество файлов не ограничивается одним сервером или файловой системой. Высокообъёмные данные могут существовать по общему файловому хранилищу, object storage, облаку, центрам обработки данных, филиалам и фабрикам. В object storage большое количество объектов перечисляется и фильтруется перед обработкой через очередь и параллельную передачу, вместо того чтобы обрабатываться как файлы файловой системы.

Методы обнаружения и доступа отличаются по типу хранилища, но операционно одна и та же модель высокообъёма может быть применена к всей задаче, отдельным результатам файлов или объектов, повторному подключению и окончательному состоянию завершения. Где бы ни находились данные, обнаружение, очередь, параллельная обработка, восстановление и результат подключены через одну архитектуру передачи.

Передача файлов

Подключите непрерывное высокообъёмное движение для ИИ и машинно-созданных данных.

ИИ и машинно-созданные данные являются репрезентативной окружением для высокообъёмной передачи. Машинное зрение производит огромное количество файлов изображений, наборы данных обучения ИИ могут содержать большие коллекции изображений и меток, и в автономных системах, датчиках, исследованиях и цифровой патологии, скорость генерации файлов и общее количество файлов напрямую влияют на архитектуру передачи.

INNORIX применяет высокообъёмную передачу к этим профилям данных и подключает её при необходимости к доставке данных ИИ, сбору и автоматизированной передаче. Сама высокообъёмная передача сосредоточена на обнаружении, обработке и восстановлении большого количества файлов до завершения результата, в то время как доставка данных на вычисления, сбор и распределение по нескольким конечным точкам и автоматизация выполнения объединены через соответствующие возможности передачи.

Передача файлов

Видьте всё от всего набора данных вниз к отдельному файлу в одном запуске.

По мере увеличения количества файлов прямая проверка журналов на отдельных серверах больше недостаточна для понимания всей задачи. Операторам нужно видеть, сколько полного набора данных было обработано в первую очередь, углубиться на очередь и неудачные файлы при необходимости и затем определить окончательное состояние завершения после восстановления.

INNORIX показывает общее состояние передачи и количество обработанных файлов в запуске, предоставляет отдельные результаты через статус файла, обрабатывает оставшуюся работу через очередь и повторное подключение и подтверждает окончательный результат через подтверждение. Это обеспечивает операционную структуру, которая рассматривает миллионы файлов как одну задачу, в то время позволяя операторам углубиться на индивидуальный уровень файла при необходимости.

Передача файлов

100 миллионов файлов — это точка проверки масштаба, а не определение высокого объёма.

Точка, в которой высокообъёмная передача становится необходимой, не определяется конкретным количеством файлов. Существующие рабочие процессы могут замедляться только с тысячами файлов, в то время как наборы данных и машинные данные могут расти в миллионы или десятки миллионов. Важный вопрос — не сколько файлов соответствуют «высокому объёму», а может ли обнаружение, передача, восстановление и результат продолжать обрабатываться и управляться так же, как количество файлов увеличивается.

100 миллионов файлов не означает, что каждый клиент должен работать в этом масштабе. Это одна точка в тесте масштаба, используемом для проверки того, может ли архитектура высокообъёмной передачи INNORIX обработать рост фактических количеств файлов. Ценность продукта заключается не в самом числе, а в поддержании одной и той же модели передачи от маленьких пакетов к непрерывно созданным крупномасштабным наборам данных.

Передача файлов

Управляйте тысячами до 100 миллионов файлов как одной высокообъёмной передачей.

Вместо преобразования большого количества файлов в отдельный рабочий процесс архива только для передачи, сохраните исходную структуру файлов и каталогов и обрабатывайте их через обнаружение, очередь и параллельную обработку. Поддерживайте устойчивую пропускную способность в соответствии с ёмкостью источника и целей, и когда отдельные файлы сталкиваются с проблемами, обрабатывайте только требуемую область на основе результатов на уровне файлов.

Начните с одноразового набора данных и применяйте одну и ту же модель высокообъёмной передачи к повторяющимся потокам данных, сбору и распределению, object storage и данным ИИ и машин. От всего запуска вниз к отдельным файлам и окончательному подтверждению, управляйте всем в пределах одной последовательной структуры.