大容量ファイル転送

ファイル転送

同じワークフローで大容量ファイルを最後まで転送。

大容量ファイルを定義する単一のファイルサイズはありません。500MB のファイルでも、繰り返し送信する必要がある場合や不安定なネットワーク上では、大きな転送負荷になることがあります。数十ギガバイトの動画、数百ギガバイトの研究データ、テラバイト規模の Dataset になると、転送時間と失敗後の再送コストははるかに大きくなります。

ファイル転送

大容量ファイル転送は、特定のファイルサイズではなく転送負荷から始まる。

500MB のファイルはある環境では普通でも、同じファイルをリモートサイトへ繰り返し送信したり、不安定なネットワークで転送したりすると、転送自体が運用上の負荷になることがあります。ファイルが数十〜数百ギガバイトからテラバイト規模へ大きくなるにつれ、転送時間、進捗の可視性、失敗後の再送、長距離ネットワークの利用、最終的な完了確認がますます重要になります。

したがって大容量ファイル転送とは、特定のサイズのしきい値を超えたら別の製品に切り替えるという話ではなく、ファイルサイズと運用上の要求が増すにつれて、同じアーキテクチャの中で必要な転送能力を拡張していくことです。INNORIX は、ファイルサイズだけでなく、実際の転送時間、リカバリコスト、ネットワーク状況、転送頻度にもとづいて大規模なデータ移動を運用します。

ファイル転送

元のファイルをソースからターゲットへ直接転送。

転送前に大容量ファイルを手作業で分割、圧縮し、ターゲット側で再結合、展開するのは、転送そのものに加えて準備と復元の作業を生みます。ファイルが大きくなるほど、これらの手作業は転送時間だけでなく運用手順や結果確認にも複雑さを加えます。

INNORIX では、ソース側で元のファイルを選択し、そのままターゲットへ直接転送できます。転送パスが許す場合、Control と Monitoring は Platform が担い、実際の Data Movement は必要なソースとターゲットの間で確立されるため、同じ大容量データを Intermediate Server や Shared Storage 経由で繰り返し移動させるアーキテクチャを減らせます。

ファイル転送

同じ転送の中で中断や度重なる失敗からリカバリ。

ファイルが大きいほど転送の実行時間は長くなり、何か問題が起きた際にやり直すコストも大きくなります。長距離 WAN、リモートサイト、不安定なネットワークでは、1回の転送中に接続の変化やパケットロスが何度も発生することがあります。1回の中断が完全な再送につながらないようにすることが、実際の完了時間を短縮するうえで重要です。

INNORIX は Transfer State を保持し、Resume、部分転送、Retry、Recovery を使って、すでに完了したデータにもとづき必要な地点から転送を継続できるようにします。複数回の中断は、個別の新しい転送としてではなく、1つの大容量ファイル転送を完了させる過程の一部として管理されます。

ファイル転送

ネットワークとストレージの容量を実際の大容量ファイルのスループットへ。

ネットワーク帯域が広くても、大容量ファイルの転送が利用可能な容量を十分に使い切れないことがあります。実際のスループットは、レイテンシと RTT、パケットロス、ソースストレージの読み取り性能、ターゲットストレージの書き込み性能、他のトラフィック、転送方式によって決まります。

単一のセッションでは利用可能な容量を使い切れない場合、INNORIX は Parallel Sessions と Dynamic Concurrency を適用し、ソースとターゲットの処理能力に応じて転送を運用します。単一のネットワーク数値だけを見るのではなく、ソースの読み取り → 転送処理 → ネットワーク → ターゲットの書き込みを1つの End-to-End Performance Path として扱い、実際に使用できる容量をファイルのスループットに変換します。

ファイル転送

長距離、複数ネットワーク、共有インフラ全体で転送キャパシティを運用。

同じデータセンター内での転送と、国や大陸をまたぐ転送とでは、同じ 10 Gbps のネットワークであっても実際の性能が大きく異なることがあります。距離が長くなるほど RTT とパケットロスの影響が大きくなり、単一の接続では利用可能な帯域幅をすべて使い切れないことがあります。ソースとターゲットが複数のネットワークインターフェースやパスを持つ場合は、複数の接続にまたがる容量も Data Movement に利用できます。

同時に、企業ネットワークはファイル転送専用ではありません。アプリケーション、データベース、バックアップ、ユーザートラフィックが同じネットワークを共有しており、個々の転送のピーク速度と同じくらい、全体的な容量配分と運用が重要になります。INNORIX は Parallel Transfer、Dynamic Concurrency、Queue 管理を使って、長距離や Multi-Network 環境で利用可能な容量を使いながら、既存のインフラの中で複数の転送を運用します。

ファイル転送

1つの大容量ファイルから複数の大容量転送、混在する Dataset までスケール。

大容量ファイル転送は、必ずしも単一のファイルを移動することだけを意味しません。複数のユーザーが同時に大容量ファイルを送信することもあれば、複数のサーバーが大容量の Dataset を配信することもあり、1つの Dataset に数百ギガバイトの動画と数千のメタデータファイル、大容量の Model、関連ファイルが含まれることもあります。

INNORIX は個々の大容量ファイルのスループットだけでなく、複数の転送が同時に実行される際の Queue、Concurrency、ソースとターゲットの容量も管理します。大容量と大量の両方の特性を併せ持つ Dataset では、ファイルサイズとファイル数に応じて処理を調整しながら、全体のジョブを1つの Run として管理できます。

ファイル転送

進捗、整合性、最終結果を1つの完了プロセスとして追跡。

数テラバイトのファイルを長時間かけて転送した場合、プロセスが終了したことを知るだけでは十分でないことがあります。運用担当者は、各ファイルがどこまで転送されたか、転送中に Recovery が発生したか、必要なすべてのファイルが最終的に期待どおりの結果で完了したかを知る必要があります。

INNORIX は Run と File Status によって進捗の可視性を提供し、転送中の問題は Recovery によって処理し、完了後は File Result と Receipt によって運用担当者が最終的な状態を確認できるようにします。

ファイル転送

繰り返し行われる大容量ファイル転送をオートメーションと Flow につなぐ。

大容量ファイルの転送は、一度限りの移行であることもあれば、毎日や毎週繰り返される Dataset の配信であることもあります。同じ大容量ファイル転送は、Console での手動実行だけでなく、Schedule、File Event、API、既存のワークフローからのリクエストによっても開始でき、その完了結果は次の業務プロセスへつながる必要があります。

INNORIX は On Demand と一度限りの転送、Scheduled と Event-Driven の実行、API、Flow のすべてにおいて同じ Transfer Engine を使用します。これにより、大容量ファイル転送は個別の手作業からエンタープライズのデータ移動のための再現可能な機能になります。

ファイル転送

サーバーから Object Storage、AI Compute まで同じ大容量ファイル転送を適用。

大容量ファイルはサーバー間だけを移動するわけではありません。Data Center から Cloud への移行、Object Storage から Compute へ配信される AI 用の Dataset、本社と支社間で配布されるソフトウェアやメディア、Compute から Storage へ戻される Result や Checkpoint など、ソースとターゲットの組み合わせは変わり続けます。

業界やワークロードは Media/VFX、AI、研究、医療、エンジニアリング、地理空間情報、バックアップ/アーカイブから製造業まで多岐にわたりますが、核となる要件は同じです。大容量ファイルを移動し、長時間にわたる転送を維持し、最終結果を検証することです。INNORIX は、異なるエンドポイントのタイプ全体で同じ大容量、Resume、Recovery、結果の転送モデルを適用し、同じ能力をサーバー間、Object Storage、Web、配信、AI Data Delivery にも拡張します。

ファイル転送

ファイルサイズが大きくなっても同じ転送、運用モデルを維持。

ファイルサイズやワークロードごとに別々の転送環境を構築するのではなく、大容量ファイルの転送は INNORIX Platform 上の他の Data Movement と同じ運用モデルを使用できます。起点が手動転送、Flow、API、AI Platform のいずれであっても、同じ大容量ファイル転送エンジンが使用され、運用状況と結果は Runs と Monitoring、File Status、Receipt を通じて確認できます。

10TB はファイルが「大容量」になるしきい値ではありません。これは、ファイルサイズが大きくなっても Transfer Architecture がどこまで同じ方法で対応できるかを確認する Scale Test の1つのポイントにすぎません。運用環境によっては、わずか数百メガバイトから転送の負荷が始まることもあります。特定の数値よりも重要なのは、ファイルが大きくなるにつれて同じ転送、リカバリ、運用モデルを維持できるかどうかです。

ファイル転送

ファイルサイズの増大に合わせて転送能力を拡張。

数百メガバイトの業務ファイルからテラバイト規模の Dataset まで、元のファイルをそのまま転送し、Parallel Processing で利用可能なネットワーク容量を活かし、中断後も Resume と Recovery によって同じ転送を継続します。

サーバー、Cloud、Object Storage、AI Compute 全体で同じ大容量ファイル転送を適用し、繰り返し行われる業務をオートメーションと Flow でつなぎ、Run と Receipt で最終結果を検証します。