GPU & STORAGE FILE TRANSFER
GPUサーバーが必要とするデータを送り、
結果をストレージへ戻す。
オブジェクトストレージ、NAS、データセンターにあるデータセットとモデルをGPUサーバーへ転送します。
トレーニングと推論の際に生成されるチェックポイントと結果も、ストレージへ戻すことができます。既存のAIインフラはそのままに、ストレージとGPUコンピューティング間のファイル移動を一つのプラットフォームで管理します。
AI INFRASTRUCTURE INTEGRATION
AIインフラはそのまま。
INNORIXがデータを動かす。
AIインフラの中でコンピューティングとワークロードを決定するシステムは、これまでと変わりません。
INNORIXはそれらのシステムが指定したソースとターゲットの間でデータセットとモデルを配信し、チェックポイントと結果をストレージへ送り返します。
INNORIXはGPUスケジューリングやAIパイプラインを管理しません。既存のシステムが決定したファイルを移動させます。
STORAGE & GPU CONNECTIVITY
ストレージとGPUコンピューティングの間の
データパスを一つの転送レイヤーで。
データセットとモデルがクラウドのオブジェクトストレージ、データセンター、プライベートストレージのいずれにあっても、処理が実行されるGPU環境へ配信できます。
ストレージとGPUインフラをそのまま維持しつつ、異なるクラウド、リージョン、オンプレミス環境の間でデータが移動します。ルートとターゲットは、クラウドGPU、データセンターのGPUクラスター、自社環境など、それぞれの環境に合わせて設定されます。
クラウド → GPUあるリージョンのオブジェクトストレージから、別のリージョンのGPUクラスターへ配信。
ソースオブジェクトストレージUS West, S3
68%
1.63 TB / 2.4 TB 転送済み
ターゲットクラウドGPUAsia, NVIDIA H100
AI DATA LIFECYCLE
データセットからモデル、チェックポイント、結果まで、
同じデータ配信で。
AIトレーニングは、データセットとモデルをGPU環境に取り込むところから始まり、生成されたチェックポイントの保存、最終結果の収集まで続きます。
INNORIXは各ステージが必要とするファイルをストレージとGPU環境の間で移動し、繰り返し発生するデータ移動を自動化します。トレーニング用ファイルの準備、中間結果の保持、最終結果の配信がすべてつながっているため、AIワークフロー全体でファイル転送が同じ仕組みで動きます。
トレーニング実行 #4821resnet-vision, gpu-cluster-01, 09:52 開始
Datasetトレーニングデータ準備完了
training-dataset.tar2.4 TB, 12,480 ファイル
モデルモデル配信完了
foundation-model48 GB, 12 ファイル
AIトレーニング実行中
エポック 64 / 10064%
GPUクラスターGPU 8台
チェックポイントトレーニング状態を保存
checkpoint-064320 GB, 64 ファイル
結果結果収集完了
inference-result120 GB, 3,420 ファイル
チェックポイントが繰り返されるので、長時間のトレーニングも失われません
DATA READINESS & RECOVERY
GPUがデータを待つ時間を減らし、
中断した転送は続きから再開する。
AIのトレーニングと推論が必要とするデータは、数テラバイトに及ぶ単一ファイルから、数百万件の小さな画像やドキュメントまでさまざまです。INNORIXはそのサイズと件数が転送にかける負荷を取り除き、大容量データをGPU環境へ確実に届けます。
ネットワークに障害が起きたり転送が停止したりしても、完了済みの部分は保持され、不足している部分だけが再送されます。自動再開、リトライ、検証によって不要な再転送を避け、AIが必要とするデータが準備できたことを確認します。
大容量転送
1回の転送でテラバイト規模のDatasetを処理
多数の小さなファイル
数百万件のファイルも確実に処理
進捗を失わない
完了した部分は保持され、残りだけを再送
転送 #4821-01Object Storage → gpu-cluster-01
2.4 TB / 2.4 TB 転送済み
この転送のパート
ORCHESTRATOR & API
AIオーケストレーターが必要な瞬間に
転送を実行する。
ファイル転送は、既存のAIオーケストレーター、スケジューラー、パイプラインを変更せずに接続できます。Kubeflow、Airflow、SLURM、あるいは独自システムからAPIを通じてファイルとターゲットを指定すれば、INNORIXが転送を実行し、進捗と結果を返します。
AIシステムはこれまでと同じようにスケジューリングと実行を行い、INNORIXはGPUクラスター、クラウドストレージ、データセンターの間のファイル移動を担います。完了コールバックと実行結果がワークフローへ返されるため、データ準備、トレーニング、結果収集が自動的に続きます。
簡単に接続できる
標準APIで、すぐに接続
変更の必要なし
AIシステムに手を加えずに利用
見える結果
状態、ログ、完了コールバック
転送APItr_8f3a2e6b, airflow-dag-vision から呼び出し
- AIオーケストレーターKubeflow, Airflow, カスタム
- スケジューラーSLURM, PBS, LSF
- AIアプリケーショントレーニング, 推論, ファインチューニング
- 高速転送
- 再開とリトライ
- 検証
- GPUクラスターNVIDIA H100, A100
- クラウドストレージS3, GCS, Azure Blob
- データセンターNAS, オブジェクトストレージ
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
RESPONSEJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Runの状態
- リクエスト済み10:14
- 転送中10:15
- 完了10:33
- コールバック送信済み10:33
UNIFIED OPERATIONS
GPUとストレージ間のすべてのファイル転送を
一つの画面で。
データセット配信、チェックポイント収集、モデル移動、結果収集といった異なる転送を、INNORIX Studioで管理します。
実行中のものと完了したものを確認し、失敗した転送は必要な範囲だけを追跡して対応できます。
最近のRun
- トレーニングDataset配信完了
- チェックポイント収集転送中
- モデル配布完了
GET STARTED
GPUサーバーとストレージ間の転送を始める。
オブジェクトストレージ、NAS、オンプレミスストレージをGPUサーバーに接続します。
Studioでデータセットとモデルの転送を構成するか、APIを通じて既存のAIパイプラインにファイル転送を接続します。
TECHNICAL FAQ
よくあるご質問
GPUサーバーとオブジェクトストレージの間でファイルを転送できますか?
はい。対応するオブジェクトストレージとGPUサーバーを接続し、データセット、モデル、その他のファイルを転送できます。ストレージとGPUサーバーの接続条件は、お使いの環境に合わせて確認する必要があります。
オンプレミスのGPUサーバーをクラウドストレージに接続できますか?
対応するオンプレミスサーバーとクラウドのオブジェクトストレージを、ソースまたはターゲットとして設定できます。
NASや一般的なファイルサーバー上のデータをGPUサーバーへ送れますか?
対応するファイルサーバーやNAS環境を接続し、GPUサーバーへデータを配信できます。実際の接続方法はオペレーティングシステム、ファイルシステム、ネットワーク構成によって異なります。
データセットだけでなく、モデルやチェックポイントも転送できますか?
はい。AIの作業で使用または生成されるデータセット、モデルの重み、チェックポイント、評価データ、結果などのファイルを転送できます。
大容量の画像データセットやTB規模のファイルにも対応できますか?
INNORIXは非常に大きな単一ファイルと、数が多い小さなファイルの両方に対応しています。実際の転送性能は、ファイル構成、ストレージAPI、ネットワーク、デバイスの仕様によって変わります。
GPUサーバーで生成されたチェックポイントを自動的に収集できますか?
チェックポイントファイルは、スケジュール、イベント、または外部システムからの要求に応じてストレージへ送られるように設定できます。チェックポイントが実際に存在するかどうか、どのファイルを選択するかは、既存のAIシステムと転送設定によって決まります。
INNORIXはGPUスケジューリングやAIトレーニング自体も行いますか?
いいえ。GPUプロビジョニング、スケジューリング、トレーニング、AIパイプラインは既存のインフラが担います。INNORIXはその作業に必要なファイル移動を行います。
Kubeflowのような既存のAIオーケストレーターと連携できますか?
既存のオーケストレーターはAPIを通じてファイル転送を要求し、完了結果を確認できます。特定のフレームワークとの連携については、実際のAPIと実行環境に基づいて確認する必要があります。
転送が完了した時点でトレーニングを開始するように設定できますか?
既存のオーケストレーターは転送の完了結果を確認した上でトレーニングを開始できます。転送要求が受け付けられたことと、データが実際に届いたことは区別して扱う必要があります。
データセット転送中にネットワークが中断した場合はどうなりますか?
対応するResumeとRetry機能を使って、中断した転送を継続できます。どこまでリカバリできるかは、ファイルの種類と転送環境によって異なります。
GPUサーバーが毎回変わる環境でも使用できますか?
既存のスケジューラーが選択したGPUエンドポイントを、転送先として接続できます。実行時に変化するエンドポイントの扱いについては、Dynamic Endpoint Transferの製品ページで詳しく説明しています。
AI Data Deliveryの進捗と結果はどこで確認できますか?
INNORIX StudioのRunsで転送の進捗と完了結果を確認できます。既存のAIシステムは、対応するAPIを通じて状態と結果を照会することもできます。
これらすべての機能が、1つのプラットフォームに。
このページで紹介した機能は、INNORIX Platformが提供する 数多くのファイル転送機能の1つです。 ファイル転送から自動化、一元的な運用まで、すべての機能を無料で試せます。
無料で始めるAI向けのデータ配信を検討していますか?
すでに運用されているストレージとGPU環境に合わせて、必要な転送設定を一緒に確認します。
- ストレージとGPU環境の接続状況の確認
- 大容量データセット転送の設定
- 既存のAIパイプラインとの接続