GPU & STORAGE FILE TRANSFER

GPUサーバーが必要とするデータを送り、
結果をストレージへ戻す。

オブジェクトストレージ、NAS、データセンターにあるデータセットとモデルをGPUサーバーへ転送します。

トレーニングと推論の際に生成されるチェックポイントと結果も、ストレージへ戻すことができます。既存のAIインフラはそのままに、ストレージとGPUコンピューティング間のファイル移動を一つのプラットフォームで管理します。

AI INFRASTRUCTURE INTEGRATION

AIインフラはそのまま。
INNORIXがデータを動かす。

AIインフラの中でコンピューティングとワークロードを決定するシステムは、これまでと変わりません。

INNORIXはそれらのシステムが指定したソースとターゲットの間でデータセットとモデルを配信し、チェックポイントと結果をストレージへ送り返します。

お客様のAIインフラINNORIX
GPUプロビジョニングDatasetとモデルの配信
ワークロードのスケジューリングファイル転送そのもの
トレーニングと評価のパイプラインチェックポイントと結果の送信
Artifactのメタデータとリネージ転送状態と結果

INNORIXはGPUスケジューリングやAIパイプラインを管理しません。既存のシステムが決定したファイルを移動させます。

STORAGE & GPU CONNECTIVITY

ストレージとGPUコンピューティングの間の
データパスを一つの転送レイヤーで。

データセットとモデルがクラウドのオブジェクトストレージ、データセンター、プライベートストレージのいずれにあっても、処理が実行されるGPU環境へ配信できます。

ストレージとGPUインフラをそのまま維持しつつ、異なるクラウド、リージョン、オンプレミス環境の間でデータが移動します。ルートとターゲットは、クラウドGPU、データセンターのGPUクラスター、自社環境など、それぞれの環境に合わせて設定されます。

クラウド → GPUあるリージョンのオブジェクトストレージから、別のリージョンのGPUクラスターへ配信。

接続済み

ソースオブジェクトストレージUS West, S3

training-dataset2.4 TB
foundation-model48 GB
image-dataset820 GB
auxiliary-data12 GB
転送中

68%

1.63 TB / 2.4 TB 転送済み

ターゲットクラウドGPUAsia, NVIDIA H100

NVIDIA H100利用可能
NVIDIA A100利用可能
NVIDIA L40S利用可能
NVIDIA L4利用可能
training-dataset.tar2.4 TB, 12,480 ファイル転送中
68%

1.63 TB / 2.4 TB 転送済み

AI DATA LIFECYCLE

データセットからモデル、チェックポイント、結果まで、
同じデータ配信で。

AIトレーニングは、データセットとモデルをGPU環境に取り込むところから始まり、生成されたチェックポイントの保存、最終結果の収集まで続きます。

INNORIXは各ステージが必要とするファイルをストレージとGPU環境の間で移動し、繰り返し発生するデータ移動を自動化します。トレーニング用ファイルの準備、中間結果の保持、最終結果の配信がすべてつながっているため、AIワークフロー全体でファイル転送が同じ仕組みで動きます。

トレーニング実行 #4821resnet-vision, gpu-cluster-01, 09:52 開始

  1. Datasetトレーニングデータ準備完了

    training-dataset.tar2.4 TB, 12,480 ファイル

  2. モデルモデル配信完了

    foundation-model48 GB, 12 ファイル

  3. AIトレーニング実行中

    エポック 64 / 10064%

    GPUクラスターGPU 8台

  4. チェックポイントトレーニング状態を保存

    checkpoint-064320 GB, 64 ファイル

  5. 結果結果収集完了

    inference-result120 GB, 3,420 ファイル

チェックポイントが繰り返されるので、長時間のトレーニングも失われません

training-dataset.tar2.4 TB, 12,480 ファイルオブジェクトストレージGPUクラスター完了100%

DATA READINESS & RECOVERY

GPUがデータを待つ時間を減らし、
中断した転送は続きから再開する。

AIのトレーニングと推論が必要とするデータは、数テラバイトに及ぶ単一ファイルから、数百万件の小さな画像やドキュメントまでさまざまです。INNORIXはそのサイズと件数が転送にかける負荷を取り除き、大容量データをGPU環境へ確実に届けます。

ネットワークに障害が起きたり転送が停止したりしても、完了済みの部分は保持され、不足している部分だけが再送されます。自動再開、リトライ、検証によって不要な再転送を避け、AIが必要とするデータが準備できたことを確認します。

  • 大容量転送

    1回の転送でテラバイト規模のDatasetを処理

  • 多数の小さなファイル

    数百万件のファイルも確実に処理

  • 進捗を失わない

    完了した部分は保持され、残りだけを再送

転送 #4821-01Object Storage → gpu-cluster-01

training-dataset.tar2.4 TB, 12,480 ファイル完了
100%

2.4 TB / 2.4 TB 転送済み

この転送のパート

パート 0001–40001.01 TB完了
パート 4001–80000.67 TB完了
パート 8001–124800.72 TB完了
  • 完了したデータを保持停止後に再送されない
  • 自動再開接続が復旧すれば継続
  • 検証済みで欠損なし転送後にデータを検証

ORCHESTRATOR & API

AIオーケストレーターが必要な瞬間に
転送を実行する。

ファイル転送は、既存のAIオーケストレーター、スケジューラー、パイプラインを変更せずに接続できます。Kubeflow、Airflow、SLURM、あるいは独自システムからAPIを通じてファイルとターゲットを指定すれば、INNORIXが転送を実行し、進捗と結果を返します。

AIシステムはこれまでと同じようにスケジューリングと実行を行い、INNORIXはGPUクラスター、クラウドストレージ、データセンターの間のファイル移動を担います。完了コールバックと実行結果がワークフローへ返されるため、データ準備、トレーニング、結果収集が自動的に続きます。

  • 簡単に接続できる

    標準APIで、すぐに接続

  • 変更の必要なし

    AIシステムに手を加えずに利用

  • 見える結果

    状態、ログ、完了コールバック

転送APItr_8f3a2e6b, airflow-dag-vision から呼び出し

コールバック送信済み
  • AIオーケストレーターKubeflow, Airflow, カスタム
  • スケジューラーSLURM, PBS, LSF
  • AIアプリケーショントレーニング, 推論, ファインチューニング
INNORIX転送を実行
  • 高速転送
  • 再開とリトライ
  • 検証
  • GPUクラスターNVIDIA H100, A100
  • クラウドストレージS3, GCS, Azure Blob
  • データセンターNAS, オブジェクトストレージ

POST/api/v1/transferscURL

1{2  "source": "s3://training-dataset",3  "target": "gpu-cluster-01",4  "files": "dataset/*.tar",5  "callback": "https://ai.company.com/webhook"6}

RESPONSEJSON

1{2  "transferId": "tr_8f3a2e6b",3  "status": "completed",4  "files": "12,480",5  "size": "2.4 TB",6  "progress": "100%",7  "callback": "delivered"8}

Runの状態

  1. リクエスト済み10:14
  2. 転送中10:15
  3. 完了10:33
  4. コールバック送信済み10:33

UNIFIED OPERATIONS

GPUとストレージ間のすべてのファイル転送を
一つの画面で。

データセット配信、チェックポイント収集、モデル移動、結果収集といった異なる転送を、INNORIX Studioで管理します。

実行中のものと完了したものを確認し、失敗した転送は必要な範囲だけを追跡して対応できます。

最近のRun

  • トレーニングDataset配信完了
  • チェックポイント収集転送中
  • モデル配布完了

GET STARTED

GPUサーバーとストレージ間の転送を始める。

オブジェクトストレージ、NAS、オンプレミスストレージをGPUサーバーに接続します。

Studioでデータセットとモデルの転送を構成するか、APIを通じて既存のAIパイプラインにファイル転送を接続します。

TECHNICAL FAQ

よくあるご質問

GPUサーバーとオブジェクトストレージの間でファイルを転送できますか?

はい。対応するオブジェクトストレージとGPUサーバーを接続し、データセット、モデル、その他のファイルを転送できます。ストレージとGPUサーバーの接続条件は、お使いの環境に合わせて確認する必要があります。

オンプレミスのGPUサーバーをクラウドストレージに接続できますか?

対応するオンプレミスサーバーとクラウドのオブジェクトストレージを、ソースまたはターゲットとして設定できます。

NASや一般的なファイルサーバー上のデータをGPUサーバーへ送れますか?

対応するファイルサーバーやNAS環境を接続し、GPUサーバーへデータを配信できます。実際の接続方法はオペレーティングシステム、ファイルシステム、ネットワーク構成によって異なります。

データセットだけでなく、モデルやチェックポイントも転送できますか?

はい。AIの作業で使用または生成されるデータセット、モデルの重み、チェックポイント、評価データ、結果などのファイルを転送できます。

大容量の画像データセットやTB規模のファイルにも対応できますか?

INNORIXは非常に大きな単一ファイルと、数が多い小さなファイルの両方に対応しています。実際の転送性能は、ファイル構成、ストレージAPI、ネットワーク、デバイスの仕様によって変わります。

GPUサーバーで生成されたチェックポイントを自動的に収集できますか?

チェックポイントファイルは、スケジュール、イベント、または外部システムからの要求に応じてストレージへ送られるように設定できます。チェックポイントが実際に存在するかどうか、どのファイルを選択するかは、既存のAIシステムと転送設定によって決まります。

INNORIXはGPUスケジューリングやAIトレーニング自体も行いますか?

いいえ。GPUプロビジョニング、スケジューリング、トレーニング、AIパイプラインは既存のインフラが担います。INNORIXはその作業に必要なファイル移動を行います。

Kubeflowのような既存のAIオーケストレーターと連携できますか?

既存のオーケストレーターはAPIを通じてファイル転送を要求し、完了結果を確認できます。特定のフレームワークとの連携については、実際のAPIと実行環境に基づいて確認する必要があります。

転送が完了した時点でトレーニングを開始するように設定できますか?

既存のオーケストレーターは転送の完了結果を確認した上でトレーニングを開始できます。転送要求が受け付けられたことと、データが実際に届いたことは区別して扱う必要があります。

データセット転送中にネットワークが中断した場合はどうなりますか?

対応するResumeとRetry機能を使って、中断した転送を継続できます。どこまでリカバリできるかは、ファイルの種類と転送環境によって異なります。

GPUサーバーが毎回変わる環境でも使用できますか?

既存のスケジューラーが選択したGPUエンドポイントを、転送先として接続できます。実行時に変化するエンドポイントの扱いについては、Dynamic Endpoint Transferの製品ページで詳しく説明しています。

AI Data Deliveryの進捗と結果はどこで確認できますか?

INNORIX StudioのRunsで転送の進捗と完了結果を確認できます。既存のAIシステムは、対応するAPIを通じて状態と結果を照会することもできます。

これらすべての機能が、1つのプラットフォームに。

このページで紹介した機能は、INNORIX Platformが提供する 数多くのファイル転送機能の1つです。 ファイル転送から自動化、一元的な運用まで、すべての機能を無料で試せます。

無料で始める

AI向けのデータ配信を検討していますか?

すでに運用されているストレージとGPU環境に合わせて、必要な転送設定を一緒に確認します。

  • ストレージとGPU環境の接続状況の確認
  • 大容量データセット転送の設定
  • 既存のAIパイプラインとの接続

ご入力いただく情報は、お問い合わせへの回答にのみ使用します。詳しくはプライバシーポリシーをご覧ください。