GPU & STORAGE FILE TRANSFER
Envie a um servidor GPU os dados de que ele precisa
e devolva os resultados ao storage.
Transfira os datasets e models mantidos em object storage, em um NAS ou em um data center para seus servidores GPU.
Os checkpoints e resultados produzidos durante o training e a inference também podem voltar para o storage. Sua AI Infrastructure existente permanece como está, enquanto a movimentação de arquivos entre storage e GPU compute é gerenciada em uma única plataforma.
AI INFRASTRUCTURE INTEGRATION
Sua infraestrutura de AI permanece como está.
O INNORIX move os dados.
Os sistemas que decidem compute e workload na sua infraestrutura de AI permanecem exatamente como estão.
O INNORIX entrega datasets e models entre a origem e o destino indicados por esses sistemas, e envia checkpoints e resultados de volta ao storage.
INNORIX no gestiona el GPU scheduling ni el pipeline de AI. Mueve los arquivos que decide su sistema existente.
STORAGE & GPU CONNECTIVITY
Uma única camada de transferência para o caminho de dados
entre storage e GPU compute.
Tanto si el dataset y el modelo residen en object storage en la nube, en un centro de datos o en un storage privado, pueden entregarse al ambiente GPU donde se ejecuta el trabajo.
Los datos se mueven entre distintas nubes, regiones y ambientes on-premises mientras el storage y la infraestructura GPU permanecen igual. La ruta y el destino se configuran según el ambiente: una GPU en la nube, un clúster GPU en un centro de datos, o el suyo propio.
Cloud para GPUObject storage em uma região, entregue a um cluster de GPU em outra.
ORIGEMObject StorageUS West · S3
68%
1,63 TB de 2,4 TB transferidos
DESTINOCloud GPUÁsia · NVIDIA H100
AI DATA LIFECYCLE
Do dataset ao model, checkpoint e resultado,
a mesma entrega de dados.
El training de AI comienza con llevar el dataset y el modelo al ambiente GPU, y continúa con el armazenamento de los checkpoints que produce y la recopilación del resultado final.
INNORIX mueve los arquivos que cada etapa necesita entre el storage y el ambiente GPU, y automatiza el movimiento de datos que se repite continuamente. Preparar los arquivos para el training, conservar los resultados intermedios y entregar los finales está todo conectado, de modo que la transferencia de arquivos funciona igual en todo el flujo de trabajo de AI.
Run de training #4821resnet-vision · gpu-cluster-01 · iniciado 09:52
DatasetDados de training prontos
training-dataset.tar2,4 TB · 12.480 arquivos
ModelModel entregue
foundation-model48 GB · 12 arquivos
Training de AIEm execução
Época 64 / 10064%
Cluster de GPU8 GPUs
CheckpointEstado do training armazenado
checkpoint-064320 GB · 64 arquivos
ResultadoResultado coletado
inference-result120 GB · 3.420 arquivos
Os checkpoints se repetem, para que um run longo nunca se perca
DATA READINESS & RECOVERY
Menos tempo com uma GPU esperando por dados,
e uma transferência interrompida continua de onde parou.
Los datos que el training y la inference de AI necesitan van desde arquivos individuales de varios terabytes até millones de imagems y documentos pequeños. INNORIX libera a la transferencia de la carga que genera ese tamano y esa cantidad, y entrega datos de gran tamano al ambiente GPU de forma fiable.
Se a rede falhar ou a transferência parar, o que já foi concluído é mantido e apenas a parte que falta é enviada novamente. A retomada automática, as novas tentativas e a verificação eliminam transferências repetidas desnecessárias e confirmam que os dados de que a AI precisa estão prontos.
Transferências grandes
Um dataset de terabytes em uma única transferência
Muchos arquivos pequeños
Millones de arquivos, gestionados de forma fiable
Nenhum progresso perdido
O que terminou é mantido; apenas o restante é enviado novamente
Transferência #4821-01Object Storage → gpu-cluster-01
2,4 TB de 2,4 TB transferidos
Partes desta transferência
ORCHESTRATOR & API
Seu AI Orchestrator executa a transferência
exatamente no momento em que precisa.
La transferencia de arquivos se conecta a su AI orchestrator, scheduler y pipeline existentes sin modificarlos. Indique los arquivos y el destino desde Kubeflow, Airflow, SLURM o su propio sistema a través de la API, e INNORIX ejecuta la transferencia y devuelve su progreso y su resultado.
Su sistema de AI programa y ejecuta el trabajo exactamente igual que hoy, mientras INNORIX gestiona el movimiento de arquivos entre clústeres GPU, storage en la nube y el centro de datos. Los callbacks de finalización y los resultados de las ejecuciones realimentan el flujo de trabajo, de modo que la preparación de datos, el training y la recopilación de resultados continúan automáticamente.
Simples de conectar
Uma API padrão, conectada imediatamente
Nada para mudar
Usado sem alterar o sistema de AI
Resultados visívels
Status, logs e um callback de conclusão
Transfer APItr_8f3a2e6b · llamado por airflow-dag-vision
- Orquestrador AIKubeflow · Airflow · Personalizado
- SchedulerSLURM · PBS · LSF
- Aplicação de AITreinamento · Inferência · Fine-tuning
- Transferência de alta velocidade
- Resume & Retry
- Verificação
- Cluster de GPUNVIDIA H100 · A100
- Cloud StorageS3 · GCS · Azure Blob
- Data CenterNAS · Object Storage
POST/api/v1/transferscURL
1{2 "source": "s3://training-dataset",3 "target": "gpu-cluster-01",4 "files": "dataset/*.tar",5 "callback": "https://ai.company.com/webhook"6}
RESPOSTAJSON
1{2 "transferId": "tr_8f3a2e6b",3 "status": "completed",4 "files": "12,480",5 "size": "2.4 TB",6 "progress": "100%",7 "callback": "delivered"8}
Status do run
- Solicitado10:14
- Transferindo10:15
- Concluído10:33
- Callback enviado10:33
UNIFIED OPERATIONS
Ejecute cada transferencia de arquivos entre GPU y storage
desde una sola tela.
Gerencie transferências tão diferentes quanto entrega de dataset, coleta de checkpoint, movimentação de model e coleta de resultados no INNORIX Studio.
Verifique o que está em execução e o que foi concluído, e acompanhe uma transferência com falha apenas no intervalo necessário.
Runs recentes
- Entrega do dataset de trainingConcluído
- Coleta de checkpointTransferindo
- Distribuição de modelConcluído
GET STARTED
Comece a transferir entre servidores GPU e storage.
O AI Data Delivery está incluído na INNORIX Platform. Com uma assinatura gratuita, você pode conectar storage, GPU servers e ambientes de AI computing, e configurar tudo, da entrega dos Datasets necessários para Training e Inference até a recuperação dos dados resultantes.
Componga transferencias de datasets y modelos en Studio, o conecte la transferencia de arquivos a su pipeline de AI existente a través de la API.
TECHNICAL FAQ
Perguntas frequentes
¿Podem ser transferir arquivos entre un servidor GPU y object storage?
Sí. Conecte un object storage y servidores GPU compatívels para transferir datasets, modelos y otros arquivos. Las condiciones de conexão del storage y de los servidores GPU deben confirmarse para su ambiente.
Um servidor GPU on-premises pode ser conectado a um storage na cloud?
Los servidores on-premises y el object storage en la nube compatívels pueden configurarse como origen o destino.
¿Podem ser enviar datos de un NAS o de un servidor de arquivos ordinario a un servidor GPU?
Se puede conectar un servidor de arquivos o un ambiente NAS compatível para entregar datos a un servidor GPU. El método de conexão real depende del sistema operativo, del sistema de arquivos y de la configuração de red.
¿Podem ser transferir modelos y checkpoints además de datasets?
Sí. Podem ser transferir datasets, pesos de modelos, checkpoints, datos de evaluation, resultados y otros arquivos usados o producidos por el trabajo de AI.
¿Puede gestionar grandes datasets de imagems o arquivos de escala TB?
INNORIX admite tanto arquivos muy grandes como grandes cantidades de arquivos pequeños. El rendimiento de transferencia que obtendrá realmente depende de la composición de los arquivos, la API del storage, la red y las especificaciones del dispositivo.
¿Podem ser recopilar automáticamente los checkpoints producidos en un servidor GPU?
Los arquivos de checkpoint pueden configurarse para ir al storage según un horario, un evento o a solicitação de un sistema externo. Si realmente existe un checkpoint y qué arquivos se seleccionan lo decide el sistema de AI existente y la configuração de la transferencia.
O INNORIX realiza o scheduling de GPU ou o training de AI por conta própria?
No. El GPU provisioning, el scheduling, el training y el pipeline de AI los gestiona la infraestructura existente. INNORIX lleva a cabo el movimiento de arquivos que ese trabajo necesita.
Ele pode se integrar a um AI orchestrator existente, como o Kubeflow?
Un orchestrator existente puede solicitar una transferencia de arquivos a través de la API y comprobar el resultado de finalización. La integração con un framework concreto debe revisarse frente a la API real y el ambiente de ejecución.
O training pode ser configurado para começar assim que a transferência for concluída?
Un orchestrator existente puede confirmar el resultado de finalización de la transferencia y luego iniciar el training. Hay que distinguir claramente entre una solicitação de transferencia aceptada y los datos realmente entregados.
O que acontece se a rede for interrompida durante a transferência de um dataset?
Use las funções de Resume y Retry compatívels para continuar una transferencia interrumpida. Hasta dónde puede recuperarse depende del tipo de arquivo y del ambiente de transferencia.
É possível usar quando o servidor GPU muda a cada vez?
O endpoint de GPU selecionado por um scheduler existente pode ser conectado como destino da transferência. O tratamento de um endpoint que muda em tempo de execução é descrito em detalhes na página do produto Dynamic Endpoint Transfer.
Onde verifico o progresso e os resultados do AI Data Delivery?
Runs en INNORIX Studio muestra el progreso de la transferencia y el resultado de finalización. Un sistema de AI existente puede integrarse mediante la API compatível para consultar el estado y el resultado.
Todas essas capacidades,em uma única plataforma.
A capacidade apresentada nesta página é um dos muitos recursos de file transfer que a INNORIX Platform oferece. Do file transfer à automação e à operação unificada, experimente todos os recursos gratuitamente.
Comece gratuitamenteEstá avaliando a entrega de dados para AI?
Revisaremos juntos la configuração de transferencia que necesita para el ambiente de storage y GPU que ya tiene en marcha.
- Revisão de las conexões del ambiente de storage y GPU
- Configuração de transferencias de datasets grandes
- Conexão con un pipeline de AI existente