파일 전송
파일 크기와 관계없이 원본 그대로 전송하고 중단 지점에서 이어가는 INNORIX 대용량 파일 전송을 소개합니다.
NO SIZE LIMIT
대용량 파일의 기준은 하나의 숫자로 정해지지 않습니다.
500MB 파일도 반복해서 전송해야 하거나 Network가 불안정하면 충분히 부담스러울 수 있고, 수십 GB의 영상, 수백 GB의 연구 데이터, TB급 Dataset에서는 전송 시간과 장애 이후의 재전송 비용이 훨씬 커집니다.
INNORIX 대용량 파일 전송은 파일 크기에 맞춰 별도의 작업 방식을 추가하는 대신, 원본 파일 그대로 Transfer하고 중단 이후 이어가며 대용량 Data Movement를 하나의 Transfer로 운영합니다.
SIZE VS BURDEN
어떤 환경에서는 500MB 파일도 일반적인 파일일 수 있고, 다른 환경에서는 같은 파일이 반복적인 업무 부담을 만들 수 있습니다.
파일 크기 자체보다 전송 시간, Network 상태, 실패했을 때 다시 보내야 하는 비용과 업무 빈도가 실제 대용량 Transfer의 기준을 만듭니다.
따라서 INNORIX는 특정 용량부터 별도의 제품을 사용하는 방식보다 파일이 커질수록 필요한 Transfer Capability를 같은 구조에서 적용합니다.
ORIGINAL FILE
대형 파일을 이동하기 위해 사용자가 먼저 파일을 여러 조각으로 나누거나 압축 파일을 만들고 Target에서 다시 합치는 방식은 Transfer 외의 추가 작업을 만듭니다.
Manual Workflow
INNORIX
원본 파일을 그대로 Source에서 선택하고 Target까지 전달할 수 있습니다.
No Manual Splitting · No Pre-Compression · No Reassembly Work
Transfer를 위해 데이터를 다른 형태로 준비하는 시간을 줄이고 실제 업무에 사용하는 파일 자체를 전송합니다.
DIRECT DATA PATH
대용량 파일은 Data Path가 하나 추가될 때마다 이동해야 하는 데이터의 양도 그대로 증가합니다.
예를 들어 1TB 파일을 Intermediate Server에 먼저 복사한 뒤 다시 Target으로 보내면 같은 파일이 두 구간을 이동하게 됩니다.
Intermediate Architecture
Source
INNORIX Platform Control Plane
Target
Transfer Control과 Monitoring은 Platform에서, 실제 Data Movement는 필요한 Source와 Target 사이에서 구성합니다.
RESUME
파일이 클수록 Transfer가 오래 지속되고, 중간에 문제가 발생했을 때 처음부터 다시 보내는 비용도 커집니다.
1TB Transfer
INNORIX는 Transfer State를 유지하고 Resume, Partial Transfer와 Recovery를 이용해 필요한 지점부터 전송을 이어갈 수 있도록 구성합니다.
장시간 Transfer에서 순간적인 Network 장애를 전체 파일의 재전송으로 확대시키지 않고 이미 완료된 Data를 기준으로 작업을 계속합니다.
REPEATED FAILURES
실제 Network에서는 한 번의 Transfer 동안 장애가 한 번만 발생한다는 보장이 없습니다.
장거리 WAN, Mobile Network, Remote Site와 불안정한 환경에서는 여러 차례 연결 변화와 Packet Loss가 발생할 수 있습니다.
INNORIX는 각 장애를 새로운 Transfer로 취급하기보다 하나의 Transfer가 완료되는 과정으로 관리합니다.
Transfer가 길어질수록 최고 속도뿐 아니라 중단 이후 얼마나 안정적으로 이어지는지가 전체 완료 시간을 결정합니다.
THROUGHPUT FACTORS
대용량 파일에서는 Network Bandwidth가 높아도 실제 파일 전송이 그 Bandwidth를 충분히 활용하지 못할 수 있습니다.
Latency, Packet Loss, Storage I/O, File Processing과 Transfer 방식이 함께 실제 처리량을 결정합니다.
INNORIX는 단순한 Link Speed가 아니라 실제 Source에서 Target까지 얻을 수 있는 Transfer Throughput을 높이는 것을 목표로 합니다.
PARALLEL SESSIONS
하나의 Transfer Session만으로 전체 Network Capacity를 충분히 사용하기 어려운 환경에서는 여러 Session과 Parallel Processing을 활용할 수 있습니다.
Source
Target
Parallel Sessions와 Dynamic Concurrency를 통해 Source, Target과 Network 환경에 맞춰 Transfer를 처리합니다.
목표는 단순히 Session 수를 늘리는 것이 아니라 현재 Infrastructure에서 사용할 수 있는 Capacity를 실제 File Transfer에 활용하는 것입니다.
LONG-DISTANCE
같은 10Gbps Network라도 같은 Data Center 안의 Transfer와 국가·대륙을 넘어가는 Transfer의 실제 성능은 다를 수 있습니다.
거리가 멀어질수록 RTT와 Packet Loss의 영향이 커지고 하나의 연결이 사용 가능한 Bandwidth를 충분히 활용하기 어려워질 수 있습니다.
LOCAL
Server A
Server B
LONG DISTANCE
Seoul
New York
INNORIX는 Parallel Transfer와 Long-Distance Optimization을 적용해 장거리 Network에서도 사용 가능한 Bandwidth를 Transfer Throughput으로 연결합니다.
Data Center 간 Transfer, Cloud Region 간 이동과 글로벌 Site 사이의 Data Movement에 같은 Transfer Model을 적용할 수 있습니다.
MULTI-NETWORK
Source와 Target에 여러 Network Interface 또는 사용 가능한 Network Path가 존재하는 환경에서는 하나의 Network에만 Transfer를 의존하지 않고 여러 연결을 활용할 수 있습니다.
Source
Target
Multi-Network 환경에서는 여러 Network의 Capacity를 Data Movement에 활용해 대용량 Transfer의 전체 처리량을 확장할 수 있습니다.
실제 적용 범위는 Source, Target과 Network Configuration에 맞춰 구성합니다.
END-TO-END PATH
대용량 파일 전송에서 Network만 빠르다고 전체 Transfer가 빨라지는 것은 아닙니다.
Source가 데이터를 읽는 속도와 Target이 데이터를 기록하는 속도가 Network보다 느리다면 Storage가 전체 Transfer의 Bottleneck이 됩니다.
따라서 실제 Transfer 성능은 다음 전체 경로에서 결정됩니다.
Source Read → Transfer Processing → Network → Target Write
INNORIX는 Network Throughput만 분리해서 보는 대신 실제 File이 Source Storage에서 Target Storage까지 이동하는 전체 Data Path를 기준으로 Transfer를 운영합니다.
SHARED NETWORK
Enterprise Network는 파일 전송 하나만을 위해 사용되지 않습니다.
Application, Database, Backup, User Traffic과 다른 Service가 동일한 Network를 함께 사용할 수 있습니다.
Network
Queue / Concurrency / Capacity
Parallel Transfer, Dynamic Concurrency와 Queue를 통해 여러 Transfer를 운영하면서 공유 Infrastructure 안에서 사용할 수 있는 Transfer Capacity를 관리합니다.
대용량 파일을 위해 별도의 전용 Network를 전제로 하기보다 기존 Network 환경에서 Transfer를 구성할 수 있습니다.
CONCURRENT TRANSFERS
Large File Transfer가 항상 파일 하나만을 의미하는 것은 아닙니다.
여러 사용자가 동시에 대용량 파일을 보내거나 여러 Server에서 Large Dataset을 동시에 전달해야 할 수 있습니다.
Targets
INNORIX는 개별 Large File의 Throughput뿐 아니라 여러 Transfer가 동시에 실행될 때 Queue, Concurrency와 Capacity를 함께 운영합니다.
SAME DATASET
실제 Dataset은 하나의 대용량 파일만으로 구성되지 않을 수 있습니다.
수백 GB의 영상과 수천 개의 Metadata File, 대형 Model과 수많은 Supporting File이 함께 이동할 수 있습니다.
하나의 Dataset 안에서도 File Size와 File Count에 맞는 Transfer 처리를 적용하면서 전체 작업은 하나의 Run으로 관리할 수 있습니다.
CLEAR RESULT
수 TB의 파일이 오랜 시간에 걸쳐 전달되었다면 단순히 Process가 종료되었다는 사실만으로는 충분하지 않을 수 있습니다.
RUN-1842
INNORIX는 Run, File Status와 Receipt를 통해 어떤 파일이 어디까지 전달되었고 최종적으로 어떤 결과로 완료되었는지 확인할 수 있도록 합니다.
Transfer가 길어질수록 진행 상태와 최종 결과를 같은 운영 화면에서 확인하는 것이 중요해집니다.
INTEGRITY
대용량 파일에서는 전송 속도와 함께 최종 결과의 정확성이 중요합니다.
Transfer 중 발생한 문제는 Recovery로 처리하고 완료 이후에는 File Result를 통해 최종 상태를 확인합니다.
운영자는 "얼마나 빨리 도착했는가"와 함께 "실제로 필요한 파일이 정상적으로 완료되었는가"를 기준으로 Transfer를 관리합니다.
AUTOMATION
대용량 파일은 한 번만 이동하는 Migration일 수도 있고 매일·매주 반복되는 업무일 수도 있습니다.
Dataset Ready → Large File Transfer → Result → Next Flow / Callback
Schedule, Event와 API를 통해 Large File Transfer를 Automated File Transfer와 연결하고 전송 완료 결과를 다음 업무의 시작 조건으로 사용할 수 있습니다.
MANY ENDPOINTS
대용량 파일은 Server 사이에서만 이동하지 않습니다.
Source
INNORIX
Endpoint의 종류가 달라져도 Large File, Resume, Recovery와 Result라는 동일한 Transfer Model을 적용합니다.
ACROSS INDUSTRIES
대용량 파일이 필요한 산업과 업무는 다양합니다.
업무의 형태는 달라도 큰 파일을 빠르게 전달하고, 장시간 Transfer를 이어가며, 최종 결과를 확인해야 한다는 요구는 공통적입니다.
INFRASTRUCTURE CAPABILITY
대용량 파일 전송은 Console에서 운영자가 직접 실행할 수도 있지만 Application, Automation과 기존 Workflow의 일부로 실행될 수도 있습니다.
같은 Large File Transfer Engine을 다양한 Interface에서 사용함으로써 대용량 전송을 별도의 작업이 아니라 Enterprise Data Movement의 공통 Capability로 확장합니다.
ONE OPERATING MODEL
대용량 파일을 위한 별도의 Transfer 환경을 각각 만드는 대신 INNORIX Platform의 다른 Data Movement와 같은 운영 모델을 사용할 수 있습니다.
Server-to-Server, Object Storage, Web Upload, Distribution, Automated Transfer와 AI Data Delivery에서 Large File Transfer Capability를 함께 사용할 수 있습니다.
TEST ENVIRONMENT
대용량 파일은 10TB부터 시작하는 것이 아닙니다.
업무 환경에 따라 수백 MB부터 Transfer의 부담이 시작될 수 있고, INNORIX의 Scale Test는 그 Transfer Architecture가 파일 크기 증가를 어디까지 처리할 수 있는지를 확인하기 위한 것입니다.
Tested Single File
중요한 것은 특정 숫자를 대용량의 정의로 만드는 것이 아니라 파일이 커져도 같은 Transfer, Recovery와 Operation Model을 유지할 수 있는가입니다.
GET STARTED
수백 MB의 업무 파일부터 TB급 Dataset까지 원본 파일 그대로 Transfer하고, Parallel Processing으로 사용 가능한 Network Capacity를 활용하며, 중단 이후 Resume과 Recovery로 같은 Transfer를 이어갑니다.
Server, Cloud, Object Storage와 AI Compute까지 같은 Large File Transfer를 적용하고, Run과 Receipt에서 최종 결과까지 확인합니다.
파일 크기와 전송 환경에 맞는 안정적인 대용량 전송 구성을 함께 검토해드립니다.