파일 전송
고속 Network를 실제 File Transfer 성능으로 연결하는 INNORIX의 고속 파일 전송을 소개합니다.
REAL THROUGHPUT
고속 Network를 구축했다고 해서 File Transfer가 자동으로 같은 속도로 빨라지는 것은 아닙니다.
10Gbps, 40Gbps와 같은 Bandwidth가 있어도 실제 Transfer Throughput은 Latency, RTT, Packet Loss, File Profile, Storage I/O, Concurrent Traffic과 Transfer 방식에 따라 달라집니다.
INNORIX 고속 파일 전송은 특정 Protocol 하나의 특성에 의존하기보다 Parallel Transfer, Dynamic Concurrency와 Long-Distance Optimization을 통해 기존 Network의 사용 가능한 Capacity를 실제 File Transfer에 활용합니다.
TRANSFER CONDITIONS
고속 파일 전송에서 중요한 숫자는 Network Interface에 표시되는 최대 Bandwidth만이 아닙니다.
같은 10Gbps 회선을 사용하더라도 Data Center 내부의 짧은 거리와 대륙을 넘어가는 WAN에서는 실제 File Transfer 성능이 달라질 수 있습니다.
INNORIX는 Link Speed 하나가 아니라 Source에서 Target까지 실제 File이 이동하는 전체 Data Path를 기준으로 Transfer 성능을 운영합니다.
TRANSFER METHODS
고속 전송을 설명할 때 TCP와 UDP는 자주 비교됩니다.
UDP 기반 가속 방식은 Application Layer에서 Reliability, Congestion Control과 Rate Control을 구현해 장거리 Network에서 높은 성능을 제공할 수 있습니다.
Parallel TCP와 High-Speed TCP 계열의 접근은 기존 TCP Network를 활용하면서 여러 Connection과 Transfer Optimization을 통해 Throughput을 높일 수 있습니다.
Network
어느 하나가 모든 환경에서 항상 우월하다고 단순화하기보다 실제 Network Architecture, Security Policy, 운영 환경과 필요한 Throughput에 적합한 Transfer 구조를 선택하는 것이 중요합니다.
INNORIX는 기존 Network 환경과 함께 운영할 수 있는 Transfer Architecture에서 성능을 확장합니다.
EXISTING NETWORK
INNORIX는 UDP 기반 Data Transfer를 전제로 하지 않습니다.
기존 TCP 기반 Network와 Security Environment를 활용하면서 Parallel Transfer와 Transfer Optimization을 적용합니다.
Existing Enterprise Network
고속 파일 전송을 도입하기 위해 Network Architecture 자체를 별도의 Transfer 전용 구조로 변경하기보다 현재 연결된 Source와 Target 사이에서 Transfer Performance를 높이는 방향으로 구성합니다.
PARALLEL SESSIONS
고속·장거리 Network에서는 하나의 Connection이 사용 가능한 Bandwidth를 충분히 활용하기 어려운 경우가 있습니다.
INNORIX는 Parallel Sessions를 사용해 여러 Transfer Path에서 Data를 처리할 수 있습니다.
Source
Target
Parallel Sessions와 Dynamic Concurrency를 통해 Source, Target과 Network 조건에 맞춰 Transfer를 처리합니다.
목표는 Connection 수 자체를 늘리는 것이 아니라 현재 Network에서 실제 File Throughput으로 사용할 수 있는 Capacity를 확대하는 것입니다.
CONCURRENCY
Session을 많이 만드는 것이 항상 높은 성능으로 이어지는 것은 아닙니다.
Source Storage, Target Storage, Network와 다른 Workload가 동시에 영향을 받기 때문입니다.
INNORIX는 고정된 하나의 Concurrency 값보다 실제 Transfer 환경에서 사용할 수 있는 Capacity에 맞춰 여러 Transfer를 운영합니다.
LONG-DISTANCE
거리가 멀어지면 RTT가 증가합니다.
같은 Bandwidth를 가진 Network라도 서울과 같은 Data Center 내부 Transfer와 서울에서 뉴욕으로 이동하는 Transfer는 동일한 조건이 아닙니다.
LOCAL
Server A
Server B
LONG DISTANCE
Seoul
New York
Long-Distance Transfer에서는 Bandwidth와 함께 RTT, Packet Loss와 Connection Behavior가 실제 Throughput을 결정합니다.
INNORIX는 Parallel Transfer와 장거리 환경을 고려한 Transfer Optimization을 통해 사용 가능한 WAN Capacity를 File Transfer에 활용합니다.
PACKET LOSS
실제 WAN과 Internet 환경에서는 Packet Loss가 완전히 일정하지 않습니다.
Loss가 발생하면 Transport와 Transfer Layer는 이를 처리하면서 Data Movement를 계속해야 합니다.
Network Condition
High-Speed Transfer에서는 단순히 최상의 Network 상태에서 최고 속도를 측정하는 것뿐 아니라 Network Condition이 변화하는 동안 실제 Transfer가 얼마나 안정적으로 Throughput을 유지하고 완료되는가가 중요합니다.
INNORIX는 Transfer State와 Recovery를 함께 운영해 Network 변화가 발생한 환경에서도 Data Movement를 이어갑니다.
END-TO-END PATH
10Gbps Network가 있다고 해서 Source가 10Gbps에 해당하는 속도로 데이터를 읽고 Target이 같은 속도로 기록할 수 있다는 의미는 아닙니다.
실제 File Transfer Throughput은 가장 느린 구간의 영향을 받습니다.
Source Read → Transfer Processing → Network → Target Write
따라서 고속 파일 전송의 성능을 Network 숫자 하나로 설명하기보다 Source와 Target Storage까지 포함한 End-to-End Data Path의 실제 Throughput으로 확인해야 합니다.
FILE PROFILE
같은 Network에서도 파일 하나를 전송할 때와 수백만 개의 파일을 전송할 때 성능 특성은 다릅니다.
Large File에서는 Network와 Storage Throughput이 중요하고, High-Volume Transfer에서는 File Discovery, Open/Close, Metadata와 Queue Processing까지 함께 영향을 줍니다.
INNORIX는 File Size와 File Count를 실제 Transfer Performance의 일부로 함께 고려합니다.
MULTI-NETWORK
Source와 Target에 여러 Network Interface 또는 사용 가능한 Network Path가 존재하는 환경에서는 Multi-Network Transfer를 구성할 수 있습니다.
Source
Target
하나의 Network Path만 사용하는 것보다 여러 Network의 Capacity를 Transfer에 활용해 전체 File Throughput을 확장할 수 있습니다.
실제 적용 방식은 Source, Target과 Network Configuration에 맞춰 구성합니다.
SHARED NETWORK
Enterprise Network는 File Transfer만을 위한 전용 Infrastructure가 아닙니다.
Application, Database, User Traffic과 다른 Service가 같은 Network를 함께 사용합니다.
Network
Queue / Concurrency / Capacity
INNORIX는 Parallel Transfer, Dynamic Concurrency와 Queue를 이용해 여러 Transfer를 관리하고 기존 Network 환경 안에서 사용 가능한 Transfer Capacity를 운영합니다.
고속 전송을 별도의 Network Island로 분리하기보다 Enterprise Infrastructure의 일부로 연결합니다.
RECOVERY
고속 Transfer가 중간에 실패해 전체 파일을 처음부터 다시 보내야 한다면 실제 업무 완료 시간은 크게 증가합니다.
특히 수백 GB 또는 TB급 파일을 장거리로 이동하는 경우 Recovery는 Throughput만큼 중요한 Performance 요소가 됩니다.
Large Transfer
INNORIX는 High-Speed Transfer와 Resume, Retry, Recovery를 함께 적용해 이미 전달된 Data를 기준으로 Transfer를 이어갈 수 있도록 구성합니다.
고속과 안정성을 별개의 기능으로 나누기보다 실제 완료 시간의 일부로 함께 관리합니다.
SHARED CAPACITY
Enterprise 환경에서는 하나의 File만 Network를 사용하는 경우보다 여러 Transfer가 동시에 실행되는 경우가 많습니다.
Shared Capacity
개별 Transfer 하나의 최고 속도만 높이는 것보다 여러 Transfer가 동시에 실행될 때 전체 Capacity를 어떻게 사용하는지가 중요합니다.
PLATFORM INTEGRATION
고속 파일 전송이 별도의 전용 Transfer 환경으로 고립되면 새로운 Data Movement가 생길 때마다 다시 연결해야 합니다.
INNORIX에서는 High-Speed Transfer를 Server, Cloud, Object Storage와 다른 Endpoint 사이에서 사용할 수 있습니다.
Source
INNORIX
High-Speed Transfer를 특정 Point-to-Point Accelerator로만 사용하기보다 전체 INNORIX Platform에서 사용할 수 있는 공통 Transfer Capability로 적용합니다.
DATA PATHS
Source와 Target의 종류가 달라져도 Bandwidth, RTT, Loss, Storage I/O와 File Profile을 기준으로 실제 End-to-End Transfer Performance를 확인하는 방식은 동일합니다.
TEST CONDITIONS
'최대 10Gbps'와 같은 숫자 하나만으로 실제 환경의 Transfer 성능을 판단하기는 어렵습니다.
같은 제품이라도 Test Condition에 따라 결과가 크게 달라질 수 있기 때문입니다.
따라서 High-Speed Transfer의 성능은 Bandwidth와 함께 RTT, Packet Loss, File Profile, Storage와 Concurrency 조건을 같이 표시해 검증하는 것이 중요합니다.
LINE UTILIZATION
고속 전송의 목적은 가장 큰 숫자를 표시하는 것이 아니라 고객이 이미 구축한 Network Capacity를 실제 Data Movement에 활용하는 것입니다.
Transfer Efficiency
따라서 성능을 확인할 때는 최대 Throughput뿐 아니라 주어진 Network 환경에서 실제 Transfer가 어느 정도의 Capacity를 사용했는지를 함께 보는 것이 중요합니다.
이 관점은 서로 다른 Network 규모에서도 동일하게 적용할 수 있습니다.
AUTOMATION
빠른 Transfer가 운영자가 매번 직접 실행해야 하는 별도의 작업일 필요는 없습니다.
Schedule, File Event, API와 외부 요청으로 High-Speed Transfer를 시작하고 완료 결과를 다음 업무와 연결할 수 있습니다.
High-Speed Transfer와 Automated File Transfer를 같은 Flow Model에서 운영합니다.
PERFORMANCE LAYER
고속 전송은 독립적인 File Type이 아니라 여러 Data Movement에서 필요한 Performance Capability입니다.
따라서 High-Speed File Transfer는 다른 Transfer 제품과 분리된 하나의 고속 전송 섬이 아니라 Large File, High-Volume, Server, Storage와 AI Data Delivery에 적용되는 공통 Performance Layer로 확장됩니다.
MONITORING
고속 Transfer에서도 실제 운영자는 속도만 확인하는 것이 아니라 Transfer가 정상적으로 완료되었는지 확인해야 합니다.
RUN-1842
Runs와 Monitoring에서 진행 상태를 확인하고 File Status와 Receipt를 통해 최종 결과를 확인합니다.
Performance, Recovery와 Completion Result를 하나의 Transfer Operation으로 연결합니다.
TEST ENVIRONMENT
고속 파일 전송은 특정 Network Speed부터 시작되는 제품이 아닙니다.
1Gbps 회선에서 실제 Transfer가 수십 Mbps에 머무르는 환경에서도 성능 개선은 중요하고, 10Gbps 이상의 Network에서는 이미 구축한 Capacity를 얼마나 실제 File Transfer에 활용할 수 있는지가 중요합니다.
10Gbps는 High-Speed Transfer의 정의가 아니라 실제 Network Capacity를 얼마나 Transfer Throughput으로 전환할 수 있는지 검증하는 하나의 Test Environment입니다.
GET STARTED
Bandwidth, RTT, Packet Loss, Storage I/O와 File Profile을 함께 고려하고 Parallel Transfer, Dynamic Concurrency와 Long-Distance Optimization을 적용해 기존 Network의 사용 가능한 Capacity를 실제 Data Movement에 활용합니다.
Large File, High-Volume, Server, Object Storage와 AI Data Delivery까지 같은 High-Speed Transfer Capability를 적용하고, Recovery와 최종 결과까지 하나의 Platform에서 운영합니다.
현재 네트워크와 전송 환경에 맞는 고속 파일 전송 구성을 함께 검토해드립니다.