High-Volume File Transfer

File Transfer

수많은 파일을 하나의 Transfer로 빠르게 처리합니다.

전송해야 할 데이터의 전체 크기가 같아도 파일의 개수가 달라지면 Transfer의 성격은 완전히 달라집니다. 100GB 파일 하나와 100KB 파일 100만 개는 전체 데이터량이 비슷할 수 있지만, 작은 파일이 많아질수록 Network Throughput뿐 아니라 File Discovery, Open/Close, Metadata, Directory, Queue, File System I/O와 개별 Transfer Result가 전체 처리 시간에 큰 영향을 줍니다.

File Transfer

Discovery부터 최종 Result까지 하나의 High-Volume Pipeline으로 처리합니다.

대량 파일 전송은 첫 번째 Byte를 보내기 전부터 시작됩니다. Source에 어떤 File이 있는지 탐색하고, 업무에 필요한 File Set을 선택하고, Directory와 Metadata를 처리한 뒤 Queue에 넣어야 실제 Data Movement가 시작됩니다. Target에서도 File 생성과 Write, Close, 결과 기록이 반복됩니다.

INNORIX는 이러한 앞뒤 과정을 별도의 사전, 사후 작업으로 남기지 않고 Discover → Filter/Select → Queue → Transfer → Verify → File Result의 전체 Pipeline으로 운영합니다. 이를 통해 운영자는 단순한 Network Progress가 아니라 전체 Dataset 중 얼마나 발견되고 처리되었으며 어떤 File이 완료되거나 남아 있는지를 하나의 Transfer 기준으로 확인할 수 있습니다.

File Transfer

Source와 Target의 Capacity 안에서 지속적인 처리량을 유지합니다.

High-Volume Transfer에서는 동시 처리량을 계속 높이는 것이 항상 더 빠른 결과로 이어지지 않습니다. Source File System의 Read와 Metadata 처리, Target Storage의 Concurrent Write, Disk I/O, Network와 같은 Infrastructure를 다른 Workload도 함께 사용하기 때문입니다. 과도한 Concurrency는 오히려 Queue와 Storage에 부담을 집중시킬 수 있습니다.

INNORIX는 전체 작업을 Queue와 Concurrency 단위로 운영하고 Source, Target과 Network 상태에 맞춰 Parallel Processing을 조정합니다. 목표는 순간적으로 가장 많은 File을 실행하는 것이 아니라 현재 Infrastructure가 감당할 수 있는 범위에서 File Processing Rate를 지속적으로 유지하면서 전체 Dataset을 완료하는 것입니다.

File Transfer

높은 성공률이 아니라 필요한 Dataset의 완전한 완료를 확인합니다.

파일 수가 적을 때는 99.99%와 100%의 차이가 작아 보일 수 있지만 파일 수가 커지면 작은 비율도 실제 File 수에서는 의미 있는 차이가 됩니다. 100만 개의 0.01%는 100개이고, 1억 개에서는 10,000개이므로 High-Volume Transfer에서는 평균적인 성공률만으로 업무가 끝났다고 판단하기 어렵습니다.

INNORIX는 Run에서 전체 진행 상태를 확인하고 File Status에서 실패 범위를 식별하며 Retry와 Recovery 이후 Receipt로 최종 결과를 확인합니다. 따라서 High-Volume Transfer의 완료 기준은 단순한 높은 성공률이 아니라 업무에 필요한 File Set을 실제로 끝까지 완성하고 그 결과를 확인할 수 있는가에 있습니다.

File Transfer

일회성 Dataset에서 지속적인 Data Flow로 확장합니다.

High-Volume Data는 한 번 생성되고 끝나는 경우보다 계속 추가되는 환경에서 더 많이 발생합니다. Machine Vision Image, Log, Sensor Data, Research Result와 Media Asset은 매일 또는 지속적으로 새로운 File을 생성하므로 최초 Migration 이후 새로 생긴 Data를 같은 Transfer Path에서 반복적으로 전달해야 할 수 있습니다.

INNORIX는 One-Time Dataset에서 시작해 Scheduled Transfer, File Event, API와 외부 요청을 같은 Flow Model에 연결합니다. 새 File을 Filter한 뒤 High-Volume Transfer를 실행하고 완료 Result를 다음 Flow나 Callback에 전달할 수 있어 일회성 대량 이동에서 지속적인 Data Delivery로 같은 Transfer를 확장할 수 있습니다.

File Transfer

Server, File Storage와 Object Storage에 같은 High-Volume 운영 모델을 적용합니다.

수많은 File이 존재하는 위치는 하나의 Server나 File System에 한정되지 않습니다. Shared File Storage, Object Storage, Cloud, Data Center와 Branch, Factory에도 High-Volume Data가 존재하며, Object Storage에서는 File System의 File 대신 수많은 Object를 Listing하고 Filter한 뒤 Queue와 Parallel Transfer로 처리하게 됩니다.

Storage마다 Discovery와 Access 방식에는 차이가 있지만 운영 관점에서는 전체 작업, 개별 File 또는 Object 결과, Retry와 최종 완료 상태라는 동일한 High-Volume Model을 적용할 수 있습니다. Data가 어디에 있든 Discovery, Queue, Parallel Processing, Recovery와 Result를 하나의 Transfer 구조로 연결합니다.

File Transfer

전체 Dataset에서 개별 File까지 하나의 Run으로 확인합니다.

파일 수가 많아질수록 개별 Server의 Log를 직접 확인하는 방식만으로는 전체 작업을 파악하기 어렵습니다. 운영자는 먼저 전체 Dataset이 얼마나 처리되었는지 보고, 필요할 때 Queue와 실패한 File까지 내려가 확인한 뒤 Recovery 이후 최종 완료 상태를 판단할 수 있어야 합니다.

INNORIX는 Run에서 전체 Transfer 상태와 처리된 File 수를 보여주고 File Status에서 개별 결과를 확인하며, Queue와 Retry를 통해 남은 작업을 처리하고 Receipt에서 최종 결과를 확인합니다. 수백만 개의 File을 하나의 작업으로 보면서도 필요한 순간에는 개별 File 수준까지 내려갈 수 있는 운영 구조입니다.

File Transfer

수천 개에서 1억 개까지 하나의 High-Volume Transfer로 운영하세요.

많은 File을 Transfer를 위해 별도의 Archive 작업으로 바꾸기보다 원래 File과 Directory Structure를 유지하면서 Discovery, Queue와 Parallel Processing으로 처리합니다. Source와 Target의 Capacity에 맞춰 지속적인 처리량을 유지하고 일부 File에 문제가 발생하면 File-Level Result를 기준으로 필요한 범위만 다시 처리합니다.

일회성 Dataset에서 시작해 반복되는 Data Flow, Collection과 Distribution, Object Storage와 AI, Machine Data까지 같은 High-Volume Transfer Model을 적용하고 전체 Run에서 개별 File과 최종 Receipt까지 하나의 운영 구조에서 확인합니다.