EXABYTER
하나의 큰 파일부터 수많은 파일까지 안정적으로 전송합니다.
대용량 단일 파일, 수많은 작은 파일, 여러 단계의 폴더와 서로 다른 크기의 파일이 섞인 데이터셋까지.
Exabyter는 파일의 크기와 개수가 달라져도 웹에서 동일한 방식으로 업로드하고 다운로드할 수 있도록 전송을 처리합니다.
FILE SCALE
파일이 커지는 것과 파일이 많아지는 것은 서로 다른 문제입니다.
웹 파일 전송의 규모는 전체 데이터 용량만으로 결정되지 않습니다.
하나의 파일이 수십 GB에서 수백 GB, TB 단위로 커지면 전송 시간이 길어지고 그만큼 네트워크 변화와 연결 중단을 경험할 가능성이 높아집니다. 전송이 실패할 때마다 전체 파일을 다시 보내는 방식도 파일이 커질수록 부담이 커집니다.
반대로 전체 용량이 같더라도 수만 개, 수십만 개 이상의 작은 파일로 구성되어 있다면 각 파일을 열고 처리하고 상태를 관리하는 과정이 반복됩니다. 파일 수가 증가할수록 개별 파일 처리와 I/O, 요청과 응답, 전송 상태 관리에서 발생하는 오버헤드가 전체 완료 시간에 영향을 줄 수 있습니다.
Exabyter는 큰 파일과 많은 파일을 각각의 특성에 맞게 처리하면서 사용자에게는 하나의 일관된 웹 파일 전송 경험을 제공합니다.
LARGE FILE TRANSFER
파일이 커질수록 전송을 끝까지 유지하는 것이 중요합니다.
작은 파일은 연결에 문제가 발생하더라도 다시 전송하는 비용이 크지 않습니다. 하지만 수십 GB 이상의 파일을 장시간 업로드하거나 다운로드하는 환경에서는 상황이 달라집니다.
전송 시간이 길어질수록 Wi-Fi와 유선 네트워크의 전환, VPN 연결 변화, 일시적인 통신 장애와 같은 변수를 경험할 가능성이 높아집니다. 이미 오랫동안 전송한 파일을 처음부터 다시 보내야 한다면 사용자 시간뿐 아니라 네트워크 Traffic과 서버 자원도 다시 사용해야 합니다.
Exabyter는 대용량 파일을 장시간 유지되는 하나의 Transfer로 처리합니다. 파일의 진행 상태를 유지하고 전송 과정에서 문제가 발생하더라도 완료까지 이어갈 수 있도록 설계되어 있습니다.
대용량 파일에서 중요한 것은 순간적인 시작보다 완료입니다.
파일 선택과 업로드 시작은 대용량 전송의 일부에 불과합니다.
실제 업무에서는 다음 과정 전체가 하나의 전송으로 이어져야 합니다.
파일이 커질수록 전송을 얼마나 빨리 시작하는가보다 이미 전송한 데이터를 유지하면서 실제 완료까지 도달하는가가 중요해집니다.
RESUME & RECOVERY
중단된 위치에서 이어서 전송합니다.
대용량 파일 전송 중 네트워크 연결이 일시적으로 중단되었다고 해서 이미 전송한 데이터까지 다시 보낼 필요는 없습니다.
Exabyter는 진행 중인 Transfer의 상태를 유지하고 중단된 전송을 이어갈 수 있도록 처리합니다. 이를 통해 장시간 전송에서 일시적인 연결 문제가 전체 파일의 재전송으로 확대되는 것을 줄일 수 있습니다.
처음부터 다시 보내는 경우
이미 전송한 78%를 포함하여 전체 데이터를 다시 전송해야 합니다.
이어서 전송하는 경우
이미 완료된 구간을 유지하고 남은 데이터를 이어서 전송합니다.
Resume이 중요한 환경
- 수십 GB 이상의 대용량 파일
- 장시간 지속되는 Upload / Download
- 외부 인터넷을 이용하는 파일 전송
- 이동하거나 네트워크가 변경될 수 있는 사용자
- 처음부터 다시 보내는 비용이 큰 업무 데이터
- 제한된 시간 안에 전송을 완료해야 하는 업무
MANY SMALL FILES
수많은 작은 파일은 하나의 큰 파일과 다르게 처리해야 합니다.
100GB의 데이터가 하나의 파일로 구성된 경우와 100KB 크기의 파일 100만 개로 구성된 경우는 전체 데이터 용량만 보면 비슷해 보일 수 있습니다.
하지만 많은 파일을 전송할 때는 각각의 파일을 확인하고 열고 닫는 과정, 파일별 상태 처리, 저장 장치 I/O와 반복되는 전송 작업이 발생합니다. 파일이 작아질수록 실제 데이터보다 이러한 반복 작업의 비중이 상대적으로 커질 수 있습니다.
따라서 대량 파일 전송에서는 단순히 네트워크 대역폭을 높이는 것만으로 전체 완료 시간을 줄이기 어렵습니다.
Exabyter는 수많은 파일을 개별적인 웹 요청의 반복으로만 다루지 않고 전체 데이터셋을 하나의 Transfer 작업으로 처리할 수 있도록 구성합니다.
같은 100GB라도 전송의 성격은 다릅니다.
| 데이터 구성 | 주요 전송 과제 |
|---|---|
| 1 × 100GB | 장시간 연결, Resume, 안정적인 Throughput |
| 100 × 1GB | 여러 파일의 진행 상태와 완료 관리 |
| 100,000 × 1MB | 반복 처리, I/O와 파일별 Overhead |
| 1,000,000 × 100KB | 대규모 File Count와 전체 완료 시간 |
MASS FILE TRANSFER
파일 수가 늘어나도 하나의 작업으로 전송합니다.
연구 결과, 이미지 데이터셋, 제조 검사 데이터, 로그, 문서 저장소처럼 실제 기업 데이터는 수많은 파일로 구성되는 경우가 많습니다.
사용자에게 수많은 개별 Upload 작업을 관리하게 하는 대신 Exabyter는 선택한 파일과 폴더를 하나의 전송 단위로 처리하여 전체 진행 상황을 확인하고 완료할 수 있도록 합니다.
개별 파일이 아니라 전체 작업을 봅니다.
대량 파일을 하나의 업무 단위로 전송해야 하는 환경에서 사용자는 개별 파일의 전송을 하나씩 시작하고 관리할 필요 없이 전체 데이터셋의 전송을 진행할 수 있습니다.
FOLDER TRANSFER
폴더 구조를 포함한 데이터를 그대로 전송합니다.
실제 업무에서는 파일 자체뿐 아니라 어떤 폴더에 위치하는가도 데이터의 일부입니다.
프로젝트 디렉터리, 연구 데이터셋, 제작 프로젝트, 설계 자료처럼 여러 단계의 폴더 구조를 가진 데이터는 파일만 개별적으로 전송하면 원래의 관계를 다시 구성해야 할 수 있습니다.
Exabyter는 폴더 단위로 데이터를 선택하고 그 안의 파일과 하위 구조를 함께 전송할 수 있도록 하여, 많은 파일로 이루어진 데이터셋을 사용자가 다시 정리하지 않고 전송할 수 있도록 합니다.
MIXED DATASETS
크기와 형식이 다른 파일도 하나의 데이터셋으로 전송합니다.
기업 데이터는 대용량 파일 또는 작은 파일 중 하나로만 구성되지 않습니다.
하나의 프로젝트 안에 수십 GB의 영상, 작은 Metadata 파일, 이미지 수천 개와 결과 문서가 함께 존재할 수 있습니다. AI Dataset에는 대량의 작은 데이터 파일과 큰 Archive가 함께 포함될 수 있고, 제조 데이터에는 장비가 생성한 작은 측정 파일과 대용량 이미지가 같은 작업 단위로 묶일 수 있습니다.
Exabyter는 서로 다른 크기와 유형의 파일이 섞여 있어도 사용자가 파일마다 별도의 전송 방식을 선택하지 않고 하나의 데이터셋으로 선택하고 전송할 수 있도록 합니다.
UPLOAD & DOWNLOAD
업로드와 다운로드에 같은 전송 경험을 제공합니다.
대용량 데이터가 웹을 통과하는 방향은 한쪽만이 아닙니다.
사용자가 웹에서 대용량 파일을 서버나 스토리지로 업로드해야 할 수도 있고, 처리된 결과나 다른 시스템에서 생성된 데이터를 다시 사용자에게 다운로드로 제공해야 할 수도 있습니다.
Exabyter는 Upload와 Download 모두에서 대용량, 대량 파일, 진행 상태, Resume과 완료를 고려한 파일 전송을 구성할 수 있습니다.
이를 통해 제출과 수집뿐 아니라 결과물 전송, 대용량 자료 배포와 같은 웹 업무에도 동일한 Transfer 방식을 적용할 수 있습니다.
COMPLETION
파일을 선택한 순간이 아니라 전송이 끝난 순간까지 처리합니다.
기업 업무에서 중요한 것은 Upload 버튼을 눌렀는지가 아니라 필요한 데이터가 실제 목적지에 전송되었는가입니다.
특히 대용량, 대량 파일에서는 일부 파일만 완료되거나 장시간 전송이 중단된 상태를 전체 작업의 완료로 볼 수 없습니다.
Exabyter는 개별 파일의 진행뿐 아니라 전체 Transfer의 상태를 기준으로 파일 전송을 처리하여, 이후의 업무 로직이 실제 전송 결과를 기준으로 이어질 수 있도록 구성할 수 있습니다.
DATA IN REAL WORK
대용량과 대량 파일은 이미 같은 업무 안에 존재합니다.
AI & Data
Dataset, 학습 데이터, 모델과 결과 파일처럼 큰 파일과 수많은 작은 파일이 함께 존재하는 데이터를 웹에서 전송합니다.
Research & Science
대용량 원본 데이터, 실험 결과, 이미지와 Metadata로 이루어진 연구 데이터셋을 폴더 단위로 전송합니다.
Media
고해상도 원본 영상과 프로젝트를 구성하는 이미지, 오디오, 자막, Metadata 등의 관련 파일을 함께 전송합니다.
Manufacturing
대용량 검사 이미지와 장비가 지속적으로 생성하는 많은 측정 파일, 로그와 결과 데이터를 전송합니다.
Enterprise & Public Services
대용량 제출 자료, 많은 첨부 파일과 폴더, 처리 결과를 웹 업무 시스템에서 업로드하고 다운로드합니다.
자주 묻는 질문
대용량 파일을 웹 브라우저에서 업로드할 수 있나요?
웹에서도 수십 GB 이상의 대용량 파일을 업로드하도록 구성할 수 있습니다. 파일이 커질수록 단순한 HTTP 요청보다 장시간 Transfer의 진행 상태 유지, 중단 후 Resume, 실제 완료 확인과 같은 기능이 중요해집니다. 실제 적용 가능한 파일 규모는 시스템과 스토리지, 네트워크 환경을 함께 고려해야 합니다.
TB급 파일도 웹에서 전송할 수 있나요?
대용량 단일 파일을 장시간 Transfer로 처리하는 방식으로 TB 단위 파일을 포함한 대규모 데이터 전송 환경을 구성할 수 있습니다. 구체적인 검증 규모와 성능은 실제 테스트 결과와 도입 환경을 기준으로 확인하는 것이 적절합니다.
수많은 작은 파일을 하나의 큰 파일처럼 전송할 수 있나요?
많은 작은 파일은 하나의 큰 파일과 달리 파일별 처리와 I/O, 반복되는 작업에서 추가적인 Overhead가 발생합니다. Exabyter는 많은 파일과 폴더를 전체 데이터셋 단위의 Transfer로 처리하여 사용자가 개별 파일의 업로드를 하나씩 관리하지 않도록 구성합니다.
폴더 전체를 웹에서 업로드하거나 다운로드할 수 있나요?
여러 단계의 폴더와 그 안의 파일을 하나의 데이터셋으로 선택하고 전송하도록 구성할 수 있습니다. 이를 통해 프로젝트나 연구 데이터처럼 디렉터리 구조 자체가 중요한 데이터도 웹에서 다룰 수 있습니다.
대용량 파일 전송 중 인터넷 연결이 끊기면 처음부터 다시 전송해야 하나요?
중단된 Transfer의 진행 상태를 유지하고 이미 전송된 데이터를 모두 다시 보내는 대신 중단된 위치를 기준으로 이어서 전송할 수 있습니다. 장시간 전송에서는 이러한 Resume과 Recovery가 재전송되는 데이터와 완료 시간을 줄이는 데 중요합니다.
큰 파일과 작은 파일이 섞여 있어도 함께 전송할 수 있나요?
하나의 데이터셋 안에 대용량 파일과 많은 작은 파일이 함께 존재하더라도 파일마다 별도의 전송 방식을 선택하지 않고 하나의 Transfer 작업으로 처리할 수 있습니다.
업로드뿐 아니라 대용량 다운로드에도 사용할 수 있나요?
Upload와 Download 모두에서 대용량, 대량 파일의 전송, 진행 상태 유지, Resume과 완료를 고려한 Transfer를 구성할 수 있습니다. 따라서 파일 제출뿐 아니라 결과 데이터 전송과 대용량 자료 배포에도 적용할 수 있습니다.