UNEXPECTED REBOOT, 11:24
서버가 다시 시작되면 파일 전송도 처음부터 시작해야 할까요?
오전에 발생했던 연결 장애는 복구되었고, 저장 공간 부족 문제도 처리하고 있는 상황입니다.
그러나 이번에는 네트워크가 아닌 데이터를 보내는 서버 자체에서 문제가 발생했습니다.
오전 10시부터 Linux Compute Server에서 Google Cloud Storage로 대용량 분석 데이터를 전송하고 있었습니다.
전체 3.2 TB 가운데 1.86 TB가 전달되었을 때 서버가 예상하지 못하게 재부팅되었습니다.
서버에서 실행 중이던 프로그램의 연결도 모두 끊겼습니다.
분석팀에서는 오후 2시부터 이 데이터를 사용해야 합니다.
DEVICE AND TRANSFER HISTORY
Linux Compute Server
| Time | Device status | Transfer status |
|---|
| 10:00:00 | Connected | Running |
| 11:24:08 | Disconnected | Interrupted |
| 11:27:42 | Server restarted | Waiting |
| 11:30:54 | Connected | Recovery check |
| 11:31:06 | Connected | Resuming |
재부팅 전 진행 중이던 전송
analytics_dataset.bin 3.2 TB
서버가 정상적으로 시작되고 INNORIX가 다시 연결됩니다.
전송에 필요한 원본 파일과 기존 전송 상태가 유지되어 있으므로, 중단된 전송을 복구하여 나머지 데이터를 전달할 수 있습니다.
Live context지금
11:24수요일
- 영향을 받는 기업 업무
- 오후 분석 업무
- 업무 예정 시간
- 14:00
- 현재 상황
- 서버 재연결 대기
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족전송 재개
- 11:24 서버 재부팅처리 중
11:31
서버가 다시 연결되었고, 전송이 재개되었습니다.
RESUMING AFTER REBOOT
전송 중이던 3.2 TB의 대용량 파일
analytics_dataset.binCompleted
0재부팅 지점 1.86 TB3.2 TB
- 기존 전달 데이터
- 1.86 TB
- 다시 보내지 않음
- 남아 있던 데이터
- 1.34 TB
- 최종 전달 용량
- 3.2 TB
- 재부팅
- 전송 재개
- 완료
오후 1시 42분, 전체 분석 데이터의 전달이 완료됩니다.
Live context지금
11:31수요일
- 영향을 받는 기업 업무
- 오후 분석 업무
- 업무 예정 시간
- 14:00
- 현재 상황
- 나머지 데이터 전송
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족전송 재개
- 11:24 서버 재부팅전송 재개
14:00
분석팀은 오후 업무를 시작합니다.
AFTERNOON ANALYTICS
분석에 필요한 3.2 TB의 데이터가 준비되었습니다.
Google Cloud Storage / analytics/input/
analytics_dataset.bin
Available3.2 TB, 13:42 수신 완료
- 데이터 준비 완료
- 13:42
- 분석 업무 시작
- 14:00
서버가 재부팅되었던 사실과는 별개로 분석팀은 예정된 시간에 업무를 시작합니다.
그리고 불과 16분 후, 기업의 서비스 데이터 전달 과정에서 또 다른 문제가 발견됩니다.
Live context지금
14:00수요일
- 영향을 받는 기업 업무
- 오후 분석 업무
- 업무 예정 시간
- 14:00
- 현재 상황
- 데이터 준비 완료 13:42
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
PARTIAL TRANSFER FAILURE, 14:16
10만 개의 파일 가운데 37개가 전달되지 않았습니다.
기업의 서비스 운영팀은 오후 4시에 새로운 서비스 데이터를 반영할 예정입니다.
Amazon S3에서 Azure Blob Storage로 전달해야 하는 파일은 총 10만 개입니다.
전송을 진행하던 중 일부 원본 파일에 대한 읽기 권한 문제가 확인되었습니다.
37개의 파일을 정상적으로 읽을 수 없는 상태였지만, 나머지 파일에는 문제가 없었습니다.
기업은 개별 파일에 문제가 발생하더라도 전송 가능한 다른 파일의 전달을 계속하도록 정책을 구성해 두었습니다.
INNORIX STUDIO, RUN DETAILS
서비스 데이터 갱신
Amazon S3 / Azure Blob StoragePartial failure
- 전체 파일
- 100,000
- 전송 성공
- 99,963
- 전송 실패
- 37
Failed files
| File name | Reason |
|---|
| service_reference_02841.json | Access denied |
| service_reference_03918.json | Access denied |
| service_reference_12753.json | Access denied |
| service_reference_18462.json | Access denied |
37개 실패 파일 중 일부
전송 성공률은 99.963%입니다.
하지만 서비스 운영팀에서 필요로 하는 것은 높은 성공률이 아니라, 서비스에 필요한 모든 파일이 준비되어 있는 상태입니다.
남아 있는 37개의 파일도 전달되어야 합니다.
Live context지금
14:16수요일
- 영향을 받는 기업 업무
- 서비스 데이터 갱신
- 업무 예정 시간
- 16:00
- 현재 상황
- 37개 파일 처리 필요
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패조치 필요
14:28
37개 파일의 문제를 확인했습니다.
운영팀은 실패한 파일의 목록과 실패 원인을 확인했습니다.
원본 클라우드에서 해당 파일들에 적용된 접근 권한을 수정하고, INNORIX에서 실패한 파일만 다시 전송하도록 실행합니다.
이미 전달된 99,963개의 파일은 다시 선택하지 않습니다.
RETRY FAILED FILES, 14:28
실패 파일 재전송
최종 전달 파일
100,000 / 100,000
Completed- 실패 확인
- 재전송
- 완료
오후 2시 42분, 남아 있던 37개 파일까지 전달되었습니다.
운영팀은 문제가 발생한 파일에 집중하였고, 다른 모든 파일을 다시 전송하는 작업은 수행하지 않았습니다.
Live context지금
14:28수요일
- 영향을 받는 기업 업무
- 서비스 데이터 갱신
- 업무 예정 시간
- 16:00
- 현재 상황
- 실패 파일만 재전송
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패처리 중
16:00
서비스 운영팀은 예정된 데이터를 반영합니다.
SERVICE DATA UPDATE
서비스 갱신에 필요한 모든 파일이 준비되었습니다.
- 최종 수신 파일
- 100,000
- 전체 전달 완료
- 14:42
- 서비스 데이터 반영
- 16:00
오늘 발생했던 네 가지 전송 문제는 모두 처리되었습니다.
기업의 각 조직도 예정된 업무를 수행하고 있습니다.
그러나 업무가 마무리되기 직전, 운영팀에 새로운 요청이 들어옵니다.
Live context지금
16:00수요일
- 영향을 받는 기업 업무
- 서비스 데이터 갱신
- 업무 예정 시간
- 16:00
- 현재 상황
- 서비스 데이터 반영
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패처리 완료
WHERE IS THE FILE?, 16:40
업무 마감 직전, 중요한 파일 하나를 찾아야 합니다.
16:40, SERVICE OPERATIONS TEAM
“오늘 생성된 정산 데이터가 서비스 시스템에 전달되었는지 확인해 주세요.”
확인이 필요한 파일
daily_settlement.parquet
- 생성 위치
- Google Cloud Storage
- 전달 예정 위치
- Azure Blob Storage
- 업무 완료 예정 시간
- 17:30
서비스 운영팀에서는 정산 결과를 처리하는 프로그램에서 오늘의 정산 데이터가 아직 반영되지 않았다는 사실을 확인했습니다.
오늘은 네트워크 연결 중단과 저장 공간 부족, 서버 재부팅, 일부 파일의 전달 실패까지 여러 문제가 발생했습니다.
어떤 문제가 이 파일에 영향을 준 것인지 알 수 없는 상황입니다.
운영팀은 해당 파일이 실제로 어디까지 전달되었는지 확인해야 합니다.
Live context지금
16:40수요일
- 영향을 받는 기업 업무
- 일일 정산 업무
- 업무 예정 시간
- 17:30
- 현재 상황
- 파일 전달 이력 확인
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패처리 완료
- 16:40 파일 확인 요청확인 중
16:41
오늘의 전체 전송 기록에서 파일을 검색합니다.
운영팀은 개별 서버와 클라우드에 접속하여 파일의 위치를 조사하는 대신, INNORIX에서 오늘 이루어진 전송 이력을 검색합니다.
INNORIX STUDIO, FILE SEARCH
Search transfer history
daily_settlement.parquetPeriod: TodayAll devices
검색어: daily_settlement.parquet, 기간: 오늘, 모든 장비
| File name | Size | Completed | Status |
|---|
| daily_settlement.parquetGoogle Cloud Storage / Azure Blob Storage | 11.2 GB | 15:42 | Completed |
1 matching files
검색 결과에서 해당 파일이 오후 3시 42분에 정상적으로 전달되었다는 사실을 확인했습니다.
운영팀은 파일의 전송 시작 시간과 완료 시간, 목적지 경로를 확인합니다.
Live context지금
16:41수요일
- 영향을 받는 기업 업무
- 일일 정산 업무
- 업무 예정 시간
- 17:30
- 현재 상황
- 전송 이력 검색
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패처리 완료
- 16:40 파일 확인 요청확인 중
16:43
문제는 파일 전송에 있지 않았습니다.
FILE TRANSFER HISTORY
daily_settlement.parquet
Final resultCompleted
Source
Google Cloud Storage
/settlement/output/
15:30 전송 시작
Target
Azure Blob Storage
/settlement/input/
15:42 전송 완료
- 파일 크기
- 11.2 GB
- 전송 시작
- 15:30:08
- 전송 완료
- 15:42:16
- 전송 오류 기록
- 없음
- 최종 결과
- Completed
기업의 정산 업무
후속 프로그램 정상화 후 17:18 완료
운영팀은 서비스 운영팀에 파일의 전달 시간과 저장 위치를 전달했습니다.
서비스 운영팀에서 해당 경로의 파일과 후속 처리 프로그램을 확인한 결과, 정산 데이터를 읽어오는 프로그램이 일시적으로 중단되어 있었다는 사실을 발견했습니다.
파일을 다시 전송할 필요는 없었습니다.
서비스 운영팀은 후속 처리 프로그램을 정상화하고 이미 전달된 데이터를 사용하여 정산 업무를 진행합니다.
오후 5시 18분, 정산 업무가 완료됩니다.
Live context지금
16:43수요일
- 영향을 받는 기업 업무
- 일일 정산 업무
- 업무 예정 시간
- 17:30
- 현재 상황
- 후속 시스템 조치
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패처리 완료
- 16:40 파일 확인 요청확인 중
END OF BUSINESS DAY, 18:00
모든 것이 계획대로 진행되지 않았던 하루가 끝났습니다.
오늘은 평소보다 많은 문제가 발생했습니다.
네트워크 연결이 끊겼고, 저장 공간이 부족해졌으며, 서버가 재부팅되었습니다. 일부 파일은 접근 권한 문제로 전달되지 않았고, 업무 시스템에서는 이미 전달된 파일을 처리하지 못하는 상황도 발생했습니다.
운영팀은 오늘의 데이터 운영 결과를 확인합니다.
DAILY OPERATIONS REVIEW
오늘 발생한 문제와 최종 처리 결과
| 발생 시간 | 발생 상황 | 처리 방식 | 최종 상태 |
|---|
| 06:12 | 네트워크 연결 중단 | 연결 복구 후 재개 | Recovered |
| 09:48 | 저장 공간 부족 | 공간 확보 후 재개 | Recovered |
| 11:24 | 서버 재부팅 | 서버 연결 후 재개 | Recovered |
| 14:16 | 일부 파일 전달 실패 | 권한 수정 및 실패 파일 재시도 | Completed |
| 16:40 | 중요 파일 확인 요청 | 전송 이력 확인 및 후속 시스템 조치 | Resolved |
문제가 발생한 순간마다 필요한 처리가 이루어졌던 하루입니다.
어떤 문제는 연결이 복구되면서 자동으로 처리되었고, 어떤 문제는 운영팀의 조치가 필요했습니다.
그리고 파일 전송에 문제가 없었던 경우에는 전송 이력을 통해 문제의 원인을 다른 시스템으로 좁혀갈 수 있었습니다.
오늘의 기업 업무는 어떻게 되었을까요?
오늘 발생한 전송 문제와 기업의 실제 업무 일정을 비교해 봅니다.
BUSINESS TIMELINE
데이터 전달 일정과 기업의 실제 업무 일정
06:0009:0012:0015:0018:00
오전 업무 시작
데이터 아카이빙
오후 데이터 분석
서비스 데이터 갱신
일일 정산 업무
- 데이터 전송(시작 ~ 준비 완료)
- 업무 예정 시간
| 기업 업무 | 데이터 준비 완료 | 업무 예정 시간 | 결과 |
|---|
| 오전 업무 시작 | 08:14 | 09:00 | 예정대로 시작 |
| 데이터 아카이빙 | 12:08 | 15:00 | 기한 내 완료 |
| 오후 데이터 분석 | 13:42 | 14:00 | 예정대로 시작 |
| 서비스 데이터 갱신 | 14:42 | 16:00 | 예정대로 반영 |
| 일일 정산 업무 | 15:42 | 17:30 | 17:18 완료 |
오늘 발생한 문제로 인해 여러 파일 전송의 실행 시간이 변경되었습니다.
하지만 필요한 데이터는 각 업무의 예정 시간 이전에 준비되었고, 마지막 정산 업무도 후속 시스템의 문제를 해결하여 마감 시간 전에 완료되었습니다.
이 기업에서 중요하게 관리하는 것은 단순히 파일 전송에 오류가 발생했는지 여부만이 아닙니다.
발생한 오류가 어떤 데이터에 영향을 주었으며, 어떻게 처리되었고, 결과적으로 기업의 업무에 어떤 영향을 주었는지입니다.
Live context지금
18:00수요일
- 영향을 받는 기업 업무
- 기업 업무 마감
- 업무 예정 시간
- 18:00
- 현재 상황
- 오늘 예정 업무 완료
오늘 발생한 사건
- 06:12 네트워크 연결 중단처리 완료
- 09:48 저장 공간 부족처리 완료
- 11:24 서버 재부팅처리 완료
- 14:16 일부 파일 실패처리 완료
- 16:40 파일 확인 요청처리 완료