긴급 배포, 11:20장면 8 / 15
같은 파일이지만 장비마다 대응 목적이 다릅니다.
오류 파일이 전달된 3,840대에는 수정 파일을 전달하여 문제 해결을 준비합니다.
기존 오류 파일 전달 완료
3,840대
수정 파일 사전 검증
40대 완료
추가 수정 파일 배포
3,800대
기존 배포 미완료
160대
오류 버전 사용 방지
올바른 설정 파일 전달
160대
기존 프로그램 전달 상태 별도 확인
New distribution
Model B configuration correction
- Dataset
- Configuration v4.2.1
- Target devices
- 3,960
- File
- configuration_v4.2.1.json
- Size per device
- 128KB
- Destination
- /service/config/incoming/
- Started
- 11:20
Running
오류 파일을 받지 않은 160대에는 처음부터 올바른 설정 파일을 전달합니다.
검증을 완료한 40대는 다시 배포할 필요가 없으므로 나머지 3,960대를 대상으로 실행합니다.
AT THIS MOMENT지금
이번 사건의 대응 범위- 전체 대응 대상
- 4,000대
- 오류 파일 전달 이력
- 3,840대
- 오류 파일 전달 미완료
- 160대
수정 파일 전달 현황40 / 4,000
- 전달 미완료
- 3,960대
- 업무 정상화 확인
- 40대
이후의 업무장비별 전달 결과 확인
다음 이야기, 12:00전국의 장비에 수정 파일 전달 →긴급 배포, 12:00장면 9 / 15
문제가 있는 파일의 배포 범위가 줄어들고 있습니다.
대부분의 장비에 수정 파일의 전달이 완료되었습니다.
파일이 전달된 장비부터 업무 환경을 회복합니다.
시간에 따른 대응 결과
01K2K3K4K11:2011:3011:4011:5012:00 파일 전달 결과는 INNORIX에서 확인하고, 업무 정상화 결과는 기업의 서비스 운영 시스템에서 확인하는 가상의 기록입니다.
서비스 운영팀은 전달이 완료된 장비부터 수정된 파일을 적용하고 업무 상태를 확인합니다.
파일 전달 완료 장비와 실제 업무 복구가 확인된 장비를 구분해 관리합니다.
AT THIS MOMENT지금
이번 사건의 대응 범위- 전체 대응 대상
- 4,000대
- 오류 파일 전달 이력
- 3,840대
- 오류 파일 전달 미완료
- 160대
수정 파일 전달 현황3,720 / 4,000
- 전달 미완료
- 280대
- 업무 정상화 확인
- 3,400대
이후의 업무미완료 장비 대응
다음 이야기, 13:10아직 남아 있는 48대 →긴급 배포, 13:10장면 10 / 15
이미 완료된 수천 대보다 남아 있는 48대가 중요합니다.
4,000대 중 3,952대에 수정 파일이 전달되었습니다.
수정 파일 전달 현황
3,952 / 4,000
파일 전달 완료율 98.80%
| 현재 상태 | 장비 | 대응 방식 |
|---|
| 연결 중단 | 28대 | 연결 복구 후 전송 재개 |
| 저장 공간 부족 | 12대 | 필요 공간 확보 후 전송 |
| 전원 꺼짐 | 8대 | 장비 가동 및 연결 대기 |
| 전송 중 | 0대 | 파일 전달 진행 |
13:10 기준 미완료 장비 48대의 상태 변화
48대의 장비가 남았습니다. 연결 중단, 저장 공간 부족, 전원 꺼짐 상태로 구분하여 대응합니다.
연결 중단, 저장 공간 부족, 전원 꺼짐 상태의 장비 48대에 추가 대응이 필요합니다.
운영팀은 완료 장비를 다시 실행 대상으로 포함하지 않고 미완료 장비에 집중합니다.
AT THIS MOMENT지금
이번 사건의 대응 범위- 전체 대응 대상
- 4,000대
- 오류 파일 전달 이력
- 3,840대
- 오류 파일 전달 미완료
- 160대
수정 파일 전달 현황3,952 / 4,000
- 전달 미완료
- 48대
- 업무 정상화 확인
- 3,870대
이후의 업무연결 및 장비 상태 복구
다음 이야기, 14:00장비마다 다른 대응 →14:00장면 11 / 15
현장의 문제는 서로 다른 방식으로 해결됩니다.
남은 48대의 장비 모두에 동일한 문제가 발생한 것은 아닙니다.
장비마다 현재 상황에 맞는 대응을 진행합니다.
14:00
연결이 복구된 28대의 장비
네트워크 연결이 정상화된 장비에서 중단되었던 파일 전송이 이어집니다.
- Device-B-0248Completed
- Device-B-1092Completed
- Device-B-2840Completed
파일 전달이 남은 장비, 20대
14:40
저장 공간이 부족했던 12대의 장비
현장 운영팀
장비의 저장 공간 문제를 확인했습니다. 불필요한 임시 파일을 정리하여 필요한 공간을 확보했습니다.
저장 공간이 확보된 장비에 수정 파일 전달이 완료되었습니다.
파일 전달이 남은 장비, 8대
15:05
전원이 꺼져 있던 마지막 8대
현장 담당자
운영하지 않고 있던 장비 8대를 가동했습니다.
장비가 다시 연결되어 수정 파일 전달이 진행됩니다.
기업은 모든 장비의 상태를 확인하기 위해 전국의 현장 담당자를 움직이지 않았습니다.
자동 복구할 수 있는 전송은 그대로 진행되도록 하고, 실제 대응이 필요한 장비에만 현장 지원 업무를 집중했습니다.
AT THIS MOMENT지금
이번 사건의 대응 범위- 전체 대응 대상
- 4,000대
- 오류 파일 전달 이력
- 3,840대
- 오류 파일 전달 미완료
- 160대
수정 파일 전달 현황3,952 / 4,000
- 전달 미완료
- 48대
- 업무 정상화 확인
- 3,870대
이후의 업무연결 및 장비 상태 복구
다음 이야기, 15:20마지막 장비에 파일 전달 →정상 운영 복귀, 15:20장면 12 / 15
전체 대상 장비에 올바른 파일이 전달되었습니다.
마지막 장비의 연결과 저장 공간 문제가 해결되어 수정 파일 전달이 완료되었습니다.
15:20, 최종 파일 전달 결과
오류 파일의 전달 이력과 수정 파일의 전달 결과를 확인합니다.
| 배포 실행 | 대상 | 완료 | 최종 상태 |
|---|
| Release v4.2 | 4,000 | 3,840 | Stopped |
| Correction pilot | 40 | 40 | Completed |
| Correction v4.2.1 | 3,960 | 3,960 | Completed |
수정 파일 전체 전달 결과, 두 실행의 장비별 결과 합산
4,000 / 4,000
수정 파일 전달 완료
처음 오류 파일을 받았던 장비
3,840 / 3,840
수정 파일 전달 완료
기존 배포가 미완료였던 장비
160 / 160
올바른 설정 파일 전달 완료
잘못된 파일을 전달받았던 장비와 아직 전달받지 않았던 장비 모두 올바른 파일을 보유하게 되었습니다.
서비스 운영팀은 아직 적용 결과가 확인되지 않은 장비를 최종 점검합니다.
AT THIS MOMENT지금
이번 사건의 대응 범위- 전체 대응 대상
- 4,000대
- 오류 파일 전달 이력
- 3,840대
- 오류 파일 전달 미완료
- 160대
수정 파일 전달 현황4,000 / 4,000
- 전달 미완료
- 0대
- 업무 정상화 확인
- 3,976대
이후의 업무현장 업무 최종 검증
다음 이야기, 16:00특정 장비의 하루 확인 →16:00장면 13 / 15
특정 장비의 하루를 확인합니다.
오류가 있는 파일을 받았던 장비 중 하나를 선택해 봅니다.
기업 전체의 배포 결과뿐 아니라 특정 장비에 어떤 파일이 언제 전달되었는지 확인할 수 있습니다.
장비 선택: Device-B-0248
Device-B-0248
수도권, 사업장 028
INNORIX 전송 기록
- 전날 23:14
configuration_v4.2.json
기존 파일 전달 완료
- 13:48
configuration_v4.2.1.json
수정 파일 전달 완료
오류 파일 전달 이후 네트워크 연결이 중단되었으나 연결 복구 후 수정 파일 전달 완료
어떤 장비는 오류 파일을 전달받은 이후 수정 파일을 전달받았고, 어떤 장비는 처음부터 올바른 파일을 전달받았습니다.
전체 완료 건수가 동일하더라도 개별 장비의 업무 과정은 서로 다릅니다.
AT THIS MOMENT지금
이번 사건의 대응 범위- 전체 대응 대상
- 4,000대
- 오류 파일 전달 이력
- 3,840대
- 오류 파일 전달 미완료
- 160대
수정 파일 전달 현황4,000 / 4,000
- 전달 미완료
- 0대
- 업무 정상화 확인
- 3,976대
이후의 업무현장 업무 최종 검증
다음 이야기, 17:10오늘 발생한 사건의 종료 →