THE FIRST INCIDENT, 첫째 날 10:12
한 대의 장비가 예기치 않게 중단되었습니다.
전국의 사업장이 평소와 같이 업무를 진행하고 있었습니다.
오전 10시 12분, 한 사업장에서 운영 중이던 장비가 갑자기 중단되었습니다.
현장 담당자는 장비를 확인하고 다시 가동했습니다. 장비는 정상적으로 업무를 수행하기 시작했습니다.
그러나 현장으로부터 보고를 받은 본사의 기술팀은 단순한 일시적 오류로 판단하기에는 아직 정보가 부족하다고 생각했습니다.
장비가 멈추기 직전에 어떤 일이 있었는지를 먼저 확인해야 했습니다.
DAY 1, 10:12
평소와 같이 운영되던 장비가 갑자기 멈췄습니다.
문제가 발생한 산업용 장비의 환경 예시Device-0842
- 사업장
- Site-024
- 도입 시기
- 2023년 6월
- 운영체제
- Embedded Linux
- 소프트웨어
- v4.8.2
- 문제 발생
- 10:12:04
- 장비 재가동
- 10:16:32
현재 운영 상태: 정상
09:5010:1210:1610:25
장비 중단 전후 운영 상태를 재구성한 예시
장비는 다시 가동되었습니다.하지만 기업은 아직 문제가 끝났다고 판단할 수 없습니다.Live context지금
10:12첫째 날
- 조사 단계
- 최초 문제 발견
- 문제 발생 장비
- 1대
첫째 날 10:25
장비가 다시 가동되었지만 문제가 해결된 것은 아닙니다.
기술팀은 문제가 발생한 장비에서 운영 로그와 오류 기록, 소프트웨어 구성 정보를 확보하기 시작했습니다.
문제가 발생하기 전의 기록뿐 아니라 재가동 이후의 기록도 필요했습니다.
이미 INNORIX에 연결된 장비였기 때문에 현장 담당자가 직접 파일을 찾고 압축하여 본사에 전달하는 과정 없이 필요한 자료를 수집할 수 있었습니다.
DAY 1, 10:25
문제가 발생한 장비의 기록을 확보합니다.
| File | Size | Status |
|---|
| runtime.log | 184 MB | Collected |
| system_error.log | 42 MB | Collected |
| device_config.json | 128 KB | Collected |
| software_version.json | 12 KB | Collected |
| diagnostic_snapshot.zip | 860 MB | Collected |
- Destination
- Investigation storage / Device-0842
- 전체 수집량
- 1.09 GB
중단 직전의 운영 기록에서 이상 징후가 발견되었습니다.
- 10:11:42Resource usage increased
- 10:11:53Process response delayed
- 10:12:04PROCESS_TERMINATED
- 10:12:08Service restart requested
수집된 로그를 기업 기술팀이 외부 분석 환경에서 검토한 예시입니다.
이 기록은 이 장비에만 존재하는 것일까요?Live context지금
10:25첫째 날
- 조사 단계
- 최초 문제 발견
- 문제 발생 장비
- 1대
- 확보된 기록
- 1.09 GB
THE INVESTIGATION EXPANDS, 첫째 날 10:45
동일한 소프트웨어 버전을 사용하는 장비가 960대입니다.
기술팀은 가장 먼저 문제가 발생한 장비와 동일한 소프트웨어 버전을 사용하는 장비들을 확인했습니다.
전국 64개 사업장에서 동일한 버전의 소프트웨어를 사용하는 장비 960대가 운영 중이었습니다.
문제가 특정 소프트웨어 버전에서 발생하는 것이라면 다른 장비에서도 유사한 기록이 발견될 수 있습니다.
그러나 동일한 버전의 장비라고 해서 모두 같은 환경에서 운영되고 있는 것은 아니었습니다.
DAY 1, 10:45
문제가 발생한 장비와 같은 소프트웨어를 사용하는 전국의 장비
- 문제가 발생한 장비
- 1대
- 동일 버전 장비
- 960대
- 동일 버전 운영 사업장
- 64곳
SOFTWARE VERSIONS ACROSS THE FLEET
v4.8.2960대
v4.8.1640대
v4.7.3580대
v4.7.2420대
v4.6.1300대
v4.5.0180대
v4.4.8120대
동일 버전 장비의 운영 환경
| 운영체제 | 장비 수 |
|---|
| Embedded Linux | 480대 |
| Windows IoT | 260대 |
| Ubuntu | 140대 |
| Android | 80대 |
장비의 소프트웨어 버전은 기업의 장비 관리 정보 또는 사전에 수집된 버전 파일을 기준으로 분류합니다.
Live context지금
10:45첫째 날
- 조사 단계
- 조사 범위 확대
- 동일 버전 장비
- 960대
- 동일 버전 운영 사업장
- 64곳
첫째 날 11:00
결국 전국 모든 장비를 조사하기로 합니다.
특정 버전의 장비에서만 자료를 확보하면 문제의 원인이 해당 버전에 있는지 판단하기 어렵습니다.
다른 버전의 장비에서도 동일한 현상이 나타나는지 비교해야 합니다.
또한 소프트웨어 버전 외에도 장비의 운영체제와 사용 기간, 업무량, 환경 조건 등이 영향을 미쳤을 가능성이 있습니다.
기술팀은 조사 범위를 전국 3,200대의 장비로 확대하기로 결정했습니다.
DAY 1, 11:00
조사 대상이 전국의 모든 장비로 확대되었습니다.
- 최초 발견
- 1대
- 동일 버전 조사
- 960대
- 전체 비교 조사
- 3,200대
그래픽의 각 항목은 4대의 장비를 나타냅니다.
전국 장비 이상 징후 비교 조사
조사 목적: 동일한 오류 유형의 발생 여부와 장비별 운영 환경의 상관관계 확인
- 조사 대상
- 전국 86개 사업장, 장비 3,200대
- 조사 기간
- 최근 7일간의 운영 기록
- 우선 확보 자료
- 운영 로그, 오류 기록, 구성 정보
- 수집 목적지
- 기업 기술 조사 전용 저장소
한 대의 장비에서 시작된 문제가기업 전체 운영 환경을 확인하는 일로 확대되었습니다.Live context지금
11:00첫째 날
- 조사 단계
- 조사 범위 확대
- 전체 조사 대상
- 3,200대
첫째 날 11:20
모든 장비의 모든 파일이 필요한 것은 아닙니다.
전국 3,200대의 장비에는 상당한 양의 데이터가 저장되어 있었습니다.
장비마다 수개월 동안 축적된 운영 기록과 업무 데이터, 검사 결과, 시스템 파일들이 존재했습니다.
그러나 이번 조사에 모든 데이터가 필요한 것은 아닙니다.
기술팀은 최근 7일간의 운영 로그와 오류 기록, 현재 장비의 구성 정보만 우선 확보하기로 했습니다.
조사 결과에 따라 더 상세한 데이터가 필요한 장비에서만 추가 수집을 진행할 계획입니다.
DAY 1, 11:20
조사에 필요한 파일과 기간을 지정합니다.
ALL STORED DATA
186 TB
전국 장비의 전체 보관 데이터
- /business/업무 데이터
- /inspection/검사 결과
- /logs/운영 기록
- /diagnostics/진단 파일
- /config/구성 정보
- /archive/과거 보관 자료
REQUIRED FOR INVESTIGATION
2.4 TB
이번 조사에 필요한 예상 데이터
- runtime_*.log최근 7일
- error_*.log최근 7일
- system_*.log최근 7일
- device_config.json현재 구성
- software_version.json현재 버전
전체 보관 데이터 대비 이번 수집 대상
약 1.3% 수집 대상전체 186 TB
Collection configuration
- Source devices
- All investigation devices, 3,200
- Source paths
- /logs/, /config/
- Include
- *.log, device_config.json, software_version.json
- File period
- Last 7 days, 운영 로그에 적용
- Exclude
- Archived logs and unrelated files
- Destination
- Investigation storage
- Save rule
- Investigation ID / Site ID / Device ID
조사 범위는 전국의 모든 장비이지만,수집 범위는 조사에 필요한 데이터로 제한합니다.Live context지금
11:20첫째 날
- 조사 단계
- 조사 범위 확대
- 전체 조사 대상
- 3,200대
- 예상 수집 데이터
- 2.4 TB
첫째 날 12:30
조사를 위해 현장의 업무를 멈출 수는 없습니다.
전국 장비에 대한 데이터 수집이 진행되고 있었습니다.
장비들은 여전히 각 사업장에서 자신의 업무를 수행하고 있었습니다.
어떤 장비는 생산 데이터를 처리하고 있었고, 어떤 장비는 검사 업무를 진행하고 있었습니다. 일부 장비는 현장 서비스를 제공하고 있었습니다.
기술팀은 조사에 필요한 파일을 확보하면서도 현장의 업무에 미치는 영향을 최소화해야 했습니다.
대역폭과 저장소의 처리 능력을 고려하여 수집 작업을 운영하고, 기록 생성이 완료된 파일을 대상으로 데이터를 확보합니다.
DAY 1, 12:30
현장의 업무와 기술팀의 조사가 동시에 진행됩니다.
전국 사업장의 일상 업무
- Site-008생산 시설생산 업무 진행
- Site-024일반 사업장현장 서비스 진행
- Site-046검사 시설품질 검사 진행
- Site-071물류 시설입출고 업무 진행
기술팀 조사 자료 수집
2,180 / 3,200
필수 조사 자료 확보 장비
- 수집 완료
- 2,180대
- 수집 진행
- 760대
- 실행 대기
- 188대
- 연결 복구 대기
- 72대
| Source device | Size | Progress | Status |
|---|
| Device-0024 | 684 MB | | Completed |
| Device-0168 | 426 MB | | Running |
| Device-0842 | 812 MB | | Completed |
| Device-1246 | 1.2 GB | | Running |
| Device-2480 | 924 MB | | Waiting |
| Device-3018 | 620 MB | | Disconnected |
현장에서는 기존 업무를 수행하고,본사에서는 필요한 조사 자료를 확보합니다.Live context지금
12:30첫째 날
- 조사 단계
- 기록 수집
- 자료 확보
- 2,180 / 3,200대
- 연결 복구 대기
- 72대
WHAT THE DATA REVEALS, 첫째 날 14:20
38대의 장비에서 유사한 기록이 발견되었습니다.
오후 2시 20분, 전체 장비의 수집이 아직 완료되지는 않았지만 대부분의 조사 자료가 기업에 도착했습니다.
기술팀은 이미 확보된 운영 기록을 분석하기 시작했습니다.
그 결과, 최초 문제가 발생한 장비를 포함하여 38대의 장비에서 유사한 이상 기록이 발견되었습니다.
그중 26대는 처음 의심했던 소프트웨어 버전을 사용하고 있었습니다.
그러나 나머지 12대는 다른 버전의 소프트웨어를 사용하고 있었습니다.
단순히 특정 버전에서만 발생하는 문제라고 판단하기 어려워졌습니다.
DAY 1, 14:20
처음에는 예상하지 못했던 조사 결과가 나타납니다.
- 조사 자료 확보
- 3,060대
- 유사한 기록 발견
- 38대
- 발견된 소프트웨어 버전
- 3종
PRELIMINARY ENGINEERING ANALYSIS
소프트웨어 버전별 유사 이상 기록
v4.8.226대
v4.8.18대
v4.7.34대
v4.7.20대
v4.6.10대
v4.5.00대
v4.4.80대
현재까지 확보된 기록에서 발견된 건수이며 전체 장비의 최종 조사 결과는 아닙니다.
처음의 가설과 현재 발견된 사실
- 최초 가설
- 특정 소프트웨어 버전에서 발생하는 문제일 가능성
- 새로운 발견
- 다른 소프트웨어 버전에서도 유사한 운영 기록 발견
- 추가 조사
- 장비 구성, 메모리 상태, 처리량, 운영 시간 및 공통 모듈 비교
더 많은 데이터를 확보하면서기업이 처음 생각했던 문제의 범위가 달라지기 시작합니다.이 분석은 기업의 기술팀과 외부 로그 분석 시스템에서 수행합니다.Live context지금
14:20첫째 날
- 조사 단계
- 중간 분석
- 유사 기록 발견
- 38대