수집 이전
기업의 데이터는 이미 현장에 존재하고 있었습니다.
이 기업은 전국 48개 사업장에서 2,400대의 장비를 운영하고 있었습니다.
각 장비는 서로 다른 업무를 수행하고 있었고, 그 과정에서 다양한 종류의 데이터를 생성했습니다.
생산 장비에서는 운영 기록이, 검사 장비에서는 제품의 품질 정보가, 카메라와 센서에서는 이미지와 환경 데이터가 만들어졌습니다.
하지만 대부분의 데이터는 각각의 장비에 저장되어 일정 기간이 지나면 삭제되거나 새로운 데이터로 대체되었습니다.
데이터를 생성하고는 있었지만, 기업 전체가 사용할 수 있는 형태로 보관하고 있지는 않았습니다.
BEFORE COLLECTION
전국의 현장에서는 이미 다양한 데이터가 생성되고 있었습니다.
장비의 작동 및 업무 수행 기록
- operation.log124 MB
- machine_status.csv38 MB
- production_result.json12 MB
저장 위치, 개별 현장 장비
제품별 검사 결과와 품질 관련 기록
- inspection_result.csv24 MB
- inspection_0830.raw1.2 GB
- defect_images.zip860 MB
저장 위치, 개별 현장 장비
현장에서 생성된 이미지와 영상
- capture_0830.mp42.4 GB
- image_sequence.zip840 MB
- capture_metadata.json2 MB
저장 위치, 개별 현장 장비
현장 환경 및 장비 상태 측정 기록
- temperature.csv18 MB
- vibration.dat640 MB
- environment.json8 MB
저장 위치, 개별 현장 장비
- 기업 전체의 일평균 생성 데이터
- 8.6 TB
- 전사 데이터 저장 환경
- 일부 데이터만 별도 보관
기업에 데이터가 부족했던 것이 아니라,이미 생성되고 있는 데이터를 활용하지 못하고 있었습니다.Live context지금
개별 장비에 저장수집 이전
09:00
기업은 현장의 데이터를 모으기로 했습니다.
데이터 운영팀은 모든 현장 장비에서 무조건 모든 파일을 가져오는 방식으로 수집을 시작하지 않았습니다.
장비의 종류와 업무에 따라 기업에 필요한 데이터가 달랐기 때문입니다.
운영 장비에서는 가동 기록을, 검사 장비에서는 검사 결과와 이미지를, 센서 장비에서는 일정 시간마다 생성되는 측정 데이터를 수집하기로 했습니다.
각 장비에서 필요한 데이터의 위치와 수집 조건을 구성하고, 기업의 저장 환경으로 전달할 준비를 시작했습니다.
DAY ONE, 09:00
현장의 업무에 따라 수집할 데이터를 구성합니다.
Datasets
Field data collection
| Dataset | Source path / Filter | Devices | Schedule |
|---|
| Operation records | /data/logs/, *.log, *.csv | 960 | Every hour |
| Quality inspection | /inspection/results/ | 480 | New file |
| Field images | /capture/completed/ | 600 | Every 30 min |
| Sensor records | /sensor/export/ | 360 | Every hour |
Corporate Data Storage
- /field-data/operation/운영 기록
- /field-data/inspection/품질 검사 데이터
- /field-data/images/이미지 및 영상
- /field-data/sensors/센서 측정 데이터
사업장, 장비 및 생성 날짜별로 데이터를 구분하여 저장하도록 구성합니다.
각각 다른 업무를 수행하는 장비에서기업에 필요한 데이터를 선택하여 모으기 시작합니다.Live context지금
수집 환경 구성09:00
18:00
첫 번째 데이터가 기업에 도착했습니다.
하루 동안 전국의 현장에서는 평소와 같은 업무가 진행되었습니다.
생산 장비는 제품을 생산했고, 검사 장비는 품질을 검사했으며, 센서는 현장의 환경을 기록했습니다.
달라진 것은 그 과정에서 생성된 데이터가 기업의 저장 환경에도 전달되기 시작했다는 점입니다.
오후 6시, 데이터 운영팀은 첫날의 수집 결과를 확인했습니다.
DAY ONE, 18:00
기업 전체의 현장 데이터가 모이기 시작했습니다.
- 수집 대상 장비
- 2,400
- 현재까지 수집한 데이터
- 7.9 TB
- 첫날 예상 수집량
- 8.6 TB
| Dataset | Devices | Collected | Status |
|---|
| Operation records | 960 | 1.82 TB | Active |
| Quality inspection | 480 | 2.46 TB | Active |
| Field images | 600 | 2.90 TB | Active |
| Sensor records | 360 | 720 GB | Active |
- Site-01 / LINE-042 / operation.log18:02
- Site-08 / QA-018 / inspection_result.csv18:02
- Site-21 / CAM-114 / capture_1800.mp418:03
- Site-36 / GW-026 / sensor_export.csv18:03
현장의 업무는 달라지지 않았습니다.그러나 기업에는 이전에 없었던 데이터가 축적되기 시작했습니다.Live context지금
데이터 수집 시작18:00
현재 수집 중인 데이터
- 운영 기록
- 품질 검사 결과
- 이미지 및 영상
- 센서 데이터
DATA COLLECTION IN THE REAL WORLD, 3일 후
모든 현장에서 데이터가 도착하지는 않았습니다.
일부 사업장에서는 네트워크 연결이 불안정했고, 일부 장비는 업무가 종료되면 전원이 꺼졌습니다.
현장에서는 정상적으로 데이터가 생성되었지만 기업에 전달되지 못한 파일도 있었습니다.
데이터 운영팀은 어느 사업장의 어떤 장비에서 데이터가 도착하지 않았는지 확인했습니다.
이후 장비가 다시 연결되면서 장비에 남아 있던 미수집 데이터를 가져오기 시작했습니다.
DAY THREE
데이터는 생성되었지만 아직 도착하지 않았습니다.
Collection status
2,400 devices
- 최근 수집 완료
- 2,317
- 수집 진행 중
- 56
- 연결 복구 대기
- 27
| Device | Site | Last collection | Status |
|---|
| LINE-082 | Site-12 | Yesterday 18:00 | Disconnected |
| CAM-215 | Site-24 | Today 06:30 | Waiting |
| GW-106 | Site-31 | Today 07:00 | Disconnected |
| QA-038 | Site-16 | Today 08:12 | Resumed |
LINE-082
장비에서 계속 생성된 파일
- operation_1800.log
- operation_1900.log
- operation_2000.log
- operation_2100.log
현장 장비에 보관 중
Collection resumed
아직 수집되지 않은 파일
- operation_1800.logCollected
- operation_1900.logCollected
- operation_2000.logCollected
- operation_2100.logCollected
기업 저장소로 전달 완료
데이터 자산을 축적하기 위해서는정상적인 환경뿐 아니라 불완전한 현장 환경도 고려해야 합니다.Live context지금
현장의 예외 상황3일 후
현재 데이터 운영
- 정상 장비 수집 계속 진행
- 연결 복구 후 미수집 파일 전달
일주일 후
기업의 업무가 진행되는 동안 데이터도 모이고 있었습니다.
데이터 수집이 시작된 지 일주일이 지났습니다.
처음에는 데이터 운영팀에서도 매일 수집 상황을 자세하게 확인했습니다.
시간이 지나면서 현장의 데이터는 설정된 일정과 조건에 따라 지속적으로 수집되기 시작했습니다.
현장 직원들은 데이터를 별도로 준비하거나 본사에 전달하지 않았습니다. 기존에 하던 업무를 그대로 수행했습니다.
그 과정에서 생성된 데이터가 기업의 저장 환경에 계속 축적되고 있었습니다.
ONE WEEK LATER
일주일 동안 기업에 축적된 데이터
TB02040607.9
16.1
23.8
31.6
39.2
46.9
54.7
월화수목금토일
ACCUMULATED DATA BY CATEGORY
- 운영 기록12.4 TB
- 품질 검사 데이터17.1 TB
- 이미지 및 영상20.4 TB
- 센서 데이터4.8 TB
기업이 하루의 업무를 마칠 때마다기업이 사용할 수 있는 데이터도 늘어나고 있었습니다.Live context지금
정기 및 이벤트 기반 수집일주일 후
DATA FINDS NEW USERS, 1개월 후
다른 부서에서 현장의 데이터를 찾기 시작했습니다.
어느 날 품질관리팀에서 지난 한 달간의 제품 검사 데이터를 요청했습니다.
연구개발팀에서는 현장 장비의 작동 기록을 분석하고 싶어 했습니다.
설비관리팀에서도 여러 사업장의 센서 측정값을 비교해 달라는 요청을 전달했습니다.
이전 같으면 각 사업장의 담당자에게 연락하여 필요한 파일을 찾아달라고 요청해야 했습니다.
하지만 이제는 기업에서 이미 수집한 데이터를 확인하는 것부터 업무를 시작할 수 있었습니다.
ONE MONTH LATER
같은 데이터에 서로 다른 조직의 관심이 생겼습니다.
- 기업에 축적된 데이터
- 233 TB
- 데이터 생성 환경
- 48개 사업장
Corporate Data Storage
| Data category | Period | Source |
|---|
| Operation records | Last 30 days | 960 devices |
| Quality inspection | Last 30 days | 480 devices |
| Field images | Last 30 days | 600 devices |
| Sensor records | Last 30 days | 360 devices |
품질관리팀
“지난달 전국 사업장의 제품 검사 결과를 비교하고 싶습니다.”
필요한 데이터
연구개발팀
“실제 현장에서 장비가 어떻게 사용되는지 확인하고 싶습니다.”
필요한 데이터
설비관리팀
“사업장별 설비의 작동 환경에는 어떤 차이가 있을까요?”
필요한 데이터
데이터를 생성한 조직과데이터를 사용하는 조직이 달라지기 시작했습니다.Live context지금
데이터 활용 시작1개월 후