기업의 배경, 도입 이전
각자의 업무는 자동화되어 있었습니다.
이 기업의 주요 업무 시스템은 매일 새로운 데이터를 생성합니다. 데이터 분석 시스템은 전달받은 데이터를 분석하고, 서비스 운영 시스템은 분석 결과를 활용합니다.
각각의 시스템은 자동으로 업무를 수행하고 있었습니다. 하지만 시스템과 시스템 사이에서 데이터를 전달하는 일은 별도의 프로그램과 운영 담당자의 업무로 남아 있었습니다.
앞선 업무가 늦어지면 다음 업무의 실행 시간을 변경해야 했고, 일부 데이터가 누락되면 이미 실행된 업무를 다시 확인해야 했습니다.
기업은 이러한 데이터 이동 업무를 INNORIX Flow로 구성하기 시작했습니다.
각각의 업무를 자동화하는 것과 업무와 업무를 연결하는 것은 다른 문제였습니다.
BEFORE
각각의 시스템은 이미 자신의 업무를 수행하고 있었습니다.
- 업무 시스템일일 업무 데이터 생성자동 실행
- 분석 시스템데이터 분석 및 결과 생성자동 실행
- 서비스 운영 시스템분석 결과를 서비스에 활용자동 실행
시스템 사이에서 운영 담당자가 관리하던 업무
- 업무 데이터가 모두 생성되었는지 확인06:00
- 분석 환경으로 데이터를 전달06:30
- 분석 결과가 생성되었는지 확인07:50
- 서비스 운영 환경으로 결과를 전달08:00
- 문제가 발생한 전송을 확인하고 재실행수시
각각의 업무는 자동화되어 있었지만,그 사이의 업무는 여전히 관리해야 했습니다.Live context지금
도입 이전서로의 결과를 기다리는 업무
현재 진행 중인 업무
- 업무 데이터 생성시스템 자동 실행
- 분석 업무데이터 전달 대기
- 서비스 운영 업무분석 결과 대기
어느 월요일, 06:00
오늘의 첫 번째 데이터가 생성되었습니다.
월요일 오전 6시. 기업의 업무 시스템이 전날 발생한 거래와 서비스 이용 기록을 파일로 생성합니다.
파일이 저장되면 해당 데이터를 전달하기 위한 Flow가 실행됩니다. 분석 시스템으로 전달해야 하는 데이터와 장기 보관해야 하는 데이터가 각자의 목적지로 이동합니다.
아직 분석팀과 서비스 운영팀 직원들은 출근하지 않았습니다. 하지만 오늘의 업무는 이미 시작되었습니다.
데이터가 생성되는 순간 다음 업무를 위한 준비가 시작됩니다.
06:00
일일 데이터 처리 업무
업무 시스템, Daily output
데이터 생성 완료transactions.csv12.4 GBservice_logs.parquet84.6 GBdaily_summary.csv240 MB
분석 환경
- transactions.csv
- service_logs.parquet
전달 완료- 06:00
- 06:05
- 06:30
- 06:42
원본 데이터의 보관 업무도 완료되었습니다.
Live context지금
06:00첫 번째 데이터 생성
현재 진행 중인 업무
- 일일 데이터 생성완료
- 분석 환경으로 전달전송 중
- 원본 데이터 보관전송 중
어느 월요일, 06:30
첫 번째 전송이 완료되었습니다. 그리고 새로운 업무가 시작됩니다.
오전 6시 30분. 분석 환경으로 필요한 데이터가 모두 전달되었습니다.
분석 시스템은 전달 완료를 확인한 후 자신의 분석 업무를 시작합니다. 원본 데이터를 보관하는 별도의 전송 업무도 완료되었습니다.
이제 분석이 끝나면 생성되는 결과 파일을 다시 전달할 차례입니다. 그 시점은 미리 정해진 시간이 아니라 실제 분석 결과가 준비되는 시점입니다.
전송의 완료는 전체 업무의 끝이 아니었습니다.
06:30
Daily data processing
- INNORIX분석 환경으로 데이터 전달06:12 — 06:30완료
- 기업의 분석 시스템데이터 분석06:30 — 07:42완료
- 기업의 분석 시스템분석 결과 파일 생성07:42
daily_analysis.parquetservice_metrics.json생성 완료 - INNORIX분석 결과를 서비스 환경으로 전달07:42 — 08:16완료
- 06:12
- 06:30
- 07:10
- 07:42
- 08:16
서비스 운영팀이 사용할 데이터가 준비되었습니다.
Live context지금
06:30데이터를 전달받은 시스템
현재 진행 중인 업무
- 분석 데이터 전달완료
- 원본 데이터 보관완료
- 외부 분석 시스템분석 중
- 분석 결과 전달파일 생성 대기
어느 월요일, 08:00
분석 결과가 필요한 조직으로 전달됩니다.
오전 7시 42분. 분석 시스템이 오늘의 분석 결과 파일을 생성합니다.
결과 파일이 준비되면서 서비스 운영 환경으로 전달하는 Flow가 실행됩니다. 분석 결과 중 장기 보관 대상은 별도의 저장 환경으로 전달됩니다.
오전 8시 16분. 필요한 파일이 모두 전달되었습니다. 오전 9시에 출근한 서비스 운영팀은 오늘의 데이터를 확인하고 업무를 시작합니다.
직원들이 출근했을 때 여러 시스템의 업무는 이미 완료되어 있었습니다.
오늘의 업무를 위해 수행된 작업
- 06:00원본 데이터 생성기업 업무 시스템완료
- 06:30분석 데이터 전달 완료INNORIX완료
- 06:42원본 데이터 보관 완료INNORIX완료
- 07:42분석 결과 생성 완료데이터 분석 시스템완료
- 08:16서비스용 결과 데이터 전달 완료INNORIX완료
09:00
- 인프라 운영팀일일 데이터 보관 완료
- 데이터 분석팀오늘의 분석 결과 준비 완료
- 서비스 운영팀서비스 데이터 준비 완료
각 조직은 자신의 업무를 시작합니다.Live context지금
08:00출근 전에 준비된 업무
현재 진행 중인 업무
- 외부 시스템 분석완료
- 서비스용 결과 전달완료
- 분석 결과 보관완료
어느 월요일, 10:30
오늘의 데이터가 또 다른 업무에 필요해졌습니다.
오전 10시 30분. 신규 서비스 프로젝트팀에서 오늘의 원본 데이터와 분석 결과를 요청합니다.
프로젝트팀은 기존 서비스 운영 환경과 다른 검증 환경을 사용하고 있으며, 전달받은 데이터를 가공한 뒤 검증 결과를 다시 전달해야 합니다.
운영 담당자는 기존 업무와 별도로 이 프로젝트에서 반복 사용할 데이터 전달 Flow를 구성합니다.
오전의 정기 업무를 변경하거나 중단하지 않고 새로운 업무가 시작됩니다.
하나의 데이터에서 새로운 업무가 추가되었습니다.
신신규 서비스 프로젝트팀10:32
앞으로 서비스 검증 환경에서도 매일 새로운 데이터를 사용해야 합니다.기존 원본 데이터와 분석 결과 중 필요한 파일을 검증 서버로 전달해 주세요. 검증이 끝나면 결과 파일도 프로젝트팀에서 사용할 수 있도록 전달해 주세요.
인인프라 운영팀10:35
기존 업무와 별도로 프로젝트용 데이터 전달 업무를 구성하겠습니다.
요청받은 데이터와 전달 조건
| 데이터 | 전달 환경 | 실행 조건 |
|---|
| 일일 원본 데이터 | 검증 서버 | 파일 생성 시 |
| 분석 결과 데이터 | 검증 서버 | 결과 파일 생성 시 |
| 검증 결과 데이터 | 프로젝트 저장 환경 | 검증 결과 생성 시 |
Flows
| Flow | Type | Status |
|---|
| Daily data processing | 기존 운영 업무 | 운영 중 |
| Service data delivery | 기존 운영 업무 | 운영 중 |
| Historical data archive | 기존 운영 업무 | 운영 중 |
| Project validation data | 신규 업무 | 추가 완료 |
Live context지금
10:30새로운 업무 요청
현재 진행 중인 업무
- 기존 일일 업무완료
- 프로젝트용 원본 전달전송 중
- 프로젝트 결과 전달결과 파일 대기
어느 월요일, 13:20
검증 환경으로 데이터를 전달하던 중 연결이 끊겼습니다.
프로젝트 검증 서버의 네트워크에 일시적인 문제가 발생합니다. 아직 필요한 데이터가 모두 전달되지 않은 상태입니다.
해당 데이터가 필요한 검증 업무는 실행되지 않고 대기합니다. 한편 별도로 운영되는 기존 서비스 업무와 보관 업무는 계속 진행됩니다.
연결이 복구되면 중단된 전송의 나머지 부분이 이어집니다. 실제 전송이 완료된 후 검증 시스템이 업무를 시작합니다.
문제가 발생한 업무는 기다리고, 기다릴 필요가 없는 업무는 계속됩니다.
15:40, 검증 결과가 프로젝트팀에 전달되었습니다.
신규 서비스 프로젝트
- 검증 시스템의 업무외부 시스템검증 완료
- 검증 결과 전달INNORIX전달 완료
별도로 운영 중인 기존 업무
- 서비스 운영 데이터 전달정상 운영
- 일일 데이터 보관완료
- 분석 결과 보관완료
- 13:20 중단
- 13:34 복구
- 13:56 완료
- 15:40 결과 전달
검증 시스템에서 결과 파일이 생성되었고, 프로젝트팀의 저장 환경으로 결과가 전달되었습니다.
Live context지금
13:20예상하지 못한 연결 장애
현재 진행 중인 업무
- 프로젝트 데이터 전달복구 대기
- 외부 검증 시스템데이터 전달 대기
- 검증 결과 전달결과 파일 대기
- 기존 서비스 업무정상 운영
어느 월요일, 16:30
오늘 오후의 업무는 어디까지 진행되었을까요?
프로젝트팀의 담당자가 검증 결과의 전달 상태를 확인해 달라고 요청합니다.
운영 담당자는 해당 프로젝트 Flow의 실행 이력을 확인합니다. 원본 데이터가 전달되었던 시간과 연결 장애, 전송이 완료된 시간, 검증 시스템이 결과를 생성한 이후의 전송 기록을 확인합니다.
개별 시스템의 모든 내부 처리 기록을 조사하지 않고도 INNORIX에서 실행된 데이터 이동 과정과 전송 결과를 파악할 수 있습니다.
마지막 전송 결과뿐 아니라 데이터가 이동해 온 과정도 확인할 수 있습니다.
프프로젝트팀16:32
오늘 검증에 사용한 데이터의 전달 과정과 결과 파일의 전달 시간을 확인할 수 있을까요?
INNORIX STUDIO
Project validation dataRuns
| Transfer | Completed | Status |
|---|
| 검증용 원본 데이터 | 13:56 | Completed |
| 검증용 분석 결과 | 12:14 | Completed |
| 프로젝트 검증 결과 | 15:40 | Completed |
검증용 원본 데이터, 실행 상세
- 13:00전송 시작
- 13:20연결 중단
- 13:34연결 복구 및 전송 재개
- 13:56전송 완료
Amazon S3 / Project validation server
인인프라 운영팀16:35
오후에 검증 서버의 일시적인 연결 장애가 있었지만 13시 56분에 원본 데이터 전달이 완료되었습니다. 검증 결과 파일은 15시 40분에 프로젝트 저장 환경으로 전달되었습니다.
Live context지금
16:30하나의 업무가 지나온 과정
현재 진행 중인 업무
- 프로젝트 원본 전달완료
- 외부 검증 업무완료
- 검증 결과 전달완료
어느 월요일, 22:00
오늘의 마지막 결과물이 내일의 첫 번째 업무를 준비합니다.
직원들이 퇴근한 이후에도 기업의 업무 시스템은 새로운 데이터를 생성합니다.
오늘의 업무 결과와 보관 대상 데이터는 정해진 일정과 조건에 따라 필요한 저장 환경으로 전달됩니다.
다음 날 새벽, 새로운 데이터가 생성되면 다시 분석을 위한 데이터 전달 업무가 시작됩니다.
오늘의 마지막 데이터 이동이 내일의 업무를 준비합니다.
정해진 일정과 데이터 생성 조건에 따라 이어지는 업무
18:0021:0000:0003:0006:00
오늘의 마지막 업무가내일의 첫 번째 업무를 준비합니다.Live context지금
22:00다음 날의 업무 준비
현재 진행 중인 업무
- 일일 결과 데이터 보관전송 중
- 다음 날 데이터 생성예약
- 다음 날 분석 데이터 전달파일 생성 대기