실무에서의 INNORIX, Multi-Stage Flow

파일의 이동이다음 업무의 시작이 됩니다.

한 시스템에서 완료된 업무는 다른 시스템의 시작이 되고, 한 조직에서 만들어진 데이터는 다른 조직의 업무로 이어집니다.서로 다른 업무가 연결되어 움직이는 어느 기업의 이야기를 따라가 봅니다.

시나리오
가상의 기업 환경을 통해 여러 단계의 파일 전송과 시스템 간 업무 연계 방식을 살펴보는 스토리입니다.

월요일 06:00

MONDAY MORNING

06:00

오늘의 첫 번째 데이터가 생성되었습니다.

이 데이터에서 오늘 아침 여러 조직의 업무가 시작됩니다.

  1. 06:00완료일일 업무 데이터 생성업무 시스템
  2. 06:12진행 중분석 환경으로 데이터 전달INNORIX
  3. 07:30대기분석 결과 생성데이터 분석 시스템
  4. 08:00대기분석 결과 전달서비스 운영 환경

첫 번째 업무 데이터 생성

실무에서의 INNORIX

기업의 배경도입 이전

기업의 배경, 도입 이전

각자의 업무는 자동화되어 있었습니다.

이 기업의 주요 업무 시스템은 매일 새로운 데이터를 생성합니다. 데이터 분석 시스템은 전달받은 데이터를 분석하고, 서비스 운영 시스템은 분석 결과를 활용합니다.

각각의 시스템은 자동으로 업무를 수행하고 있었습니다. 하지만 시스템과 시스템 사이에서 데이터를 전달하는 일은 별도의 프로그램과 운영 담당자의 업무로 남아 있었습니다.

앞선 업무가 늦어지면 다음 업무의 실행 시간을 변경해야 했고, 일부 데이터가 누락되면 이미 실행된 업무를 다시 확인해야 했습니다.

기업은 이러한 데이터 이동 업무를 INNORIX Flow로 구성하기 시작했습니다.

각각의 업무를 자동화하는 것과 업무와 업무를 연결하는 것은 다른 문제였습니다.

BEFORE

각각의 시스템은 이미 자신의 업무를 수행하고 있었습니다.

  • 업무 시스템일일 업무 데이터 생성자동 실행
  • 분석 시스템데이터 분석 및 결과 생성자동 실행
  • 서비스 운영 시스템분석 결과를 서비스에 활용자동 실행

시스템 사이에서 운영 담당자가 관리하던 업무

  1. 업무 데이터가 모두 생성되었는지 확인06:00
  2. 분석 환경으로 데이터를 전달06:30
  3. 분석 결과가 생성되었는지 확인07:50
  4. 서비스 운영 환경으로 결과를 전달08:00
  5. 문제가 발생한 전송을 확인하고 재실행수시
각각의 업무는 자동화되어 있었지만,그 사이의 업무는 여전히 관리해야 했습니다.

Live context지금

도입 이전서로의 결과를 기다리는 업무

현재 진행 중인 업무

  • 업무 데이터 생성시스템 자동 실행
  • 분석 업무데이터 전달 대기
  • 서비스 운영 업무분석 결과 대기

이후의 업무

시스템 간 데이터 전달 업무 구성

어느 월요일, 06:00

오늘의 첫 번째 데이터가 생성되었습니다.

월요일 오전 6시. 기업의 업무 시스템이 전날 발생한 거래와 서비스 이용 기록을 파일로 생성합니다.

파일이 저장되면 해당 데이터를 전달하기 위한 Flow가 실행됩니다. 분석 시스템으로 전달해야 하는 데이터와 장기 보관해야 하는 데이터가 각자의 목적지로 이동합니다.

아직 분석팀과 서비스 운영팀 직원들은 출근하지 않았습니다. 하지만 오늘의 업무는 이미 시작되었습니다.

데이터가 생성되는 순간 다음 업무를 위한 준비가 시작됩니다.

06:00

일일 데이터 처리 업무

업무 시스템, Daily output

데이터 생성 완료
  • transactions.csv12.4 GB
  • service_logs.parquet84.6 GB
  • daily_summary.csv240 MB

분석 환경

  • transactions.csv
  • service_logs.parquet
전달 완료

장기 보관 환경

  • 전체 원본 데이터
  • 일일 업무 기록
전달 완료
  1. 06:00
  2. 06:05
  3. 06:30
  4. 06:42

원본 데이터의 보관 업무도 완료되었습니다.

Live context지금

06:00첫 번째 데이터 생성

현재 진행 중인 업무

  • 일일 데이터 생성완료
  • 분석 환경으로 전달전송 중
  • 원본 데이터 보관전송 중

이후의 업무

분석 데이터 전달 완료

어느 월요일, 06:30

첫 번째 전송이 완료되었습니다. 그리고 새로운 업무가 시작됩니다.

오전 6시 30분. 분석 환경으로 필요한 데이터가 모두 전달되었습니다.

분석 시스템은 전달 완료를 확인한 후 자신의 분석 업무를 시작합니다. 원본 데이터를 보관하는 별도의 전송 업무도 완료되었습니다.

이제 분석이 끝나면 생성되는 결과 파일을 다시 전달할 차례입니다. 그 시점은 미리 정해진 시간이 아니라 실제 분석 결과가 준비되는 시점입니다.

전송의 완료는 전체 업무의 끝이 아니었습니다.

06:30

Daily data processing

  1. INNORIX분석 환경으로 데이터 전달06:12 — 06:30완료
  2. 기업의 분석 시스템데이터 분석06:30 — 07:42완료
  3. 기업의 분석 시스템분석 결과 파일 생성07:42daily_analysis.parquetservice_metrics.json생성 완료
  4. INNORIX분석 결과를 서비스 환경으로 전달07:42 — 08:16완료
  1. 06:12
  2. 06:30
  3. 07:10
  4. 07:42
  5. 08:16

서비스 운영팀이 사용할 데이터가 준비되었습니다.

Live context지금

06:30데이터를 전달받은 시스템

현재 진행 중인 업무

  • 분석 데이터 전달완료
  • 원본 데이터 보관완료
  • 외부 분석 시스템분석 중
  • 분석 결과 전달파일 생성 대기

이후의 업무

분석 결과 파일 생성

어느 월요일, 08:00

분석 결과가 필요한 조직으로 전달됩니다.

오전 7시 42분. 분석 시스템이 오늘의 분석 결과 파일을 생성합니다.

결과 파일이 준비되면서 서비스 운영 환경으로 전달하는 Flow가 실행됩니다. 분석 결과 중 장기 보관 대상은 별도의 저장 환경으로 전달됩니다.

오전 8시 16분. 필요한 파일이 모두 전달되었습니다. 오전 9시에 출근한 서비스 운영팀은 오늘의 데이터를 확인하고 업무를 시작합니다.

직원들이 출근했을 때 여러 시스템의 업무는 이미 완료되어 있었습니다.

08:16

직원들의 출근 44분 전

오늘의 업무를 위해 수행된 작업

  1. 06:00원본 데이터 생성기업 업무 시스템완료
  2. 06:30분석 데이터 전달 완료INNORIX완료
  3. 06:42원본 데이터 보관 완료INNORIX완료
  4. 07:42분석 결과 생성 완료데이터 분석 시스템완료
  5. 08:16서비스용 결과 데이터 전달 완료INNORIX완료

09:00

  • 인프라 운영팀일일 데이터 보관 완료
  • 데이터 분석팀오늘의 분석 결과 준비 완료
  • 서비스 운영팀서비스 데이터 준비 완료
각 조직은 자신의 업무를 시작합니다.

Live context지금

08:00출근 전에 준비된 업무

현재 진행 중인 업무

  • 외부 시스템 분석완료
  • 서비스용 결과 전달완료
  • 분석 결과 보관완료

이후의 업무

09:00, 서비스 운영팀 업무 시작

어느 월요일, 10:30

오늘의 데이터가 또 다른 업무에 필요해졌습니다.

오전 10시 30분. 신규 서비스 프로젝트팀에서 오늘의 원본 데이터와 분석 결과를 요청합니다.

프로젝트팀은 기존 서비스 운영 환경과 다른 검증 환경을 사용하고 있으며, 전달받은 데이터를 가공한 뒤 검증 결과를 다시 전달해야 합니다.

운영 담당자는 기존 업무와 별도로 이 프로젝트에서 반복 사용할 데이터 전달 Flow를 구성합니다.

오전의 정기 업무를 변경하거나 중단하지 않고 새로운 업무가 시작됩니다.

하나의 데이터에서 새로운 업무가 추가되었습니다.

신규 서비스 프로젝트팀10:32

앞으로 서비스 검증 환경에서도 매일 새로운 데이터를 사용해야 합니다.기존 원본 데이터와 분석 결과 중 필요한 파일을 검증 서버로 전달해 주세요. 검증이 끝나면 결과 파일도 프로젝트팀에서 사용할 수 있도록 전달해 주세요.

인프라 운영팀10:35

기존 업무와 별도로 프로젝트용 데이터 전달 업무를 구성하겠습니다.

요청받은 데이터와 전달 조건

데이터전달 환경실행 조건
일일 원본 데이터검증 서버파일 생성 시
분석 결과 데이터검증 서버결과 파일 생성 시
검증 결과 데이터프로젝트 저장 환경검증 결과 생성 시

INNORIX STUDIO

Flows

FlowTypeStatus
Daily data processing기존 운영 업무운영 중
Service data delivery기존 운영 업무운영 중
Historical data archive기존 운영 업무운영 중
Project validation data신규 업무추가 완료

Live context지금

10:30새로운 업무 요청

현재 진행 중인 업무

  • 기존 일일 업무완료
  • 프로젝트용 원본 전달전송 중
  • 프로젝트 결과 전달결과 파일 대기

이후의 업무

프로젝트 검증 환경 데이터 준비

어느 월요일, 13:20

검증 환경으로 데이터를 전달하던 중 연결이 끊겼습니다.

프로젝트 검증 서버의 네트워크에 일시적인 문제가 발생합니다. 아직 필요한 데이터가 모두 전달되지 않은 상태입니다.

해당 데이터가 필요한 검증 업무는 실행되지 않고 대기합니다. 한편 별도로 운영되는 기존 서비스 업무와 보관 업무는 계속 진행됩니다.

연결이 복구되면 중단된 전송의 나머지 부분이 이어집니다. 실제 전송이 완료된 후 검증 시스템이 업무를 시작합니다.

문제가 발생한 업무는 기다리고, 기다릴 필요가 없는 업무는 계속됩니다.

13:20

PROJECT VALIDATION

15:40, 검증 결과가 프로젝트팀에 전달되었습니다.

신규 서비스 프로젝트

프로젝트 원본 데이터 전달완료

  • 검증 시스템의 업무외부 시스템검증 완료
  • 검증 결과 전달INNORIX전달 완료

별도로 운영 중인 기존 업무

  • 서비스 운영 데이터 전달정상 운영
  • 일일 데이터 보관완료
  • 분석 결과 보관완료
  1. 13:20 중단
  2. 13:34 복구
  3. 13:56 완료
  4. 15:40 결과 전달

검증 시스템에서 결과 파일이 생성되었고, 프로젝트팀의 저장 환경으로 결과가 전달되었습니다.

Live context지금

13:20예상하지 못한 연결 장애

현재 진행 중인 업무

  • 프로젝트 데이터 전달복구 대기
  • 외부 검증 시스템데이터 전달 대기
  • 검증 결과 전달결과 파일 대기
  • 기존 서비스 업무정상 운영

이후의 업무

검증 환경 연결 복구

어느 월요일, 16:30

오늘 오후의 업무는 어디까지 진행되었을까요?

프로젝트팀의 담당자가 검증 결과의 전달 상태를 확인해 달라고 요청합니다.

운영 담당자는 해당 프로젝트 Flow의 실행 이력을 확인합니다. 원본 데이터가 전달되었던 시간과 연결 장애, 전송이 완료된 시간, 검증 시스템이 결과를 생성한 이후의 전송 기록을 확인합니다.

개별 시스템의 모든 내부 처리 기록을 조사하지 않고도 INNORIX에서 실행된 데이터 이동 과정과 전송 결과를 파악할 수 있습니다.

마지막 전송 결과뿐 아니라 데이터가 이동해 온 과정도 확인할 수 있습니다.

프로젝트팀16:32

오늘 검증에 사용한 데이터의 전달 과정과 결과 파일의 전달 시간을 확인할 수 있을까요?

INNORIX STUDIO

Project validation data

Runs

TransferCompletedStatus
검증용 원본 데이터13:56Completed
검증용 분석 결과12:14Completed
프로젝트 검증 결과15:40Completed

검증용 원본 데이터, 실행 상세

  1. 13:00전송 시작
  2. 13:20연결 중단
  3. 13:34연결 복구 및 전송 재개
  4. 13:56전송 완료

Amazon S3 / Project validation server

인프라 운영팀16:35

오후에 검증 서버의 일시적인 연결 장애가 있었지만 13시 56분에 원본 데이터 전달이 완료되었습니다. 검증 결과 파일은 15시 40분에 프로젝트 저장 환경으로 전달되었습니다.

Live context지금

16:30하나의 업무가 지나온 과정

현재 진행 중인 업무

  • 프로젝트 원본 전달완료
  • 외부 검증 업무완료
  • 검증 결과 전달완료

이후의 업무

프로젝트팀 검증 결과 확인

어느 월요일, 22:00

오늘의 마지막 결과물이 내일의 첫 번째 업무를 준비합니다.

직원들이 퇴근한 이후에도 기업의 업무 시스템은 새로운 데이터를 생성합니다.

오늘의 업무 결과와 보관 대상 데이터는 정해진 일정과 조건에 따라 필요한 저장 환경으로 전달됩니다.

다음 날 새벽, 새로운 데이터가 생성되면 다시 분석을 위한 데이터 전달 업무가 시작됩니다.

오늘의 마지막 데이터 이동이 내일의 업무를 준비합니다.

22:00

MONDAY — TUESDAY

정해진 일정과 데이터 생성 조건에 따라 이어지는 업무

오늘의 마지막 업무가내일의 첫 번째 업무를 준비합니다.

Live context지금

22:00다음 날의 업무 준비

현재 진행 중인 업무

  • 일일 결과 데이터 보관전송 중
  • 다음 날 데이터 생성예약
  • 다음 날 분석 데이터 전달파일 생성 대기

이후의 업무

화요일 06:00, 새로운 업무 시작

SIX MONTHS LATER

그리고 6개월이 지났습니다.

기업은 새로운 분석 시스템을 도입하기로 했습니다.

  • 기존 업무일일 데이터 처리매일 정상 운영
  • 기존 업무서비스 데이터 준비매일 정상 운영
  • 새로운 업무신규 분석 프로젝트데이터 전달 업무 추가

기존 업무는 계속 진행되고 있습니다.

실무에서의 INNORIX

기업의 배경도입 이전

기업의 변화, 6개월 후

기업에 새로운 분석 시스템이 도입되었습니다.

기존 분석 시스템에 더해 새로운 분석 프로젝트가 시작됩니다. 두 분석 환경은 서로 다른 데이터와 결과물을 사용합니다.

운영 담당자는 기존 일일 데이터 전달 Flow에서 필요한 부분을 재구성하고, 신규 분석 환경을 위한 데이터 전달 업무를 추가합니다.

새로운 시스템을 도입했지만 기존 서비스 운영팀은 이전과 동일한 방식으로 데이터를 전달받습니다.

새로운 업무를 추가하기 위해 모든 업무를 다시 만들 필요는 없었습니다.

기업의 새로운 분석 프로젝트

기존의 데이터를 새로운 방식으로 사용합니다.

기존 분석 시스템

업무
일일 서비스 분석
사용 데이터
일일 거래 데이터, 서비스 이용 기록
결과 데이터 사용 환경
기존 서비스 운영 시스템
정상 운영

신규 분석 시스템

업무
장기 데이터 분석
사용 데이터
과거 거래 데이터, 누적 분석 결과
결과 데이터 사용 환경
신규 분석 프로젝트 환경
신규 Flow 추가

INNORIX STUDIO

Flows

FlowTrigger, DestinationStatus
Daily data processing매일, 기존 분석 환경운영 중
Service data delivery파일 생성 시, 서비스 운영 환경운영 중
Historical data archive매일, 장기 보관 환경운영 중
Long-term analytics data매주, 신규 분석 환경신규
새로운 업무가 추가되었지만기존 조직의 업무 방식은 달라지지 않았습니다.

Live context지금

6개월 후새로운 업무 시스템 추가

현재 진행 중인 업무

  • 기존 분석 Flow정상 운영
  • 기존 서비스 Flow정상 운영
  • 신규 분석 Flow추가 및 검증 중

지금까지의 업무 변화

  1. 정기 데이터 처리 업무
  2. 프로젝트 검증 업무
  3. 신규 분석 시스템 연계

이후의 업무

신규 분석 시스템 업무 시작

기업의 변화, 1년 후

기업의 기존 데이터가 새로운 업무에 사용됩니다.

기업이 새로운 AI 프로젝트를 시작합니다. 프로젝트팀에는 원본 데이터뿐 아니라 기존 분석 시스템에서 생성된 결과 데이터도 필요합니다.

필요한 파일을 새로운 컴퓨팅 환경으로 전달하고, 외부 AI 시스템이 결과를 생성하면 해당 결과물을 다시 검증 환경으로 전달하도록 구성합니다.

AI 프로젝트의 데이터 이동 업무도 기존 기업의 Flow 운영 환경에 추가됩니다.

새로운 기술이 도입되어도 데이터를 전달하고 다음 업무를 준비하는 일은 계속됩니다.

AI 프로젝트팀

기업에 축적된 원본 데이터와 분석 데이터를 활용해 새로운 프로젝트를 시작하려고 합니다.학습에 필요한 데이터를 전달하고, 학습이 끝나면 생성된 결과물을 별도의 검증 환경으로 전달할 수 있도록 구성해 주세요.

프로젝트에 사용되는 기존 기업 데이터

DataSource
과거 원본 데이터장기 보관 환경
일일 분석 데이터기존 분석 시스템
장기 분석 데이터신규 분석 시스템

AI PROJECT, DATA OPERATIONS

  1. INNORIX학습에 필요한 데이터 전달완료
  2. AI 컴퓨팅 시스템모델 학습 및 결과 생성진행 중
  3. INNORIX학습 결과를 검증 환경으로 전달결과 파일 대기
  4. 외부 검증 시스템학습 결과 검증입력 데이터 대기
새로운 기술이 도입되어도데이터가 다음 업무를 시작하게 하는 방식은 같습니다.

Live context지금

1년 후AI 프로젝트의 시작

현재 진행 중인 업무

  • 기존 데이터 업무정상 운영
  • AI 학습 데이터 전달전송 중
  • AI 결과 데이터 전달파일 생성 대기

지금까지의 업무 변화

  1. 정기 데이터 처리 업무
  2. 프로젝트 검증 업무
  3. 신규 분석 시스템 연계
  4. AI 프로젝트 데이터 연계

이후의 업무

AI 시스템 학습 데이터 준비

기업의 변화, 2년 후

처음 Flow를 구성했던 직원이 다른 업무를 맡게 되었습니다.

지난 2년 동안 기업의 시스템과 데이터 이동 업무는 늘어났습니다.

새로운 운영 담당자는 현재 운영 중인 Flow를 확인하며 어떤 데이터가 어디에서 생성되고 어떤 조건에서 전달되는지 파악합니다.

실행 이력에서 완료된 업무와 문제가 발생했던 업무를 확인하고, 현재 운영 중인 정기 업무를 인수받습니다.

담당자가 바뀐 다음 날에도 새벽에 생성된 데이터는 각 시스템으로 전달됩니다.

업무를 구성한 사람은 달라졌지만 기업의 데이터 이동 업무는 계속됩니다.

운영 업무 인수인계

지난 2년 동안 만들어진 기업의 데이터 이동 업무

INNORIX STUDIO

Flows

Flow nameTriggerStatus
Daily data processing파일 생성 시운영 중
Service data delivery결과 파일 생성 시운영 중
Historical data archive매일운영 중
Project validation data파일 생성 시운영 중
Long-term analytics data매주운영 중
AI training data delivery요청 시운영 중
AI output delivery결과 파일 생성 시운영 중

기존 운영 담당자

각 Flow에서 무엇을 전달하고 언제 실행되는지 확인할 수 있습니다.앞선 전송이 완료된 후 실행되는 업무와 새로운 결과 파일이 생성되면 실행되는 업무도 구분되어 있습니다. 문제가 있었던 업무는 실행 이력에서 확인하면 됩니다.

신규 운영 담당자

기존 정기 업무와 프로젝트별 데이터 전달 업무를 확인했습니다. 내일부터 제가 운영을 담당하겠습니다.

다음 날 아침

06:00

새로운 일일 업무 데이터가 생성되었습니다.

Daily data processing오늘의 첫 번째 전송실행 중

사람은 바뀌었지만 기업의 업무는 계속됩니다.

Live context지금

2년 후새로운 운영 담당자

현재 진행 중인 업무

  • 일일 데이터 Flow정상 운영
  • 분석 및 서비스 Flow정상 운영
  • AI 프로젝트 Flow정상 운영
  • 운영 업무 인수인계진행 중

지금까지의 업무 변화

  1. 정기 데이터 처리 업무
  2. 프로젝트 검증 업무
  3. 신규 분석 시스템 연계
  4. AI 프로젝트 데이터 연계

이후의 업무

지속적인 기업 운영

TODAY

오늘도 하나의 데이터에서여러 업무가 시작됩니다.

지난 2년 동안 새로운 분석 시스템이 도입되었고, 신규 서비스와 AI 프로젝트가 시작되었습니다.기업의 업무도 달라졌고, 그 업무를 운영하는 사람도 달라졌습니다.

이야기의 시작

  1. 일일 업무 데이터 생성
  2. 분석 환경으로 전달
  3. 분석 결과 생성
  4. 서비스 환경으로 전달

2년 후의 기업

  1. 일일 데이터 처리 업무
  2. 분석 및 서비스 데이터 전달
  3. 장기 데이터 보관
  4. 서비스 검증 업무
  5. 신규 분석 프로젝트
  6. AI 학습 및 결과 데이터 전달

하나의 시스템으로 모든 업무를 통합하지 않았습니다.새로운 업무를 위해 기존 시스템을 모두 변경하지도 않았습니다.각각의 시스템은 자신이 수행해야 하는 업무에 집중합니다.

한 곳에서 완료된 업무가다른 곳의 새로운 업무를 시작하게 합니다.

그 사이에서 INNORIX는 데이터를 필요한 곳으로 전달합니다.

INNORIX

THE TECHNOLOGY BEHIND THIS STORY

Multi-Stage Flow

파일 전송의 순서와 실행 조건을 구성하여 서로 다른 시스템과 조직의 데이터 이동 업무를 연결하는 INNORIX.

제품 자세히 보기