데이터가버넌스 (governance)databaser.net/moniwiki/pds/businessintelligence... ·...

Business Intelligence seminar

®


데이터가버넌스 (Governance) 구현-메타데이터관리및데이터표준화를통한-

© 2004 IBM Corporation


목차

I. 데이터 가버넌스(Governance) 구현 필요성

II. 데이터 가버넌스 구현 추진 전략– 표준 데이터 정의

– 데이터 관리 체계 정의

– 데이터 표준 관리 시스템 구축

– 데이터 표준화 활동

III. 데이터 가버넌스 운영 – 데이터 품질 관리

IV. 데이터 품질 관리– 데이터 품질 지표

– 데이터 품질 측정

– 데이터 품질 평가


데이터가버넌스구현필요성

현재의 정보 인프라는 데이터 중복 관리로 정보의 정합성 및 오류 가능성이 상존하고 있고, 중복 데이터를 관리하기 위한 자원 낭비의 요인이 발생하고 있으며, 데이터 변환 작업과 기능 개발 시 데이터의 의미와 운영 기준을 파악하는데 많은 시간을 소비하고 있음.

데이터 관리 현황

시스템 간의 데이터 명명 규칙이 달라 시스템 간 데이터 이해 및 공유가 어려움

데이터 설계에 대한 통제가 없어 기본적인 데이터 정보 사항 누락 (원하는 데이터를 찾을 수 없음)

각 시스템내의 데이터 구조 및 내용에 대해서는 해당 시스템 개발자만이 인지함.

동일 내용의 별도 코드 생성/사용하고 있음.

코드 간 레벨 차이로 인한 데이터 누수 및 시스템간 복잡한 연동 관리

해결방안

각 시스템에서 관리하는 데이터에 대한 정보(메타데이터)의 수집 및 이에기반한 전사 데이터 표준 및 기준을 정의

Data Value Chain을 정의하고, 원천 데이터, 데이터 통합, 정보 사용등 일련의 과정에서 메타데이터 관리

Cross System/Function의 수평적 데이터 관리 체계를 정의함.

전사 데이터 현황 및 정의된 표준 데이터를 관리할 수 있는 레포지토리 및IT 환경 구축

데이터 소스

프리젠테이션

리포트및OLAP

데이터수집

데이터변환/통합Enterprise

Data Warehouse

Metadata

데이터 가버넌스 구현


추진전략

Data Governance 구현은 표준 데이터 정의, 이를 관리하기 위한 프로세스 및 조직 역할의 관리 체계와 함께, IT 도구로서의 메타데이터 레포지토리가 필요하며, 각각의 구성 요소가 유기적으로 연계되어 추진되어야 함.

•기간계 및 정보계 시스템에 대한 메타데이터 수집•전사 표준 데이터 정의•표준 및 레가시의 원천 데이터에 대한 매핑/매칭을 통한 변경 관리 및영향 관리

•데이터 정합성 및 개발 효율성 제고를 위한 표준 데이터를 포함한 메타데이터 관리에 대한 원칙 및 수립

•데이터 관리 절차 수립•관련 조직의 역할/책임 정의

•메타데이터 및 표준 데이터를 관리하기 위한 레포지토리•데이터 관리 체계 지원을 위한 워크플로우 및 관리용 어플리케이션•관리 대상 시스템과의 인터페이스 및 변경/영향도 관리

•표준 준수 및 활용에 대한 전사 마인드 변화 제고 (커뮤니케이션 및 교육)

•데이터 관리 체계에 기반하여 정의된 표준 데이터 및 시스템 적용의단계별 적용

데이터관리 체계

표준화 활동

MDR

리포지토리 / 인터페이스

관리 어플리케이션

관리 원칙/지침

관리 절차 관리 조직역할/책임

사용자 화면

표준 개선 모니터링

표준 확산 적용

Managed By

Enabled By

Deployed To

EDW 메타데이터

기간계메타데이터

매칭과매핑 Set

마트메타데이터

메타데이터

표준데이터Set


표준데이터정의

관리 대상 시스템의 메타데이터를 수집 및 데이터 항목을 분석하고, 이를 기준으로 전사 데이터 표준의 용어, 항목, 도메인 등을 정의하고, 표준과 레거시 데이터 항목 간의 매핑 정의를 통하여 향후 시스템 개/보수에 정의된 표준을 적용함.

레거시 유일항목

표준 용어

서비스

코드

유형

표준 도메인레거시 데이터

항목

메타데이터 수집 데이터 표준화

•서비스유형코드

•서비스명칭

SysC


•서비스명

SysB

•서비스유형


•서비스종류

•서비스이름

SysA

명

이름

명칭

서비스 유형

서비스 유형 코드

서비스 종류

서비스 명

서비스 이름

서비스 명칭

유일항목 도출

금칙어

서비스 유형 코드

서비스 명

표준 항목

코드

명

IBM IFW (Information FrameWork)의 TSDM 내에 정의된금융/통신 산업의 데이터 분류/정의/모델 활용

정의된 표준과 각 시스템의 레거시 항목에 대한 매핑을 통하여 향후시스템의 개/보수에 적용함.

정의된 표준 용어, 항목, 도메인은 전사 LDM의 구성 요소로서관리됨.

A

B

C

C’

D

비즈니스 개념정의

비즈니스 업무분류

비즈니스 참조모델

비즈니스 어플리케이션모델

어플리케이션구현 모델

•비즈니스 개념 및 이슈 이해•현업 및 IT간의 커뮤니케이션

•어플리케이션/주제 영역 상세 논리 설계

•어플리케이션 물리 설계

•개발 Template 및 데이터 표준

Tele

com

Ser

vice

D

ata

Mod

el

IBM IFW (Information FrameWork)


데이터관리체계

데이터 관리 원칙과 함께 데이터 관리를 위한 프로세스와 조직의 역할/책임을 정의하며, 특히 기존 IT 관리 프로세스 와의 연계가 정의되어야 함.

메타데이터 관리, 표준 데이터 관리, 데이터 품질 관리 및 데이터 관리

표준 운용 등의 전사 데이터 관리 기능 정의

비즈니스 기획/운용 프로세스의 데이터 관련 기능 정의

IT 전략/기획/개발/운용 프로세스와의 연계 정의

데이터 관리에 대한 의사 결정 기구를 통한 전사 데이터 이슈에 대한통제력 강화

데이터 관리 프로세스 실행을 위한 조직의 역할/책임 정의

–주제 영역별 데이터 스튜어드를 통한 표준 데이터 관리

데이터 관리를 위한 사용자 부서 및 IT 개발/운용 부서의 역할/책임 정의

메타데이터에 기반한 Data Governance 확보를 위한 관련 부서의책임 정의

데이터 표준관리 시스템

데이터 품질관리 시스템

데이터 관리 프로세스

IT 시스템*

*정의된 데이터 관리체계의 IT Enabler로서 구현되며, 데이터 표준관리 시스템은 Meta Data Repository 역할을 수행함.

데이터 관리 프로세스 관점

데이터 관리 원칙

데이터 관리 조직 역할/책임데이터 관리 조직 역할/책임 관점


데이터관리프로세스정의

메타데이터 관리, 표준 데이터 관리, 데이터 품질 관리, 데이터 관리 표준 운용 등 4개의 기능을 정의하고, 각 기능은 IT기획/개발/운용 프로세스와 연계되고, 비즈니스 기획/운용 프로세스와 연계됨.

변경요청변경요청 분석분석 심의심의 배포배포데이터 관리 표준

운용 기능

데이터 관리 표준

운용 기능

등록/변경

요청

등록/변경

요청심의심의 배포배포 모니터링모니터링

심의심의

정의정의 측정측정 평가 및 분석평가 및 분석 개선개선 관리 및 유지관리 및 유지

메타데이터

관리 기능

메타데이터

관리 기능

표준데이터

관리 기능

표준데이터

관리 기능

데이터 품질

관리 기능

데이터 품질

관리 기능

모니터링모니터링배포배포

1 52 3 4

6요청요청

* 배포된 데이터 관리 안은 기타 데이터 관리 기능에 영향을 미침

데이터 관리 표준은 메타데이터,표준데이터,데이터 품질,데이터 관리 프로세스,조직역할/책임을 포함하여 데이터 관리를위해 필요사항을 의미함

*

배포된 메타데이터는 표준데이터 정의 시 데이터 표준화 작업의 기본 정보로 사용됨 메타데이터 모니터링과 표준데이터 모니터링 기능은 서로 분석/보완되어야 됨1 4

메타데이터의 모니터링 결과는 데이터 품질평가 및 분석 단계 시, 메타데이터/표준데이터의 오류 여부 판단자료로서 분석/보완됨

5배포된 메타데이터는 표준데이터 모니터링에 활용2

3 6 데이터 표준위배 오류를 품질평가 결과에 반영배포된 메타데이터는 데이터 품질 정의 시, 평가 기준으로 사용


데이터관리조직의역할/책임정의시스템별 데이터를 담당하는 데이터 아키텍트와 함께, 전사적 관점에서 데이터를 관리하기 위한 데이터 관리자 (스튜어드)를 정의하여 주제 영역 기반의 데이터 관리 역할을 수행하고, 이를 기반으로 전사 데이터의 정합성을 확보함.

모델 작성 및개발 관리

물리적 데이터관리 표준 제시

요구사항협의

데이터 정의제공

데이터 활용방안 제공

물리/논리 모델

데이터관리자

개발자

데이터오너

데이터아키텍트

• 주제영역별 데이터 표준의 기술적 검토 제공

• 논리적 데이터 모델과 메타데이터의 기술적검토를 수행

• 데이터 요구사항/식별 및 분류기준 정의

• 데이터 품질 개선 주체

• 데이터 관리 표준(명명규칙) 준수

• 데이터 표준(용어,항목,도메인,코드) 준수

• 각 시스템의 개발자/DBA와최종사용자(End User)를 대표하는데이터 관리자

데이터관리위원회

•전사관점에서 데이터표준 관련 이슈 해결•데이터 관리 원칙/지침

심의/의결

개발/유지보수부서2

데이터총괄관리자

SysA데이터아키텍트

SysB데이터아키텍트

…데이터아키텍트

계약 데이터 관리자

분류 데이터 관리자

조적 데이터 관리자

이벤트 데이터 관리자

업무관계자 데이터 관리자

위치 데이터 관리자

상품 데이터 관리자

자원 데이터 관리자

경영방침 데이터 관리자

데이터 관리 위원회

Sys A사용자부서

Sys B사용자부서

…사용자부서

개발/유지보수부서1

*. 9개의 주제 영역은 IBM IFW (Information FrameWork)에 기반하여 정의함.


데이터표준관리시스템구축

다양한 형태의 표준 데이터 및 메타 데이터를 공유 및 활용할 수 있도록 사용자의 편의성과 다양한 기능적, 기술적 요건을 고려하여 웹기반의 메타데이터 관리 시스템을 구축함.

MDR

메타데이터

메타데이터인터페이스

•CwM 기반의 Repository

•다양한 형태의 메타 데이터와 표준 데이터를 저장할 수있는 MDR 설계 및 구축

•[데이터 구조 그룹]-[데이터 구조]-[관리 패키지]-[카탈로그]-[스키마] 등의 계층적 구조

•MetaStage의 메타브로커를 활용한 원천 시스템 및 타시스템과의 메타 데이터 Import/Export 기능 구현

•스케쥴링을 통한 자동 입수 및 변경 내역 추적

•기본 탑재의 메타브로커가 지원하지 않는 원천의 경우Custom Metabroker 개발

각종교육 자료

사이트 링크

커뮤니티

표준 데이터

절차

데이터관리 조직

지침 및매뉴얼

FAQPortal

•표준 데이터와 메타 데이터를 검색, 수정, 조회할 수 있도록 사용자 편의성을 고려한 웹어플리케이션

•커뮤니케이션 포털

•Work-Flow 기반의 데이터 관리 절차 구현

•표준화 준수 여부 체크, 영향도 분석 등 데이터 가버넌스 기능 구현

JDBC

기간계및정보계시스템


표준화활동

정의된 데이터 표준에 대한 인식 및 준수도를 향상시키기 위한 교육, 홍보 등과 병행하여, 정량화된 지표 정의 및 관리를 통하여 데이터가버넌스를 지속적으로 운영해 나감.

•교육, 홍보 등의 활동을 계획하고 실행하여 표준에 대한 인식 제고및 전사적 공감대 형성

교육 홍보활동 워크샵

표준 인식 및 준수도

수용- 참여 및 인지의 제고

이해- 교육 및 시연

인지- 커뮤니케이션

행동- 보상 프로그램

체화

표준준수

모니터링및

독려활동

표준데이터

적용및

개선

표준 데이터이슈 해결

표준 데이터이슈 도출

데이터 관리자, 사용자, 개발자 등에 의한 표준데이터 이슈 도출

표준 데이터 관리 절차에의한 표준 데이터 이슈해결

정 의 된 표준에 대한지속적인 개선 수행

기간계 및 정보계 표준 적용

표준 데이터개선 사항 반영

표준 데이터품질 개선

MDR

데이터 충실도

KPI 지표

표준 데이터적용율

0%0%

0%0%

300,000300,000

90%90%

76%76%

150,000150,000데이터 항목관리 수


MDR을통한지표관리및모니터링

•데이터 관리 항목수 및 표준 항목과의 매핑율

•데이터 충실도 검사

•데이터 구조 변경 내역 추적


데이터가버넌스운영 –데이터품질관리데이터 가버넌스를 효과적으로 운영하기 위하여 정의된 데이터 표준 및 가치 사슬에 대한 내용을 전사 데이터 품질 지표에 포함하여 관리함.

수집

정제 / 가공

적재 / 통합

활용

관리

프로세스표

준개체

조직 역할 및 책임

원칙

및지침

정확성

명확성

일치성

완전성

데이터요건

표준

코드

업무

규칙표

준항목

• 데이터 품질은 구조/정의에 대한 부분과 내용에 대한 무결성으로, 개선측면에서 해당 영역이 다름.

•개발 프로세스의 문제로 인하여유발

•표준 용어, 항목, 코드 등의 표준데이터 Set 및 이의 준수를 독려

•영업, 시설, 경영 등의 업무 프로세스/시스템과 관련

•데이터 입력, 수집/변환/통합의데이터 처리 프로세스 개선을 통하여 개선

데이터 정의/구조 무결성

데이터 품질

데이터 내용무결성

데이터 품질 관리 체계 및 시스템 품질 관리DB

정의(Define)

측정(Measure)

분석(Analyze)

개선(Improve)

평가(Control)

•사후적 조치인 데이터 정제와 함께 IT 및 업무 프로세스 개선을 통한품질관리

•데이터 식스시그마의 데이터 품질관리 수행

•데이터 가버넌스 구현을 통한 데이터 자산의 보호 및 활용도 제고


데이터품질관리 –데이터품질지표 (DQI : Data Quality Index)DQI는 완전성, 유효성, 유일성, 일관성, 명확성의 총 5개의 기준과 하위 16개의 세부 유형으로 정의함

특정기간계 기준의 상호 참조 관계를 준수해야 한다.참조무결성

데이터 항목은 정의된 표준을 준수해야 한다.

엔티티 간의 다대다 관계를 명확하고 쉽게 표현해야 한다.

하나의 데이터 항목은 하나의 의미로 사용해야 한다.

코드성 데이터 항목은 별도 정의되어 관리해야 한다.

시스템 간 데이터 항목이 일치해야 한다.

동일한 Identifier에 대하여 상세 정보가 일치해야 한다.

계산/집계된 결과 관계를 준수해야 한다.

시간적인 선후관계를 준수해야 한다.

해당 데이터 항목은 유일해야 하며 중복되어서는 안된다.

값이 허용 범위 및 데이터 표현 방식 등의 업무 규칙을 준수해야 한다.

값이 다른 데이터 항목의 조건에 따라 채워져야 한다.

값이 항상 채워져 있어야 한다.

특정계산 집계 일관성

컬럼테이블

수작업

수작업

수작업

특정

특정

특정

테이블

컬럼

컬럼

컬럼

단위 항목DQI 세부 유형

업무규칙 유효성값이 모든 업무 규칙을 준수해야 한다.유효성

유일성해당 데이터 항목은 유일해야 하며중복되어서는 안된다.유일성

표준 준수도

다대다표현

복합필드

미정의코드

데이터 모델 및 정책에 대한 정의, 설명 등이 명확하게 존재하여 의미의 혼동이 없어야 한다.

명확성

데이터 정합도

상세 정보 일관성

시간순서 일관성

값이 다른 데이터 항목과 모순되지않아야 한다.일관성

조건 완전성

단독 완전성값이 채워져 있어야 한다.완전성

DQI 기준


데이터품질관리 -품질측정EDW에 수집된 소스 시스템의 원천 데이터를 기준으로 품질을 측정하며, 품질 측정은 정의 단계의 평가 대상 및 규격을 기준으로 설정된 품질 관리 시스템을 통하여 자동으로 수행되어, 그 결과는 품질 관리 DB에 축적됨.

•측정은 기본적으로 대상 데이터의 전수에 대하여 수행하며, 각 소스 시스템에 수집된 EDW의 수집 영역을 활용하여수행함.

•ETT 오류 및 표준 위배 관련 품질 평가 규격을 포함함으로, 관련 오류 데이터는 바로 분석 단계에서 활용함.

•정의된 대상 데이터 및 품질 평가 기준에 따라서Test Script를 작성하여, 이를 DQMS에 등록하여 자동 실행함.

•측정된 결과는 품질 결과 Table에 Log로 기록되며, 이 Table은 다음의 정보를 포함하고, ETT 오류 및 표준 오류 데이터 형식과 Compatible함.

-Test 내용 기술-대상 수집 일자 및 측정 일자-대상 데이터 정보 (소스 시스템, 테이블 등)-측정 기준 (Filtering Rule Set) 별 결과

소스A

소스B

소스C

통합 요약수집

데이터 품질 관리시스템

품질 관리 DB

MDR변환, 정제, 품질

규칙

원천 데이터 품질 측정

표준 위배 오류데이터

원천 데이터 오류

ETT

ETT 오류

표준 데이터 관리시스템

표준 Tracking


데이터품질관리 –품질평가데이터 품질 관리를 위하여 식스 시그마 개념을 활용하여, 사후 정비를 통한 품질 개선과 더불어 데이터 품질의 원인인 개발 및 업무 프로세스의 개선에 기반한 사전적 품질 저하의 방지를 통하여 지속적으로 데이터 품질을 관리함.

Sample

•데이터 품질 현황의 시그마수준별 표현


감사합니다

한국IBM Business Consulting Services

김영호 컨설턴트([email protected])

데이터가버넌스 (governance)databaser.net/moniwiki/pds/businessintelligence... ·...

Documents