빅데이터와인공지능에기반한 산업경제위기관리 file3 실물경제 금융 경제경...

2017. 10. 12.

고려대학교김창헌

빅데이터와인공지능에기반한산업경제위기관리

2

빅데이터와인공지능에기반한

산업경제위기관리

목차

목표및배경

개발기술

시범연구

활용방안

3

실물경제 금융 경제환경

산업경제

외환위기 대규모파산위기

경제위기조기경보

빅데이터 인공지능 경제 위기 모형분석및가공

𝒀𝒁𝑿

4

UnstructuredHuge Data

InnovativeInsight

ValuableInformation

MeaningfulKnowledge

Amazon도서추천

Netflix영화추천

Google오타교정

서울시버스노선설계

빅데이터활용사례

5

산업추이예측불가

“산업별 부실관리가경제위기로”

신용평가와여신평가사이에간극이존재

소수전문가의주관적인의견에의존

Bigdata

오픈된빅데이터의사용기계학습및딥러닝기법을통한

높은예측력

AI

1. 실시간위험도예측2. 예측정확도향상

6

산업경제위기를골든타임내에진단및대응하는 EWS구축

Bigdata

Computing

Artificial

IntelligenceEconomics

NLP, Clustering

Analyzing,

Visualization

Machine Learning

Deep Learning

Econometrics

Industry Analysis

7

빅데이터분산병렬플랫폼

클라우드기반대규모데이터수집 GPU 기반실시간데이터처리 머신러닝을이용한데이터가공

빅데이터수집 데이터가공및정제 모형분석및평가 시각화

머신러닝기반빅데이터처리 딥러닝기반분석모형고도화

실시간시각화머신러닝기반가공

전문가블로그

뉴스데이터

계량경제기반모형산업군SNS 데이터

Concept Vector 기반산업별온톨로지구축

Word Embedding기반비정형데이터특질화

Recurrent Neural Network(RNN)기반예측모형

SVM CRFPorter

Stemmer

글로벌경제산업분석기업평가

기업/산업군정보를통합한기업신용평가체계

산업/글로벌경제를실시간반영가능한EWS 구축

8

실시간산업경제위기진단및조기경보시스템솔루션

빅데이터기반경제체감분석

슈퍼컴퓨팅플랫폼

클라우드기반대규모데이터수집

병렬처리기반실시간데이터처리

분석모형알고리즘병렬화

딥러닝기반경제위기학습및진단

경제위기상황판및리포팅시스템

실시간산업경제위기상활판

금융/실물융합지수산출

감성분석기반체감지수산출

정형/비정형빅데이터수집및온톨로지구축

딥러닝기반경제위기패턴분석및학습

신경회로망을이용한

경제위기진단 Web / Mobile레포팅시스템

실시간감성체감지수가시화모듈

9

산업경제위기관리시스템이존재했다면적절한조기대응이가능

1997년 IMF 사태 2008년리만금융위기

1996년말의경제지표를이용하여외환위기발생가능성을추정한연구에따르면이당시의우리나라외환위기발생추정치는주변아세안국가에비해두배높은값을가짐

10

IMF

외환위기조기경보시스템운용

유럽연합

50여개의조기경보시스템운용

거시경제지표위주의비실시간분석국가별경제위기모형상이

독일

금융상태를보여주는Self-organizing시각화기법

미국

금융시장리스크경보시스템운용

11

금융위원회, 한국은행,삼성경제연구소등

자체적인금융스트레스지수, 산업위험율등정의

고려대학교금융경보지수개발및금융부문별응용연구

금융위기종합조기경보지수및위기예측확률도출

정형데이터위주비실시간모형

경제위기모형연구중심이고시스템적접근은없는실정

산업은행,NICE 신용평가등

자체적인산업평가, 신용등급등데이터서비스제공

삼성경제연구소

12

적조예보

• 1~4단계예보• 사전피해대비

기존자료분석

• 국내외기상데이터• 적조발생양상• 적조생물증식매커니즘

데이터수집

• 현장시료채취• 위성,선박관측자료• 해양기상통계자료

예측모델작성

• 최적시나리오작성• 현장요인비교

적조 조기경보 시스템

빅데이터

경제체감지수산출인공지능기반

경제위기패턴학습

실시간경제위기진단및리포팅

빅데이터 및 인공지능 기반 산업경제 위기 조기경보 시스템

• 빅데이터수집및가공하여경제체감지수산출

• 경제체감지수및금융/거시지수융합을통한경제융합지수도출

• 과거경제위기패턴을인공지능기반으로학습

• 경제위기진단시스템을통해실시간산업경제위기진단및진단결과리포팅

체감지수+ 금융/실물지수경제융합지수도출

13

가계및기업의의사결정이소비및투자로이어지는과정을모형화경제주체의의사결정구조 :

계량화가어려워모형에직접반영에한계가있음 빅데이터활용

가계의소비결정 : 기대(소득,자산)의현재가치와현재소득을비교결정

기업의투자및가격결정 :투자결정 :기대이윤의현재가치>비용투자확대가격결정 :물가의기대치와현재생산한계비용을동시고려

현재의경제상황(현재경기판단)

미래의기대치

최적화된소비와투자의사결정

14

• Keyword 중심 분석

• Google Trend data와 같은 internet search volume을 이용

• Keyword 선택 및 설정의 문제

• 키워드에 대한 관심도를 반영하나 어떤 목적과 의미를 갖는지?

• Text Sentiment 분석

• 어떤 텍스트를 선택할 것인가

• 감성분석의 정확성에 의존

• 시장 참여자의 의견이나 감정이 텍스트 데이터에 반영

• 경제학의 자기 실현적 예언과 유사

• Nyman(2016): 중앙은행 발언, Broker의 분석자료, 로이터 뉴스를

Excitement, Anxiety로 구분 금융감정지수 도출

15

실시간비정형빅데이터 실시간경제위기상황판

금융/실물경제지표

경제성장률 GDP

실업률코스피

수출물가지수 경상수지

etc…

빅데이터와인공지능을활용한경제위기학습및진단모형인터넷뉴스기사 SNS

전문가블로그경제보고서

etc…

16



목차

목표및배경

개발기술

시범연구

활용방안

빅데이터기반경제분석기술

빅데이터처리및정제기법개발

경제토픽별감정분석산업위기관련

온톨로지구축및시각화

18

형태소품사분석(PoS tagging)

의미단위파싱(parsing)

스팸단어및저빈도단어제거

단어인덱싱(Indexing)

• 워드임베딩기법을통한의미론적유사도학습

• 행렬분해기반문서및단어의토픽추출

• 경제관련토픽의구조와관계를직관적이고효율적으로시각화

• 딥러닝기반감정지수모델을통한실시간경제감정지수분석

• 경제관련정형비정형데이터• 뉴스, SNS 등빅데이터실시간수집

경제관련빅데이터수집 전처리도구개발

자연어처리등인공지능기법을이용한전처리

도구개발

주요토픽추출 토픽연관분석

온톨로지구축 감정분석가시화

19

0.1

0.1

0.434

0.22

…

0.17

0.31

0.24

0.12

…

“금융”

“통화”

“일자리”

“채무”

…

ex) “경제”관련단어의미벡터

Word2Vec Concept_Vec

경제컨셉온톨로지

해석이용이한컨셉으로학습됨

경제 단어의의미론적유사도로 벡터화

의미론적유사도학습을통한위기관련컨셉벡터및온톨로지구축

20

산업분야의미론적토픽추출을통한실시간산업동향의직관적이고효율적시각화

토픽모델링시각화예시

21

Deep Neural Network(RNN, CNN)

체감지수

감성분석모델

딥러닝과 온톨로지를이용한주요토픽별감성분석및예측

텍스트

경제컨셉온톨로지

위기진단모형설계및구현

금융/실물경제융합지수산출

기계학습기반위기진단시스템

23

비정형적데이터와전통적경제지표들을

통합한금융부문융합지수개발

기업신용, 채권수익률, 금리, 주가정보, 환율,부동산동향, 가계및기업부채등

금통위결정문, 국제금융센터보고서, 경제연구보고서, 은행및비은행금융기관,

외환및자본유출입부문등

빅데이터기반금융체감지수

금융관련경제지표

24

고용 소비 투자

비정형빅데이터를이용한구인및구직 Index를작성

고용상황을현재예측(Nowcasting)할수있는새로운 Index를개발

기존의소비자심리지수(CSI)를보완하는융합지수를개발

가계의소비의사결정과관련한빅데이터를활용, 실시간으로소비관련데이터를추출

향후경기여건및산업·기업의투자여건등을반영하는

정형, 비정형빅데이터를구축

설비투자예측에활용할수있는융합지수를개발

실물부문경기진단에중요한고용, 소비및투자부문에대한상황을판단할수있는융합지수개발

25

과거경제위기관련데이터

80년도경제위기

08년도금융위기

97년도IMF

시간국내

경제위기

그리스경제위기

지역

영국브렉시트

인공지능기반분석,패턴학습을통하여현재시점의위기상황추정및조기경보가능

학습된경제위기패턴인식모듈

경제위기패턴학습및진단

국외

정형데이터 실시간비정형데이터

산업경제빅데이터

-SNS-경제기사-취업포탈-전문가경제동향보고서

-경제연구소보고서-금통위통화정책결정문

-etc…

-경제성장률-GDP-물가상승률-실업률

거시변수 미시변수

-기업매출액-기업순이익-기업성과-전력소비량

-경상수지-코스피지수-생활물가지수-etc…

-유가소비량-관세청통계자료

-etc…

26

Machine learning(Lasso, …)

빅데이터수집/가공

금융/실물변수정형데이터

변수특질화및스코어링: 비정형데이터

정형데이터

Choice of risk components

Definition ofEconomic

Crisis

Regression-based classification,

K-Nearest neighborhood method,

Wavelet, Discriminant analysis, etc.

Forecast

Mixed Data Sampling(not all

variables are available at every t)

Risk prediction

27

빅데이터학습

정형데이터

비정형데이터

RNN(Recurrent Neural Network)기반예측모형

변수화

금융/실물경제지표산출

감성분석및체감지수산출

• Time Series를반영할수있는딥러닝모델인RNN 적용

• 과거입력값의가중치를반영하며예측모델을생성

EWI

28



목차

목표및배경

개발기술

시범연구

활용방안

29

빅데이터산업별온톨로지시범구축

Econo-Concept Vector 생성사례신호접근법기반EWI 도출

빅데이터기반금융위기조기경보모형

30

거시 데이터

거시+비정형 데이터

비정형 데이터

거시 데이터 비정형 데이터 거시+비정형데이터

True Signal 0.5 0.3333 0.6250

NSR 0.0296 0.0222 0.0237

임계치

임계치

임계치

31

거시 데이터 거시+비정형 데이터비정형 데이터

기간: 2004.01 ~ 2017.03 위기 발생 시점: 2009.09지수 선별 조건: • NSR 0.5이하• True Signal 0.25이상

사용된 변수: 총 12개 변수M2, Lf, 총예금, 총대출금,실질실효환율, 원/달러 환율,외환 보유액, 교역조건,Kospi 지수 변화율,TED Spread,미국 Credit Spread, 미국 FSI


사용된 변수: 총 11개 변수교역조건, 외환보유고, 건설,물가, 펀드, 경상수지, 다우존스, 리보, 외환위기,실업률, 주식시장


사용된 변수: 총 23개 변수정형 데이터 12개 변수,비정형 데이터 11개 변수

32

2000년 1월 2일~ 2016년 11월 10일

분야 기사수 (개)

증권 3,996,738

금융 1,108,919

부동산 755,584

산업/재계 2,520,896

글로벌경제 678,914

경제일반 4,151,425

생활경제 261,485

중기/벤처 72,214

총합 13,546,175

중국 시장 한국 수출생산 국내 미국 업체공장 자동차 성장 달러세계 판매 제품 글로벌지난해 대다 투자 현지해외 올해 진출 이다따르다 일본 증가 확대업계 기술 산업 유럽규모 전망 전략 현대차지난 늘다 크다 감소기아차 수입 공급

전기차 수요 만대 대비배터리 점유 보이다

형태소품사분석(PoS tagging)

의미단위파싱(parsing)

스팸단어및저빈도단어제거

단어인덱싱(Indexing)

기사원문 전처리된데이터

33

체감지수가시화를위한Econo-Topic Modeling 시범구축

Econo-Concept Vector 구축시스템프로토타입구현

34

“When Bitcoin encounters information in an online forum: Using text mining to analyse

user opinions and predict value fluctuation”

Chang Hun Kim et al., PLOS ONE 2017

Concept Vector 기법의비정형데이터처리기술

실용성검증

실제제안된기법과비트코인거래량등락이

비슷한흐름을보이는것을확인

35



목차

목표및배경

개발기술

시범연구

활용방안

36

기업개인

실시간정보시스템구축

산업경제위기관리에활용

산업경제위기관리시스템

KDI한국은행

국제금융센터

기획재정부

거시/미시분석결과

경제EWI실시간제공

국가별/경제부문별동향및전망

개인이나기업의 체감경기판단과투자및경제전망자료로활용

데이터제공통계청…

SNS뉴스포털

…비정형데이터

소스

정형데이터소스

한국은행국제금융센터

…

연구협력

37

빅데이터로 보는 경제전망

Web/Mobile을통한신속하고정확한정보제공

경제감성컨셉추출 국가별유사위기사례분석

금융/실물부문별전망경제위기융합지수

경제여론및감정분석

경제위기패턴분석

정책당국 기업및가계

실시간산업경제위기조기대응

체감경기의과학적분석에활용

경제주체소비및투자의사결정에 활용

http://www.global-economic-symposium.org/knowledgebase/monetary-policy-lessons-learned-from-the-crisis-and-the-post-crisis-period

http://www.tradearabia.com/news/INTNEWS_226300.html

39

ㄱ

뉴스 SNS 해외

Econo Concept Vector

뉴스 SNS 해외

경제 이슈 키워드 추이 경제 이슈 워드 클라우드

국내 국외

Econo Topic Modeling

https://www.shutterstock.com/ko/search/economic+crisis

40

실시간경제상황 Index

안전 위험

… ……

고려대학교 정보대학 교수

고려대학교 컴퓨터과학기술대학원 원장(2006-2008)

고려대학교 정보통신대학 학장(2006-2008)

한국컴퓨터그래픽스학회 회장

KCGS 학술대회 2008, 2009 대회장

Pacific Graphics 2009 Conference Chair

CGI 2011 Conference Chair

KIST/SERI 연구원(1979-1995)

Tokyo Institute of Technology 객원연구원김창헌

42

Physics Based Visual Simulation

• 빅데이터 시뮬레이션 및 가시화 관련 세계적 기술 보유• SIGGRAPH(IF 4.088)등 세계 탑 저널에 30여 편 발표

Computer Animation and SocialAgents(CASA) 2016 Best Paper Award

Transactions on Graphics 2008(Proceeding of ACM SIGGRAPH 2008)

Plos One 2015 PeerJ 2015Plos One 2016

빅데이터 기반 성향 예측 연구

• 가상화폐 동향 예측 등 빅데이터 기반 성향 예측 및 분석 연구• Plos One(IF 3.057)와 PeerJ(IF 2.177)등 과학기술과 사회과학+ICT 융합 탑 저널에 다수 발표

Plos One 2017

Computer Animation and SocialAgents(CASA) 2017 Best Paper Award

IEEE Transactions on Visualization and Computer

Graphics 2016

thankyoufor yourattention !

Chang Hun Kim

T: 010 3675 3199E: [email protected]

KOREA UNIVERSITY

44

(예)경제성장률(예)실업률..(예)수출물가지수

경제주체/전문가설문조사


• 기업경기실사지수• 소비자동향지수• 소비자심리지수• 경제심리지수

⋮ VAR, MIDAS etc.

계량/거시경제학기반모형

기존경제분석모형

예측치평가

At risk if

(예)경제성장률(예)실업률..(예)수출물가지수


경제위기학습및진단

감정분석기반경제체감지수

딥러닝기반모형

제안하는위기진단모형

과거경제위기데이터

학습

실시간빅데이터

Concept Vector 기반경제위기온톨로지

45

*User-Driven Topic Modeling Based on Interactive NMF

45

Topic merging

Topic splitting

Doc-induced

topic creation

Keyword-induced

topic creation

Visualization Example:Car Reviews

Topic summaries are NOT perfect.

Allows user interactions for improving them. 46

Original t-SNE

• Documents do not have clear topi

c clusters.

*Supervised t-SNE: Visualizing documents

Supervised t-SNE

• d(xi, xj) ← α•d(xi, xj) if xi and xj belong to the same topic. (e.g., α = 0.3)

* ConceptVector: Building User-Driven Concepts via Word

Embedding

48

49

데이터의 크기가 클 수록 딥러닝의 효율이 증가함

50

https://www.google.co.kr/url?sa=i&rct=j&q=&esrc=s&source=images&cd=&ved=0ahUKEwjJmZaKotLVAhWFGZQKHZxoAl8QjRwIBw&url=https://hackernoon.com/log-analytics-with-deep-learning-and-machine-learning-20a1891ff70e&psig=AFQjCNFDTpKVWTV8admsH1PWQgFp8tggKg&ust=1502646690478918

51

대외부문

국내실물공공부문

금융부문

대외부문(자본계정)

대외부문(경상수지)

실질이자율, 수출증가율, 수입증가율, 교역조건, GDP대비 경상수지비율

외환준비금대비, 외환준비금증가율

통화승수, GDP 대비 국내신용비중, 국내실질이자율, 예대금리스프레드, 상업은행예금,

은행자산대비 지급준비금 비율

GDP대비 재정수지균형비율, GDP대비 공부채비율, 산업생산증가율, 주가변동, 인플레이션율,

자본당GDP, 국민저축증가율

국제유가 상승률, 미국의 이자율, OECD GDP증가율

52

과거경제위기관련데이터

80년도경제위기

08년도금융위기

97년도IMF

시간국내

경제위기

그리스경제위기

지역

영국브렉시트

인공지능기반분석,패턴학습을통하여현재시점의위기상황추정및조기경보가능

학습된경제위기패턴인식모듈

경제위기패턴학습및진단

국외

정형데이터 비정형데이터

실시간경제빅데이터

-SNS-경제기사-취업포탈-전문가경제동향보고서

-경제연구소보고서-금통위통화정책결정분

-etc…

-실질이자율-수출증가율-수입증가율-교역조건-GDP 대비경상수지비율

-상업은행예금-은행자산대비지급준비금비율

-GDP대비재정수지균형비율

-외환준비금증가율-GDP대비국내신용비중-국내실질이자율-예대금리스프레드

-GDP대비공부채비율

-산업생산증가율-주가변동-인플레이션율

53

신호접근법 Logit/Probit모형

특징

장점

단점

위기발생여부에따라이산적값을갖는종속변수를개별선행지표들을이용해추정하여위기발생확률을

예측하는모수적방법론

• 위기발생가능성을구체화된수치로제시가능

• 변수들간상관관계를고려가능• 개별변수의통계적유의성검정이용이

• 변수들간데이터주기가다른경우사용가능한데이터셋이제한됨

• 변수들간의변화와변수의위기예측에대한기여도변화가불명확

개별변수나종합선행지수가특정한임계치를넘어서는경우를

신호로정의하여위기상황에서의변수및지수의유용성을판단하는

비모수적방법론

• 데이터주기가다른경우에활용가능• 종합지수산정이명확하고용이

• 변수들간의상관관계가고려되기힘듬• 임계치설정에있어자의성이개입할수

있는여지가존재함