structural svms 및 pegasos 알고리즘을 이용한 한국어 개체명...
TRANSCRIPT
자연어처리 소개
차례
• 자연어처리 소개
• 자연어처리 역사
자연어처리
• 자연언어– 인공언어에 대응되는 개념
• 인공언어: 특정 목적을 위해 인위적으로 만든 언어 (ex. 프로그래밍 언어)– 자연언어에 비해 엄격한 구문을 가짐
– 특정 집단에서 사용되는 모국어의 집합
• 한국어, 영어, 불어, 독일어, 스페인어, 일본어, 중국어 등
• 자연언어처리 (Natural Language Processing)
– 컴퓨터를 통하여 인간의 언어를 이해하고 처리하는 학문 분야
– 기계번역, 자동통역, 정보검색, 질의응답, 문서요약, 철자오류 수정 등• Google, Naver, IBM Watson, Apple Siri, …
IBM Waston
• http://www.youtube.com/watch?v=RepnuF8I_I0
• 왓슨(Waston)은 자연어 형식으로 된 질문들에 답할 수 있는 인공지능 컴퓨터 시스템이며, 시험 책임자 데이비드 페루치가 주도한 IBM의 DeepQA 프로젝트를 통해 개발되었다
• 2011년 기능 시험으로서 왓슨은 퀴즈 쇼 제퍼디!에 참가하였으며, 이는 이제까지도 유일한 인간 대 컴퓨터 대결이었다
• 2월 14일부터 16일까지 세 개의 제퍼디! 에피소드의 방송에서 왓슨은 금액기준 사상 최대 우승자 브레드 러터, 가장 긴 챔피언십(74번 연속 승리)의기록 보유자 켄 제닝스와 대결하였다. 첫 상금에서 켄 제닝스와 브레드 러터가 각각 300,000 달러와 200,000 달러를 받는 사이 왓슨은 100만 달러를 거머쥐었다.
제1장 자연언어처리의 개념 4
5
자연언어 분석 단계
6
형태소 분석(Morphological Analysis)
구문 분석(Syntax Analysis)
의미 분석(Semantic Analysis)
화용 분석(Pragmatic Analysis)
분석 결과
자연언어문장
S
NP VP
N N V
나는 사과를 먹었다
• 형태소분석: “감기는”의 결과 감기(명사:cold) + 는(조사) 감(동사 어간) + 기(명사화 어미) + 는(조사) 감(동사 어간) + 기는(어미)
나는 사과를 먹었다
sub
obj
• 구문분석: Structural Ambiguities
Time flies like light 2가지 이상 tree A man see a woman with a telescope 2가지 이
상 tree
• 의미분석: “말이 많다” 말: horse or speech ?
• 화용분석: “A씨는… B씨는 … 그는 …” 그: A or B ?
형태론적 다양성
• 첨가어– 한국어, 일본어, 터키어 등– 다수의 형태소가 결합하여 어절 형성– 터키어는 평균 7개의 형태소가 결합
• 굴절어– 라틴어 (영어, 불어 등은 첨가어와 굴절어의 특징이 모두 있음)– 어간이 변함 (영어의 예 : run, ran, run)
• 스와히리어– 수(number)를 위한 형태소가 문두에 붙음– (예) 사람 : m+tu (단수), wa+tu (복수)
나무 : m+ti (단수), mi+ti (복수)• 아랍어
– 자음이 어간이고 모음이 시제, 수 등을 표현– (예) ktb(쓰다) kAtAb(능동) KUtIb(수동)
kttb(쓰게하다) kAttAb(능동) KUttIb(수동)
제1장 자연언어처리의 개념 7
통사적 다양성
• Postfix 언어 (Head-Final Languages)
– 동사가 문장의 뒤에 위치
– 한국어, 일본어 등
• Infix 언어
– 동사가 문장의 중간에 위치
– 영어, 불어 등
• Prefix 언어
– 동사가 문장의 처음에 위치
– 아일랜드어
제1장 자연언어처리의 개념 8
형태소 분석 (Morphological Analysis)
• 어절
• 양쪽에 공백을 갖는 띄어쓰기 단위의 문자열
• 단어 / 형태소
• 단일 품사를 갖는 단위 / 사전에 등록되어 있는 색인어의 집합
• 형태소 분석
• 입력된 문자열을 분석하여 형태소(morpheme)라는 최소 의미 단위로 분리
• 사전 정보와 형태소 결합 정보 이용
• 정규 문법(Regular Grammar)으로 분석 가능
• 언어에 따라 난이도가 다름
– 영어, 불어 : 쉬움
– 한국어, 일본어, 아랍어, 터키어 : 어려움
제1장 자연언어처리의 개념 9
“나는”:나 + 는날다 + 는나다 + 는
형태소 분석의 어려운 점
• 중의성 (ambiguity)– “감기는”의 분석 결과
감기(명사:cold) + 는(조사)
감(동사 어간) + 기(명사화 어미) + 는 (조사)
감(동사 어간) + 기는(어미)
• 접두사, 접미사 처리
• 고유명사, 사전에 등록되지 않은 단어 처리
– 한국어, 독일어처럼 복합명사 내의 명사를 띄우지 않거나, 일본어처럼띄어쓰기가 없으면 더욱 어려워짐
• 한국어 형태소 결합의 예 (“친구에게서였었다라고”)
친구(명사) + 에게(조사) + 서(조사) + 이(서술격조사) + 었(과거시제어미) + 었(회상어미) + 다(어말어미) + 라고(인용격조사)
제1장 자연언어처리의 개념 10
형식 문법과 자연언어
• Chomsky의 형식 문법 분류
• 자연언어의 구문이 Context-Free Grammar로 표현 가능한지 아닌지에 대해서는 결론이 내려지지않고 있다.
제1장 자연언어처리의 개념 11
Type Format of Productions Remarks
0 A Unrestricted Substitution Rules
(Contracting)
1A ,
S Context-Sensitive Grammar
2A ,
S Context-Free Grammar
3
A aB, A a
S Right Linear
Regular
GrammarA Ba, A a
S Left Linear
문법, 구문 분석
• 문법 (Grammar) :
– 문장의 구조적 성질을 규칙으로 표현한 것
• 구문 분석기 (Parser) :
– 문법을 이용하여 문장의 구조를 찾아내는 process
– 문장의 구문 구조는 Tree 형태로 표현할 수 있다. 즉, 몇 개의 형태소들이 모여서 구문 요소(구: phrase)를 이루고, 그 구문 요소들간의 결합구조를 Tree형태로써 구문 구조를 이루게 된다.
S
NP
VP
N
V ART
John ate the apple
NP
N
John ate the apple
subject
object
det
문법 (Grammars)
• Grammar : a set of rewrite rules
• Context Free Grammar (CFG) :
– 각 rule의 LHS(Left-Hand side)가 하나의 symbol로 이루어진 문법 규칙
• Grammar Rule 을 이용해서 문장(sentence)을 생성할 수도 있고(sentence generation), 분석할 수도 있다(sentence parsing).
(ex) S NP VPNP ART NNP NVP V NP
Sentence Generation
(ex) By rewrite rule
S NP VP
N VP
John VP
John V NP
John ate ART N
John ate the N
John ate the apple.
Bottom-up Parsing
(ex) John ate the apple.
N V ART N
NP V ART N
NP V NP
NP VP
S
S
NP
VP
N
V ART
John ate the apple
NP
N
구문 분석 - Structural Ambiguities
• Structural Ambiguities
– Time flies like light. 2가지 이상의 구조로 분석됨• flies (noun or verb), like(verb or preposition)
– A man see a woman with a telescope on the hill. 5가지 이상
제1장 자연언어처리의 개념 16
S
NP VP
V NP
like light
NP NP
Time flies
S
NP VP
V PP
Time flies
like
IN NP
light
의미 분석 (Semantic Analysis)
• 통사 분석 결과에 해석을 가하여 문장이 가진 의미를 분석
• 형태소가 가진 의미를 표현하는 지식 표현 기법이 요구됨
• 통사적으로 옳으나 의미적으로 틀린 문장이 있을 수 있음
– 돌이 걸어간다 (cf. 사람이 걸어간다)
– 바람이 달린다 (cf. 말이 달린다)
• Ambiguity
– 말이 많다 (horse, speech)
제1장 자연언어처리의 개념 17
의미 분석 – cont’d
• 문법적으로는 맞지만 의미적으로 틀린 문장들
– 사람이 사과를 먹는다. (o)
– 사람이 비행기를 먹는다. (x)
– 비행기가 사과를 먹는다. (x)
구문 구조 의미적 제약S
NP VP
N V N
사람비행기
먹다 사과비행기
[먹다[ agent : 먹을수 있는 주체object : 먹을 수 있는 대상....]]
의미역 결정 (Semantic Role Labeling)
한국어 의미역 결정 (SRL)
• 서술어 인식(PIC)
– 그는 르노가 3월말까지 인수제의 시한을 [갖고]갖.1 있다고 [덧붙였다]덧붙.1
• 논항 인식(AIC)
– 그는 [르노가]ARG0 [3월말까지]ARGM-TMP 인수제의 [시한을]ARG1 [갖고]갖.1 [있다고]AUX 덧붙였다
– [그는]ARG0 르노가 3월말까지 인수제의 시한을 갖고 [있다고]ARG1 [덧붙였다]
덧붙.1
의존 구문 분석
의미역 결정
화용 분석 (Pragmatic Analysis)
• 문장이 실세계(real world)와 가지는 연관관계 분석
• 실세계 지식과 상식의 표현이 요구됨
• 지시(anaphora), 간접화법(indirect speech act) 등의 분석
– Anaphora : 대명사의 지시 대상
The city councilmen refused the women a permit because(1) they feared violence.(2) they advocated revolution.
– Speech Act : 상대방에게 행동을 요구하는 언어 행위
Can you give me a salt?
Would you mind opening the window?
제1장 자연언어처리의 개념 21
한국어 상호참조해결
상호참조 (Coreference)
문서 내에서 이미 언급된 객체에 대하여 표현이 다른 단어로 다시 언급하는 것
Mention: 상호참조해결의 대상이 되는 모든 명사구(즉, 명사, 복합명사, 수식절을포함한 명사구 등)를 의미
Entity: 상호참조가 해결된 Mention들의 집합
Mention Detection 예제
[[고양]에서 발생한 용오름]은 [토네이도]와 같은 것으로 [[[지상]의 뜨거운 공기]가 [[상층]의 찬 공기]와 갑자기 섞일 때] 발생합니다.
[뜨거운 공기]가 빠르게 상승하고 [찬 공기]는 하강하면서 [[길다란 기둥] 모양의구름]이 생겨나고 [[그] 안]에서 격렬한 [회오리바람]이 부는 겁니다.
Entity 예제
[지상의 뜨거운 공기], [뜨거운 공기]
[상층의 찬 공기], [찬 공기]
[길다란 기둥 모양의 구름], [그]
자연어처리 특징
• Natural languages are ambiguous– Rule Classification (Maximum Entropy,
SVM) Deep Learning
• NLP datasets are high dimensional– One-hot representation Continuous
representation (Word Embedding)
• Many NLP problems can be viewed as sequence labeling tasks– Hidden Markov Model(HMM)
Conditional Random Fields (CRF) Deep Learning (RNN)
• Many NLP problems can be posed as sequence-to-sequence tasks– Rule Statistical Machine Translation
Neural MT
• “감기는” 감기(명사) or 감다(동사) + 기• “말이 많다” 말 = horse or speech ?• “A씨는… B씨는 … 그는 …” 그: A or B ?
• Ex. [0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0]• Dimensionality
• 50K (PTB) – 500K (big vocab) – 3M …
차례
• 자연어처리 소개
• 자연어처리 역사
Early History (1)
• 최초의 시도
– Warren Weaver : 기계번역 제안(1949)
– Idea: Translation is a process of dictionary lookup, plus substitution, plus grammatical reordering.
– Example
I must go home
Ich muss nach hause gehen
• 초기 기계번역 연구
– W.Weaver and A.D.Booth : 영어-불어 (Early 1950)
– George Town Univ.와 IBM : 러시아어-영어 (1954)
25
Early History (2) - 초기 기계번역의 교훈 -
• Translation is really not possible without understanding.– Example (English Russian English)
The spirit is willing but flesh is weakThe vodka is strong but the meat is rotten.
• A great amount of world knowledge was needed, a program had to understand what was being said in order to be able to translate it properly.
The pen is in the box. The box is in the pen.
• Syntactic AmbiguitiesThey are flying planes.Time flies like an arrow.He saw a man on the hill with a telescope.
• Give a great deal of impetus to work on syntactic theories.
26
Early History (3) - 정보 검색 -
• IBM
– 1950년대말 대량의 연구 논문을 대상으로 한 정보검
색 연구 시작
– 1964년에 의학문헌의 정보검색 시스템 MEDLARS 서
비스 개시
27
Early History (4) - 기타 관련 연구 -
• Automata Theory– 1950년대말부터 1960년대에 여러 Automata 모델 제안
– 계산 이론의 기초일 뿐만 아니라, 언어 분석 모델로서 중요한역할
• Introduction of the idea of heuristic search– Newell and Simon (1956)
• Introduction of the LISP programming language– John McCarthy (1960)
28
Early History (5) - 언어학 이론 -
• Chomsky– Syntactic Structure(1957), Aspect of the Theory of
Syntax(1965)
– 변형 생성 문법• 구구조 개념, 변형 개념
• 문장의 기본은 구구조이며, 문장은 구구조의 변형이다.
• C. Hockett
– Grammar for the Hearer(1961)
– 인간의 언어 이해는 문장을 끝까지 다 들은 후, 구문분석을시도하는 것이 아니고, 문장을 들으면서 그 때까지의 구문구조를 이해하고 있으며, 다음에 어떤 어구, 문장의 구조가발화되는지 예상하면서 듣는다.
29
1960년대의 자연언어처리
• Ideas
– The use of limited domains for language-understanding
systems
– The use of key words to trigger certain actions
– The translation of English into formal languages
• Some Systems
– Key-word systems : ELIZA, DOCTOR, PARRY, etc.
– Translating English into a Formal System : STUDENT
– Data-base Question Answering : BASEBALL
30
BASEBALL (1)
• Bert F. Green, Jr., Alice K. Wolf, Carol Chomsky,
and Kenneth Laughery (1963)
• Database Question Answering system
– Database query generation from English
– 미국 프로야구 자료를 자연언어로 검색하는 시스템
31
BASEBALL (2)
• BASEBALL’S database
• Question: “Who did the Yankees play on July 7?”
• After Query Generator(OR (July 7 – Yankees/– ?ANSWER/–
(July 7 – ?ANSWER/– Yankees – ) )
• Answer : “Red Sox”
32
MONTH PLACE DAY GAME WINNER/SCORE LOSER/SCORE
July
July
July
Cleveland
Boston
Detroit
6
7
7
95
96
97
White Sox/2
Red Sox/5
Tigers/10
Indians/0
Yankees/3
Athletics/2
ELIZA (1)
• Joseph Weizenbaum (at MIT), 1966
• 인간과 컴퓨터간의 대화 시스템
– Key-word에 의한 패턴 비교 기법 이용
– 상당한 지적 능력을 가진 시스템처럼 보여짐
33
Pattern Respond
(* computers *)
(* mother *)
(* I believe that *)
<nothing matched>
Do computers frighten you?
Tell me more about your family.
How long have you believe that .
Please go on.
ELIZA (2)User : Men are all alike.Eliza : In what way?User : They’re always bugging us about something or other.Eliza : Can you think of a specific example?User : Well, my boyfriend made me come here.Eliza : Your boyfriend made you come here.User : He says I’m depressed much of the time.Eliza : I am sorry to hear you are depressed.User : It’s true. I am unhappy.Eliza : Do you think coming here will help you not to be
unhappy?User : I need some help; that much seems certain.Eliza : What would it mean to you if you got some help?User : Perhaps I could learn to get along with my mother.Eliza : Tell me more about your family.
34
STUDENT
• Developed by Daniel Bobrow, 1968.
• Translates algebra problems into a set of linear
equations
– John’s age now is two times Mary’s age. JA = 2 * MA
– In three years John will be 6 years older than Mary. JA + 3 = MA + 6
• 패턴 비교 기법 이용
– 패턴의 빈자리(slot)에 필요한 요소를 끼워넣는 방법
– 단순한 패턴 비교와 소수의 경험적 규칙만으로도 문장의 분석이가능하다는 것을 보여준 프로그램
35
격문법 (Case Grammar)• C. Fillmore (1968)
• 문장의 각 주요 명사구가 술어 동사에 대해 어떤 격으로 역할하는가에 주목
• 격관계를 의미적으로 해석
• 행위자격(agent), 대상격(object), 도구격(instrument) 등
• 다음 두 문장의 표면구조는 다르나 심층격은 동일He opened the door by the key.A key opened the door
• 기계적으로 처리하기 매우 어려움– 하나 하나의 개별 동사에 대해 그 동사가 어떤 의미의 격(명사구)를 요구
하는지 상세하게 사전에 기술해야 함– 의미소라는 것을 수십 내지 수 백개 설정
36
1970년대의 자연언어처리
• The flowering of Semantic Information
Processing and Seeds of Cognitive Science
• Systems
– SHRDLU (1972)
– LUNAR (1972)
– MARGIE (1973)
– NLPQ (1974)
37
SHRDLU• Terry Winograd (1972)
• Transform sentences into programs (in Block-world domain)– Carry out various tasks(e.g., moving blocks on a table), or search
for information in SHRDLU’s database, or generate an answer for its user.
• Can handle sentences exhibiting a wide variety of linguistic phenomena– Interpreted declarative sentences as database updates,
interrogative sentences as database searches, and imperative sentences as specifications for goals; these goals were achieved
• Linguistic coverage was very broad compared to previous programs– Can handle quantifications, generate natural-sounding dialogue,
and answer questions about the history of its dialogue and plan execution.
38
LUNAR• Woods, Kaplan, and Nash-Webber (1972)
• A Natural Language Front-end for a database
containing moon rock sample analysis
• Use ATNs (Augmented Transition Networks)
• Very general notion of quantification based
on predicate calculus
• Use sophisticated techniques to translate
questions into database queries.
39
SHRDLU and LUNAR
• Use relatively unconstrained language
• Work in very narrow domain
– SHRDLU : Block-world
– LUNAR : Moon-rock sample analysis
• Have complete, privileged knowledge of their
work
40
MARGIE (1)
• Shank, Goldman, Rieger, and Riesbeck (1973)
• Deal with much more unconstrained language, particularly language about human actions
• Based on Conceptual Dependency Theory (by Shank)
– Every EVENT has :an ACTORan ACTION performed by that actoran OBJECT that the action is performed upona DIRECTION in which that action is oriented
– CD primitive actionsATRANS MTRANS SPEAK INGESTPTRANS MBUILD GRASP EXPELPROPEL ATTEND MOVE
41
MARGIE (2)
(e.g.) John gave Mary a book.
actor Johnaction ATRANS /* transfer possession */object bookdirection FROM John TO Mary
42
John ATRANS bookP O R Mary
John
1970년대의 교훈
• Knowledge Representation
– Central importance to all natural processing
– Issues
• How should items in memory be indexed and accessed
• How should context be represented
• How should memory be updated
• How can programs deal with inconsistency
• Common Sense
– Knowledge of the outside world
(e.g.) The city councilmen refused the women a permit because
they feared violence // they : city councilmen
they advocated revolution // they : women
43
FRAMES
• Minskey, 1975
• Structures consisting of a core and slots
• Each slot corresponding to
– Either a facet or participant of a concept embodied
in the frame or a space for a pointer to a related
concept
• Provide a neat explanation for “default
reasoning”
44
SCRIPTS
• Roger Shank and his collaborators at Yale (1977)
• (e.g.) Track : Coffee Shop
Props : Table Roles : S – Customers
Manu W – Waiters
F – Food C – Cook
Check M – Cashier
Money O – Owner
45
Unification-based Grammar Formalisms
• Grammatical Theories– LFG (Lexical Functional Grammar) : Bresnan (1982)
– GPSP (Generalized Phrase Structure Grammar) : Gazdar(1985)
– HPSG (Head-driven Phrase Structure Grammar) : Pollard (1985)
• Grammatical Tools
– DCG (Definite Clause Grammar) : Pereira & Warren (1980)
– FUG (Functional Unification Grammar) : Kay (1983)
– PATR-II : Shieber et al. (1983)
46
Unification-based Grammar Formalisms
• Augmented Phrase Structure Grammar
– Context-Free based grammar rules
– Use feature structures instead of simple grammar symbols
• Feature structure
– Complex-feature-based informational elements
– Associations between features and values
• Unification
– Information-combining operation
– main operation in unification-based grammar formalisms
47
Feature Structure• 명사 “철수”와 동사 “먹다”의 자질 구조 (HPSG의 예)
48
LEX
N MAJ HEAD LOC SYN
철수"" PHON
LEX
OBJ GR
N MAJ HEAD|LOC|SYN
SUBJ GR
N MAJ HEAD|LOC|SYN
SUBCAT
V MAJ HEAD
LOC SYN
"먹다" PHON
Unification
49
)2( third:person
singular:number:agreement FS
)1( NP:cat FS
)3(
third:person
singular:number:agreement
NP:cat
2 1 FSFSFS
Unification
)3(
third:person
singular :number : agreement
NP :cat
FS
50
)4(
plural :number : agreement
NP :cat FS
FailednUnificatioFSFS 4 3
Unification of FS3 and FS4 is failed because the values of “agreement :
number” feature of them are not the same (conflict)
최근 자연언어처리 연구동향
• 문법 규칙의 단순화, 사전의 대용량화– 각종 대용량 분석 사전, 시소러스 등
• Corpus에 기반한 언어처리
– 원시 Corpus, Tagged Corpus
– 문법, 어휘 정보 등 각종 언어 정보 추출
– 통계 기반 언어 처리 기계학습 기반 언어처리
• 실용 수준의 자연언어처리 시스템 개발
– 상용 기계번역 시스템
– 정보 검색 시스템
– 문서 분류, 요약 시스템 등
• 딥 러닝 (Deep Learning) 기술의 발달– 이미지 인식, 음성 인식 분야에서 딥 러닝 기술이 최고의 성능을 보여줌
– 자연어처리 분야에도 최근 딥 러닝 기술이 많은 응용 분야에서 최고 성능을 보여주고있음
51
기계 번역의 역사 (1)
• GAT
– 1952년에 시작하여 1965년에 완성
– 소련어-영어 번역 시스템
– 번역 대상 : 물리학 분야 논문
– 단어 대 단어에 숙어 처리 가미
– 번역의 질은 매우 떨어졌으나, 1979년까지 미국 원자
에너지국에서 사용
52
기계 번역의 역사 (2)
• CETA
– 1967년에 완성되어 1971년까지 사용
– 프랑스 Grenoble 대학에서 시작
– 언어학 이론에 기반한 번역
– Interlingua 방식 (Pivot approach)
• Interlingua : 개별 언어와 독립적 표현
• GETA
– CETA의 후속 시스템
– CETA의 실패를 거울 삼아 변환 방식(transfer approach) 채택
53
기계 번역의 역사 (3)
• TAUM
– 일기예보 대상
– 영어-불어 번역 시스템
– 순수한 변환 방식
• METEO
– TAUM을 확장한 완전 자동 번역 시스템
– 번역 성공률이 90-95% 수준
• 실패하는 경우도 대부분 철자 오류 등임
54
기계 번역의 역사 (4)
• SYSTRAN
– 최초로 상품화된 기계번역 시스템
– 1970년 미국 연방 정부 FTD 사용 (러시아-영어)
– 1974년 NASA 사용 (러시아-영어)
– 1976년 EC 사용 (영어-불어)
– 1978년 불어-영어
– 1979년 영어-이태리어
– 1985년 불어-독어, 영어-독어
55
기계 번역의 역사 (5)
• METAL
– 1982년에 개발된 독어-영어 양방향 기계 번역 시스템
– GPSG를 이용한 영어 분석
• EUROTRA
– 유럽 공동체의 9개 언어 번역을 시도
– 1992년 1단계 연구 종료 : 시스템 개발에는 실패
– 유럽 공동체 예산의 40% 정도가 번역 비용으로 드는
만큼, 연구 개발이 계속될 전망
56
기계 번역의 역사 (6)
• 일본의 연구
– 1964년 교토대학 Nagao 교수에 의해 시작
– 1990년 현재 20여개 시스템이 상품화
– 기계 번역 연구를 가장 활발히 진행하는 국가 중 하나임
• 한국의 연구
– 1980년 정도부터 대학 및 연구소에서 연구 시작
– 현재 영-한, 일-한, 한-일 번역 시스템 상품화
– 대학, 기업체 중심으로 연구 개발
57
기계 번역의 역사 (7)
• Statistical Machine Translation (SMT)
– 구글 번역기, …
– Word based model
• GIZA++ (IBM model 1~6)
– Phrase based model
• Moses
• Parallel corpus (sentence aligned corpus) word alignment (GIZA++) phrase extraction reordering model language model (SRILM) decoding
58
SMT: example
59
기계 번역의 역사 (8)
• Neural Machine Translation (NMT)– 딥 러닝을 이용한 end-to-end 기
계번역 시스템
– Word-based Recurrent Neural Network (RNN) encoder + RNN decoder로 구성됨• Parallel corpus (sentence aligned
corpus) NMT training RNN decoding
– 최근에는 Attention Mechanism을도입하여 더욱 높은 성능을 보임
– Phrase-based MT, Hierarchical Phrase-based MT 보다 높은 성능을 보임
60
NMT example
61