시퀀스 투 시퀀스, 어텐션 모델, Attention, Seq2Seq_Day69

영어의 어순과 한국어의 어순이 다르기 때문에

번역시 단어숫자가 다를수 있기 때문에

 

단어별로 번역하는 건 좋은 방법이 아니다

---

RNN 을 활용하여 번역을 진행해보자

Encoder & Decoder

 

인코더는 각 단어를 받아서 "문맥벡터"를 만드는 것

디코더는 "문맥벡터"로부터 기계번역을 시작하는 것

 

---

문제점!

 

1) 단어의 사이즈가 커졌을때 , 문맥벡터가 그 의미를 충분히 담지 못할수 있다.

 

 

해결방법!

하나의 문맥벡터로 합치는 것이 아니라

각각의 인코더로부터 문백벡터를 가져와 활용하자

 

구체적인 방법!

attention weight 수치 주목

 

 

---

Teacher Forcing

 

결과값이 잘못 나왔을때

가만히 놔두면 뒤까지 잘못된 영향을 지속적으로 미칠 수 있다.

 

이럴경우 중간에 옳은 값을 넣어줌으로써

모델이 잘못 학습되는 걸 미리 방지하는 방법

 

 

 

출처 : youtu.be/WsQLdu2JMgI