RNN,LSTM,cell_Day68(2)

RNN 기본구조

 

(좌) RNN 기본구조 (우) 펼쳤을때의 실제 연산구조

 

 

문제점 발생 : Vanishing gradient problem

(0.9로 적용시 연산될수록 0에 수렴하게 되고, 1.1로 적용시 무한히 커지게 되는 문제발생)

 

해결책 : LSTM

(단순 activation 하는게 아니라, 상황에 따라 다르게 적용되도록 값을 각 유닛마다 세팅해준다)

 

 

원리이해 : CELL

 

 

 

 

출처 : colah.github.io/posts/2015-08-Understanding-LSTMs/

Understanding LSTM Networks -- colah's blog

출처 : youtu.be/SoNtAjxA3Jo