마르코프체인,Markov chains_Day68(4)

P( X1=2, X2=6, X3=7 / X0=1)

0번째 '1'에서 1번째 '2'를 거쳐 2번째 '6'을 거쳐 3번째 '7'에 도달하는 확률

 

P( X4=7 / X0=2) 

0번째 '2'에서 4번째 '7'에 도달하는 확률

1번 : 2 -> 1-> 2-> 6-> 7

2번 : 2 -> 6-> 6-> 6-> 7

3번 : 2 -> 6-> 7-> 6-> 7

 

100번째에 '7'에 도달할 경우의 수를 구하는 방법은 Extreme Huge !

 

---

마코프 성질
마코프 성질이라 함은 n+1회의 상태(state)는 오직 n회에서의 상태, 혹은 그 이전 일정 기간의 상태에만 영향을 받는 것을 의미한다. 

예를 들면 동전 던지기는 독립 시행이기 때문에 n번째의 상태가 앞이던지 뒤이던지 간에n+1번째 상태에 영향을 주지 않는다. 하지만 1차 마르코프 체인은 n번째 상태가 n+1번째 상태를 결정하는데 영향을 미친다. (시간 t에서의 관측은 단지 단지 최근 r개의 관측에만 의존한다는 가정을 하고 그 가정하에서 성립) 아래의 식과 그림은 마코프 성질에 대해 설명하고 있다. 

1차 마코프 가정을 이용하여 확률을 계산해보자.

오늘의 날씨	내일의 날씨
	맑음	비	흐림
맑음	0.8	0.05	0.15
비	0.2	0.6	0.2
흐림	0.2	0.3	0.5

                                                               날씨 상태 천이 확률표

날씨 영역은 세 가지 상태(S={맑음, 비, 흐림})를 나타낸다.
그리고 날씨는 천이 확률표와 같이 확률값 P(qn | qn-1)에 따라 다른 상태로의 천이가 이루어진다.

오늘 날씨(q1)가 "맑음"일 경우에 내일 날씨(q2)가 "맑음"이 되고 모레 날씨(q3)가 "비"가 될 확률은 얼마일까?

        P(q2=맑음, q3=비 | q1=맑음)

          = P(q3=비 | q2=맑음, q1=맑음) ·P(q2=맑음|q1=맑음)

          = P(q3=비 | q2=맑음)·P(q2=맑음|q1=맑음)    <- 마코프 가정

          = 0.05 x 0.8
          = 0.04

위 계산 과정에서 1차 마코프 가정에 의해

        P(q3=비 | q2=맑음, q1=맑음) = P(q3=비 | q2=맑음)

가 된다.

그렇다면 어제, 오늘의 날씨가 각각 q1=비, q2=흐림 일 때, 내일 날씨가 q3= 맑음 이 될 확률은 얼마일까?

        P(q3=맑음  | q2=흐림, q1=비)

          = P(q3=맑음 | q2=흐림)    <- 마코프 가정

          = 0.2

 

 

출처 : youtu.be/ZulMqrvP-Pk

sites.google.com/site/machlearnwiki/RBM/markov-chain

Markov Chain - MLWiki