Markov Chain

Markov Chain

Discrete time에 따라 state가 변하는 stochastic process.
markov property를 만족하는 chain.

“미래의 state는 오로지 직전의 n개의 state에 대해서만 종속되고, 그보다 더 이전의 state와는 무관하다. ”

수식적으로는 $n=1$인 markov-chain에 대해 아래와 같이 정의된다.
$P(X_{t+1}=x\mid X_1=x_1,X_2=x_2,\dots ,X_t=x_t)=P(X_{t+1}=x\mid X_t=x_t)$