马尔科夫链的状态分类 & 平稳分布
状态分类
定义7.2 称状态$j$从状态$i$是可达的，如果对于某些整数$n\geq 0,P_{i,j}^n\gt 0$. 如果两个状态$i,j$互相可达，则称他们是连通的（communicate），记作$i\leftrightarrow j$.
易知状态的连通性满足自反性，对称性和传递性，因此为等价关系.
定义7.3 称一个马尔科夫链是不可约的（irreducible），如果所有状态全部连通.
定理7.4 称一个状态是常返的（recurrent），如果$\sum_{t\geq 1}r_{i,i}^t=1$. 否则称为瞬时的（transient）.
一个常返马尔科夫链要求其每一个状态都是常返的
定义7.5 一个常返状态$i$称为正常返如果$h_{i,i}\lt\infty$.否则称为零常返.
直观理解：正常返要求系统返回到状态的平均时间是有限的
定理7.5 对于一个有限状态马尔科夫链：
- 至少有一个状态是常返的；
- 所有常返状态均为正常返.
定义7.6 一个离散时间马尔科夫链中，状态$j$是周期（periodic）的如果存在整数$\Delta>1$，使得$Pr(X_{t+s}=j|X_t=j)=0,\forall s,\Delta\nmid s$.
离散时间周期马尔科夫链要求每个状态都是周期的.
反之，称状态或链为非周期的（aperiodic）.
定义7.7一个非周期，正常返状态被称为各态历经状态（ergodic state）. 一个马尔可夫链是各态历经的要求所有状态都是各态历经的.
推论7.6 任何有限，不可约且非周期马尔科夫链都是各态历经的.
平稳分布
定义7.8 平稳分布（stationary distribution）$\bar{\pi}$满足$\bar{\pi}=\bar{\pi}P$.
定理7.7 任何有限，不可约且各态历经马尔科夫链有以下性质：
- 该链有且仅有唯一平稳分布$\bar{\pi}=(\pi_0,\pi_1,\dots,\pi_n)$;
- 对于任意$i,j$，极限$\lim_{t\rightarrow\infty}P_{i,j}^t$存在并且取值与$j$无关;
- $\pi_i=\lim_{t\rightarrow\infty}P_{i,i}^t=1/h_{i,i}$.
定理7.8 对于任意不可约，各态历经马尔科夫链的任意状态$i$，极限$\lim_{t\rightarrow\infty}P_{i,i}^t$存在且满足$\underset{t\rightarrow\infty}{lim}P_{i,i}^t=\frac{1}{h_{i,i}}$.
（证明先空着，有空补）
定理7.9 设$S$为有限，不可约，非周期马尔科夫链的某些状态的集合. 则在平稳分配中，链离开$S$的概率始终等于链进入$S$的概率.
定理7.10 任何一个不可约马尔科夫链均属于以下两类之一：
- 各态历经马尔科夫链:$\forall i,j,\underset{t\rightarrow\infty}{lim}P_{j,i}$存在且独立于$j$，且链有唯一平稳分布$\pi_i=\underset{t\rightarrow\infty}{lim}P_{j,i}^t\gt 0$;
- 没有一个状态是正常返的马尔科夫链：$\forall i,j,\underset{t\rightarrow\infty}{lim}P_{j,i}^t=0$并且该链没有平稳分布.
马尔科夫链的状态分类 & 平稳分布