从《狂赌之渊》到马尔可夫链（第2话/共3话）

下面，让我们进一步看关于马尔可夫链的一些性质。

---

一、更直观的表示法——图

首先，让我们看一种更直观更简单的表示方法——“图”！这个表示方法是如此直观，以至于可以不用做太多介绍。例如，还是上一篇当中的“晴天—下雨”的例子（如果忘记了，你可以点击这里回到上一篇文章），如果使用我们所说的“图”，就可以表示成：

我相信这个图谁都能看明白！

使用图的一个好处就是可以表示更加复杂的转换关系，例如，我们现在有这样一个图：

你能说出这个图的意思吗？（当然，你可以看出来，状态1可以变成状态1，也可以变成状态2；状态2可以变成状态2，也可以变成状态3；状态3可以变成状态2，也可以变成状态4；状态4只能变成状态4）（一点题外话，这个图在最后你还会见到的！）

下面，我们需要对不同的状态进行一下分类，当然，我不会从数学的层面给出定义，只会带你“看图”。在马尔可夫链当中，所有的状态分成两类：常返态和瞬态。顾名思义，所谓“常返态”，指的是从这个状态出发的状态，都可以经过若干步返回；而“瞬态”则是与之相对，即“出去了就再也回不来”了。

根据这个定义，让我们看一下上面的两个图：第一个图，不难看出，状态1和状态2都可以在出去后回来，所以它们都是“常返态”，而对于第二个图，状态1显然，出去了（到状态2）就再也回不来了，因此它是“瞬态”，而从状态2出去之后可以再回来，因此称状态2为“常返态”。对于状态3而言，它到达状态4之后再也回不来，所以是“瞬态”。那么状态4呢？它并不能出去，只能在自身转换，注意前面所说的“常返态”并没有强调必须要“出去”，因此它也是“常返态”！

在这里我们还有必要注意到状态4，因为它进来之后就再也出不去了，如同被“吸收”了一般，因此也称状态4为“吸收态”。（不难发现，吸收态一定是常返态）

这里面还有一个需要注意的一个细节，对于状态2而言，由于它是常返态，那么由状态2所到达的其他状态，按照其定义，都应当可以返回到状态2.因此可以认为，状态2与其指向的状态称为“连通类”（显然，根据定义，常返态指向的状态都应当可以返回到其自身，进一步，连通类里面的所有状态都是可以到达的。）

---

二、关于图，我们还有一些东西

下面，我们利用常返态和瞬态的定义，进一步讨论上面的图。重点是一个图的周期性，先来看一个状态的周期——“从一个状态出发，回到它自身所有步数的最大公约数”。我知道比较难理解，我们以一个图为例：

在这个图当中，状态1回到自身可以用一步（1-1），也可以用两步（1-2-1），因此状态1的周期就是1.而对于状态2而言，回到它自身的步数需要两步（2-1-2），因此状态2的周期就是2.

如果一个图所有状态的周期都大于1，那么我们说这个图是“周期性”的。对于上面的图而言，显然是“非周期”的（因为它有一个周期为1的状态）

（注：为了通俗易懂，这些表述都不是严格化的数学语言，但并不影响我们继续使用它们）

那么，上面那个由4个状态组成的图呢？显然是非周期的（相信你能知道为什么）。

---

三、稳态——殊途同归

下面，我们开始介绍本篇当中最重要的一个概念——稳态。还是以概率转换矩阵

为例。在之前我们所讨论的，大多是已知初始状态，讨论n步后的状态。如果我们初始状态并不知道呢？比如，现在初始状态为：状态1的概率为0.6，状态2的概率为0.4。先简单起见，讨论1步后的状态，此时状态1的概率是多少？显然是：

也就是0.7*0.6+0.2*0.4=0.5.

类似地，我们也可以列出状态2的概率。好在，如果我们把初始状态用一个向量表示，那么经过一步后的概率就可以变成：

比如说，我们现在的初始状态向量是(0.7,0.3)，那么代入上面的变换矩阵，得到的结果是(0.55,0.45)，也就是说，经过一步转换后状态1的概率是0.55，状态2的概率是0.45.那经过两步呢？再将这个结果代入上面的式子，得到(0.475,0.525)……这一切都是如此的正常。当我们把这个事情再重复几遍，似乎发现了一点规律：这个数字会逐渐靠近(0.4,0.6)，并且你会发现，当达到这个结果之后，再代入矩阵就不会发生任何变化了！ 而且你也可以尝试的是：无论起始概率如何，最终的结果都是一样的！ 也就是说，随着次数的增多，这个概率逐渐趋近于“稳定”，我们就说这个概率是“稳态概率”。

事实上，我们可以通过简单的数学推导得到这个稳态概率的表达式，假设经过n步后状态j的概率是 ，也就是

那么，假设这一概率是稳态概率，也就是n+1步时它的概率也是这个概率，即

因此，我们称下面这个方程：

为平衡方程。

下面，我们使用平衡方程再重新算一下上面的概率，可以列出下面的方程组：

这实际上就是一个二元一次方程组，然而，这个方程并没有唯一解。我们如果要求解出来还需要一个约束条件：所有情况的概率和为1，即

将这些联立，就可以解得

和我们在前面得到的概率完全一样！

然而，并不是所有情况都有稳态概率的，只有当一个转换图“只有一个连通类（即全部互相可达，或者说，图是“全连通”的）且非周期”时才存在稳态。 例如，如果我们把概率转换矩阵换成

它所对应的转换图是下面这样：

你会发现，这个情况是没有稳态的概率的。因为它极其依赖于起始条件，当起始条件为(0.4,0.6)时，它的概率就会在(0.6,0.4)和(0.4,0.6)之间不停转换。事实上，只有当初始概率为(0.5,0.5)时才会稳定，而这并不是我们所说的“稳态概率”（因为它依赖于初始条件）。

那么，它为什么没有稳态概率呢？原因很简单，因为它的周期是2

除此之外，还有一些状态转换，类似于下面这样的

不难想见，随着次数的增多，它的稳态概率一定趋近于(0,0,0,1)，即最后一定会达到状态4（吸收态）。然而，这并不是我们所讨论的“稳态概率”（因为它太过“平庸”）关于它为什么没有稳态概率，我想大家都知道了（因为它不是“全连通”的）

（注：在数学等学科当中，我们常常使用“平庸”这个词，它指的是这个结果过于显而易见而没有研究的价值……）

好了，到这里为止这一篇就结束了，马上就要接近尾声了。还记得我们最开始提出的问题吗？（就是那个三个骰子的问题），很快就可以给出答案了！

注：以上内容来源于公众号“科普小白说”，一个做科普的公众号，如果有兴趣的可以关注一下哦