马尔可夫链模型查看源代码讨论查看历史

来自 搜狐网 的图片

马尔可夫链模型是各类术语中的一个名词。

在汉字的历史上，人们通常把秦代之前留传下来的篆体文字和象形文字称为“古文字”，而将隶书和之后出现的字体称为“今文字”。因此，“隶变”就成为汉字由古体（古文字）演变为今体（今文字）的分界线。

名词解释

马尔可夫链，因安德烈·马尔可夫（A.A.Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。

时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为{X_n=X(n),n=0,1,2,\cdots}。

马尔可夫链是随机变量X_1,X_2,X_3\cdots的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则

P(X_{n+1}=x|X_0,X_1,X_2,\cdots,X_n)=P(X_{n+1}=x|X_n)

这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。

马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。

马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。

马尔可夫链是满足下面两个假设的一种随机过程：

1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；

2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：

1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。

2）P=[P_{ij}]_{n\times n}是系统的状态转移概率矩阵，其中Pij表示系统在时刻t处于状态i，在下一时刻t+l处于状态i的概率，N是系统所有可能的状态的个数。对于任意i∈s，有\sum_{j=1}^NP_{ij}=l。

3）Q=[q_1,q_2\cdots q_n]是系统的初始概率分布，qi是系统在初始时刻处于状态i的概率，满足\sum_{i=1}^Nq_i=1。

马尔可夫链模型的性质

马尔可夫链是由一个条件分布来表示的

P(Xn + 1 | Xn)

这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：

P(X_{n+2}|X_n) = \int P(X_{n+2},X_{n+1}|X_n)dX_{n+1} = \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}

同样：

P(X_{n+3}|X_n) = \int P(X_{n+3}|X_{n+2}) \int P(X_{n+2}|X_{n+1})P(X_{n+1}|X_n)dX_{n+1}dX_{n+2}

这些式子可以通过乘以转移概率并求k?1次积分来一般化到任意的将来时间n+k。

边际分布P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述：

P(X_{n+1}) = \int P(X_{n+1}|X_n)P(X_n)dX_n

这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足：

\pi(X) = \int P(X|Y)\pi(Y)dY

其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征根为1的条件分布函数的特征方程。

平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。

离散状态空间中的马尔可夫链模型

如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：

Pij = P(Xn + 1 = i | Xn = j)

对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果\mathbf{P}是一步转移矩阵，\mathbf{P}^k就是k步转移后的转移矩阵。

平稳分布是一个满足以下方程的向量：

\mathbf{P}\pi^* = \pi^*

在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。

如果转移矩阵\mathbf{P}不可约，并且是非周期的，则\mathbf{P}^k收敛到一个每一列都是不同的平稳分布π * ，并且，

\lim_{k\rightarrow\infty}\mathbf{P}^k\pi=\pi^*

独立于初始分布π。这是由Perron-Frobenius theorem所指出的。

正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。

注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。

转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为贝努利过程

马尔可夫链模型的应用

科学中的应用

马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算法编码。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。

马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。