馬可夫過程檢視原始碼討論檢視歷史

馬可夫過程 圖片來自MBA智庫百科

在概率論及統計學中，馬可夫過程（Markov process）是一個具備了馬可夫性質的隨機過程，因為俄國數學家安德雷•馬可夫得名。馬可夫過程是不具備記憶特質的（memorylessness）。換言之，馬可夫過程的條件概率 僅僅與系統的當前狀態相關，而與它的過去歷史或未來狀態，都是獨立、不相關的<。

具備離散狀態的馬可夫過程，通常被稱為馬可夫鏈。馬可夫鏈通常使用離散的時間集合定義，又稱離散時間馬可夫鏈<。有些學者雖然採用這個術語，但允許時間可以取連續的值。

數學模型

對於某些類型的隨機過程，很容易通過狀態定義列方程推導出是否具有馬爾可夫性質，但對於另外一些，需要使用馬爾可夫性質中描述的一些更加複雜的數學技巧。舉一個簡單的例子，設某個隨機過程他的狀態X可取到一個離散集合中的值，該值隨時間t變化，可將該值表示為X(t)。在這裡，時間變量是離散或連續不影響討論的結果。考慮任意一個「過去的時間」集合(...,p₂, p₁), 任何「當前時間」s, 以及任何「未來時間」 t, 同時所有這些時間全都在X的取值範圍之內，若有

cdots < p_2 < p_1 < s <t.

則馬爾可夫性質成立, 並且該過程為馬爾可夫過程, 如果式

Pr\big[X(t) = x(t) \mid X(s) = x(s), X(p_1)=x(p_1), X(p_2)=x(p_2), \dots \big]

Pr\big[X(t) = x(t) \mid X(s) = x(s) \big]

對於所有的取值( ... ,x(p₂), x(p₁), x(s), x(t) ), 以及所有的時間集合成立。 則可用條件概率計算得出

Pr\big[X(t) = x(t) \mid X(s) = x(s), X(p_1)=x(p_1), X(p_2)=x(p_2), \dots \big]

與任何過去的取值( ... ,x(p₂), x(p₁) )不相關，這恰好就是所謂的未來的狀態與任何歷史的狀態無關，僅與當前狀態相關。

二階馬爾可夫過程

在某些情況下，如果將「現在」和「未來」的概念擴展，某些明顯的非馬爾可夫過程仍然可能具有某些馬爾可夫過程的性質。舉例來說，令X是一個非馬爾可夫過程，現在構造一個過程Y，使其每個狀態對應於X的一個時段的狀態。從而有如下形式：

Y(t) = \big\{ X(s): s \in [a(t), b(t)] \, \big\}

如果Y具有馬爾可夫性質，則稱X為二階馬爾可夫過程，據此也可定義更高階馬爾可夫過程。一個高階馬爾可夫過程的例子是移動平均的時間序列

馬爾可夫性質

馬可夫性質是概率論中的一個概念。當一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件概率分布僅依賴於當前狀態；換句話說，在給定現在狀態時，它與過去狀態（即該過程的歷史路徑）是條件獨立的，那麼此隨機過程即具有馬爾可夫性質。具有馬爾可夫性質的過程通常稱之為馬爾可夫過程。

數學上，如果X(t), t>0為一個隨機過程，則馬爾可夫性質就是指

mathrm{Pr}\big[X(t+h) = y \,|\, X(s) = x(s), s \leq t\big] = \mathrm{Pr}\big[X(t+h) = y \,|\, X(t) = x(t)\big], \quad \forall h > 0

馬爾可夫過程通常稱其為（時間）齊次，如果滿足

mathrm{Pr}\big[X(t+h) = y \,|\, X(t) = x(t)\big] = \mathrm{Pr}\big[X(h) = y \,|\, X(0) = x(0)\big], \quad \forall t, h > 0

除此之外則被稱為是（時間）非齊次的。齊次馬爾可夫過程通常比非齊次的簡單，構成了最重要的一類馬爾可夫過程。

某些情況下，明顯的非馬爾可夫過程也可以通過擴展「現在」和「未來」狀態的概念來構造一個馬爾可夫表示。設X為一個非馬爾可夫過程。我們就可以定義一個新的過程Y，使得每一個Y的狀態表示X的一個時間區間上的狀態，用數學方法來表示，即，

Y(t) = \big\{ X(s) : s \in [a(t), b(t)] \, \big\

如果Y具有馬爾可夫性質，則它就是X的一個馬爾可夫表示。 在這個情況下，X也可以被稱為是二階馬爾可夫過程。更高階馬爾可夫過程也可類似地來定義。

具有馬爾可夫表示的非馬爾可夫過程的例子，例如有移動平均時間序列。

最有名的馬爾可夫過程為馬爾可夫鏈，但不少其他的過程，包括布朗運動也是馬爾可夫過程。