貝葉斯決策理論

來自 搜狐網 的圖片

貝葉斯決策理論是一個文化術語。

現代漢字是指楷化後的漢字正楷字形，包括繁體字和簡體字。現代漢字即從甲骨文、金文、籀文、篆書，至隸書、草書、楷書、行書等演變而來。漢字為漢民族先民發明創製並作改進，是維繫漢族各方言區不可或缺的紐帶。現存最早可識的漢字是約公元前1300年殷商的甲骨文和稍後的金文， 再到秦朝的小篆 和隸書， 至漢魏隸書盛行，到了漢末隸書楷化為正楷，盛行於魏晉南北朝，至今通行。

目錄

名詞解釋

貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。

貝葉斯決策就是在不完全情報下，對部分未知的狀態用主觀概率估計，然後用貝葉斯公式對發生概率進行修正，最後再利用期望值和修正概率做出最優決策。

貝葉斯決策理論方法是統計模型決策中的一個基本方法，其基本思想是：

已知類條件概率密度參數表達式和先驗概率

利用貝葉斯公式轉換成後驗概率

根據後驗概率大小進行決策分類

貝葉斯公式

設D1，D2，……，Dn為樣本空間S的一個劃分，如果以P(Di)表示事件Di發生的概率，且P(Di)>0(i=1，2，…，n)。對於任一事件x，P(x)>0，則有

P(D_j/x)=\frac{p(x/D_j)P(D_j)}{\sum^{n}_{i=1}P(X/D_i)P(D_i)}

貝葉斯決策理論分析

（1）如果我們已知被分類類別概率分布的形式和已經標記類別的訓練樣本集合，那我們就需要從訓練樣本集合中來估計概率分布的參數。在現實世界中有時會出現這種情況。（如已知為正態分布了，根據標記好類別的樣本來估計參數，常見的是極大似然率和貝葉斯參數估計方法）

（2）如果我們不知道任何有關被分類類別概率分布的知識，已知已經標記類別的訓練樣本集合和判別式函數的形式，那我們就需要從訓練樣本集合中來估計判別式函數的參數。在現實世界中有時會出現這種情況。（如已知判別式函數為線性或二次的，那麼就要根據訓練樣本來估計判別式的參數，常見的是線性判別式和神經網絡）

（3）如果我們既不知道任何有關被分類類別概率分布的知識，也不知道判別式函數的形式，只有已經標記類別的訓練樣本集合。那我們就需要從訓練樣本集合中來估計概率分布函數的參數。在現實世界中經常出現這種情況。（如首先要估計是什麼分布，再估計參數。常見的是非參數估計）

（4）只有沒有標記類別的訓練樣本集合。這是經常發生的情形。我們需要對訓練樣本集合進行聚類，從而估計它們概率分布的參數。（這是無監督的學習）

（5）如果我們已知被分類類別的概率分布，那麼，我們不需要訓練樣本集合，利用貝葉斯決策理論就可以設計最優分類器。但是，在現實世界中從沒有出現過這種情況。這裡是貝葉斯決策理論常用的地方。

問題：假設我們將根據特徵矢量x 提供的證據來分類某個物體，那麼我們進行分類的標準是什麼？decide wj，if（p(wj|x)>p(wi|x)）(i不等於j)應用貝葉斯展開後可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，決策規則就是似然率測試規則。

結論：

對於任何給定問題，可以通過似然率測試決策規則得到最小的錯誤概率。這個錯誤概率稱為貝葉斯錯誤率，且是所有分類器中可以得到的最好結果。最小化錯誤概率的決策規則就是最大化後驗概率判據。

貝葉斯決策判據

貝葉斯決策理論方法是統計模式識別中的一個基本方法。貝葉斯決策判據既考慮了各類參考總體出現的概率大小，又考慮了因誤判造成的損失大小，判別能力強。貝葉斯方法更適用於下列場合：

(1) 樣本(子樣)的數量(容量)不充分大，因而大子樣統計理論不適宜的場合。

(2) 試驗具有繼承性，反映在統計學上就是要具有在試驗之前已有先驗信息的場合。用這種方法進行分類時要求兩點：

第一，要決策分類的參考總體的類別數是一定的。例如兩類參考總體(正常狀態Dl和異常狀態D2)，或L類參考總體D1，D2，…，DL(如良好、滿意、可以、不滿意、不允許、……)。

第二，各類參考總體的概率分布是已知的，即每一類參考總體出現的先驗概率P(Di)以及各類概率密度函數P(x／Di)是已知的。顯然，0≤P(Di)≤1，(i=l，2，…，L)，∑P(Di)=1。

對於兩類故障診斷問題，就相當於在識別前已知正常狀態D1的概率戶(D1)和異常狀態0：的概率P(D2)，它們是由先驗知識確定的狀態先驗概率。如果不做進一步的仔細觀測，僅依靠先驗概率去作決策，那麼就應給出下列的決策規則：若P(D1)>P(D2)，則做出狀態屬於D1類的決策；反之，則做出狀態屬於D2類的決策。例如，某設備在365天中，有故障是少見的，無故障是經常的，有故障的概率遠小於無故障的概率。因此，若無特B，j明顯的異常狀況，就應判斷為無故障。顯然，這樣做對某一實際的待檢狀態根本達不到診斷的目的，這是由於只利用先驗概率提供的分類信息太少了。為此，我們還要對系統狀態進行狀態檢測，分析所觀測到的信息。