赤池信息量準則檢視原始碼討論檢視歷史

赤池信息量準則，即Akaike information criterion、簡稱AIC，是衡量統計模型擬合優良性的一種標準，是由日本統計學家赤池弘次創立和發展的。赤池信息量準則建立在熵的概念基礎上，可以權衡所估計模型的複雜度和此模型擬合數據的優良性。^[1]

準則介紹

在一般的情況下，AIC可以表示為：

AIC=(2k-2L)/n

它的假設條件是模型的誤差服從獨立正態分布。

其中：k是所擬合模型中參數的數量，L是對數似然值,n是觀測值數目。

AIC的大小取決於L和k。k取值越小，AIC越小；L取值越大，AIC值越小。k小意味着模型簡潔，L大意味着模型精確。因此AIC和修正的決定係數類似，在評價模型是兼顧了簡潔性和精確性。

具體到，L=-(n/2)*ln(2*pi)-(n/2)*ln(sse/n)-n/2.其中n為樣本量，sse為殘差平方和

表明增加自由參數的數目提高了擬合的優良性，AIC鼓勵數據擬合的優良性但是儘量避免出現過度擬合(Overfitting)的情況。所以優先考慮的模型應是AIC值最小的那一個。赤池信息準則的方法是尋找可以最好地解釋數據但包含最少自由參數的模型。

在樣本小的情況下，AIC轉變為AICc：

AICc=AIC+[2k(k+1)/(n-k-1)]

當n增加時，AICc收斂成AIC。所以AICc可以應用在任何樣本大小的情況下（Burnham and Anderson, 2004）。

McQuarrie 和 Tsai（1998: 22）把AICc定義為：

AICc=ln(RSS/n）+(n+k)/(n-k-2),

他們提出的另一個緊密相關指標為AICu：

AICu=ln[RSS/(n-k)]+(n+k)/(n-k-2).

QAIC(Quasi-AIC)可以定義為：

QAIC=2k-1/c*2lnL

其中：c是方差膨脹因素。因此QAIC可以調整過度離散（或者缺乏擬合）。

在小樣本情況下, QAIC表示為：

QAICc=QAIC+2k(2k+1)/(n-k-1).

曾經的冷門專業，應用統計學，成了兩年最火的熱門專業統計學專業解讀：低調的就業大熱門專業，數學不好很難學