齊夫定律
齐夫定律 |
|---|
|
齐夫定律（Zipf's law，IPA）是由哈佛大學的語言學家喬治·金斯利·齊夫于1949年发表的实验定律。
它可以表述为：在自然语言的語料庫裡，一个单词出现的频率与它在频率表里的排名成反比。所以，频率最高的单词出现的频率大约是出现频率第二位的单词的2倍，而出现频率第二位的单词则是出现频率第四位的单词的2倍。这个定律被作为任何与冪定律概率分布有关的事物的参考。[1]
目录
例子
最简单的齐夫定律的例子是“1/f function”。给出一组齐夫分布的频率，按照从最常见到非常见排列，第二常见的频率是最常见频率的出现次数的½，第三常见的频率是最常见的频率的1/3，第n常见的频率是最常见频率出现次数的1/n。然而，这并不精确，因为所有的项必须出现一个整数次数，一个单词不可能出现2.5次。
在布朗语料库中，“the”、“of”、“and”是出現頻率最前的三個單詞，其出現的頻數分別為69971次、36411次、28852次，大約佔整個語料庫100萬個單詞中的7%、3.6%、2.9%，其比例約為6：3：2。大約佔整個語料庫的7%（100万单词中出现69971次）。满足齐夫定律中的描述。仅仅前135個字彙就佔了Brown語料庫的一半。
齐夫定律是一个实验定律，而非理论定律，可以在很多非语言学排名中被观察到，例如不同国家中城市的数量、公司的规模、收入排名等。但它的起因是一个争论的焦点。齐夫定律很容易用点阵图观察，坐标分别为排名和频率的对数（log）。比如，“the”用上述表述可以描述为x = log(1), y = log（69971）的点。如果所有的点接近一条直线，那么它就遵循齐夫定律。