信號與噪聲檢視原始碼討論檢視歷史
 |
內容簡介
從海量的大數據中篩選出真正的信號，
「黑天鵝」事件也可提前預知！
「本書將成為未來十年內最重要的書籍之一。」——《紐約時報》
「對於每一個關心下一刻可能會發生什麼的人來說，這都是本必讀書。」——理查德•泰勒
《華爾街日報》2012年度10本最佳非虛構類圖書之一
《經濟學人》雜誌2012年度書籍
亞馬遜網站2012年度10本最佳非虛構類圖書之一
長踞《紐約時報》暢銷書排行榜達6個月之久
天氣預報說降水概率為60%，你出門會帶傘嗎？
被雷電擊中的概率到底有多大？
地震發生之前，我們真的無法預測嗎？
中情局為什麼會忽略「9.11」恐怖襲擊發生的信號？
禽流感為何會突然爆發，又突然消失？
為什麼大數據時代的預測更容易失敗？
人類每時每刻都需要對未來進行預測並制定相應的策略，如此國家、企業乃至個體才能持續發展，因此我們對於「下一刻會發生什麼」倍加關注。
在信息爆炸的大數據時代，隨着我們的生活節奏變得越來越快，我們所要做出的預測的速度和數量都在不斷增加。一個不容忽視的事實是，現實世界中的很多預測都失敗了，由此付出了巨大的社會代價。「9.11」恐怖襲擊事件、2008年金融危機、卡特里娜颶風、2011年日本大地震、禽流感肆虐，這些「黑天鵝」事件的發生在很大程度上應歸咎於糟糕的預測，也就是說預測者們被眾多信息中的噪聲干擾，而忽視了其中真正的信號。
作者最為美國最具影響力的預測專家之一，檢視了從颶風到地震、從經濟到股市、從NBA到政治選舉在內的眾多領域的預測事例，旨在回答一個問題：如何才能從繁雜的海量數據中篩選出真正的信號，從而做出接近真相的預測。
真正優秀的預測者會用概率的方法思考問題，他們謙虛而且勤懇，他們能清楚地區分什麼是不可預測的、什麼是可預測的，他們注重能帶領他們接近真相的成千上百個小細節，他們能辨識出什麼是噪聲、什麼是信號。
從全球經濟的健康到戰勝恐怖主義，都依靠預測的質量。這本書可以給你想要的答案。
媒體與專家推薦
人們喜愛統計學，但統計學並不總能回饋給人們同樣的愛。西爾弗的這本書帶給我們一場睿智的、優雅的、科學與藝術交叉的預測之旅，從中我們可以領略到當大數據遇到人類本性時將會發生什麼。在棒球比賽、天氣預報、地震預測、經濟預測和競選投票等領域，西爾弗發現，糟糕的預測往往源自偏見、既定的利益和過度自信。在今天這樣一個指標泛濫的世界，這本書給了我們一記及時的提醒：只有正確運用統計學工具的人，才能做出好的預測。——亞馬遜網站
這本書對大眾的精神啟迪意義不亞於像約翰•肯尼斯•加爾布雷斯（曾引發對經濟政策的討論）這樣的公共知識分子和像沃爾特•克朗凱特（曾改變對越南戰爭的看法）這樣的社會名人，它將會成為未來十年內最重要的書籍之一。——《紐約時報》書評版
西爾弗輕鬆隨性的語言風格讓哪怕是最艱澀的統計資料都變得簡單易懂。更重要的是，他的論據和案例都來自於費盡苦心的研究。——《華爾街日報》
西爾弗是統計學界的科特•柯本（美國已故著名搖滾歌手），他寫作的這本新書既是一本實踐指南，也是一部哲學宣言，通過一系列案例研究——從颶風到職業撲克牌手到恐怖主義，集中論述了一個主題：預測。對於那些想對未來做出更好預測的人和想驗證他人預測正確與否的人來說，這本書都極具價值。——《波士頓環球報》
西爾弗以令人難以置信的輕鬆語言，寫了一本關於如何做預測的入門讀物，每個人都應該讀一讀。——《華盛頓郵報》
這本書就像一座寶庫，裡面有數不盡的寶藏：貝葉斯定理與概率論，運氣和性格，撲克牌手對生活的看法，等等。然而最重要的是，它是幫助我們區分繁雜數據中哪些是噪聲、哪些是信號的「測試儀」，是我們當下最需要的基本工具；它有時還能幫助我們正確評估那些我們不熟悉卻必須了解的信息的價值。——《時尚先生》
統計學或預測是讓很多人望而卻步的話題，而本書就是關於這個話題的一本有趣的普及讀物，棒球比賽、職業撲克牌手、政治選舉等例子足以勾起讀者的好奇心，甚至會讓他們廢寢忘食地閱讀，而且其中潛藏着幫你做出正確預測的能量。——《石板》雜誌
這本書與暢銷書《黑天鵝》的觀點有異曲同工之妙。西爾弗認為，人類對自己的預測能力往往過度自信，以至於他們排斥用概率的方法思考問題，也不允許自己的預測模型中存在不確定性。——《經濟學人》
西爾弗剖析了我們對股市、風暴、體育等並非一成不變的事物所做的預測。——《連線》雜誌
對於身處大數據時代的每一個企業、每一場運動賽事和每一個政策制定者來說，這本書都不可不讀。——《福布斯》
非常棒的一本書，而且充滿閱讀的樂趣。西爾弗用這本書給我們製造了一個愉悅的信號。——蒂姆•哈福德，《金融時報》專欄作家
預測很難，特別是對於未來的預測。在這本重要的著作中，西爾弗解釋了為什麼專家的預測有時正確，有時卻一無是處；也分析了為什麼我們必須未雨綢繆。對於每一個關心下一刻可能會發生什麼的人來說，這都是本必讀書。——理查德•泰勒，《助推》作者
在大數據時代做預測可能跟你想象的完全不同。這本觀點新鮮且原創的書，為我們區分關於未來的預測中哪些是主觀現實、哪些是客觀現實，提供了意想不到的啟發性視角。作者還指出，只要我們明智地從糟糕的預測中吸取教訓，那我們一定會在科學、技術和政治的預測方面取得進步。——洪博培，前美國駐華大使
在你讀完這本書後，你一定會更了解為什麼有些預測模型有效，而有些毫無用處。你也會更加注意接下來一周的天氣預報，而對一周以後的天氣預報則毫不在意。西爾弗將一個複雜的、艱澀的話題變成了有趣的、輕鬆的和親切的。——皮特•奧斯扎格，前美國國家管理及預算辦公室主任
西爾弗並沒有提出一個如何做出好預測的綜合性理論，但他的這本著作的確有利於幫助人們在詭譎多變的商業世界中做出正確的預測。——克里斯•威爾遜，谷歌公司開發大使
作者簡介
納特•西爾弗，統計學家、作家和《紐約時報》政治性網站538.com的創始人。2008年美國大選期間他成功預測出49個州的選舉結果，2012年大選期間更是成功預測出全部50個州的選舉結果，被稱為「神奇小子」。2009年，《時代》周刊將他評選為全球100位最具影響力的人物之一。
原文摘錄
預測時，我們需要在好奇和懷疑之間尋求平衡。這兩者是可以相互協調和融合的。我們越是渴望檢驗自己的假設，就越願意承認我們關於世界的知識存在很多不確定，越願意承認不可能做出完美的預測，越不會陷入失敗的恐慌中，也會有更多的自由讓思維馳騁。對自己不了解的事物作進一步的了解，我們也許就能做出更多準確的預測。
書評
Nate Silver如今儼然美國權威的政治觀察分析家。這位紐約時報（New York Times）廣受關注的政治選舉預測分析博客FiveThirtyEight 的作者，準確預測了2012美國總統大選所有50個州的結果，超越了自己在2008年總統大選中49個州結果預測正確的記錄。但是如果Silver也出錯了呢？恐怕最驚訝的應該是Silver自己本人。這也是《信號與噪音》這本探討了從德州撲克到氣候變暖這樣廣泛的書，為什麼如此有用和重要的原因。
縱觀人類歷史，人們總是認為那些能夠預測未來的人，都擁有極其特別甚至是神聖的能力。從古希臘德爾菲神廟的神諭、中國古代傳統中運用易經占卜，直到今天在金融危機前提出警告的Nassim Taleb所認為的，「黑天鵝」事件遠比我們所認為的要多。
現代世界中，人類對預知未來的渴求幾乎成為一種心魔。生活中有無數「今後會怎麼樣」的問題縈繞其間：禽流感究竟會不會大流行？氣候變暖影響的程度會有多大？我退休後社保基金夠不夠支付我的養老金和醫療費用？下半年到明年A股的大勢會怎麼樣？我們既會不斷收到誠實但是不夠準確的預測答案，也會受到某些神棍和別有用心的人利用這種心理而達到某種目的的忽悠和恐嚇。所以說，Silver的成就是名符其實的，儘管預測選舉結果並不是與這些問題相關的體系，但是，之所以他是如此特別的預言家，並不在於他幫助我們更加智慧的預測未來，而是在於他警告我們，對於未來的確定性我們無法全知全能。
在繼續探討之前我們需要先講講作者自己的故事。Silver2000年從芝加哥大學經濟學專業本科畢業之後的頭幾年，一直在畢馬威會計師事務所做國際稅務顧問，工作之餘他決定利用自己掌握的統計學知識，構建了一個名叫PECOTA（Player Empirical Comparison and Optimization Test Algrithm）的數學模型，來預測MLB美國職業棒球聯盟球員的表現走向。他的模型靈感來源於奧克蘭運動家隊經理Billy Beane運用的統計思想（Billy Beane帶領奧克蘭運動家隊的傳奇事跡後來被Michael Lewis寫成書，就是Moneyball，同時被改編成同名電影，非常引人入勝）。後來的一系列事實證明了PECOTA模型的正確，然後Silver將模型賣給了另一家專業從事棒球分析預測的公司，小賺一筆，當然了，PECOTA也不是絕對的百分百正確，一樣會有預測失誤的時候。2011年底回顧過去六年歷史時Silver發現，他的模型能夠很好的應用在小聯盟運動員進入大聯盟比賽後的成功，但是棒球球探的經驗分析結果也會比模型做出更好的預測。經歷過這些，他在書中不斷強調這樣的觀點：僅僅依靠數據挖掘是不夠的，人的經驗和決策是無法替代的。
就在完善應用PECOTA模型的同時，Silver還進入了職業賭博的世界，並迅速打入了世界撲克巡迴賽（WSOP）。頂級德州撲克賽事的層面上，需要在快速發牌中運用驚人的概率計算能力，以及其他比賽技能，剛開始時Silver收穫頗豐。然而，在經受了一連串損失之後，他在2007年徹底放棄了德州撲克，主要在於比賽愈發艱難時他難以持續改進他的方法。他在書中寫道：「玩德州撲克比賽那幾年教會了我很多，即在嘗試理解世界和預測它的未來進程時,概率在我們生活和所帶來的錯覺妄想中扮演的角色。」
這些並不是我們經常在電視裡磚家訪談和經濟評論網站上讀到的那種聳人聽聞故弄玄虛的自傳故事。Silver的觀點是，我們需要使用概率化方法來思考，而不是在虛幻的確定性中得到滿足。他的FiveThirtyEight博客中的預測同樣是使用這樣的思維方法，在12年美國大選中的不同時點，Silver對奧巴馬勝出概率的預測從最低的59%到最高的91%（選民投票前夜），當然了，即便是91%概率勝出的預測也可能失算——好比玩德州撲克你就算拿到一手葫蘆牌也可能會輸一樣。
Silver使用的方法可以總結為兩個方面：首先是獲取儘可能多的數據，以總統選舉預測為例，為各州層面上的選舉數據；其次是使用基於貝葉斯方法的統計技術，根據人口統計和其他因素對數據進行均值和校正。運用貝葉斯定律的技術方法，需要對未來做出最優預測，然後在獲得新的信息數據後不斷修訂調整。
《信號與噪音》一書中大部分探討的領域都與Silver的專業並不相關，從德州撲克到國際象棋，從金融危機到氣象預報，但這些都是貝葉斯定律的應用範疇。氣象預報的模型已經非常準確和完善，但是根據作者的觀點，氣象預測仍然受到高水平不確定性的影響。社會科學領域的預測或許是最容易被擊敗的，例如在2007年末，《華爾街日報》對08年經濟形勢的一個調查結果顯示，經濟學家們認為2008年僅有38%的概率進入衰退。事實結果證明，2008年後直至今日，美國經濟依然沒有走出低谷。
非常令人驚喜的結果是在氣象預報領域，可以稱之為預測罕有的突破，並且在最近幾十年間不斷優化進步。就在1980年代，美國國家颶風中心還無法提前一天在100英里精度內預測颶風的登陸地點。但是今天研究者已經對颶風活動建立了精密的模型，能夠在同樣精度範圍內提前三天做出預報，並告知處於颶風威脅區域的人們精確的時間進行疏散。美國國家氣象局預報有20%的降水概率時，在那段時間水平里的的確確是有20%的可能會下雨。
優秀的預測有兩個主要來源：可提供反饋的大量數據，能讓預測者持續根據現實檢查和修正他們的模型。這也可以幫助我們理解為什麼氣象系統能夠有效運行。經濟學家的預測為什麼通常都十分糟糕，關鍵在於存在海量數據，同時缺乏能夠有效解釋經濟活動運轉的可靠模型，這就導致了難以解釋數據的真實含義。換句話講，他們難以從「噪音」中提取出「信號」。Silver這樣總結：「信號代表着真實，噪音使我們遠離真實。」然而，找出信號，並不簡單的是一個技術性難題。比如，在911恐怖襲擊發生之前，確實存在一些可以預警的線索和情報，但是國防部和中央情報局的官員卻忽視了這種級別的自殺式恐怖襲擊，根源在於並沒有想象到這種可能性竟然會存在。
「我們可能高估了自己預測未來的能力」，Silver寫道。這是一條我們不會從各種深具權威的專家口裡聽到但又非常重要的觀點。預測是一門必要但是危險叢生的藝術。運用自身能力觀察世界時應保持謙遜，對待別人的斷言應心存懷疑。這些經驗和教訓，或許極大的提高了本書的信噪比吧！
[1]