為什麼疫情難以預測？The Signal and the Noise讀後感
閱讀時間約 5 分鐘
台灣版翻譯：『精準預測-如何在巨量雜訊中，看出重要的訊號』
大陸版翻譯：『信號與噪音：大数据时代预测的科学与艺术』、
經濟學最為大眾知道的就是各種經濟指標的計算與預測，最大的調侃就是10個經濟學家有11種意見，身為經濟學畢業的我也一直存在疑惑，為什麼已經有這麼多數據了，計量模型這麼複雜了，為什麼經濟學無法預知到可能發生的金融危機？
然而似乎又不完全這麼回事，電影大賣空(The Big Short)中可以知道並不是沒有人注意到。
回到工作，在做數據分析時，過程中我也會不時產生疑問，訓練集這些變量合理嗎？是不是放太多不顯著的假變數會導致錯誤樂觀？有沒有少放了什麼關鍵變量？如果少放了，對結果會產生很大的影響嗎？
雖然這些疑問在統計學教科書都有解答，但我還是很疑惑，因為我記得當年的計量經濟學，在殘差不符合normal分配時，會做好多調整...結果又讀到XX理論表示，過多的調整轉換反而不一定比用原本的分配好(想不起來是什麼理論了...)
以上是在看本書前的心理旁白，雖然未能完全解答我的疑問，但閱讀過程中還是有許多收穫。
不同領域的預測故事
雖說本來目的是想針對經濟學的，但書的前半部分還介绍了自然科學、社會科學等不同領域在預測上的故事，包括政治選舉預測、棒球比賽預測、天氣預測、地震預測、經濟預測、傳染病預測 (分別在ch1~ch7)
其中有的預測成功(例如天氣預測)、有的預測經常不準(例如經濟預測、傳染病預測)、有的甚至還無法有預測(地震預測)。
既然有預測成功的方法，難道其他學科不能比照成功的模型嗎？作者透過這些故事，描述了其中的主觀、客觀的因素如何影響預測，例如自我實現的預期、理性、效率市場、過擬合、數據質量等。
今年的武漢肺炎，網上也可以查到各種預測的模型跟新聞報導，例如預測傳播速度等，書的第七章<傳染性疾病預測：禽流感為何會突然爆發>，介紹了傳染病基本模型SIR模型，以及參考天氣預測方法的傳染病model：FERD模型，我想對於我這種門外漢已經獲得不少的知識了。
透過SIR模型與FERD模型，作者再延伸出一個主題："模型越簡單越好還越複雜越好？"
這也是我覺得這本書有趣的地方，每個章節中先透過不同故事，讓讀者把知識背景建立清楚，接著延伸出抽象的問題探討。
因果關係還重要嗎？
如果只是簡單地把數據放入統計模型中進行分析，然後理所當然地認為這就是真實世界的最佳寫照，事情發展若真如此，那就好了。
有了互联网大量的信息成倍增加，我們將進入一個母體等於樣本、參數等級統計量的時代，<啤酒尿布>的經典故事告訴我們因果關係似乎沒那麼重要，有了幾乎母體的數據，我們不需要抽樣，關注的是相關性。
然而本書中提到了許多預測的例子，都是將相關性誤認為因果關係，將噪聲誤認為信號，在某些領域中，提出的假設更加接近於事實真相。而在其他領域中，對因果關係疏於考慮就會走入死胡同。
舉例，儘管經濟學家對於控制經濟運行的基本體係有著相當正確的理解，然而，經濟運行中各種情況的因果關係仍然模糊不清，在經濟泡沫期和經濟恐慌期時尤其如此，因為此時的經濟系統中充斥著人為因素決定的反饋環。(註：所以經濟學後面的發展，契約理論、行為經濟學才會越來越受到關注吧）
想要弄明白某種是因果關係，什麼屬於相關性，是很困難的，這也是預測之所以難做與此之所以重要的原因是一樣的：預測是主觀事實與客觀事實交彙的產物。就是為什麼預測經常出錯的原因。
結尾
歷史上最引人注意的正確預測來自英國天文學家埃德蒙·哈雷，他在1705年曾經預測，一顆巨大的彗星會在1758年回歸。曾經有很多人懷疑過他的預測，但彗星恰恰 就在1758年回歸了。在古代，彗星被認為上帝賜予的完全無法預測的事物，如今卻有規律且可預測的事物。
現今互聯網讓信息的動態傳播發生了變化。 ”大量的信息成倍增加，但有用的信息卻非常有限，信號的比例正在縮小，我們需要盡可能的對信號和噪聲進行區分。
數據分析第一步就是做數據清洗，而且可能60%時間都在這步驟，清洗質量的高低直接決定了數據中真正的信號比例大小及決定後續處理方式。
但對於如何區分信號和噪聲，書中其實也沒講出特別好的方法，當中看來還是很依靠人為判斷，再輔以Bayes定理改進。(如果不熟悉或是有點忘了Bayes，LeeMeng這篇文章特別好：從經驗中學習 - 直觀理解貝氏定理及其應用)
“一隻貓最好的模型就是一隻貓”，這句話的意思就是，所有模型都是這個世界的簡化形式。其他模型都會遺漏一些細節。這些細節是否關係重大，取決於我們試圖解決的問題究竟是什麼，還要看我們想要得到的答案有多精確。
關鍵是要記住，模型是幫助我們理解某一領域複雜性的工具，而不是取代整個領域
從事數據工作，最怕的就是成為調包俠、取數哥，那麼在基本skill能勝任工作的基礎上，思考如何更好地把數據能力賦予到業務上？快、好、準的取捨、優先級的判斷、項目開展前風險點的評估、更需要的是對業務的理解、對問題本質的定位能力。也是自己必須再加強的地方。
最後，滿推薦統計、資訊，乃至商業、社會科學、自然科學等領域有些基礎的朋友細讀，我想每個人都可以從這本書咀嚼出不同的韻味。
1會員
5內容數
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本文探討每個人看待世界的侷限性，尤其是如何通過編織故事來填補未知的空白。我們的解釋受限於心理模式，常常忽視真實的複雜性，特別是在金融市場中。通過心理學角度分析，本文強調信心過剩和錯誤決策之間的關聯，並試圖揭示人類如何在不確定的世界中尋求安慰。這樣的侷限性無形中促進了金融泡沫的形成。
也許有些人不知道，股市並非反應過去，而是對「未來」的投注，因此很多「存股」書籍用過去的數據如ROE、股利來估算公司未來的表現，就是我們說的看後照鏡投資，投資之所以有趣是因為「未來」是不可知的，但已經發生之後我們又覺得就是這麼簡單，為何當初沒有勇敢執行呢?
承認客觀的無知(不確定性)
在康納曼的「
股市有非常多噪音，一方面有持續看好經濟與產業前景的觀點，認為股市只是漲多休息，另一方面也會有觀點認為是較大幅的波段修正或趨勢轉變，但這些噪音的背後經常是人性與情緒因素，不論看好或看壞，都必須要能回歸到投資邏輯裡找出具體的參考訊號是甚麼？
股市的運作是依據事實，但同時也依據事實所延伸的猜測與想像，有時候猜測與想像對於股價的影響更大，因為若對於所推論的結果有較高的把握認為會在未來成為事實，就必須在尚未成為事實之前就提早布局，這樣才能未來收割成果
提到經濟學往往教我如墜五里霧中。大學時代，買了一推經濟學的教科書，讀了好幾篇依然不懂。後來才發現這是計量經濟學，一堆圖表一串術語，如同閉門造車。但有時候你會發現有些著作的特色，就是讓讀者昏頭轉向，才顯示身為作者的高深學問，比如法國精神分析學家拉岡。
為何出現塔雷伯的黑天鵝效應？為何行為經濟
歷史中經常出現一些無法預測且具有極大影響力的事件，這就是所謂的"黑天鵝效應"。
這些罕見且極端的事件，如金融市場崩潰、自然災害或科技創新，往往在發生後才容易找到解釋，但卻難以事前預測。
在投資中，這些黑天鵝事件可能對我們的投資組合和策略產生深遠影響，因此我們需要敏銳地洞察風險。
物理學是統計歸納自然界的規律所成的一門學問，所以叫自然科學。因為很多現象都有規律可預測，因此就能成為定律，例如牛頓三大運動定律。
社會科學是統計歸納人類行為的規律所成的一門學問，因為對象是人，所以往往會有不符合規律的情形發生，所以社會科學很難預測，例如股票何時會恐慌出現賣壓……
選舉民調是預測選舉結果的重要工具。然而，如果我們不了解樣本和母體的概念，就很容易被民調結果誤導。
在本文中，我們將介紹樣本和母體的概念，以及它們對民調結果的影響。我們還將提供一些在閱讀民調報告時的注意事項。
命理學用現代科學一點的講法來看，我們可以稱之為預測學。
就像是你預測天氣的走向，何時會下雨，何時會放晴一樣，只是在概抓一個事件發生的機率大小，但不表示會１００％準確。
那麼，所謂的預測學，是基於我們此時此刻當下的時間點來談論的，物質的時間、肉體的時間...等等。
但萬一其實我們所即將經歷的未來
祝福大家新年快樂！好運龍總來！本影片深入探討了價格波動和趨勢形成的背後原因，並且解析了趨勢追隨策略如何在金融市場中發揮作用。透過對「天災」和「人禍」對市場供需影響的分析，我們了解到，無論是自然災害還是人為因素，如戰爭、囤積居奇、經營管理不善等，都能引發市場價格的波動，從而形成趨勢。
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
本文探討每個人看待世界的侷限性，尤其是如何通過編織故事來填補未知的空白。我們的解釋受限於心理模式，常常忽視真實的複雜性，特別是在金融市場中。通過心理學角度分析，本文強調信心過剩和錯誤決策之間的關聯，並試圖揭示人類如何在不確定的世界中尋求安慰。這樣的侷限性無形中促進了金融泡沫的形成。
也許有些人不知道，股市並非反應過去，而是對「未來」的投注，因此很多「存股」書籍用過去的數據如ROE、股利來估算公司未來的表現，就是我們說的看後照鏡投資，投資之所以有趣是因為「未來」是不可知的，但已經發生之後我們又覺得就是這麼簡單，為何當初沒有勇敢執行呢?
承認客觀的無知(不確定性)
在康納曼的「
股市有非常多噪音，一方面有持續看好經濟與產業前景的觀點，認為股市只是漲多休息，另一方面也會有觀點認為是較大幅的波段修正或趨勢轉變，但這些噪音的背後經常是人性與情緒因素，不論看好或看壞，都必須要能回歸到投資邏輯裡找出具體的參考訊號是甚麼？
股市的運作是依據事實，但同時也依據事實所延伸的猜測與想像，有時候猜測與想像對於股價的影響更大，因為若對於所推論的結果有較高的把握認為會在未來成為事實，就必須在尚未成為事實之前就提早布局，這樣才能未來收割成果
提到經濟學往往教我如墜五里霧中。大學時代，買了一推經濟學的教科書，讀了好幾篇依然不懂。後來才發現這是計量經濟學，一堆圖表一串術語，如同閉門造車。但有時候你會發現有些著作的特色，就是讓讀者昏頭轉向，才顯示身為作者的高深學問，比如法國精神分析學家拉岡。
為何出現塔雷伯的黑天鵝效應？為何行為經濟
歷史中經常出現一些無法預測且具有極大影響力的事件，這就是所謂的"黑天鵝效應"。
這些罕見且極端的事件，如金融市場崩潰、自然災害或科技創新，往往在發生後才容易找到解釋，但卻難以事前預測。
在投資中，這些黑天鵝事件可能對我們的投資組合和策略產生深遠影響，因此我們需要敏銳地洞察風險。
物理學是統計歸納自然界的規律所成的一門學問，所以叫自然科學。因為很多現象都有規律可預測，因此就能成為定律，例如牛頓三大運動定律。
社會科學是統計歸納人類行為的規律所成的一門學問，因為對象是人，所以往往會有不符合規律的情形發生，所以社會科學很難預測，例如股票何時會恐慌出現賣壓……
選舉民調是預測選舉結果的重要工具。然而，如果我們不了解樣本和母體的概念，就很容易被民調結果誤導。
在本文中，我們將介紹樣本和母體的概念，以及它們對民調結果的影響。我們還將提供一些在閱讀民調報告時的注意事項。
命理學用現代科學一點的講法來看，我們可以稱之為預測學。
就像是你預測天氣的走向，何時會下雨，何時會放晴一樣，只是在概抓一個事件發生的機率大小，但不表示會１００％準確。
那麼，所謂的預測學，是基於我們此時此刻當下的時間點來談論的，物質的時間、肉體的時間...等等。
但萬一其實我們所即將經歷的未來
祝福大家新年快樂！好運龍總來！本影片深入探討了價格波動和趨勢形成的背後原因，並且解析了趨勢追隨策略如何在金融市場中發揮作用。透過對「天災」和「人禍」對市場供需影響的分析，我們了解到，無論是自然災害還是人為因素，如戰爭、囤積居奇、經營管理不善等，都能引發市場價格的波動，從而形成趨勢。