淺談大數據

閱讀時間約 4 分鐘

Q1. 大數據的特徵是什麼?

Q2. 大數據思維的特徵是什麼?

Q3. 世界的本質是數據和計算嗎?

Q4. 科學研究最新 (第四) 範式 (paradigm) 是什麼?

raw-image

對Q1-Q4的回答如下:

古希臘畢達格拉斯主張數是萬物的本原, 萬事萬物都是對於數的模仿; 他用抽象思維中的數說明具體感官世界的事物, 由數學神秘主義引出宗教神秘主義。

兩千多年後的21世紀, 大數據技術革命也將人類帶向一個新的時代-大數據時代。數據代替了數, 成為人們崇仰的新偶像, 形成以大數據為核心的準宗教神秘主義。

raw-image

例如: 大數據理論家荀柏格 (V. Mayer-Schonberger) 說:「世界的本質就是數據; 一切皆可量化」; 知名的五三八民意調查網站站主 N. Silver 說:「訊號就是真理」; 麥克阿瑟天才獎得主與數學軟體 Mathematica 設計人 S. Wolfram 說:「宇宙的本質是計算, 宇宙的一切規律都可以經由簡單程序的反覆計算而獲得」等。

將 (大) 數據以及其中的訊號和計算當成世界的本質, 只是主觀的想像、猜測或推理, 並無客觀的可驗證性。這種本體論的陳述在20世紀已經被分析哲學家們認為不具有意義而被拒斥。

大數據真正的意義不在於狂妄的上探本體 (哲學家康德的本體不可知論是較謙卑的選擇) 而在於對現象世界認識的界碑的向外巨大推移, 在於認識論上的方法學突破, 其重要性在於如同圖靈獎得主格雷 (J. Gray ) 所言:「大數據技術帶來了繼經驗科學、理論科學和模擬計算科學後的科學研究第四範式-稱為數據密集型科學研究範式」。

因為大數據離不開計算, 例如演算法 (為計算統計computational statistics、機器學習、數據採礦、人工智能 AI 等的前提基礎)、模擬法 (simulation) 及雲端計算等-皆為當代的主流顯學-所以第四範式的核心特徵可以用「大數據計算主義」概括。

從海量駁雜數據中尋找數據規律以發現對應的現象世界-自然世界或者人類社會-的規律是當代的重大課題。據估計, 大數據中絕大多數都是屬於從大紀錄而來的非結構型、半結構型或者異質結構型數據, 這對於傳統上處理從小測量而來的結構型數據的機率和統計思維和方法形成嚴峻的挑戰。

顯然地,大數據思維是要藉由巨量數據去描述和了解世界、發現和解決問題以及預測未來;它必定是辯證地繼承和發展 (繼承中有揚棄、發展中有保留) 機率和統計思維。

換個角度看,統計要成功地回應大數據的挑戰,就必定要「在研究範圍 (對象) 和分析方法上不斷擴展。… 數據導向的、基於演算法的數據分析方法成為電算機時代統計學發展無法迴避的一個重要趨勢」[註1]。

raw-image

大數據的特徵一般是以4V: Volume, Variety, Velocity, Veracity表示之,即數據量巨大(處理起來計算量龐大); 數據種類駁雜多樣;數據蒐集、儲存、處理及傳輸速度快 (多須自動化處理);數據真實性及準確性可疑 (含有雜訊、錯誤及模糊性);有人用大、雜、快、疑這四個字來加以概括。

從大數據特徵的描述中可以知道: 在理性思維方面, 除了繼承和發展機率和統計思維, 大數據思維還必須融入複雜性思維及實用主義思維-這三類相異卻又內在相聯繫思維方式的辯證統一是其發展的必然方向; 在非理性感性方面, 除了繼承機率和統計所包含的非理性感性因素, 還必須融入具有後現代主義色彩的一些因素諸如雜多性、模糊性、混亂性、非結構性、碎片性等。

[註1] 魏瑾瑞、蔣萍 (2014)。數據科學的統計學内涵。統計研究, 31, pp.3-9。


本文圖片轉載自: group.dailyview.tw/article/detail/682www.largitdata.com/blog_detail/20190725http://medium.com/....../%E8%B3%87%E6%96%99%E7%A7%91......

avatar-img
126會員
66內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
吳鐵肩的沙龍 的其他內容
藍白合又卡關了。卡關的原因是對於藍白協議第三條「在統計誤差範圍內」解釋或理解上的差異。 有兩種可能:一是柯文哲及柯陣營都對「在統計誤差範圍內」的真正意義無知,二是柯陣營明知其真正意義卻胡攪蠻纏不認輸,他們企圖用否定性言語扭曲真理、煽動群眾,是對科普教育的反動,更是對學術尊嚴的蔑視。
為了2024總統大選,幾個政黨激烈鬥爭,有如幫派火拼,抹黑、抹紅、造謠、威脅、背信、舞弊等全都來。政客們在台灣搞民主內鬥,面對西方強權,卻崇美媚日,對白人日人卑躬屈膝。一些政客為了權勢出賣個人尊嚴,也出賣台灣人民整體的尊嚴和利益。他們對美日等乖順如羊,但對台灣人民卻狡詐似狐,用各種話術或辯術欺騙人民
2024總統大選在即,藍營與白營仍舊在爾虞我詐的爭鬥,似破非破、似合非合。全台所有盼望政黨輪替的人民都陷入焦慮,憂心藍白分裂,輸掉大選,腐敗的綠色政權繼續執政,使台灣持續的經濟凋蔽、道德敗壞、價值淪喪;最後甚至將兩岸引向戰爭。郭台銘成立主流民意大聯盟獨立參選總統;根據民調,他可以瓜分非綠陣營一成選票
為了下架民進黨, 許多人民自動自發地形成一大群體-姑且稱之為「下民黨」, 其共同理念是用投票終結民進黨貪腐無能的統治, 保持兩岸和平, 避免戰爭; 其當前的要務是促成藍白合作以贏得2024總統大選。 在此前提下, 侯友宜和柯文哲這兩人誰作總統或誰作副總統候選人都可以。
美國依賴軍事、科技、金融、話語這四大霸權統治世界—在全球進行長臂管轄,雖遠必誅。 美國和中國的衝突除了修昔底德陷阱的「權力衝突」之外,就是白種人歧視黃種人的「人種衝突」、基督教文明歧視儒家文明的「文明衝突」、全民選舉制度歧視開明專制制度的「制度衝突」。美國帶著各種歧視圍堵中國,無所不用其極。
前農業部長陳吉仲對於過期蛋、前中央防疫中心指揮官陳時中對於新冠疫苗採購都處理得荒腔走板、弊端叢生,搞得民怨沸騰、怨聲載道。再加上陳建仁 (一篇共同掛名論文被認證抄襲、竭力護航高端疫苗)、陳明通 (使台大國發所淪為假論文製造所) 及陳水扁 (涉國務機要費貪污、海角七億洗錢案) 形成民進黨的「五陳之亂」
藍白合又卡關了。卡關的原因是對於藍白協議第三條「在統計誤差範圍內」解釋或理解上的差異。 有兩種可能:一是柯文哲及柯陣營都對「在統計誤差範圍內」的真正意義無知,二是柯陣營明知其真正意義卻胡攪蠻纏不認輸,他們企圖用否定性言語扭曲真理、煽動群眾,是對科普教育的反動,更是對學術尊嚴的蔑視。
為了2024總統大選,幾個政黨激烈鬥爭,有如幫派火拼,抹黑、抹紅、造謠、威脅、背信、舞弊等全都來。政客們在台灣搞民主內鬥,面對西方強權,卻崇美媚日,對白人日人卑躬屈膝。一些政客為了權勢出賣個人尊嚴,也出賣台灣人民整體的尊嚴和利益。他們對美日等乖順如羊,但對台灣人民卻狡詐似狐,用各種話術或辯術欺騙人民
2024總統大選在即,藍營與白營仍舊在爾虞我詐的爭鬥,似破非破、似合非合。全台所有盼望政黨輪替的人民都陷入焦慮,憂心藍白分裂,輸掉大選,腐敗的綠色政權繼續執政,使台灣持續的經濟凋蔽、道德敗壞、價值淪喪;最後甚至將兩岸引向戰爭。郭台銘成立主流民意大聯盟獨立參選總統;根據民調,他可以瓜分非綠陣營一成選票
為了下架民進黨, 許多人民自動自發地形成一大群體-姑且稱之為「下民黨」, 其共同理念是用投票終結民進黨貪腐無能的統治, 保持兩岸和平, 避免戰爭; 其當前的要務是促成藍白合作以贏得2024總統大選。 在此前提下, 侯友宜和柯文哲這兩人誰作總統或誰作副總統候選人都可以。
美國依賴軍事、科技、金融、話語這四大霸權統治世界—在全球進行長臂管轄,雖遠必誅。 美國和中國的衝突除了修昔底德陷阱的「權力衝突」之外,就是白種人歧視黃種人的「人種衝突」、基督教文明歧視儒家文明的「文明衝突」、全民選舉制度歧視開明專制制度的「制度衝突」。美國帶著各種歧視圍堵中國,無所不用其極。
前農業部長陳吉仲對於過期蛋、前中央防疫中心指揮官陳時中對於新冠疫苗採購都處理得荒腔走板、弊端叢生,搞得民怨沸騰、怨聲載道。再加上陳建仁 (一篇共同掛名論文被認證抄襲、竭力護航高端疫苗)、陳明通 (使台大國發所淪為假論文製造所) 及陳水扁 (涉國務機要費貪污、海角七億洗錢案) 形成民進黨的「五陳之亂」
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
你是否好奇那些行動看盤APP背後的成本花費?這篇文章將從開發、維護、運營等方面,剖析這些APP的成長過程和成本花費。了解這些成本花費,將有助於我們更好地理解這些APP的運作模式,以及它們如何影響我們的投資決策。一起來探索行動看盤APP背後的秘密吧!
Thumbnail
面對勞動市場的薪資與工作內容的種種迷思,我們來談談一個讓人既愛又恨的話題:薪資保密和工作內容的不透明化。在這個充滿著神秘的求職網站世界,薪資永遠是面議,工作內容總是籠統,這樣的操作模式真的讓人霧裡看花。
Thumbnail
又到了季後賽僞寫手的日子,感覺現在季後賽才是我會想看的內容,大叔就不說其實是因為沒有免費的NBA LEAGUE PASS🤣🤣🤣 這裡是艾斯大叔,因為沒朋友可以討論籃球了,所以分享給空中的朋友們,也歡迎一起討論,但希望不要謾罵,以球賽內容為主就好
Thumbnail
20歲的至安遇見40歲的大叔東勳,至安從小父母雙亡,一個人背負龐大債務且獨自照顧奶奶,在社會底層中苦撐。在建築公司上班的東勳面對公司內部派系角力、施壓和與妻子貌合神離使得他日復一日拖著千斤萬斤的身心過生活。當兩個疲憊的靈魂相遇並走進彼此的人生,該如何治癒對方呢?
Thumbnail
距今一百年前,1920年的10月1日,台灣的行政區劃歷史經歷了一次重大的變革。當時,日本總督府統治台灣已歷經二十五年,在一邊認識殖民地的過程中,總督府不斷地嘗試、經歷了許多次的調整。總督府終於在1920年,公告施行「五州二廳」的全新行政區劃,自此台灣才慢慢步上了地方自治歷史的軌跡。
Thumbnail
《你是豬》這部電影是由大家都很熟悉的大馬歌手黃明志所拍攝的第二部電影,短短60分鐘,卻點出了大馬內部的種族紛爭與宗教問題,雖然整體劇情簡單,但卻令人印象深刻,這次的影評會先簡單探討一下電影,然後談談我所知道的馬來西亞的種族情況跟宗教狀態。
Thumbnail
大數據一詞最早出現於2012年,直至今日大部分產業都無可避免的需要大數據這項技術。對於很多沒有技術背景的學生來說,要理解大數據算法、處理邏輯或許較為困難,但大數據帶來的新商業模式所創造的供需革新,之於每個崗位都需做出相應調整迎合未來趨勢。
Thumbnail
「什麼都漲,就是薪水不漲」相同的問題不只發生在受薪階級,大專院校圖書館也深有同感。出版品的價格年年調漲,漸漸變得高攀不起...
Thumbnail
大學中的各項課程一度是特定修課學生才能接觸的珍貴資源,不過,網際網路出現後,大學課程的稀有性被「開放式課程」翻轉。誰說只有該校學生才能接受該校教師的授課?只要有學習意願,開放式課程的大門絕對樂於為你敞開。
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
Thumbnail
11/20日NVDA即將公布最新一期的財報, 今天Sell Side的分析師, 開始調高目標價, 市場的股價也開始反應, 未來一週NVDA將重新回到美股市場的焦點, 今天我們要分析NVDA Sell Side怎麼看待這次NVDA的財報預測, 以及實際上Buy Side的倉位及操作, 從
Thumbnail
Hi 大家好,我是Ethan😊 相近大家都知道保濕是皮膚保養中最基本,也是最重要的一步。無論是在畫室裡長時間對著畫布,還是在旅途中面對各種氣候變化,保持皮膚的水分平衡對我來說至關重要。保濕化妝水不僅能迅速為皮膚補水,還能提升後續保養品的吸收效率。 曾經,我的保養程序簡單到只包括清潔和隨意上乳液
Thumbnail
你是否好奇那些行動看盤APP背後的成本花費?這篇文章將從開發、維護、運營等方面,剖析這些APP的成長過程和成本花費。了解這些成本花費,將有助於我們更好地理解這些APP的運作模式,以及它們如何影響我們的投資決策。一起來探索行動看盤APP背後的秘密吧!
Thumbnail
面對勞動市場的薪資與工作內容的種種迷思,我們來談談一個讓人既愛又恨的話題:薪資保密和工作內容的不透明化。在這個充滿著神秘的求職網站世界,薪資永遠是面議,工作內容總是籠統,這樣的操作模式真的讓人霧裡看花。
Thumbnail
又到了季後賽僞寫手的日子,感覺現在季後賽才是我會想看的內容,大叔就不說其實是因為沒有免費的NBA LEAGUE PASS🤣🤣🤣 這裡是艾斯大叔,因為沒朋友可以討論籃球了,所以分享給空中的朋友們,也歡迎一起討論,但希望不要謾罵,以球賽內容為主就好
Thumbnail
20歲的至安遇見40歲的大叔東勳,至安從小父母雙亡,一個人背負龐大債務且獨自照顧奶奶,在社會底層中苦撐。在建築公司上班的東勳面對公司內部派系角力、施壓和與妻子貌合神離使得他日復一日拖著千斤萬斤的身心過生活。當兩個疲憊的靈魂相遇並走進彼此的人生,該如何治癒對方呢?
Thumbnail
距今一百年前,1920年的10月1日,台灣的行政區劃歷史經歷了一次重大的變革。當時,日本總督府統治台灣已歷經二十五年,在一邊認識殖民地的過程中,總督府不斷地嘗試、經歷了許多次的調整。總督府終於在1920年,公告施行「五州二廳」的全新行政區劃,自此台灣才慢慢步上了地方自治歷史的軌跡。
Thumbnail
《你是豬》這部電影是由大家都很熟悉的大馬歌手黃明志所拍攝的第二部電影,短短60分鐘,卻點出了大馬內部的種族紛爭與宗教問題,雖然整體劇情簡單,但卻令人印象深刻,這次的影評會先簡單探討一下電影,然後談談我所知道的馬來西亞的種族情況跟宗教狀態。
Thumbnail
大數據一詞最早出現於2012年,直至今日大部分產業都無可避免的需要大數據這項技術。對於很多沒有技術背景的學生來說,要理解大數據算法、處理邏輯或許較為困難,但大數據帶來的新商業模式所創造的供需革新,之於每個崗位都需做出相應調整迎合未來趨勢。
Thumbnail
「什麼都漲,就是薪水不漲」相同的問題不只發生在受薪階級,大專院校圖書館也深有同感。出版品的價格年年調漲,漸漸變得高攀不起...
Thumbnail
大學中的各項課程一度是特定修課學生才能接觸的珍貴資源,不過,網際網路出現後,大學課程的稀有性被「開放式課程」翻轉。誰說只有該校學生才能接受該校教師的授課?只要有學習意願,開放式課程的大門絕對樂於為你敞開。