給所有人的大數據科學
12公開內容
大數據意味著什麼？數據科學背後有怎樣的mind set和技術？數據科學家又做些什麼？這些科技/技術，帶給我們什麼生活上和人文上的省思？這個專題會橫跨這些彼此相關的面向，避開生澀的專業詞彙，探索這些事情背後的樣貌。應該會是有趣的知識和想法分享﹝笑﹞
全部內容
免費與付費
最新發佈優先
文章主攻四大領域：機率與統計、計量經濟和量化金融分析。以機率統計為核心主幹，詳加說明其精神與應用。也會輔以其餘三個領域的介紹作為統計實例。統計學是AI / 機器學習背後的英雄，假設檢定與統計分布是其兩大特色，前者找出彼此相互關聯的變數；後者則幫助我們進行模擬和抽樣，幫助我們找尋最優解或近似真實值。
本文要探討AI的任務與實戰場景。AI技術已深入生活各層面，從違約預測到都市交通管理。AI任務主要有三類：數值型資料處理、自然語言處理（NLP）和電腦影像辨識。時間序列資料和強化學習方法（如AlphaGo）也引起廣泛關注。AI演算法和方法因應不同學派和技術發展而多樣化，了解這些基礎有助選擇適合研究方向
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程，資料收集到 AI 模型訓練的過程，AI經歷這一切流程被創造出來並產生價值；再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
魔球記載MLB奧克蘭運動家隊的真實故事。該隊以小搏大，用數據思維選出一批從未被看好的球員，打出最瘋狂的佳績。
這本是經典老書了，書中細節大家已多有討論，我只著重在「統計數據」與「新舊觀念衝突」兩部分。透過魔球的精神，反思今天科技時代下「人」或「人才」的價值，我也會表達我對一個大趨勢形成的看法。
正文1,724字，主要跟你分享未來 AI 變更強更效率的兩個層面──數據與模型框架。你會從實務者的觀點，知道數據跟 AI (或機器學習模型) 表現間的關係；了解 ChatGPT 為什麼有運算資源的困擾；同時，你也會看到目前最新改善 AI 運算速度的技術發表。
AI 真的是探討不完的議題...
去年錄製好的線上課程，今年終於上架了！
非常慚愧，在方格子平台還沒寫幾篇內容，就要先宣傳自己的課程。不過現在67折優惠，宣傳還是有必要的吧，哈！我就維持喜寫論述的習性，介紹一下這門課程，以及我在這個領域──金融商品價格預測──所看見的狀況。
好奇的可以當補充課外知識，有興趣的可以看文末的課程連結。
本文回答幾個問題：(一) 什麼叫做湧現；(二)湧現是什麼現象；(三)為什麼我們造不出自己的超級 AI。看完後，你會理解現在 AI 的現象跟趨勢、一些技術與專有名詞，像是參數、大型機構與他們模型的名字。
這篇來寫，嘗試用GPT4解決工作中，一個讓我渾身難受的問題。
任務說明
我要做的事情是，把word檔中表格的部分資訊擷取出來。下圖的示範表格即是一例。
我需要存取表格中特定元素資訊，例如 Net Calorific Value，我得存下Min. 4,750這個訊息，同理可知，Total Sulfur
在英國與老師對嗆？！
先說個故事吧，以前在英國讀書的時候，去選修了一堂數學系的課。
那位老師嚴格要求，選修的學生必須是數學系的學生。如果不是，那學生必須說明自己擁有夠強的數學能力。
我不是數學系的學生，可我終究是吃硬柿子的人。因為我知道，若想加強數學的底子，就必須到這裡來──後來還是去上課了。
上了
這篇文放草稿太久了，放到連GPT4都生出來了。不過沒差，內容通用。
在系列文第一篇，就提到了GPT框架中有對人類語意回饋的學習機制。這機制有個專有名詞，叫強化學習 (Reinforcement Learning)。這讓機器不純粹依著既有資料模式，優化並生成預測；反而讓機器有更強的能力，去因應不同環境
