算法工程師與數據科學家的差異－講座心得｜思維增長EP38
前陣子聽到《尹相志 — 算法工程師與數據科學家之間的距離 (DATA)》的講座，數據科學家在意什麼？如何運用數據？如何成為好的數據科學家？這篇隨筆記錄一下講座的數據思維和模型思維。
▍思維增長是什麼？
這裡記錄各種有趣的生活小知識，不限於商業上的經濟學、或工作上的心理成長。
▍誰適合看這篇文章？
✔ 對於思維增長、數據科學、數據思維有興趣的朋友
一、數據科學講座在聊什麼
尹相志講師目前是亞洲資採技術長 / Deepbelief.ai人工智慧科學家，在網路上也有超多的講座影片和經歷。
看完這支影片我認為有三大收穫：
- 如何運用數據？
- 如何看待模型？
- 如何團隊協作？
二、如何運用數據，以電信業為例
Ｑ：「電信業如何預設客戶會離開？」
電信業的數據很龐大，如果是要預設下個月有哪些客戶會走，每個月的歷史紀錄大概要到隔月的 5–8 號才會拿到，接著數據科學家進行資料解析整理，再丟進模型產生名單可能就 15 號了，而現在因為個資法，出來的只有 Key 值，因此需要再送回電信公司進行身分比對、傳到各客戶單位，大概就 20 號了。
先說結論，客戶在合約 24 個月時會不會離開，需要第 18 個月就要知道（提前 6 個月讓行銷能夠提前進行推廣、挽留、續約）。
以電信業來說，客戶離開有兩個原因：
- 不想跟現有電信業有往來，想換別家電信
- 單純沒繳每月租金而被停號（風險客戶）
那若要分析電信客戶，客戶資料怎麼抓：
- 員工號碼：要先排除掉，因為基本上不會走
- 未開卡：一定會走，也不需要分析
- 三個月內的：因為帳戶超過 3 個月才會有業績獎金，因此有些是假業績
- 企業用戶：模型要預測通話行為會不會影響留下的意願，而企業用戶的個人行為不會影響會不會留存，因為是由採購決定的
小結：有些模型產出的結論是已知事實，因此我們必須先扣除無用數據，要懂產業 Knowhow，才能把問題解決掉。
三、如何看待模型
在多數商業問題內，可控的模型、可監控的參數是重要的，若全部透過神經網路，黑盒子發現問題的時機點通常較慢，因為最大的風險是不知道模型什麼時候會失效。
普通的模型和好的模型差在哪？可以從法醫跟名醫差別來聯想：
- 法醫：根據身體傷亡，對死者進行人身鑑別、外傷鑑定、遺體解剖等，準確率很高。
- 名醫：根據身體現況，進行病理預測，準確率不一定高，但有價值。
仰賴模型前有幾個準則：
- 預測一群人的數值，比預測一個人精準
- 預測相對數值，比預測絕對數值精準
- 定義分析目標永遠要做最小拆解
- 不要迷信端到端的模型，適時採取兩步驟策略
- 謹記 80–20 法則，80% 銷售來自於 20% 商品
小結：準確的模型不一定有用，我們應該追求模型帶來多少效益；模型重點不在於完全精準，而是要能夠改變未來，讓公司降低損失、提高獲利。
四、如何團隊協作
算法工程師和數據科學家的差異是，前者只要做好模型讓他們使用，但後者不僅要會模型，更要懂產業 Knowhow，藉由問對的問題、挖掘對的方向、把問題解決掉。
以不同產業的團隊協作例子：
- 零售業：模型不只是要預測銷售量，還要加入物流時間，確保存貨能在正確時間抵達，不會造成過多或缺貨。
- 電信業：模型不只是要知道客戶會什麼時候不續約，還要結合業務團隊，在適當時機點挽留客戶。
做數據科學，需要準備的心態：
- 數據處理：永遠都會遇到髒數據，需要從中找出潛在解法，甚至跟客戶說明如何蒐集正確的數據也是一種貢獻。
- 時間觀念：要確保大家溝通的情境是同一個時間點，例如「業績很低」究竟是哪個月的業績，若沒有對齊時間，就無法得到正確推論。
- 產業差異：電信、保險、金融這種長生命週期才有機會長時間建模分析，電商產業需要用手邊即時數據進行判斷處理。
小結：每個產業都有複雜的商業邏輯和對應的 Knowhow，當我們覺得問題很簡單或數據很奇怪，很有可能是我們根本不懂產業 Insight。
五、總結
若對《思維增長日記》有興趣，可以再往前翻：
91會員
165內容數
《思維的創意想像》是工作之餘發起的 Side Project，因為近期快速吸收各種資訊跟商業知識（Input），但一直沒有地方輸出（Output），因此想透過這系列記錄學到的內容，包含商業知識、產業洞見，或是職場分享等等，目前已有產品開發、客戶成功、社群行銷、思維增長、職場日記等系列文章。
留言0
查看全部
你可能也想看
Google News 追蹤
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
這篇文章分享了最新的商業點子，包含帶有信譽系統的交友應用程式，區塊鏈技術幫你玩轉奢華錶圈以及科技成癮者的戒癮班。
普普藝術家安迪·沃荷有一句名言：「在未來，每個人都有可能出名15分鐘。」拜網際網路、社群媒體發達所賜，大家成名的機會變大了，但不多，沒有把握機會的話，可能就像流星一樣短暫而燦爛消失在天際。
《成功的條件：AI時代的5個大數據必勝法則》的作者巴拉巴西，是美國東北大學達基網路科學講座教授暨大學特聘教授
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程，資料收集到 AI 模型訓練的過程，AI經歷這一切流程被創造出來並產生價值；再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
作為一名擁有多年經驗的數據分析師，我深知數據分析的重要性及其對企業決策的影響。然而，數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是：在數據量不足或缺乏流程優化目的時，進行數據分析的局限性。
本文討論了人類在面對變化時的應對策略，包括數據分析的重要性，科技趨勢對工作形態的影響，以及對無條件基本收入的討論。透過工程師職涯教練Yi姐豐富的經驗，分享如何運用數據進行更好的決策，探討寫作和自媒體創業的投資報酬率，以及對未來的靈活規劃。
有別於試圖直接從數據中找出洞察，商業分析的精髓在於先思考 so what——從定義目標開始，做出商業決策的雛形後，才用數據去支持假說。這篇文章介紹 A/B 測試的技巧，以及摘櫻桃的應用，解說數據篩選的操作、摘櫻桃的好處，以及企業案例：數位轉型後的報社，亞馬遜CEO貝佐斯改造百年郵報。
在當今數據化時代，保險行業正在經歷一場前所未有的變革，除了傳統的訪談法進行保險產品開發，用數據增強新產品的可信度越來越重要。但公司不一定具備條件探索顧客關心的議題、產品條件、商品情緒，因此從產品開發到客戶關係管理，每一環節都充滿了創新的機遇。
我們常說的話和我們的誘因訊號時常發生衝突。
大學時期，我曾經做過一份打工，負責接聽客服電話，解決客戶在使用手機上遇到的疑難雜症，或者安排客戶手機送修服務等。
當時，公司提出了獎金方案，如果在一個月內，接聽超過1000通電話，就可以多拿10%的薪水，這對缺零用錢的我很是心動...
我們常把研究分成量化與質性兩種不同的方法（當然不止這兩種方法），其中量化分析主要在討論變數與變數的關係，而質性分析則在變數間在的互動過程與事件。因此通常在進行質性研究時，我們需要收集大量田野調查或訪談資料。做過訪談的人都知道，訪談後需要反覆的聆聽訪談錄音並將其轉化為訪談逐字稿，這是一個大工程，還好現
從個人到組織不改變就衰退！
不斷改變的環境，在走到盡頭前，就該鋪設新路，不是適應環境而是讓變動根本追不上你。
在人力資源運用必須跨越鴻溝！
鴻溝理論
高科技企業因為某項產品失敗的根本原因是沒能跨越市場中的「鴻溝」。
要想破除失敗的詛咒，必須做到認識鴻溝、跨越鴻溝。
在主流市場之前，還
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
這篇文章分享了最新的商業點子，包含帶有信譽系統的交友應用程式，區塊鏈技術幫你玩轉奢華錶圈以及科技成癮者的戒癮班。
普普藝術家安迪·沃荷有一句名言：「在未來，每個人都有可能出名15分鐘。」拜網際網路、社群媒體發達所賜，大家成名的機會變大了，但不多，沒有把握機會的話，可能就像流星一樣短暫而燦爛消失在天際。
《成功的條件：AI時代的5個大數據必勝法則》的作者巴拉巴西，是美國東北大學達基網路科學講座教授暨大學特聘教授
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程，資料收集到 AI 模型訓練的過程，AI經歷這一切流程被創造出來並產生價值；再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
作為一名擁有多年經驗的數據分析師，我深知數據分析的重要性及其對企業決策的影響。然而，數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是：在數據量不足或缺乏流程優化目的時，進行數據分析的局限性。
本文討論了人類在面對變化時的應對策略，包括數據分析的重要性，科技趨勢對工作形態的影響，以及對無條件基本收入的討論。透過工程師職涯教練Yi姐豐富的經驗，分享如何運用數據進行更好的決策，探討寫作和自媒體創業的投資報酬率，以及對未來的靈活規劃。
有別於試圖直接從數據中找出洞察，商業分析的精髓在於先思考 so what——從定義目標開始，做出商業決策的雛形後，才用數據去支持假說。這篇文章介紹 A/B 測試的技巧，以及摘櫻桃的應用，解說數據篩選的操作、摘櫻桃的好處，以及企業案例：數位轉型後的報社，亞馬遜CEO貝佐斯改造百年郵報。
在當今數據化時代，保險行業正在經歷一場前所未有的變革，除了傳統的訪談法進行保險產品開發，用數據增強新產品的可信度越來越重要。但公司不一定具備條件探索顧客關心的議題、產品條件、商品情緒，因此從產品開發到客戶關係管理，每一環節都充滿了創新的機遇。
我們常說的話和我們的誘因訊號時常發生衝突。
大學時期，我曾經做過一份打工，負責接聽客服電話，解決客戶在使用手機上遇到的疑難雜症，或者安排客戶手機送修服務等。
當時，公司提出了獎金方案，如果在一個月內，接聽超過1000通電話，就可以多拿10%的薪水，這對缺零用錢的我很是心動...
我們常把研究分成量化與質性兩種不同的方法（當然不止這兩種方法），其中量化分析主要在討論變數與變數的關係，而質性分析則在變數間在的互動過程與事件。因此通常在進行質性研究時，我們需要收集大量田野調查或訪談資料。做過訪談的人都知道，訪談後需要反覆的聆聽訪談錄音並將其轉化為訪談逐字稿，這是一個大工程，還好現
從個人到組織不改變就衰退！
不斷改變的環境，在走到盡頭前，就該鋪設新路，不是適應環境而是讓變動根本追不上你。
在人力資源運用必須跨越鴻溝！
鴻溝理論
高科技企業因為某項產品失敗的根本原因是沒能跨越市場中的「鴻溝」。
要想破除失敗的詛咒，必須做到認識鴻溝、跨越鴻溝。
在主流市場之前，還