資料科學家的工作日常1 - 在資料和程式中挖掘商業價值

閱讀時間約 6 分鐘

系列文章

------------------------------------------------
我在2019年年中進入零售業擔任資料科學家後,偶爾會有朋友或是朋友的朋友詢問相關工作內容及產業情況。畢竟資料科學家是與數據分析師比較新的職業,還有一些神祕色彩,許多人甚至連聽都沒聽過,還以為是數據分析師是股票分析師另類職稱。雖然確實有人將數據分析應用在股價預測上,但這是另一個故事了。
這篇文章會盡量拿掉所有專有名詞,用人話說明資料科學家的工作日常,提供一些總覽性的介紹,至於其他較實務面的細節與心得會留到之後的文章再分享。

數據分析的職位有三種

數據分析這個學門統稱為資料科學(Data Science),常見的職位有資料工程師(Data Engineer)、資料科學家(Data Scientist)和商業分析師(Business Analyst)。這裡先簡單說明這三者在能力要求上的差別,我所採取的定義是參考加拿大的資料科學媒體Towards Data Science的〈Data Engineer vs Data Scientist vs Business Analyst〉
如下圖所示,資料工程師最重要的技能是電腦科學能力,也就是台灣所說的資訊工程,他們所做的事情是收集、清理並準備好所有的資料,讓另外兩個角色可以方便取用資料。
資料科學家需要有較強的統計學知識,並且通常需要具備建立機器學習模型的能力,這也是這系列文章的主要角色。另外補充一點,資料科學家通常是建立機器學習模型的原型,並讓機器學習工程師佈署,可以參考一樣是Towards Data Science的〈Data Scientist vs Machine Learning Engineer Skills. Here’s the Difference.〉
商業分析師,也稱為數據分析師,更著重在數據與商業面的結合,最核心的技術能力是使用SQL從資料庫抓取所需的資料,並提供商業分析與洞察, 通常不太需有要建置機器學習模型的能力。
以上所述的分工雖然細緻,但實際上不會每間公司都有這麼完整的編制及分工。在國外如此,在台灣當然也是如此。

台灣的資料科學業界生態

在台灣,雖然資料科學家是新職位,但數據分析或是資料分析的概念一點都不新。公司裡面行之有年的職位,不管是行銷、業務、採購、倉管,每個職位都需要數據,也都需要分析。隨著大數據、資料科學、機器學習、AI等酷炫的新名詞、新技術與新應用出現,所需的知識與技能多到員工爆肝也學不完,光是學會熟練的運用程式語言就是個挑戰。因此,資料科學家開始被視為一個獨立的職位,甚至一個獨立的部門。
以產業來看,較注重數據分析的產業則有零售業、金融業、科技業、廣告業等。

(1) 組織劃分

由於這個職位出現的時間還不長,大家對於資料科學家還缺乏共同的定義。所以A公司的資料科學家可能偏向軟體開發,B公司的資料科學家可能隸屬市調部門,C公司的資料科學家可能掛在IT部門。因此,如果你想找數據分析或資料科學相關的工作,建議不要只看職稱,最好詳細看一下工作內容和所需能力,相對的,面試官在評估應徵者的能力時,也會著重在實際的專案經驗與能力。
我所在的單位則是獨立的分析部門,協助其他單位作商業上的決策,算是輔助型的單位,或說是智囊團、師爺類型的角色。可以說我們的服務是數據分析,而我們輔助的部門則是客戶,要怎麼了解客戶需求,協助顧客達成商業目標的服務,是我們主要的價值所在。

(2) 能力需求

除了所屬單位外,每間公司的資料科學家所需的技能也不一樣。有些分析師可以用Excel打天下,有些主要製作資料視覺化圖表,呈現出好懂、美觀,甚至具有互動工具的資料儀表板。另外有一種,也是比較接近我定義中的資料科學家,他們要寫程式,需具備一定的IT知識,要學統計和演算法。這種分析師有點像是IT,但又和IT不一樣。IT的工作通常是系統規劃、軟硬體維運和功能擴充,但資料科學家則是要在一堆資料中發掘未知的商業價值(Unknown Insights)。

未知的商業價值是什麼?可以講人話嗎?

數據分析與資料匯總

在講商業價值之前,先來談談數據分析(Data Analyze)或資料探勘(Data Mining),與資料匯總(Data Processing)之間的差異。一樣都是處理資料,因目的不同,又可以分成資料匯總與數據分析。前者總結已知事件,後者為了做出影響未來的決策,也就是預測。
舉例來說,如果你手上有一間服飾店的消費資料,你想知道過去一個月中哪些商品的營業額最高,這就是資料匯總。你的目標很明確,「挑出營業額最高的商品」,實際的操作步驟則是將所有商品的營業額分別算出來,然後挑出最高的那一個,結束。
假如你想知道的是,過去一個月中銷售最佳的這支商品,是不是因為促銷活動導致銷量爆增?促銷活動對這支商品的影響又是多少?以後的促銷活動適不適合再加入這支商品?這個問題明顯困難很多,不是因為它有三個問號,而是增加了許多必須考量的面向。
首先,我們要先知道這支商品在沒有促銷活動期間的銷量,並與促銷期間的銷量作比對,確認促銷活動對這支商品有正面影響。
其次,重複上個步驟,但我們要進一步計算促銷活動對於全部商品的影響。如果促銷活動平均可以提升全部商品20%的業績,卻能提升這支商品30%的業績,我們就可以初步判定這支商品適合做促銷。
說是初步,因為還有其他的細節需要考慮,像是商品毛利率。如果這支商品的毛利率本身就比較低,舉辦折扣促銷後毛利變得更加殘不忍睹。即使帳面上業績很漂亮,但這些都是不賺錢的生意,大家白忙一場。
排除以上原因後,建議你也不要信心滿滿的下結論,「這支商品很適合做促銷」,因為你老闆可能會一臉不爽的回答,「這個商品是羽絨衣,現在剛進入冬天,銷量當然會爆衝啊,就算不做促銷應該也很好賣吧?」。你可能要進一步考慮季節性因素,表面上你一樣在處理資料,但這時候你的問題會變成「季節性和促銷活動,哪一個對羽絨衣的業績正面影響較大?」
在實際的工作流程中,資料匯總是必經的過程,但能不能實際達到數據分析或或資料探勘的層次,並促成有價值的商業行動,我認為這就是資料科學家的價值之所在。
到ARON HACK網站看完整文章〈資料科學家的工作日常1 — 在資料和程式中挖掘商業價值〉
為什麼會看到廣告
留言0
查看全部
發表第一個留言支持創作者!
我之所以大膽的把股價預測稱之為「最強」,因為這本身就是一個可以變現的專案,並且可以同時累積數據分析及投資操作經驗,在投資與程式設計同時躍升為顯學的時代,把這兩條學習路徑融合在一起,似乎自然而然,也合情合理。當然,這條路的學習成本非常高,但翻山越嶺之後的美景也同樣讓人心神嚮往。
網路上可以找到許多關於寫作的書或課程,說明為什麼寫作可以培養表達能力與邏輯思考能力,以及培養寫作能力的具體方法。然而,許多人更關心的是,如果我們想以寫作當成事業,是不是可行,需要具備哪些知識,有沒有技術門檻,可能需要多少成本,以及有哪些潛在的收入來源。
Fugle富果是一間FinTech新創公司,透過大數據搜尋和機器學習推薦技術,協助投資人可以更快速精確的做出決策,並且與玉山證券合作,推出玉山證券富果帳戶。
在職場上,每個人或多或少都有機會擔任會議召集人的角色,可能你上司是專案負責人,他將邀請的會議事務指派給你,或是你本身就是會議召集人。對於工作經驗不多的菜鳥而言,當必須聯繫、召集一群職位比自己高,或是比自己資深的前輩參與會議,或多或少會有點壓力,光是寄封Email可能就要猶豫再三。這篇文章就是要針對這
無論是投資或是資料科學專案,經常需要股市資料作分析。證交所在政府資料開放平台中提供了個股日成交資訊,也可以透過API查詢歷史記錄,但很容易因為頻繁抓取資料而被暫時的鎖IP,之後會再寫另外一篇文章說明。
對資料科學家或數據分析師來說,資料量太大、電腦效能不足一直都是個痛,經常要小心翼翼地觀察記憶體使用率是不是快爆炸。然而,就我的觀察,一樣都是撰寫程式,資料科學工作者對於程式碼乾淨、易懂、高效率的追求似乎比其他工程師來得低。(或是我的樣本數不足,以偏概全)
我之所以大膽的把股價預測稱之為「最強」,因為這本身就是一個可以變現的專案,並且可以同時累積數據分析及投資操作經驗,在投資與程式設計同時躍升為顯學的時代,把這兩條學習路徑融合在一起,似乎自然而然,也合情合理。當然,這條路的學習成本非常高,但翻山越嶺之後的美景也同樣讓人心神嚮往。
網路上可以找到許多關於寫作的書或課程,說明為什麼寫作可以培養表達能力與邏輯思考能力,以及培養寫作能力的具體方法。然而,許多人更關心的是,如果我們想以寫作當成事業,是不是可行,需要具備哪些知識,有沒有技術門檻,可能需要多少成本,以及有哪些潛在的收入來源。
Fugle富果是一間FinTech新創公司,透過大數據搜尋和機器學習推薦技術,協助投資人可以更快速精確的做出決策,並且與玉山證券合作,推出玉山證券富果帳戶。
在職場上,每個人或多或少都有機會擔任會議召集人的角色,可能你上司是專案負責人,他將邀請的會議事務指派給你,或是你本身就是會議召集人。對於工作經驗不多的菜鳥而言,當必須聯繫、召集一群職位比自己高,或是比自己資深的前輩參與會議,或多或少會有點壓力,光是寄封Email可能就要猶豫再三。這篇文章就是要針對這
無論是投資或是資料科學專案,經常需要股市資料作分析。證交所在政府資料開放平台中提供了個股日成交資訊,也可以透過API查詢歷史記錄,但很容易因為頻繁抓取資料而被暫時的鎖IP,之後會再寫另外一篇文章說明。
對資料科學家或數據分析師來說,資料量太大、電腦效能不足一直都是個痛,經常要小心翼翼地觀察記憶體使用率是不是快爆炸。然而,就我的觀察,一樣都是撰寫程式,資料科學工作者對於程式碼乾淨、易懂、高效率的追求似乎比其他工程師來得低。(或是我的樣本數不足,以偏概全)
你可能也想看
Google News 追蹤
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
吳軍的矽谷來信專欄中分享了優秀電腦工程師需要達到的幾個階段性目標,十分有趣,於此記錄一下,並自我反思。 目標一:對電腦科學的本質有了解 目標二:對電腦科學每年的變化要掌握 目標三:對於電腦科學的工具要用得隨心所欲 目標四:對產品設計要有常識 目標五:對未知的問題要知道如何解決 目標六
Thumbnail
《持續買進:資料科學家的投資終極解答,存錢及致富的實證方法》 Just Keep Buying: Proven Ways to Save Money And Build Your Wealth
Thumbnail
持續買進 ★聽說「逢低買進」是投資穩賺策略?錯!最強資料科學家告訴你:千萬別為了抄底,浪費時間在市場外觀望,「持續買進」才是致富不敗法則!   「等待抄底好時機」、「不要把雞蛋放在同一個籃子裡」、「低買高賣」……投資世界充滿了豐富的詞彙、睿智的專家,提出各種穩賺策略。你是不是深感認同,全盤接受?
Thumbnail
在2023年的《加州管理評論》(California Management Review)上,德國班貝格大學(University of Bamberg)的資深研究員康斯坦丁·霍普夫博士等人發表了一篇題為〈人工智慧的組織導入:工藝與機械工作〉(Organizational Implementatio
Thumbnail
廢話不說,這本書買就對了 理財投資的書籍說多不多,但最少也有100本 跟其他網紅達人比真的算少,但含金量高的 內容真的不多..這本價值絕對超過百萬。 前幾篇文章我還在抱怨,我很不喜歡看老外的 理財書刊,難懂翻譯又很詭異,這本書 是我少數看一次就上癮,看完直接打破 我多年的盲點,我不
Thumbnail
資料科學的浪潮更將資料科學工作者推到第一線,許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人,該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢?由於資料科學需求時常是個很龐大的任務,實際上會需要一個團隊來實現。本篇文章就從資料團隊出發,解析其中的任務內容、工作
Thumbnail
我希望透過在好學校開設「Python 的 50+ 練習:資料科學學習手冊」,讓學生一步步完成這門課程所有的觀念講解、範例實作以及練習之後,扎實地將 Python 程式設計與資料科學應用納入自己的技能組,成為一位擅長寫程式處理資料的分析師,大幅提升工作掌握度與職涯發展性!
Thumbnail
葉筱凡,國立成功大學醫學、科技與社會(STM)研究中心博後研究員 三年前,有一次去陽明大學開會,早到了,在步道上看到一位先生,仰著頭看著樹上的葉子,姿態很是悠閒,當我越走越靠近他,才發現原來是楊老師!由於當時我們還沒有那麼熟,正準備禮貌打過招呼後,準備我稍後的演講,沒想到楊老師便與我同行,我們一起走
Thumbnail
大礁島林鼠(Key Largo woodrats)是生長在佛羅里達大礁島上的瀕危動物,牠們有個神秘的文化,那就是世襲祖厝。在森林裡,體型只有手掌大的大礁島林鼠,收集樹枝蓋出來的巨大巢穴可以有1個人高,5個人寬。一代傳一代的巢穴裡,屎尿縱橫(包括阿祖的阿祖的千年老屎....),科學家本來以為牠們生活在
Thumbnail
在紐約,每年國慶日都會舉辦著名的吃熱狗大賽,但是今年因為疫情的關係,有點不一樣,只有十位選手參賽而且沒有現場觀眾。就算這樣,綽號Jaws(下巴)的冠軍Joey Chestnut仍然打破了世界紀錄,吃下了75個熱狗(包括麵包喔!)。 這時候,好奇(機車)的科學家就來了,根據研究計算,理論上人類應該可以
Thumbnail
這個秋,Chill 嗨嗨!穿搭美美去賞楓,裝備款款去露營⋯⋯你的秋天怎麼過?秋日 To Do List 等你分享! 秋季全站徵文,我們準備了五個創作主題,參賽還有機會獲得「火烤兩用鍋」,一起來看看如何參加吧~
吳軍的矽谷來信專欄中分享了優秀電腦工程師需要達到的幾個階段性目標,十分有趣,於此記錄一下,並自我反思。 目標一:對電腦科學的本質有了解 目標二:對電腦科學每年的變化要掌握 目標三:對於電腦科學的工具要用得隨心所欲 目標四:對產品設計要有常識 目標五:對未知的問題要知道如何解決 目標六
Thumbnail
《持續買進:資料科學家的投資終極解答,存錢及致富的實證方法》 Just Keep Buying: Proven Ways to Save Money And Build Your Wealth
Thumbnail
持續買進 ★聽說「逢低買進」是投資穩賺策略?錯!最強資料科學家告訴你:千萬別為了抄底,浪費時間在市場外觀望,「持續買進」才是致富不敗法則!   「等待抄底好時機」、「不要把雞蛋放在同一個籃子裡」、「低買高賣」……投資世界充滿了豐富的詞彙、睿智的專家,提出各種穩賺策略。你是不是深感認同,全盤接受?
Thumbnail
在2023年的《加州管理評論》(California Management Review)上,德國班貝格大學(University of Bamberg)的資深研究員康斯坦丁·霍普夫博士等人發表了一篇題為〈人工智慧的組織導入:工藝與機械工作〉(Organizational Implementatio
Thumbnail
廢話不說,這本書買就對了 理財投資的書籍說多不多,但最少也有100本 跟其他網紅達人比真的算少,但含金量高的 內容真的不多..這本價值絕對超過百萬。 前幾篇文章我還在抱怨,我很不喜歡看老外的 理財書刊,難懂翻譯又很詭異,這本書 是我少數看一次就上癮,看完直接打破 我多年的盲點,我不
Thumbnail
資料科學的浪潮更將資料科學工作者推到第一線,許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人,該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢?由於資料科學需求時常是個很龐大的任務,實際上會需要一個團隊來實現。本篇文章就從資料團隊出發,解析其中的任務內容、工作
Thumbnail
我希望透過在好學校開設「Python 的 50+ 練習:資料科學學習手冊」,讓學生一步步完成這門課程所有的觀念講解、範例實作以及練習之後,扎實地將 Python 程式設計與資料科學應用納入自己的技能組,成為一位擅長寫程式處理資料的分析師,大幅提升工作掌握度與職涯發展性!
Thumbnail
葉筱凡,國立成功大學醫學、科技與社會(STM)研究中心博後研究員 三年前,有一次去陽明大學開會,早到了,在步道上看到一位先生,仰著頭看著樹上的葉子,姿態很是悠閒,當我越走越靠近他,才發現原來是楊老師!由於當時我們還沒有那麼熟,正準備禮貌打過招呼後,準備我稍後的演講,沒想到楊老師便與我同行,我們一起走
Thumbnail
大礁島林鼠(Key Largo woodrats)是生長在佛羅里達大礁島上的瀕危動物,牠們有個神秘的文化,那就是世襲祖厝。在森林裡,體型只有手掌大的大礁島林鼠,收集樹枝蓋出來的巨大巢穴可以有1個人高,5個人寬。一代傳一代的巢穴裡,屎尿縱橫(包括阿祖的阿祖的千年老屎....),科學家本來以為牠們生活在
Thumbnail
在紐約,每年國慶日都會舉辦著名的吃熱狗大賽,但是今年因為疫情的關係,有點不一樣,只有十位選手參賽而且沒有現場觀眾。就算這樣,綽號Jaws(下巴)的冠軍Joey Chestnut仍然打破了世界紀錄,吃下了75個熱狗(包括麵包喔!)。 這時候,好奇(機車)的科學家就來了,根據研究計算,理論上人類應該可以