資料科學家的工作日常1 - 在資料和程式中挖掘商業價值

更新於 發佈於 閱讀時間約 6 分鐘

系列文章

------------------------------------------------
我在2019年年中進入零售業擔任資料科學家後,偶爾會有朋友或是朋友的朋友詢問相關工作內容及產業情況。畢竟資料科學家是與數據分析師比較新的職業,還有一些神祕色彩,許多人甚至連聽都沒聽過,還以為是數據分析師是股票分析師另類職稱。雖然確實有人將數據分析應用在股價預測上,但這是另一個故事了。
這篇文章會盡量拿掉所有專有名詞,用人話說明資料科學家的工作日常,提供一些總覽性的介紹,至於其他較實務面的細節與心得會留到之後的文章再分享。

數據分析的職位有三種

數據分析這個學門統稱為資料科學(Data Science),常見的職位有資料工程師(Data Engineer)、資料科學家(Data Scientist)和商業分析師(Business Analyst)。這裡先簡單說明這三者在能力要求上的差別,我所採取的定義是參考加拿大的資料科學媒體Towards Data Science的〈Data Engineer vs Data Scientist vs Business Analyst〉
如下圖所示,資料工程師最重要的技能是電腦科學能力,也就是台灣所說的資訊工程,他們所做的事情是收集、清理並準備好所有的資料,讓另外兩個角色可以方便取用資料。
資料科學家需要有較強的統計學知識,並且通常需要具備建立機器學習模型的能力,這也是這系列文章的主要角色。另外補充一點,資料科學家通常是建立機器學習模型的原型,並讓機器學習工程師佈署,可以參考一樣是Towards Data Science的〈Data Scientist vs Machine Learning Engineer Skills. Here’s the Difference.〉
商業分析師,也稱為數據分析師,更著重在數據與商業面的結合,最核心的技術能力是使用SQL從資料庫抓取所需的資料,並提供商業分析與洞察, 通常不太需有要建置機器學習模型的能力。
以上所述的分工雖然細緻,但實際上不會每間公司都有這麼完整的編制及分工。在國外如此,在台灣當然也是如此。

台灣的資料科學業界生態

在台灣,雖然資料科學家是新職位,但數據分析或是資料分析的概念一點都不新。公司裡面行之有年的職位,不管是行銷、業務、採購、倉管,每個職位都需要數據,也都需要分析。隨著大數據、資料科學、機器學習、AI等酷炫的新名詞、新技術與新應用出現,所需的知識與技能多到員工爆肝也學不完,光是學會熟練的運用程式語言就是個挑戰。因此,資料科學家開始被視為一個獨立的職位,甚至一個獨立的部門。
以產業來看,較注重數據分析的產業則有零售業、金融業、科技業、廣告業等。

(1) 組織劃分

由於這個職位出現的時間還不長,大家對於資料科學家還缺乏共同的定義。所以A公司的資料科學家可能偏向軟體開發,B公司的資料科學家可能隸屬市調部門,C公司的資料科學家可能掛在IT部門。因此,如果你想找數據分析或資料科學相關的工作,建議不要只看職稱,最好詳細看一下工作內容和所需能力,相對的,面試官在評估應徵者的能力時,也會著重在實際的專案經驗與能力。
我所在的單位則是獨立的分析部門,協助其他單位作商業上的決策,算是輔助型的單位,或說是智囊團、師爺類型的角色。可以說我們的服務是數據分析,而我們輔助的部門則是客戶,要怎麼了解客戶需求,協助顧客達成商業目標的服務,是我們主要的價值所在。

(2) 能力需求

除了所屬單位外,每間公司的資料科學家所需的技能也不一樣。有些分析師可以用Excel打天下,有些主要製作資料視覺化圖表,呈現出好懂、美觀,甚至具有互動工具的資料儀表板。另外有一種,也是比較接近我定義中的資料科學家,他們要寫程式,需具備一定的IT知識,要學統計和演算法。這種分析師有點像是IT,但又和IT不一樣。IT的工作通常是系統規劃、軟硬體維運和功能擴充,但資料科學家則是要在一堆資料中發掘未知的商業價值(Unknown Insights)。

未知的商業價值是什麼?可以講人話嗎?

數據分析與資料匯總

在講商業價值之前,先來談談數據分析(Data Analyze)或資料探勘(Data Mining),與資料匯總(Data Processing)之間的差異。一樣都是處理資料,因目的不同,又可以分成資料匯總與數據分析。前者總結已知事件,後者為了做出影響未來的決策,也就是預測。
舉例來說,如果你手上有一間服飾店的消費資料,你想知道過去一個月中哪些商品的營業額最高,這就是資料匯總。你的目標很明確,「挑出營業額最高的商品」,實際的操作步驟則是將所有商品的營業額分別算出來,然後挑出最高的那一個,結束。
假如你想知道的是,過去一個月中銷售最佳的這支商品,是不是因為促銷活動導致銷量爆增?促銷活動對這支商品的影響又是多少?以後的促銷活動適不適合再加入這支商品?這個問題明顯困難很多,不是因為它有三個問號,而是增加了許多必須考量的面向。
首先,我們要先知道這支商品在沒有促銷活動期間的銷量,並與促銷期間的銷量作比對,確認促銷活動對這支商品有正面影響。
其次,重複上個步驟,但我們要進一步計算促銷活動對於全部商品的影響。如果促銷活動平均可以提升全部商品20%的業績,卻能提升這支商品30%的業績,我們就可以初步判定這支商品適合做促銷。
說是初步,因為還有其他的細節需要考慮,像是商品毛利率。如果這支商品的毛利率本身就比較低,舉辦折扣促銷後毛利變得更加殘不忍睹。即使帳面上業績很漂亮,但這些都是不賺錢的生意,大家白忙一場。
排除以上原因後,建議你也不要信心滿滿的下結論,「這支商品很適合做促銷」,因為你老闆可能會一臉不爽的回答,「這個商品是羽絨衣,現在剛進入冬天,銷量當然會爆衝啊,就算不做促銷應該也很好賣吧?」。你可能要進一步考慮季節性因素,表面上你一樣在處理資料,但這時候你的問題會變成「季節性和促銷活動,哪一個對羽絨衣的業績正面影響較大?」
在實際的工作流程中,資料匯總是必經的過程,但能不能實際達到數據分析或或資料探勘的層次,並促成有價值的商業行動,我認為這就是資料科學家的價值之所在。
到ARON HACK網站看完整文章〈資料科學家的工作日常1 — 在資料和程式中挖掘商業價值〉
為什麼會看到廣告
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
我之所以大膽的把股價預測稱之為「最強」,因為這本身就是一個可以變現的專案,並且可以同時累積數據分析及投資操作經驗,在投資與程式設計同時躍升為顯學的時代,把這兩條學習路徑融合在一起,似乎自然而然,也合情合理。當然,這條路的學習成本非常高,但翻山越嶺之後的美景也同樣讓人心神嚮往。
網路上可以找到許多關於寫作的書或課程,說明為什麼寫作可以培養表達能力與邏輯思考能力,以及培養寫作能力的具體方法。然而,許多人更關心的是,如果我們想以寫作當成事業,是不是可行,需要具備哪些知識,有沒有技術門檻,可能需要多少成本,以及有哪些潛在的收入來源。
Fugle富果是一間FinTech新創公司,透過大數據搜尋和機器學習推薦技術,協助投資人可以更快速精確的做出決策,並且與玉山證券合作,推出玉山證券富果帳戶。
在職場上,每個人或多或少都有機會擔任會議召集人的角色,可能你上司是專案負責人,他將邀請的會議事務指派給你,或是你本身就是會議召集人。對於工作經驗不多的菜鳥而言,當必須聯繫、召集一群職位比自己高,或是比自己資深的前輩參與會議,或多或少會有點壓力,光是寄封Email可能就要猶豫再三。這篇文章就是要針對這
無論是投資或是資料科學專案,經常需要股市資料作分析。證交所在政府資料開放平台中提供了個股日成交資訊,也可以透過API查詢歷史記錄,但很容易因為頻繁抓取資料而被暫時的鎖IP,之後會再寫另外一篇文章說明。
對資料科學家或數據分析師來說,資料量太大、電腦效能不足一直都是個痛,經常要小心翼翼地觀察記憶體使用率是不是快爆炸。然而,就我的觀察,一樣都是撰寫程式,資料科學工作者對於程式碼乾淨、易懂、高效率的追求似乎比其他工程師來得低。(或是我的樣本數不足,以偏概全)
我之所以大膽的把股價預測稱之為「最強」,因為這本身就是一個可以變現的專案,並且可以同時累積數據分析及投資操作經驗,在投資與程式設計同時躍升為顯學的時代,把這兩條學習路徑融合在一起,似乎自然而然,也合情合理。當然,這條路的學習成本非常高,但翻山越嶺之後的美景也同樣讓人心神嚮往。
網路上可以找到許多關於寫作的書或課程,說明為什麼寫作可以培養表達能力與邏輯思考能力,以及培養寫作能力的具體方法。然而,許多人更關心的是,如果我們想以寫作當成事業,是不是可行,需要具備哪些知識,有沒有技術門檻,可能需要多少成本,以及有哪些潛在的收入來源。
Fugle富果是一間FinTech新創公司,透過大數據搜尋和機器學習推薦技術,協助投資人可以更快速精確的做出決策,並且與玉山證券合作,推出玉山證券富果帳戶。
在職場上,每個人或多或少都有機會擔任會議召集人的角色,可能你上司是專案負責人,他將邀請的會議事務指派給你,或是你本身就是會議召集人。對於工作經驗不多的菜鳥而言,當必須聯繫、召集一群職位比自己高,或是比自己資深的前輩參與會議,或多或少會有點壓力,光是寄封Email可能就要猶豫再三。這篇文章就是要針對這
無論是投資或是資料科學專案,經常需要股市資料作分析。證交所在政府資料開放平台中提供了個股日成交資訊,也可以透過API查詢歷史記錄,但很容易因為頻繁抓取資料而被暫時的鎖IP,之後會再寫另外一篇文章說明。
對資料科學家或數據分析師來說,資料量太大、電腦效能不足一直都是個痛,經常要小心翼翼地觀察記憶體使用率是不是快爆炸。然而,就我的觀察,一樣都是撰寫程式,資料科學工作者對於程式碼乾淨、易懂、高效率的追求似乎比其他工程師來得低。(或是我的樣本數不足,以偏概全)
你可能也想看
Google News 追蹤
Thumbnail
最近國泰世華CUBE App推出的「美股定期定額」功能,讓使用者可以方便地進行跨境理財(但讀者仍需根據自身需求審慎考量),除了享有美股定期定額的新功能,也同時享有台股定期定額的功能,可以一站滿足我們理財的需求! 透過國泰世華CUBE App線上開台股證券戶+複委託戶,流程最快僅需要5分鐘。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
隨著AI和數據分析的蓬勃發展,人力資源領域也開始重視數據的建制與分析。本文探討瞭如何在數據分析工作中,建立有效的數據架構及系統設計。討論了求職者、職位及招聘流程的數據元素及其邏輯關係,強調在數據分析之前,如何準備完整和清晰的數據,以提升整體分析效率。
Thumbnail
本篇週報記錄了數據分析師最近一週的重要工作內容,包括種族與性別分析、Amazon市場分析、購買人群統計資訊及 SEO 品牌字分組等等。透過以上議題的分析與執行過程,不僅能瞭解工作內容,也能學到數據分析的實戰議題,有助於減少行銷和數據分析方面的學習彎路。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
作為一名擁有多年經驗的數據分析師,我深知數據分析的重要性及其對企業決策的影響。然而,數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是:在數據量不足或缺乏流程優化目的時,進行數據分析的局限性。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
在當今數據驅動的商業環境中,會計師扮演了至關重要的角色,尤其是在企業數據分析領域。從公司登記到日常記帳,會計師的參與不僅僅是單純的財務紀錄,更是企業決策的關鍵支持者。在這篇文章中,我們將探討會計師在企業數據分析中的角色,以及展望其未來的發展前景。 公司登記、公司設立、工商登記 企業的成立是一
Thumbnail
我在LinkedIn上看到一個我追蹤的Data Scientist (資料科學家) 提到關於AI的兩個專有名詞 她想跟大家解釋這兩個大家容易搞混的專有名詞概念有甚麼不同 我來拆解她用到的英文架構&句型 歡迎你模仿起來~
Thumbnail
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
最近國泰世華CUBE App推出的「美股定期定額」功能,讓使用者可以方便地進行跨境理財(但讀者仍需根據自身需求審慎考量),除了享有美股定期定額的新功能,也同時享有台股定期定額的功能,可以一站滿足我們理財的需求! 透過國泰世華CUBE App線上開台股證券戶+複委託戶,流程最快僅需要5分鐘。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
隨著AI和數據分析的蓬勃發展,人力資源領域也開始重視數據的建制與分析。本文探討瞭如何在數據分析工作中,建立有效的數據架構及系統設計。討論了求職者、職位及招聘流程的數據元素及其邏輯關係,強調在數據分析之前,如何準備完整和清晰的數據,以提升整體分析效率。
Thumbnail
本篇週報記錄了數據分析師最近一週的重要工作內容,包括種族與性別分析、Amazon市場分析、購買人群統計資訊及 SEO 品牌字分組等等。透過以上議題的分析與執行過程,不僅能瞭解工作內容,也能學到數據分析的實戰議題,有助於減少行銷和數據分析方面的學習彎路。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
作為一名擁有多年經驗的數據分析師,我深知數據分析的重要性及其對企業決策的影響。然而,數據分析並不是在任何情況下都適用。今天我想跟你聊的事情是:在數據量不足或缺乏流程優化目的時,進行數據分析的局限性。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
在當今數據驅動的商業環境中,會計師扮演了至關重要的角色,尤其是在企業數據分析領域。從公司登記到日常記帳,會計師的參與不僅僅是單純的財務紀錄,更是企業決策的關鍵支持者。在這篇文章中,我們將探討會計師在企業數據分析中的角色,以及展望其未來的發展前景。 公司登記、公司設立、工商登記 企業的成立是一
Thumbnail
我在LinkedIn上看到一個我追蹤的Data Scientist (資料科學家) 提到關於AI的兩個專有名詞 她想跟大家解釋這兩個大家容易搞混的專有名詞概念有甚麼不同 我來拆解她用到的英文架構&句型 歡迎你模仿起來~
Thumbnail
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。