如何打造高效率的資料團隊?資料技能的分工與

閱讀時間約 5 分鐘
在剛入行的時候曾經寫過一篇文章 「資料專案團隊組成」,當時把資料團隊根據技能分成資料科學家、資料分析師和資料工程師三種角色。不過在工作幾年之後,發現實務上的資料分工其實更細而且更複雜,也隱含了更多的可能性。這一篇文章將談談實務上的資料團隊分工。

不同的技能與分工

首先我們先依照技能與工作簡單分成三種類型:
  1. 擅長 #分析應用 的: 資料分析師(Data Analyst)
  2. 擅長 #程式實作 的: 資料工程師(Data Engineer)
  3. 擅長 #模型理論 的: 資料科學家(Data Scienist)
換句話說,他們分別是「看資料」,「調資料」以及「玩資料」。不過實際上的分工與職能其實會更加複雜一點,有幾種常見的狀況:
  • 資料科學家與資料工程師中間的 GAP
  • 模型「部署/上線」的工作誰來做?
  • 「資料分析師」與「商業分析師」

資料科學家與資料工程師中間的 GAP

在擅長模型資料科學家與擅長程式資料工程師之間,會有一小段的重疊的範圍。通常的合作方式會由資料科學家訓練出一個好的模型,再由資料工程師呼叫使用。不過偶爾會有部署所導致的效能或是或是需要再調整的工作。當模型遇到問題的時候,會有兩端都難以解決的狀況出現。
因此,我們會把兼顧模型理論和程式實作的人抽出來定位成「ML 機器學習工程師」,他們通常熟悉用程式操作模型的部分。

模型「部署/上線」的工作誰來做?

另一個常見的情境是,最終將模型交由工程師部署上線之後。可能會遇到重要的錯誤出現或需要週期性的更新時,往往都會需要整個流程重新跑一次。在傳統的開發模式當中,會有維運的工程師負責從開發到上線自動化的融合成一系列的工作線。這樣的想法轉移到資料科學的情境當中,被稱為是 MLOPs 機器學習維運工程師,主要概念是將模型的訓練與部署更加緊緊的自動化。

「資料分析師」與「商業分析師」

「資料分析師」也是資料產業中一個重要的職能之一,而且這個位置在資料科學熱潮之前就存在已久。資料分析師從資料技能的角度來看,會有一部分內容跟資料科學家重疊。我覺得從使用場景來看,可以明顯看出差異。資料分析師比較強調的是「如何找到適合資料可以解決的問題」,對資料理解與定義問題的敏銳度。就我所知,資料分析師在資料探索及資料視覺化的要求會高一點。而資料科學家則更重視模型與理論,需要比較完整的資料知識體系,例如統計,最佳化及資料模型這方便的了解。
以往我們可能會用「程式力」或「數學力」將資料分析師的下一步切分成「資料工程師」或「資料科學家」,不過其實還有一種選擇 - 「商業分析師」。商業分析師更強調的是如何用資料來解決的商業的問題,找到一個適合資料方法切入的應用場景。對於商業分析師來說,對資料與商業都須需要有一定的敏感度。資料科學很多時候是以理論的角度切入最佳化,可能與商業應用目的不完全相同,「商業分析師」能夠在其中扮演轉譯的角色。

不同背景的養成路徑

只要有心,人人都可以成為資料科學家。資料科學是一個跨領域的技能,需要同時有跨域的能力與開放的思維。這邊列出了一些常見的背景,與適合的養成路徑:
如果你本來就是軟體工程師的話,可以從程式需求大的資料工程師開始。統計/數學背景的話,適合研究資料科學模型。另外大部分的話,就會建議從資料分析師的起點逐步規劃。

資料團隊與分工

最後我們將以上講的各種位置,用資料科學的工作流程對應:
實際上資料專案需要的是一支團隊,一般會將資料科學的技能拆成多個不同的職缺。經過完善的各司其職可以完成強大的工作,達到明確的守備範圍。不過理想很豐滿、現實很骨感,在許多小團隊當中都會先配備一個角色打全場:

資料專案需要的是一支團隊

要完成一個好的資料專案,靠的不能只是一個厲害的強者,需要的是一支合作無間的資料團隊。跨領域的整合也是一個重要的應用關鍵。無論資料的多寡,資料專案都是建基在資訊、統計、視覺化等不同的領域專業上面。不過現實層面上來說,很難有人可以同時具備那麼多能力,因此在資料專案中更需要團隊合作。
根據公司的業務需求與應用層級,打造一個最適合的資料團隊才是王道。

嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤我的 Facebook 粉專Instagram 帳號,也會不定時的舉辦分享活動,一起來玩玩吧 ヽ(●´∀`●)ノ


avatar-img
7會員
3內容數
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
你可能也想看
Google News 追蹤
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
本篇週報記錄了數據分析師最近一週的重要工作內容,包括種族與性別分析、Amazon市場分析、購買人群統計資訊及 SEO 品牌字分組等等。透過以上議題的分析與執行過程,不僅能瞭解工作內容,也能學到數據分析的實戰議題,有助於減少行銷和數據分析方面的學習彎路。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
Thumbnail
專案經理與工程師在工作上面對的挑戰和需求截然不同。專案經理需具備溝通、督促、認知及行政等四種核心能力,以便成功轉型。文章中舉例以生動的故事來說明這四種能力的重要性,並強調從工程師升遷為專案經理並非易事,需要不斷學習與努力。
轉職數據分析師是一項需要長期努力的過程。對於文組生來說,由於缺乏數學、統計、程式設計等方面的基礎,在轉職過程中往往會面臨更多的挑戰。因此,制定一個合理的學習計劃,對於提高轉職成功率至關重要。 以下是一些規劃轉職數據分析師學習進度表的建議: 第一步:確認你的優勢和劣勢 在開始學習之前,我們首先要
Thumbnail
我在LinkedIn上看到一個我追蹤的Data Scientist (資料科學家) 提到關於AI的兩個專有名詞 她想跟大家解釋這兩個大家容易搞混的專有名詞概念有甚麼不同 我來拆解她用到的英文架構&句型 歡迎你模仿起來~
Thumbnail
在工作執行中,部門一定會遇到同仁請假或是人員異動,代理人機制設計可以降低同仁請假或是離職所產生的風險,也就是營運上作業風險。本文將會說明如何進行「代理人機制設計」。
Thumbnail
說到儲備幹部計畫,你會想到哪種職業?若以工程師來說,想到儲備工程師除了要完整了解工作內容以外,更是需要具備相關特質才行。那你一定會想問:儲備工程師和儲備幹部是一樣的嗎?而工程師這麼多種類,想當儲備人才所需特質都一樣嗎?如果你也有這類的疑問,那就透過本篇一起來完整了解吧! 
Thumbnail
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
徵的就是你 🫵 超ㄅㄧㄤˋ 獎品搭配超瞎趴的四大主題,等你踹共啦!還有機會獲得經典的「偉士牌樂高」喔!馬上來參加本次的活動吧!
Thumbnail
隨著理財資訊的普及,越來越多台灣人不再將資產侷限於台股,而是將視野拓展到國際市場。特別是美國市場,其豐富的理財選擇,讓不少人開始思考將資金配置於海外市場的可能性。 然而,要參與美國市場並不只是盲目跟隨標的這麼簡單,而是需要策略和方式,尤其對新手而言,除了選股以外還會遇到語言、開戶流程、Ap
Thumbnail
本篇週報記錄了數據分析師最近一週的重要工作內容,包括種族與性別分析、Amazon市場分析、購買人群統計資訊及 SEO 品牌字分組等等。透過以上議題的分析與執行過程,不僅能瞭解工作內容,也能學到數據分析的實戰議題,有助於減少行銷和數據分析方面的學習彎路。
Thumbnail
本文談及資料科學的領域與分工。首先是建造一個AI的研發流程,資料收集到 AI 模型訓練的過程,AI經歷這一切流程被創造出來並產生價值;再來本文也提及在這個領域中的各種腳色、資料工程師、數據庫工程師、資料科學家和資料分析師的各種介紹。並且強調跨領域合作的重要性。
Thumbnail
AI 的快速發展,顛覆了各個產業的發展,ChatGPT 的出現,加快了作家寫作的速度,加快了工程師寫程式的速度,世界正在快速的改變。許多人開始探究自己的工作會不會被 AI 取代,身為資料領域的工作者,我也開始在思考,當 AI 的能力不斷進化且遠遠超過人類時,在我的工作中有哪些任務交給 AI 會更
Thumbnail
專案經理與工程師在工作上面對的挑戰和需求截然不同。專案經理需具備溝通、督促、認知及行政等四種核心能力,以便成功轉型。文章中舉例以生動的故事來說明這四種能力的重要性,並強調從工程師升遷為專案經理並非易事,需要不斷學習與努力。
轉職數據分析師是一項需要長期努力的過程。對於文組生來說,由於缺乏數學、統計、程式設計等方面的基礎,在轉職過程中往往會面臨更多的挑戰。因此,制定一個合理的學習計劃,對於提高轉職成功率至關重要。 以下是一些規劃轉職數據分析師學習進度表的建議: 第一步:確認你的優勢和劣勢 在開始學習之前,我們首先要
Thumbnail
我在LinkedIn上看到一個我追蹤的Data Scientist (資料科學家) 提到關於AI的兩個專有名詞 她想跟大家解釋這兩個大家容易搞混的專有名詞概念有甚麼不同 我來拆解她用到的英文架構&句型 歡迎你模仿起來~
Thumbnail
在工作執行中,部門一定會遇到同仁請假或是人員異動,代理人機制設計可以降低同仁請假或是離職所產生的風險,也就是營運上作業風險。本文將會說明如何進行「代理人機制設計」。
Thumbnail
說到儲備幹部計畫,你會想到哪種職業?若以工程師來說,想到儲備工程師除了要完整了解工作內容以外,更是需要具備相關特質才行。那你一定會想問:儲備工程師和儲備幹部是一樣的嗎?而工程師這麼多種類,想當儲備人才所需特質都一樣嗎?如果你也有這類的疑問,那就透過本篇一起來完整了解吧! 
Thumbnail
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。