如何打造高效率的資料團隊?資料技能的分工與

閱讀時間約 5 分鐘
在剛入行的時候曾經寫過一篇文章 「資料專案團隊組成」,當時把資料團隊根據技能分成資料科學家、資料分析師和資料工程師三種角色。不過在工作幾年之後,發現實務上的資料分工其實更細而且更複雜,也隱含了更多的可能性。這一篇文章將談談實務上的資料團隊分工。

不同的技能與分工

首先我們先依照技能與工作簡單分成三種類型:
  1. 擅長 #分析應用 的: 資料分析師(Data Analyst)
  2. 擅長 #程式實作 的: 資料工程師(Data Engineer)
  3. 擅長 #模型理論 的: 資料科學家(Data Scienist)
換句話說,他們分別是「看資料」,「調資料」以及「玩資料」。不過實際上的分工與職能其實會更加複雜一點,有幾種常見的狀況:
  • 資料科學家與資料工程師中間的 GAP
  • 模型「部署/上線」的工作誰來做?
  • 「資料分析師」與「商業分析師」

資料科學家與資料工程師中間的 GAP

在擅長模型資料科學家與擅長程式資料工程師之間,會有一小段的重疊的範圍。通常的合作方式會由資料科學家訓練出一個好的模型,再由資料工程師呼叫使用。不過偶爾會有部署所導致的效能或是或是需要再調整的工作。當模型遇到問題的時候,會有兩端都難以解決的狀況出現。
因此,我們會把兼顧模型理論和程式實作的人抽出來定位成「ML 機器學習工程師」,他們通常熟悉用程式操作模型的部分。

模型「部署/上線」的工作誰來做?

另一個常見的情境是,最終將模型交由工程師部署上線之後。可能會遇到重要的錯誤出現或需要週期性的更新時,往往都會需要整個流程重新跑一次。在傳統的開發模式當中,會有維運的工程師負責從開發到上線自動化的融合成一系列的工作線。這樣的想法轉移到資料科學的情境當中,被稱為是 MLOPs 機器學習維運工程師,主要概念是將模型的訓練與部署更加緊緊的自動化。

「資料分析師」與「商業分析師」

「資料分析師」也是資料產業中一個重要的職能之一,而且這個位置在資料科學熱潮之前就存在已久。資料分析師從資料技能的角度來看,會有一部分內容跟資料科學家重疊。我覺得從使用場景來看,可以明顯看出差異。資料分析師比較強調的是「如何找到適合資料可以解決的問題」,對資料理解與定義問題的敏銳度。就我所知,資料分析師在資料探索及資料視覺化的要求會高一點。而資料科學家則更重視模型與理論,需要比較完整的資料知識體系,例如統計,最佳化及資料模型這方便的了解。
以往我們可能會用「程式力」或「數學力」將資料分析師的下一步切分成「資料工程師」或「資料科學家」,不過其實還有一種選擇 - 「商業分析師」。商業分析師更強調的是如何用資料來解決的商業的問題,找到一個適合資料方法切入的應用場景。對於商業分析師來說,對資料與商業都須需要有一定的敏感度。資料科學很多時候是以理論的角度切入最佳化,可能與商業應用目的不完全相同,「商業分析師」能夠在其中扮演轉譯的角色。

不同背景的養成路徑

只要有心,人人都可以成為資料科學家。資料科學是一個跨領域的技能,需要同時有跨域的能力與開放的思維。這邊列出了一些常見的背景,與適合的養成路徑:
如果你本來就是軟體工程師的話,可以從程式需求大的資料工程師開始。統計/數學背景的話,適合研究資料科學模型。另外大部分的話,就會建議從資料分析師的起點逐步規劃。

資料團隊與分工

最後我們將以上講的各種位置,用資料科學的工作流程對應:
實際上資料專案需要的是一支團隊,一般會將資料科學的技能拆成多個不同的職缺。經過完善的各司其職可以完成強大的工作,達到明確的守備範圍。不過理想很豐滿、現實很骨感,在許多小團隊當中都會先配備一個角色打全場:

資料專案需要的是一支團隊

要完成一個好的資料專案,靠的不能只是一個厲害的強者,需要的是一支合作無間的資料團隊。跨領域的整合也是一個重要的應用關鍵。無論資料的多寡,資料專案都是建基在資訊、統計、視覺化等不同的領域專業上面。不過現實層面上來說,很難有人可以同時具備那麼多能力,因此在資料專案中更需要團隊合作。
根據公司的業務需求與應用層級,打造一個最適合的資料團隊才是王道。

嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤我的 Facebook 粉專Instagram 帳號,也會不定時的舉辦分享活動,一起來玩玩吧 ヽ(●´∀`●)ノ


7會員
3Content count
留言0
查看全部
發表第一個留言支持創作者!
你可能也想看
Thumbnail
1.加權指數與櫃買指數 週五的加權指數在非農就業數據開出來後,雖稍微低於預期,但指數仍向上噴出,在美股開盤後於21500形成一個爆量假突破後急轉直下,就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後,週二或週三開始有無買單進場支撐,在沒有明確的反轉訊號形成前,小夥伴盡量不要貿然抄底,或是追空
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
OGSM的核心就是目標設定與團隊溝通,並把SMART原則貫徹至極,張敏敏老師也十分強調上下溝通和部門間的溝通,這會是一間公司執行力好壞的關鍵鑰匙,這也是管理學至始至終的意義,強化執行力,建構系統化結構,並看清楚盲點,管理學是們應用的學問,你一定要拿來用、拿來做為決策的背後思考,並超脫於個人的主觀意識
Thumbnail
「打造內容社群的佛系經營術」#15:你要如何打造行動呼籲? 大家好,歡迎收看「打造內容社群的佛系經營術」系列專欄。在上篇文章之中,我跟讀者朋友們介紹了你為什麼要確保社群的品質?接下來讓我們來聊聊社群經營中另一個重要的課題,也就是你應該如何打造行動呼籲? 如果你一路看著「打造內容社群的佛系經營術」系列
Thumbnail
這是一本容易讀、提供範例的小書,正常應該2個番茄鐘可以看完。算是一本如果想要提升效能可以試試看的方法。 書中提到的幾個概念其實是頗符合行為改變技術的。包含把工作切成小份,一個工作不超過7個番茄鐘。以及番茄鐘間隔需要安排休息,儘量放鬆的時間管理策略。 大抵而言,減少干擾並且重複實施、檢討,不論在什麼管
Thumbnail
聽100篇似乎這一早重要與你若近若遠! 【早上精力最好,心最散】 早上稱為大腦的黃金時間,剛起來的你感到放鬆,放鬆讓你想休閒,慢動作做事,可這時段是大腦回復後最好的狀態,這時候的你,在創作,思考方面都為最佳,你千萬不要白白浪費這時段,它能讓你最省時,最高效完成重要的事,若你使用巧當,一天必要做
Thumbnail
【《高績效團隊的建立》講座心得:建立共識突破現狀,打造高績效團隊臉書文章】 一個人走得快,一群人走得遠🏃‍♀️🏃‍♂️ 擁有高績效團隊,不管環境如何變化,皆能應付自如💪💪💪 本文一樣徵求過講師的同意哦😊 下篇文章預告:將於3/11(三)早上7:30發佈
Thumbnail
我在工作的時候有兩項利器,第一個是番茄工作法,另一個是莫法特休息法。番茄工作法的精神是,利用遵守工作25分鐘休息5分鐘的方式去除內在和外在干擾,最大化自己的專注力;
Thumbnail
1.加權指數與櫃買指數 週五的加權指數在非農就業數據開出來後,雖稍微低於預期,但指數仍向上噴出,在美股開盤後於21500形成一個爆量假突破後急轉直下,就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後,週二或週三開始有無買單進場支撐,在沒有明確的反轉訊號形成前,小夥伴盡量不要貿然抄底,或是追空
Thumbnail
重點摘要: 1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息 2.SEP 上修失業率預期,但快速的降息速率將有助失業率觸頂 3.未來幾個月經濟數據將繼續轉弱,經濟復甦的時點或是 1Q25 季底附近
Thumbnail
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎? 新版式整體視覺上「更加凸顯圖片」,為了搭配這次的更新,我們推出首次貼文策展 ❤️ 使用貼文功能並完成這次的指定任務,還有機會獲得富士即可拍,讓你的美好回憶都可以用即可拍珍藏!
Thumbnail
OGSM的核心就是目標設定與團隊溝通,並把SMART原則貫徹至極,張敏敏老師也十分強調上下溝通和部門間的溝通,這會是一間公司執行力好壞的關鍵鑰匙,這也是管理學至始至終的意義,強化執行力,建構系統化結構,並看清楚盲點,管理學是們應用的學問,你一定要拿來用、拿來做為決策的背後思考,並超脫於個人的主觀意識
Thumbnail
「打造內容社群的佛系經營術」#15:你要如何打造行動呼籲? 大家好,歡迎收看「打造內容社群的佛系經營術」系列專欄。在上篇文章之中,我跟讀者朋友們介紹了你為什麼要確保社群的品質?接下來讓我們來聊聊社群經營中另一個重要的課題,也就是你應該如何打造行動呼籲? 如果你一路看著「打造內容社群的佛系經營術」系列
Thumbnail
這是一本容易讀、提供範例的小書,正常應該2個番茄鐘可以看完。算是一本如果想要提升效能可以試試看的方法。 書中提到的幾個概念其實是頗符合行為改變技術的。包含把工作切成小份,一個工作不超過7個番茄鐘。以及番茄鐘間隔需要安排休息,儘量放鬆的時間管理策略。 大抵而言,減少干擾並且重複實施、檢討,不論在什麼管
Thumbnail
聽100篇似乎這一早重要與你若近若遠! 【早上精力最好,心最散】 早上稱為大腦的黃金時間,剛起來的你感到放鬆,放鬆讓你想休閒,慢動作做事,可這時段是大腦回復後最好的狀態,這時候的你,在創作,思考方面都為最佳,你千萬不要白白浪費這時段,它能讓你最省時,最高效完成重要的事,若你使用巧當,一天必要做
Thumbnail
【《高績效團隊的建立》講座心得:建立共識突破現狀,打造高績效團隊臉書文章】 一個人走得快,一群人走得遠🏃‍♀️🏃‍♂️ 擁有高績效團隊,不管環境如何變化,皆能應付自如💪💪💪 本文一樣徵求過講師的同意哦😊 下篇文章預告:將於3/11(三)早上7:30發佈
Thumbnail
我在工作的時候有兩項利器,第一個是番茄工作法,另一個是莫法特休息法。番茄工作法的精神是,利用遵守工作25分鐘休息5分鐘的方式去除內在和外在干擾,最大化自己的專注力;