如何打造高效率的資料團隊?資料技能的分工與

更新於 發佈於 閱讀時間約 6 分鐘

> 本文原始發佈於:真.資料團隊與分工 | 資料科學家的工作日常

在剛入行的時候曾經寫過一篇文章 「資料專案團隊組成」,當時把資料團隊根據技能分成資料科學家、資料分析師和資料工程師三種角色。不過在工作幾年之後,發現實務上的資料分工其實更細而且更複雜,也隱含了更多的可能性。這一篇文章將談談實務上的資料團隊分工。

不同的技能與分工

首先我們先依照技能與工作簡單分成三種類型:

https://news.efinancialcareers.com/uk-en/3001517/data-science-careers-finance

  1. 擅長 #分析應用 的: 資料分析師(Data Analyst)
  2. 擅長 #程式實作 的: 資料工程師(Data Engineer)
  3. 擅長 #模型理論 的: 資料科學家(Data Scienist)

換句話說,他們分別是「看資料」,「調資料」以及「玩資料」。不過實際上的分工與職能其實會更加複雜一點,有幾種常見的狀況:

  • 資料科學家與資料工程師中間的 GAP
  • 模型「部署/上線」的工作誰來做?
  • 「資料分析師」與「商業分析師」

資料科學家與資料工程師中間的 GAP

在擅長模型資料科學家與擅長程式資料工程師之間,會有一小段的重疊的範圍。通常的合作方式會由資料科學家訓練出一個好的模型,再由資料工程師呼叫使用。不過偶爾會有部署所導致的效能或是或是需要再調整的工作。當模型遇到問題的時候,會有兩端都難以解決的狀況出現。

https://www.oreilly.com/radar/data-engineers-vs-data-scientists/

因此,我們會把兼顧模型理論和程式實作的人抽出來定位成「ML 機器學習工程師」,他們通常熟悉用程式操作模型的部分。

模型「部署/上線」的工作誰來做?

另一個常見的情境是,最終將模型交由工程師部署上線之後。可能會遇到重要的錯誤出現或需要週期性的更新時,往往都會需要整個流程重新跑一次。在傳統的開發模式當中,會有維運的工程師負責從開發到上線自動化的融合成一系列的工作線。這樣的想法轉移到資料科學的情境當中,被稱為是 MLOPs 機器學習維運工程師,主要概念是將模型的訓練與部署更加緊緊的自動化。

https://medium.com/ki-labs-engineering/feature-engineering-automation-and-evaluation-part-1-a34fb42e0bd4

「資料分析師」與「商業分析師」

「資料分析師」也是資料產業中一個重要的職能之一,而且這個位置在資料科學熱潮之前就存在已久。資料分析師從資料技能的角度來看,會有一部分內容跟資料科學家重疊。我覺得從使用場景來看,可以明顯看出差異。資料分析師比較強調的是「如何找到適合資料可以解決的問題」,對資料理解與定義問題的敏銳度。就我所知,資料分析師在資料探索及資料視覺化的要求會高一點。而資料科學家則更重視模型與理論,需要比較完整的資料知識體系,例如統計,最佳化及資料模型這方便的了解。

以往我們可能會用「程式力」或「數學力」將資料分析師的下一步切分成「資料工程師」或「資料科學家」,不過其實還有一種選擇 - 「商業分析師」。商業分析師更強調的是如何用資料來解決的商業的問題,找到一個適合資料方法切入的應用場景。對於商業分析師來說,對資料與商業都須需要有一定的敏感度。資料科學很多時候是以理論的角度切入最佳化,可能與商業應用目的不完全相同,「商業分析師」能夠在其中扮演轉譯的角色。

不同背景的養成路徑

只要有心,人人都可以成為資料科學家。資料科學是一個跨領域的技能,需要同時有跨域的能力與開放的思維。這邊列出了一些常見的背景,與適合的養成路徑:

http://educlasses.co.in/data-scientist-vs-data-engineer-vs-data-analyst-comparison.html

如果你本來就是軟體工程師的話,可以從程式需求大的資料工程師開始。統計/數學背景的話,適合研究資料科學模型。另外大部分的話,就會建議從資料分析師的起點逐步規劃。

資料團隊與分工

最後我們將以上講的各種位置,用資料科學的工作流程對應:

實際上資料專案需要的是一支團隊,一般會將資料科學的技能拆成多個不同的職缺。經過完善的各司其職可以完成強大的工作,達到明確的守備範圍。不過理想很豐滿、現實很骨感,在許多小團隊當中都會先配備一個角色打全場:

資料專案需要的是一支團隊

要完成一個好的資料專案,靠的不能只是一個厲害的強者,需要的是一支合作無間的資料團隊。跨領域的整合也是一個重要的應用關鍵。無論資料的多寡,資料專案都是建基在資訊、統計、視覺化等不同的領域專業上面。不過現實層面上來說,很難有人可以同時具備那麼多能力,因此在資料專案中更需要團隊合作。

根據公司的業務需求與應用層級,打造一個最適合的資料團隊才是王道。


嗨,你好,我是維元,持續在不同的平台發表對 #資料科學、 #網頁開發 或 #軟體職涯 相關的文章。如果對於內文有疑問都歡迎與我們進一步的交流,都可以追蹤我的 Facebook 粉專Instagram 帳號,也會不定時的舉辦分享活動,一起來玩玩吧 ヽ(●´∀`●)ノ




留言
avatar-img
留言分享你的想法!
avatar-img
張維元的沙龍
8會員
3內容數
你可能也想看
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
大家好,我是一名眼科醫師,也是一位孩子的媽 身為眼科醫師的我,我知道視力發展對孩子來說有多關鍵。 每到開學季時,診間便充斥著許多憂心忡忡的家屬。近年來看診中,兒童提早近視、眼睛疲勞的案例明顯增加,除了3C使用過度,最常被忽略的,就是照明品質。 然而作為一位媽媽,孩子能在安全、舒適的環境
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
我的「媽」呀! 母親節即將到來,vocus 邀請你寫下屬於你的「媽」故事——不管是紀錄爆笑的日常,或是一直想對她表達的感謝,又或者,是你這輩子最想聽她說出的一句話。 也歡迎你曬出合照,分享照片背後的點點滴滴 ♥️ 透過創作,將這份情感表達出來吧!🥹
Thumbnail
這幾年資料科學很夯,搭上AI的浪潮之後更火。我自己念書期間加減碰了許多統計軟體,畢業之後就跟著這股浪潮投身資料科學的轉職。轉職不是沒有成本...嚴格說起來,成本還不小。轉換跑道至今,也有一陣子了,想分享自己的轉職之路。
Thumbnail
這幾年資料科學很夯,搭上AI的浪潮之後更火。我自己念書期間加減碰了許多統計軟體,畢業之後就跟著這股浪潮投身資料科學的轉職。轉職不是沒有成本...嚴格說起來,成本還不小。轉換跑道至今,也有一陣子了,想分享自己的轉職之路。
Thumbnail
資料科學家的不足,正成為嚴重侷限某些部門發展的因素,即便在十年後的今天仍是如此。如果說雇用資料科學家才能利用大數據,那麼經理人所面對的挑戰就是如何找到這些人才、吸引他們進入企業,並使他們發揮生產力。
Thumbnail
資料科學家的不足,正成為嚴重侷限某些部門發展的因素,即便在十年後的今天仍是如此。如果說雇用資料科學家才能利用大數據,那麼經理人所面對的挑戰就是如何找到這些人才、吸引他們進入企業,並使他們發揮生產力。
Thumbnail
2012 年,Data Scientist (資料科學家) 被《哈佛商業評論》譽為「二十一世紀最性感的職業」後,「 Data Science (資料科學) 」逐漸成為一個時髦術語(Buzzword)。 一、關於資料科學 二、資料科學重要職能
Thumbnail
2012 年,Data Scientist (資料科學家) 被《哈佛商業評論》譽為「二十一世紀最性感的職業」後,「 Data Science (資料科學) 」逐漸成為一個時髦術語(Buzzword)。 一、關於資料科學 二、資料科學重要職能
Thumbnail
對於資料科學家和數據分析師來說,雖然他們也寫程式,但他們寫程式的習慣和一般認知的工程師不太相同,甚至有些人對於寫code的背景知識明顯不足。或許你會說,「因為現在很多做數據分析的都不是本科系,理論知識當然不會那麼紮實」,我認同這是個可能的原因,但我也認為這不能當成藉口,一個專業工作者本來就應該補足自
Thumbnail
對於資料科學家和數據分析師來說,雖然他們也寫程式,但他們寫程式的習慣和一般認知的工程師不太相同,甚至有些人對於寫code的背景知識明顯不足。或許你會說,「因為現在很多做數據分析的都不是本科系,理論知識當然不會那麼紮實」,我認同這是個可能的原因,但我也認為這不能當成藉口,一個專業工作者本來就應該補足自
Thumbnail
由於資料科學家與數據分析部門出現的時間還不長,大家的認知仍有差異,或因為每間公司核心價價、管理哲學不同,導致數據團隊可能會以各種型式存在,常見的型式有三種:獨立部門、隸屬IT(Information Technology,資訊部門)或RD(Research & Development,軟體開發)
Thumbnail
由於資料科學家與數據分析部門出現的時間還不長,大家的認知仍有差異,或因為每間公司核心價價、管理哲學不同,導致數據團隊可能會以各種型式存在,常見的型式有三種:獨立部門、隸屬IT(Information Technology,資訊部門)或RD(Research & Development,軟體開發)
Thumbnail
資料科學的浪潮更將資料科學工作者推到第一線,許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人,該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢?由於資料科學需求時常是個很龐大的任務,實際上會需要一個團隊來實現。本篇文章就從資料團隊出發,解析其中的任務內容、工作
Thumbnail
資料科學的浪潮更將資料科學工作者推到第一線,許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人,該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢?由於資料科學需求時常是個很龐大的任務,實際上會需要一個團隊來實現。本篇文章就從資料團隊出發,解析其中的任務內容、工作
Thumbnail
從踏入職場以來,我的工作就跟大量的數據一直沾上邊,從台灣銀行業的數據,亞馬遜工廠的數據,到Flixbus的行銷數據,從營運,行銷到銷售的數據分析,小到「一天我管的團隊包裝了幾個包裹」,大到「一年高達上億的行銷預算分析」都有碰過,我一直在思索,到底需要怎麼樣的技能才能把這個工作做好?
Thumbnail
從踏入職場以來,我的工作就跟大量的數據一直沾上邊,從台灣銀行業的數據,亞馬遜工廠的數據,到Flixbus的行銷數據,從營運,行銷到銷售的數據分析,小到「一天我管的團隊包裝了幾個包裹」,大到「一年高達上億的行銷預算分析」都有碰過,我一直在思索,到底需要怎麼樣的技能才能把這個工作做好?
Thumbnail
在剛入行的時候曾經寫過一篇文章 「資料專案團隊組成」,當時把資料團隊根據技能分成資料科學家、資料分析師和資料工程師三種角色。不過在工作幾年之後,發現實務上的資料分工其實更細而且更複雜,也隱含了更多的可能性。這一篇文章將談談實務上的資料團隊分工。
Thumbnail
在剛入行的時候曾經寫過一篇文章 「資料專案團隊組成」,當時把資料團隊根據技能分成資料科學家、資料分析師和資料工程師三種角色。不過在工作幾年之後,發現實務上的資料分工其實更細而且更複雜,也隱含了更多的可能性。這一篇文章將談談實務上的資料團隊分工。
Thumbnail
此篇的來歷,是由於近期好友們逐漸知道我的近況而開始訊問並有了想轉換領域的想法,或許是因為年紀到30歲這階段,真的就會開始反思過往,然後遙想未來,雖然對本科的人來說這就是一個技能一份工作而已,但從轉換跑道的角度來看,不該只拿著“鐵鎚”去看待這樣的環境,而是隨時去挖掘機會,探索任何可能!這便是資料科學家
Thumbnail
此篇的來歷,是由於近期好友們逐漸知道我的近況而開始訊問並有了想轉換領域的想法,或許是因為年紀到30歲這階段,真的就會開始反思過往,然後遙想未來,雖然對本科的人來說這就是一個技能一份工作而已,但從轉換跑道的角度來看,不該只拿著“鐵鎚”去看待這樣的環境,而是隨時去挖掘機會,探索任何可能!這便是資料科學家
Thumbnail
我其實是成為資料工程師之後才開始學習成為一個資料工程師的。可能有些人會覺得困惑,學校裡面有很多像是機器學習、自然語言處理或是人工智慧等等課程,也有台灣人工智慧學校之類的培訓機構,現在連巨匠都開始教AI了,難道這樣不能夠讓人成為一個最性感的資料科學家嗎?
Thumbnail
我其實是成為資料工程師之後才開始學習成為一個資料工程師的。可能有些人會覺得困惑,學校裡面有很多像是機器學習、自然語言處理或是人工智慧等等課程,也有台灣人工智慧學校之類的培訓機構,現在連巨匠都開始教AI了,難道這樣不能夠讓人成為一個最性感的資料科學家嗎?
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News