資料科學家的工作日常3 - 建立資料團隊的文化與程式規範

閱讀時間約 9 分鐘

系列文章


這是〈資料科學家的工作日常〉系列的第三篇文章。第一篇文章是比較總覽型的文章;第二篇討論數據團隊可能的組織編制,以及每一種編制下的優缺點。這篇文章會著墨在更技術面與實務面的內容,像是不好的coding style可能會造成什麼樣的風險,甚至進一步對公司造成什麼樣的傷害。

完整的背景知識

對於資料科學家和數據分析師來說,雖然他們也寫程式,但他們寫程式的習慣和一般認知的工程師不太相同,甚至有些人對於寫code的背景知識明顯不足。或許你會說,「因為現在很多做數據分析的都不是本科系,理論知識當然不會那麼紮實」,我認同這是個可能的原因,但我也認為這不能當成藉口,一個專業工作者本來就應該補足自身的不足。我知道軟體工程師中也有類似的問題存在,但我畢竟對於資料科學界比較熟悉,因此只在我熟悉的領域內作評論。
舉個我親眼見證的例子。我們數據團隊有一台Server,可以用來運算較大量的資料。在Server上通常可以開多個帳號,每個人在自己的帳號底下作業,偶爾也會為了某些業務新增獨立的帳號,所有的程式碼與運算結果就放在這個帳號底下。另外,數據團隊也經常需要排程執行某些運算,像是每個月初會預測即將流失的顧客,並與行銷部門合作,針對這些顧客進行挽回的行銷活動。
我曾經在Server上發現一個很少人使用的帳號,根據團隊的說明文件,這個帳號會在每天執行某些檢查,並判斷是否需要進行運算及資料更新。當我登入這個帳號的時候,發現它的自動排程不是使用Linux的crontab執行,而是寫一個for迴圈,每天在固定時間點檢查是否需要進行運算,不需要的話就等24小時候再檢查。當我發現這支驚為天人的code時,它已經不眠不休的跑了兩年,程式的撰寫者早已離職,而且這支程式占用了一顆CPU 99.8%的效能,極度荒謬。
另一個例子,是我發現竟然有人會在code裡面使用中文作為變數名稱,這在技術面上可能可行,但有一定的風險,因為中文字會牽涉到編碼問題,當同樣一份檔案換到另一台電腦執行時,可能會因為電腦系統的設定不同,或是編輯器(IDE)的設定不同,導致無法正常運作。如果要寫中文,強烈建議還是寫在註解裡面就好。

模組化 / Function化

先說一下什麼是function。function是程式設計中常見的技巧,把一些會重複使用到的程式碼寫成特定格式,這些程式碼可能有數十或數百行,當需要使用到這些程式碼的時候,只需要花短短的幾行呼叫這個function即可,這樣的效果與多次複製貼上那數百行程式碼的效果是完全相同,但後者在維護性上明顯不佳。
我發現做資料科學圈中,不論使用R語言或Python,很多人都不喜歡寫function,但是寫function的好處顯而易見,不論對提升工作效率、程式維護性、資料正確性來說都是,因此,這樣的現象讓我非常難以理解。而我的同事也曾經不能理解,為什麼我偏執的想把這麼多東西寫成function。事實上,我更偏執的認為,codebase,也就是function的集合體,是數據團隊的資產,是可以重複使用、快速使用的工具組,這樣的資產某種程度上反應了這個團隊的戰力。每個團隊成員手上都會有不同的專案,每個專案都會有不同的目標,雖然專案可能會結束,但在專案中寫出來的function會被納到codebase中,讓團隊越來越強大。
如果你在一間接案型的公司,這樣的需求可能沒有那麼強烈,因為每一次客戶給的資料格式可能都不太一樣;相反,如果你是In-House的分析師,強烈建議你開始建立自己的分析架構,因為內部資料再怎麼用就是那些,不需要每次都重新造輪子。

高效率

對於某些經常執行的動作,或經常抓取的資料,只要寫成function,並且把可能會調整的部份寫成參數(argument),就可以保持一定的彈性,不需要每次都重頭來過。我看過許多人抓資料時,都從第一行的SQL開始寫,或是將舊有的code複製貼上,這不只降低效率,在維護性上也是一大硬傷。
舉例來說,如果你需要計算公司每一張的訂單明細,並帶出訂單中的商品資料,這裡面至少會需要join兩張資料表。把這些程式碼function化,並將日期區間設成參數,這就是一支容易理解,而且可以重複使用的function。

用參數加速開發流程

除了使用方便外,這在開發速度上也有絕對的好處。延續上面的例子,如果你需要用訂單明細及商品資料,計算過去一年每個商品分類在每個月的營收及毛利,並且還要跟前一年作比較,計算業績成長率。可想而知,這會是一支篇幅與計算量都滿大的程式,如果你用hard code的方式,也就是把全部的參數都寫死在程式中,這在開發及debug時都相當不方便。
更好的方法是把日期設為function的變數,在開發及debug時可以只用一個月或一周的資料量計算。在正常情況下,如果這支function能夠正確計算一個月的資料,理所當然也可以計算一年的資料。

減少錯誤

數據團隊的重大挑戰有兩個,一個是要保證每次提供出去的數據都是對的。巴菲特曾經形容衍生性金融商品是大規模毀滅性武器,數據團隊也有等值的破壞力,亦正亦邪。只要寫程式的人不小心手滑,多敲了一個零,執行出來的結果可能天差地遠。如果這個錯誤讓整支程式掛掉,那還算是不幸中的大幸,最怕的是看起來很正常,但事實上一團亂的結果。如果更不幸地,使用者也沒有看出其中的錯誤,進一步拿去做出重大但錯誤的商業決策時,數據部門很容易會被認為是競爭對手派來搞破壞的臥底。這樣的錯誤在一流的跨國公司中也可能出現,像是Facebook在2016年出的包,〈【廣告商哭了】Facebook 承認演算法錯誤,影片效果被嚴重高估〉
第二個是要讓使用者聽懂你的分析流程,即使他們不懂統計、不會寫code、不熟悉演算法,但數據部門的使命之一就是將複雜的計算邏輯簡單說。當使用者認同你的分析流程後,才會放心使用你產出的結果,因為沒有人會完全信任你的報告,尤其錯誤的決策可能會影響他們的個人績效時。但究其根本,我認為第一個原因才是重中之重。
提供正確的數字,這聽起來很簡單,但卻是許多數據團隊真實面臨的挑戰。因為沒有制式的、嚴謹的驗證機制,導致產出錯誤的資料,而錯誤的資料會傷害使用者對於數據團隊的信賴感,最後可能的情況是使用者對於與數據團隊合作感到興趣缺缺,數據驅動(Data-Driven)的文化也就沒辦法在公司內部推行,大家還是使用舊有的方法和習慣在做事。
為了避免資料錯誤,我認為解決方法有兩個,一個是從程式碼著手,將常用功能function化,並內建檢查機制;第二個是從團隊文化著手,建立code review。這兩者可以同時並行,但應該以前者為優先,因為在程式撰寫階段就先排除大部份錯誤,可以有效降低後續code review的時間和人力成本。

從程式碼著手

舉個例子,在沒有function化之前,一樣都是計算業績,但同事A和同事B算出來的業績可能就是不一樣。喔,可能因為同事A排除了退貨,也就是業績為負值的部份,但在商業邏輯及公司慣例上,退貨到底該不該排?然後大家就開始熱烈討論,甚至詢問相關部門。然而,這樣的情況經常會發生,大家可能在一個月後就會忘記今天的討論結果,同樣的錯誤、同樣的戲碼會再度上演。更別說團隊可能有新人加入,新人可能會因為對公司業務的不熟悉,一樣計算出錯誤的數據結果。
既然知道會有這樣的情況發生,為什麼不要把定義和篩選條件寫成function,並在function內留下註解就好了?甚至可以把幾月幾號,問了哪個部門的誰都寫進去,因為商業環境快速變動,今天的定義可能在幾個月後就會修正。對於修正定義的部門來說,沒有人知道你Data Team會用到這些資料,所以當定義變動的時候,理所當然沒有人會去通知你。
直接把說明內容寫在註解中有另一個好處,團隊成員不需要再花很多時間寫說明文件。大家都知道說明文件很重要,但大家也都會說自己沒空寫文件,或是文件太多找不到,乾脆重新用問的。當然有些時候還是必須有獨立的說明文件,但在大多數情況中,把說明文件與function結合,不論在撰寫上或取用上都有一定的正面影響。
另一個程式設計面的大重點,是將驗證機制寫在程式中,像是確認資料筆數有沒有因為錯誤的join方式而爆增,或是可以用另一個資料源驗證產出結果的正確性等。至於程式錯誤時的處理方式,可以直接停止執行,如果是在Server上的自動化排程,則可以寄mail給團隊成員,告知哪一支程式出現錯誤。

為什麼會看到廣告
留言0
查看全部
發表第一個留言支持創作者!
由於資料科學家與數據分析部門出現的時間還不長,大家的認知仍有差異,或因為每間公司核心價價、管理哲學不同,導致數據團隊可能會以各種型式存在,常見的型式有三種:獨立部門、隸屬IT(Information Technology,資訊部門)或RD(Research & Development,軟體開發)
雖然數據分析師是新職位,但數據分析或是資料分析的概念一點都不新。公司裡面行之有年的職位,不管是行銷、業務、採購、倉管,每個職位都需要數據,也都需要分析。隨著大數據、資料科學、機器學習、AI等酷炫的新名詞、新技術與新應用出現,所需的知識與技能多到員工爆肝也學不完。
我之所以大膽的把股價預測稱之為「最強」,因為這本身就是一個可以變現的專案,並且可以同時累積數據分析及投資操作經驗,在投資與程式設計同時躍升為顯學的時代,把這兩條學習路徑融合在一起,似乎自然而然,也合情合理。當然,這條路的學習成本非常高,但翻山越嶺之後的美景也同樣讓人心神嚮往。
網路上可以找到許多關於寫作的書或課程,說明為什麼寫作可以培養表達能力與邏輯思考能力,以及培養寫作能力的具體方法。然而,許多人更關心的是,如果我們想以寫作當成事業,是不是可行,需要具備哪些知識,有沒有技術門檻,可能需要多少成本,以及有哪些潛在的收入來源。
Fugle富果是一間FinTech新創公司,透過大數據搜尋和機器學習推薦技術,協助投資人可以更快速精確的做出決策,並且與玉山證券合作,推出玉山證券富果帳戶。
在職場上,每個人或多或少都有機會擔任會議召集人的角色,可能你上司是專案負責人,他將邀請的會議事務指派給你,或是你本身就是會議召集人。對於工作經驗不多的菜鳥而言,當必須聯繫、召集一群職位比自己高,或是比自己資深的前輩參與會議,或多或少會有點壓力,光是寄封Email可能就要猶豫再三。這篇文章就是要針對這
由於資料科學家與數據分析部門出現的時間還不長,大家的認知仍有差異,或因為每間公司核心價價、管理哲學不同,導致數據團隊可能會以各種型式存在,常見的型式有三種:獨立部門、隸屬IT(Information Technology,資訊部門)或RD(Research & Development,軟體開發)
雖然數據分析師是新職位,但數據分析或是資料分析的概念一點都不新。公司裡面行之有年的職位,不管是行銷、業務、採購、倉管,每個職位都需要數據,也都需要分析。隨著大數據、資料科學、機器學習、AI等酷炫的新名詞、新技術與新應用出現,所需的知識與技能多到員工爆肝也學不完。
我之所以大膽的把股價預測稱之為「最強」,因為這本身就是一個可以變現的專案,並且可以同時累積數據分析及投資操作經驗,在投資與程式設計同時躍升為顯學的時代,把這兩條學習路徑融合在一起,似乎自然而然,也合情合理。當然,這條路的學習成本非常高,但翻山越嶺之後的美景也同樣讓人心神嚮往。
網路上可以找到許多關於寫作的書或課程,說明為什麼寫作可以培養表達能力與邏輯思考能力,以及培養寫作能力的具體方法。然而,許多人更關心的是,如果我們想以寫作當成事業,是不是可行,需要具備哪些知識,有沒有技術門檻,可能需要多少成本,以及有哪些潛在的收入來源。
Fugle富果是一間FinTech新創公司,透過大數據搜尋和機器學習推薦技術,協助投資人可以更快速精確的做出決策,並且與玉山證券合作,推出玉山證券富果帳戶。
在職場上,每個人或多或少都有機會擔任會議召集人的角色,可能你上司是專案負責人,他將邀請的會議事務指派給你,或是你本身就是會議召集人。對於工作經驗不多的菜鳥而言,當必須聯繫、召集一群職位比自己高,或是比自己資深的前輩參與會議,或多或少會有點壓力,光是寄封Email可能就要猶豫再三。這篇文章就是要針對這
你可能也想看
Google News 追蹤
Thumbnail
本專欄將提供給您最新的市場資訊、產業研究、交易心法、精選公司介紹,以上內容並非個股分析,還請各位依據自身狀況作出交易決策。歡迎訂閱支持我,獲得相關內容,也祝您的投資之路順遂! 每年 $990 訂閱方案👉 https://reurl.cc/VNYVxZ 每月 $99 訂閱方案👉https://re
吳軍的矽谷來信專欄中分享了優秀電腦工程師需要達到的幾個階段性目標,十分有趣,於此記錄一下,並自我反思。 目標一:對電腦科學的本質有了解 目標二:對電腦科學每年的變化要掌握 目標三:對於電腦科學的工具要用得隨心所欲 目標四:對產品設計要有常識 目標五:對未知的問題要知道如何解決 目標六
Thumbnail
《持續買進:資料科學家的投資終極解答,存錢及致富的實證方法》 Just Keep Buying: Proven Ways to Save Money And Build Your Wealth
Thumbnail
持續買進 ★聽說「逢低買進」是投資穩賺策略?錯!最強資料科學家告訴你:千萬別為了抄底,浪費時間在市場外觀望,「持續買進」才是致富不敗法則!   「等待抄底好時機」、「不要把雞蛋放在同一個籃子裡」、「低買高賣」……投資世界充滿了豐富的詞彙、睿智的專家,提出各種穩賺策略。你是不是深感認同,全盤接受?
Thumbnail
在2023年的《加州管理評論》(California Management Review)上,德國班貝格大學(University of Bamberg)的資深研究員康斯坦丁·霍普夫博士等人發表了一篇題為〈人工智慧的組織導入:工藝與機械工作〉(Organizational Implementatio
Thumbnail
廢話不說,這本書買就對了 理財投資的書籍說多不多,但最少也有100本 跟其他網紅達人比真的算少,但含金量高的 內容真的不多..這本價值絕對超過百萬。 前幾篇文章我還在抱怨,我很不喜歡看老外的 理財書刊,難懂翻譯又很詭異,這本書 是我少數看一次就上癮,看完直接打破 我多年的盲點,我不
Thumbnail
這篇文章記錄與強盜算法有關的職位。 職位#1:Amazon 資深運籌學科學家 職位#2: Tripadbisor 機器學習科學家 II Machine Learning Scientist II 職位#3:BOA 資料科學家 Data Scientist Desired skills:
Thumbnail
鑑於近期個人資料外洩事件頻傳,加強個人資料保護之需求日益殷 切。為維護個人資料之安全性與正確性,並建立對個人資料之管理、稽 核、保存及改善機制,爰依上開規定之授權,擬具「化粧品批發零售業 個人資料檔案安全維護計畫實施辦法」 個資法的延伸 誰應該要遵守這辦法? 誰是負責的主管機關? 計劃書的撰寫
Thumbnail
2012 年,Data Scientist (資料科學家) 被《哈佛商業評論》譽為「二十一世紀最性感的職業」後,「 Data Science (資料科學) 」逐漸成為一個時髦術語(Buzzword)。 一、關於資料科學 二、資料科學重要職能
Thumbnail
資料科學的浪潮更將資料科學工作者推到第一線,許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人,該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢?由於資料科學需求時常是個很龐大的任務,實際上會需要一個團隊來實現。本篇文章就從資料團隊出發,解析其中的任務內容、工作
Thumbnail
我希望透過在好學校開設「Python 的 50+ 練習:資料科學學習手冊」,讓學生一步步完成這門課程所有的觀念講解、範例實作以及練習之後,扎實地將 Python 程式設計與資料科學應用納入自己的技能組,成為一位擅長寫程式處理資料的分析師,大幅提升工作掌握度與職涯發展性!
Thumbnail
本專欄將提供給您最新的市場資訊、產業研究、交易心法、精選公司介紹,以上內容並非個股分析,還請各位依據自身狀況作出交易決策。歡迎訂閱支持我,獲得相關內容,也祝您的投資之路順遂! 每年 $990 訂閱方案👉 https://reurl.cc/VNYVxZ 每月 $99 訂閱方案👉https://re
吳軍的矽谷來信專欄中分享了優秀電腦工程師需要達到的幾個階段性目標,十分有趣,於此記錄一下,並自我反思。 目標一:對電腦科學的本質有了解 目標二:對電腦科學每年的變化要掌握 目標三:對於電腦科學的工具要用得隨心所欲 目標四:對產品設計要有常識 目標五:對未知的問題要知道如何解決 目標六
Thumbnail
《持續買進:資料科學家的投資終極解答,存錢及致富的實證方法》 Just Keep Buying: Proven Ways to Save Money And Build Your Wealth
Thumbnail
持續買進 ★聽說「逢低買進」是投資穩賺策略?錯!最強資料科學家告訴你:千萬別為了抄底,浪費時間在市場外觀望,「持續買進」才是致富不敗法則!   「等待抄底好時機」、「不要把雞蛋放在同一個籃子裡」、「低買高賣」……投資世界充滿了豐富的詞彙、睿智的專家,提出各種穩賺策略。你是不是深感認同,全盤接受?
Thumbnail
在2023年的《加州管理評論》(California Management Review)上,德國班貝格大學(University of Bamberg)的資深研究員康斯坦丁·霍普夫博士等人發表了一篇題為〈人工智慧的組織導入:工藝與機械工作〉(Organizational Implementatio
Thumbnail
廢話不說,這本書買就對了 理財投資的書籍說多不多,但最少也有100本 跟其他網紅達人比真的算少,但含金量高的 內容真的不多..這本價值絕對超過百萬。 前幾篇文章我還在抱怨,我很不喜歡看老外的 理財書刊,難懂翻譯又很詭異,這本書 是我少數看一次就上癮,看完直接打破 我多年的盲點,我不
Thumbnail
這篇文章記錄與強盜算法有關的職位。 職位#1:Amazon 資深運籌學科學家 職位#2: Tripadbisor 機器學習科學家 II Machine Learning Scientist II 職位#3:BOA 資料科學家 Data Scientist Desired skills:
Thumbnail
鑑於近期個人資料外洩事件頻傳,加強個人資料保護之需求日益殷 切。為維護個人資料之安全性與正確性,並建立對個人資料之管理、稽 核、保存及改善機制,爰依上開規定之授權,擬具「化粧品批發零售業 個人資料檔案安全維護計畫實施辦法」 個資法的延伸 誰應該要遵守這辦法? 誰是負責的主管機關? 計劃書的撰寫
Thumbnail
2012 年,Data Scientist (資料科學家) 被《哈佛商業評論》譽為「二十一世紀最性感的職業」後,「 Data Science (資料科學) 」逐漸成為一個時髦術語(Buzzword)。 一、關於資料科學 二、資料科學重要職能
Thumbnail
資料科學的浪潮更將資料科學工作者推到第一線,許多產業都能看到「資料」的影子與可能性。但是對資料科學職涯有興趣的人,該怎麼知道「哪裡有適合自己的位置」並「據以規劃自己的資料科學職涯」呢?由於資料科學需求時常是個很龐大的任務,實際上會需要一個團隊來實現。本篇文章就從資料團隊出發,解析其中的任務內容、工作
Thumbnail
我希望透過在好學校開設「Python 的 50+ 練習:資料科學學習手冊」,讓學生一步步完成這門課程所有的觀念講解、範例實作以及練習之後,扎實地將 Python 程式設計與資料科學應用納入自己的技能組,成為一位擅長寫程式處理資料的分析師,大幅提升工作掌握度與職涯發展性!