數據分析的基礎工程:不只是資料品質而是問題意識

更新 發佈閱讀 3 分鐘


很多大公司小公司會想要導入數據分析作為內部決策的參考依據。不過,通常遇到的第一步,是發現公司內部空有資料,但殘缺不全。或是,基礎建設的效能不足等等問題。這時候,數據分析人員,往往除了執行數據分析的檢測或是資料探勘外,最常要做的就是自己動手清資料。也常常是因為這點,所以,許多公司的數據分析任務,一開始常常會跟資料工程(Data Engineer)混在一起。

以下是我自己經常遇到的場景:

Hello F , 長官最近對於產品良率的品質很有意見,但是技術部門實在太忙,每天光是在產線就飽了,根本沒空想解決良率的問題。你有沒有辦法做一點分析資料,提供一些洞見呢?
當然沒問題,不過,我想確定的是,我們的良率品質數據是完整的追蹤數據嗎?
欸~有是有,但好像不太齊全...。我去幫你問問哦。

通常這種狀況,會在經歷一個禮拜。然後,經歷了N個部門的詢問,終於,似乎得到了一個看起來比較像是可分析的數據使用。

其實這並不是少見的狀況。而且,這間公司的狀況已經好很多了,他們甚至是砸下了大筆資源的投資,建立了機聯網的數據蒐集機制。以至於,其實他們已經有基礎的數據源,而且在我看來,最關鍵的那一步已經建立起來。

問題就浮現了,為什麼許多公司宣稱自己有很多資料(或是數據)但真正在用的時候卻經常是不堪一擊。坦白說我覺得問題並不在於資料本身,而在於公司內部的人們是否嘗試從數據端來想問題。我的意思是說,我們的日常生活中想問題的解法會有多種方式,特別是技術人員有自身的經驗法則,但重點是,這些經驗法則要如何被第三方的資料所驗證呢?這事實上就是數據分析最常要做的事情:是在驗證某些第一線專家所無法回答的問題。

也因為如此,套一句社會科學訓練常說的話,不是你的資料本身發生的問題,是要做這件事情的「問題意識」並不清楚。當問題意識真的清楚了,這時候需要些什麼數據跟分析變量,就自然會被開展開來了。

這是為什麼許多大公司小公司,雖然平常好像有在蒐集資料,但真正要用的時候,就會遇到許多坑洞。用簡單的話來說,就是「未曾用過的資料,不能算是好的資料」;「好的資料,應該是經常被使用的資料」。


raw-image


(圖片擷取自網路;許多公司想像中的數據分析是這個儀表板。但事實上每張圖表的內涵著大量的問題意識。資料科學常常說的資料品質是garbage in, garbage out;而我的說法則是 question in, question out。有問題意識,才是好的資料。)



留言
avatar-img
留言分享你的想法!
avatar-img
Fisher 文組大叔 的沙龍
3會員
5內容數
在簡單介紹自己的轉職經驗後,這個出版系列將詳細的介紹轉職過程所需要做的準備工作,包含準備作品、履歷以及工作面談時的細節。希望幫助沒有程式開發經驗,但也想轉職工程師的朋友能找到自己理想中的工作。
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
看更多