數據分析的基礎工程:不只是資料品質而是問題意識

更新 發佈閱讀 3 分鐘


很多大公司小公司會想要導入數據分析作為內部決策的參考依據。不過,通常遇到的第一步,是發現公司內部空有資料,但殘缺不全。或是,基礎建設的效能不足等等問題。這時候,數據分析人員,往往除了執行數據分析的檢測或是資料探勘外,最常要做的就是自己動手清資料。也常常是因為這點,所以,許多公司的數據分析任務,一開始常常會跟資料工程(Data Engineer)混在一起。

以下是我自己經常遇到的場景:

Hello F , 長官最近對於產品良率的品質很有意見,但是技術部門實在太忙,每天光是在產線就飽了,根本沒空想解決良率的問題。你有沒有辦法做一點分析資料,提供一些洞見呢?
當然沒問題,不過,我想確定的是,我們的良率品質數據是完整的追蹤數據嗎?
欸~有是有,但好像不太齊全...。我去幫你問問哦。

通常這種狀況,會在經歷一個禮拜。然後,經歷了N個部門的詢問,終於,似乎得到了一個看起來比較像是可分析的數據使用。

其實這並不是少見的狀況。而且,這間公司的狀況已經好很多了,他們甚至是砸下了大筆資源的投資,建立了機聯網的數據蒐集機制。以至於,其實他們已經有基礎的數據源,而且在我看來,最關鍵的那一步已經建立起來。

問題就浮現了,為什麼許多公司宣稱自己有很多資料(或是數據)但真正在用的時候卻經常是不堪一擊。坦白說我覺得問題並不在於資料本身,而在於公司內部的人們是否嘗試從數據端來想問題。我的意思是說,我們的日常生活中想問題的解法會有多種方式,特別是技術人員有自身的經驗法則,但重點是,這些經驗法則要如何被第三方的資料所驗證呢?這事實上就是數據分析最常要做的事情:是在驗證某些第一線專家所無法回答的問題。

也因為如此,套一句社會科學訓練常說的話,不是你的資料本身發生的問題,是要做這件事情的「問題意識」並不清楚。當問題意識真的清楚了,這時候需要些什麼數據跟分析變量,就自然會被開展開來了。

這是為什麼許多大公司小公司,雖然平常好像有在蒐集資料,但真正要用的時候,就會遇到許多坑洞。用簡單的話來說,就是「未曾用過的資料,不能算是好的資料」;「好的資料,應該是經常被使用的資料」。


raw-image


(圖片擷取自網路;許多公司想像中的數據分析是這個儀表板。但事實上每張圖表的內涵著大量的問題意識。資料科學常常說的資料品質是garbage in, garbage out;而我的說法則是 question in, question out。有問題意識,才是好的資料。)



留言
avatar-img
Fisher 文組大叔 的沙龍
3會員
8內容數
在簡單介紹自己的轉職經驗後,這個出版系列將詳細的介紹轉職過程所需要做的準備工作,包含準備作品、履歷以及工作面談時的細節。希望幫助沒有程式開發經驗,但也想轉職工程師的朋友能找到自己理想中的工作。
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
看更多
你可能也想看
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
《轉轉生》(Re:INCARNATION)為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,結合拉各斯街頭節奏、Afrobeat/Afrobeats、以及約魯巴宇宙觀的非線性時間,建構出關於輪迴的「誕生—死亡—重生」儀式結構。本文將從約魯巴哲學概念出發,解析其去殖民的身體政治。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
5 月將於臺北表演藝術中心映演的「2026 北藝嚴選」《海妲・蓋柏樂》,由臺灣劇團「晃晃跨幅町」製作,本文將以從舞台符號、聲音與表演調度切入,討論海妲・蓋柏樂在父權社會結構下的困境,並結合榮格心理學與馮.法蘭茲對「阿尼姆斯」與「永恆少年」原型的分析,理解女人何以走向精神性的操控、毀滅與死亡。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文分析導演巴里・柯斯基(Barrie Kosky)如何運用極簡的舞臺配置,將布萊希特(Bertolt Brecht)的「疏離效果」轉化為視覺奇觀與黑色幽默,探討《三便士歌劇》在當代劇場中的新詮釋,並藉由舞臺、燈光、服裝、音樂等多方面,分析該作如何在保留批判核心的同時,觸及觀眾的觀看位置與人性幽微。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
本文深度解析賽勒布倫尼科夫的舞臺作品《傳奇:帕拉贊諾夫的十段殘篇》,如何以十段殘篇,結合帕拉贊諾夫的電影美學、象徵意象與當代政治流亡抗爭,探討藝術在儀式消失的現代社會如何承接意義,並展現不羈的自由靈魂。
Thumbnail
數據驅動的專案管理如何提升決策質量,涵蓋數據收集與管理、數據分析策略、實際應用技巧,以及面臨的挑戰和解決方案。通過描述性分析、診斷性分析、預測性分析和規範性分析,專案經理能夠優化資源分配、進度管理和風險控制,確保專案順利進行。
Thumbnail
數據驅動的專案管理如何提升決策質量,涵蓋數據收集與管理、數據分析策略、實際應用技巧,以及面臨的挑戰和解決方案。通過描述性分析、診斷性分析、預測性分析和規範性分析,專案經理能夠優化資源分配、進度管理和風險控制,確保專案順利進行。
Thumbnail
實際就業後,會發現收集與分析需求,通常都不是工程師在做,會有另一群人,以非工程的角度收集及分析需求,然後在開發過程中蹦出不同的火花,於是很好奇另一群人的想法是什麼?我不敢說這本書能完全代表另一群人的想法,但確實能夠得到很多有用的思維。推薦給所有的軟體工程師。
Thumbnail
實際就業後,會發現收集與分析需求,通常都不是工程師在做,會有另一群人,以非工程的角度收集及分析需求,然後在開發過程中蹦出不同的火花,於是很好奇另一群人的想法是什麼?我不敢說這本書能完全代表另一群人的想法,但確實能夠得到很多有用的思維。推薦給所有的軟體工程師。
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
每日自動檢查資料庫運作所產生的訊息,若發現有錯誤,自動寄出警告信給擔當人員
Thumbnail
每日自動檢查資料庫運作所產生的訊息,若發現有錯誤,自動寄出警告信給擔當人員
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News