vocus logo

方格子 vocus

數據分析的基礎工程:不只是資料品質而是問題意識

更新 發佈閱讀 3 分鐘


很多大公司小公司會想要導入數據分析作為內部決策的參考依據。不過,通常遇到的第一步,是發現公司內部空有資料,但殘缺不全。或是,基礎建設的效能不足等等問題。這時候,數據分析人員,往往除了執行數據分析的檢測或是資料探勘外,最常要做的就是自己動手清資料。也常常是因為這點,所以,許多公司的數據分析任務,一開始常常會跟資料工程(Data Engineer)混在一起。

以下是我自己經常遇到的場景:

Hello F , 長官最近對於產品良率的品質很有意見,但是技術部門實在太忙,每天光是在產線就飽了,根本沒空想解決良率的問題。你有沒有辦法做一點分析資料,提供一些洞見呢?
當然沒問題,不過,我想確定的是,我們的良率品質數據是完整的追蹤數據嗎?
欸~有是有,但好像不太齊全...。我去幫你問問哦。

通常這種狀況,會在經歷一個禮拜。然後,經歷了N個部門的詢問,終於,似乎得到了一個看起來比較像是可分析的數據使用。

其實這並不是少見的狀況。而且,這間公司的狀況已經好很多了,他們甚至是砸下了大筆資源的投資,建立了機聯網的數據蒐集機制。以至於,其實他們已經有基礎的數據源,而且在我看來,最關鍵的那一步已經建立起來。

問題就浮現了,為什麼許多公司宣稱自己有很多資料(或是數據)但真正在用的時候卻經常是不堪一擊。坦白說我覺得問題並不在於資料本身,而在於公司內部的人們是否嘗試從數據端來想問題。我的意思是說,我們的日常生活中想問題的解法會有多種方式,特別是技術人員有自身的經驗法則,但重點是,這些經驗法則要如何被第三方的資料所驗證呢?這事實上就是數據分析最常要做的事情:是在驗證某些第一線專家所無法回答的問題。

也因為如此,套一句社會科學訓練常說的話,不是你的資料本身發生的問題,是要做這件事情的「問題意識」並不清楚。當問題意識真的清楚了,這時候需要些什麼數據跟分析變量,就自然會被開展開來了。

這是為什麼許多大公司小公司,雖然平常好像有在蒐集資料,但真正要用的時候,就會遇到許多坑洞。用簡單的話來說,就是「未曾用過的資料,不能算是好的資料」;「好的資料,應該是經常被使用的資料」。


raw-image


(圖片擷取自網路;許多公司想像中的數據分析是這個儀表板。但事實上每張圖表的內涵著大量的問題意識。資料科學常常說的資料品質是garbage in, garbage out;而我的說法則是 question in, question out。有問題意識,才是好的資料。)



留言
avatar-img
Fisher 文組大叔 的沙龍
3會員
8內容數
在簡單介紹自己的轉職經驗後,這個出版系列將詳細的介紹轉職過程所需要做的準備工作,包含準備作品、履歷以及工作面談時的細節。希望幫助沒有程式開發經驗,但也想轉職工程師的朋友能找到自己理想中的工作。
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2025/07/07
時間過得很快,真正入行從事數據分析,不知不覺也過了快三年。工作職銜也從analyst進展到時不時會掛上Sr.抬頭。 當時候轉職,無非是找一個經濟上affordable的工作。但一路上下來,卻常常遇到跟自己很相近的人們。在一個看似充滿機會,也充滿不確定的年代,找尋著屬於自己的機會。
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/02/08
每到學期的結束,學術圈的朋友見面總是會不約而同地聊起求職、找工作、論文、paper等等的壓力。作為文組PHD的大叔過來人,跟朋友聊到他們即將面臨的求職壓力,或是根本看不太到未來的學術就業市場前景,總是會讓自己重新想想,如果,只剩下工程師的工作賺錢,那文組的訓練又有什麼意義呢?
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
2024/01/01
這是文科轉職數據工程師系列的第一篇文章。 許多人會在轉職前上許多數據分析課程,該怎麼選擇比較適合自己,但又不會噴錢呢? 這篇文章要介紹這個轉職過程前的準備工作。
Thumbnail
看更多
你可能也想看
Thumbnail
賽勒布倫尼科夫以流亡處境回望蘇聯電影導演帕拉贊諾夫的舞台作品,以十段寓言式殘篇,重新拼貼記憶、暴力與美學,並將審查、政治犯、戰爭陰影與「形式即政治」的劇場傳統推到台前。本文聚焦於《傳奇:帕拉贊諾夫的十段殘篇》的舞台美術、音樂與多重扮演策略,嘗試解析極權底下不可言說之事,將如何成為可被觀看的公共發聲。
Thumbnail
賽勒布倫尼科夫以流亡處境回望蘇聯電影導演帕拉贊諾夫的舞台作品,以十段寓言式殘篇,重新拼貼記憶、暴力與美學,並將審查、政治犯、戰爭陰影與「形式即政治」的劇場傳統推到台前。本文聚焦於《傳奇:帕拉贊諾夫的十段殘篇》的舞台美術、音樂與多重扮演策略,嘗試解析極權底下不可言說之事,將如何成為可被觀看的公共發聲。
Thumbnail
柏林劇團在 2026 北藝嚴選,再次帶來由布萊希特改編的經典劇目《三便士歌劇》(The Threepenny Opera),導演巴里・柯斯基以舞台結構與舞台調度,重新向「疏離」進行提問。本文將從觀眾慾望作為戲劇內核,藉由沉浸與疏離的辯證,解析此作如何再次照見觀眾自身的位置。
Thumbnail
柏林劇團在 2026 北藝嚴選,再次帶來由布萊希特改編的經典劇目《三便士歌劇》(The Threepenny Opera),導演巴里・柯斯基以舞台結構與舞台調度,重新向「疏離」進行提問。本文將從觀眾慾望作為戲劇內核,藉由沉浸與疏離的辯證,解析此作如何再次照見觀眾自身的位置。
Thumbnail
本文深入解析臺灣劇團「晃晃跨幅町」對易卜生經典劇作《海妲.蓋柏樂》的詮釋,從劇本歷史、聲響與舞臺設計,到演員的主體創作方法,探討此版本如何讓經典劇作在當代劇場語境下煥發新生,滿足現代觀眾的觀看慾望。
Thumbnail
本文深入解析臺灣劇團「晃晃跨幅町」對易卜生經典劇作《海妲.蓋柏樂》的詮釋,從劇本歷史、聲響與舞臺設計,到演員的主體創作方法,探討此版本如何讓經典劇作在當代劇場語境下煥發新生,滿足現代觀眾的觀看慾望。
Thumbnail
《轉轉生》為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,融合舞蹈、音樂、時尚和視覺藝術,透過身體、服裝與群舞結構,回應殖民歷史、城市經驗與祖靈記憶的交錯。本文將從服裝設計、身體語彙與「輪迴」的「誕生—死亡—重生」結構出發,分析《轉轉生》如何以當代目光,形塑去殖民視角的奈及利亞歷史。
Thumbnail
《轉轉生》為奈及利亞編舞家庫德斯.奧尼奎庫與 Q 舞團創作的當代舞蹈作品,融合舞蹈、音樂、時尚和視覺藝術,透過身體、服裝與群舞結構,回應殖民歷史、城市經驗與祖靈記憶的交錯。本文將從服裝設計、身體語彙與「輪迴」的「誕生—死亡—重生」結構出發,分析《轉轉生》如何以當代目光,形塑去殖民視角的奈及利亞歷史。
Thumbnail
數據驅動的專案管理如何提升決策質量,涵蓋數據收集與管理、數據分析策略、實際應用技巧,以及面臨的挑戰和解決方案。通過描述性分析、診斷性分析、預測性分析和規範性分析,專案經理能夠優化資源分配、進度管理和風險控制,確保專案順利進行。
Thumbnail
數據驅動的專案管理如何提升決策質量,涵蓋數據收集與管理、數據分析策略、實際應用技巧,以及面臨的挑戰和解決方案。通過描述性分析、診斷性分析、預測性分析和規範性分析,專案經理能夠優化資源分配、進度管理和風險控制,確保專案順利進行。
Thumbnail
實際就業後,會發現收集與分析需求,通常都不是工程師在做,會有另一群人,以非工程的角度收集及分析需求,然後在開發過程中蹦出不同的火花,於是很好奇另一群人的想法是什麼?我不敢說這本書能完全代表另一群人的想法,但確實能夠得到很多有用的思維。推薦給所有的軟體工程師。
Thumbnail
實際就業後,會發現收集與分析需求,通常都不是工程師在做,會有另一群人,以非工程的角度收集及分析需求,然後在開發過程中蹦出不同的火花,於是很好奇另一群人的想法是什麼?我不敢說這本書能完全代表另一群人的想法,但確實能夠得到很多有用的思維。推薦給所有的軟體工程師。
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
軟體系統的發展歷程大多相似,首重解決基本需求、提供操作介面,進而提升安全性、擴充功能、優化操作。
Thumbnail
每日自動檢查資料庫運作所產生的訊息,若發現有錯誤,自動寄出警告信給擔當人員
Thumbnail
每日自動檢查資料庫運作所產生的訊息,若發現有錯誤,自動寄出警告信給擔當人員
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News