資料治理超入門課程心得分享

前陣子我參加了 andyrockdata 舉辦的資料治理超入門課程，會想參加這堂課程主要是因為對資料治理的興趣，以及想了解實務上如何實施資料治理。

那入門課程的一大好處在於它能在短時間內讓人快速獲得入門知識，通過這次課程，我不僅獲得了對這個領域的 whole picture 概念性理解，還知道了哪些 componet 可以成為學習的方向，以及適合的相關學習資源。我想分享一些在課程中學到的知識點和筆記心得，希望能對你也有所幫助！

課程介紹

課程介紹：講到資料治理，你會想到什麼？資料品質是數據分析和應用的核心基礎！高品質的資料可以幫助您高效地分析數據，從而獲得寶貴的商業洞察力八月份的講座我們將從基礎的概念出發，到相關產品核心組成部分及功能本次講座適合對於提升資料品質興趣的資料分析師、資料工程師、資料科學家、以及其他想深入了解資料治理在幹嘛的人參加～

Photo by Tobias Fischer on Unsplash

課程內容包含三大面向

1. 資料治理的起源
2. 資料治理的框架
3. 治理產品的痛點及核心解決方案

資料治理的起源

1. 從實作和需求面:當資料不足夠乾淨/正確，分析出來的結果就不正確
2. 從規範與遵法面: 企業擁有著客戶大數據的同時，如何管理資料並且符合法律規範，保護用戶的資料安全

從這兩大需求來看，資料治理是非常被需要的，有些企業早就深耕，而有些企業正踏入，而資料治理顯而易見的早已成為趨勢且是必須的

資料治理的框架

這部分我覺得是資料治理的最重要核心，我們可以從這個概念去思考要如何把以下內容都實踐，透過什麼方法、什麼機制、什麼樣的工具來執行。

資料治理框架的意義在於: 增強組織資料的實踐，以使其可被發現、理解、保護和信任

以這為宗旨，延伸出資料治理四大支柱

1. 數據可被發現性:
   - 建立清晰的數據分類和定義，方便使用者理解與查找數據，例如:數據字典、數據目錄- 確保數據的正確性、完整性、一致性，以保持數據品質，提升數據使用上的可信度
2. 資料管理
   - 管理數據從創建到銷毀的全過程，確保數據在其生命週期都有效的被管理- 增進數據操作效率和靈活性，以支持業務需求與發展，建立強大數據維運能力(DataOps)
3. 數據保護
   - 保護敏感數據，防止數據洩漏，例如對數據進行加密，以及權限管制，針對特定使用者授予訪問權限- 在審查數據的使用情況下，需確保數據遵守相關法律規範，以及使用範圍，例如: 個資法、GDPR
4. 數據責任
   - 明確的權責分工，定義誰負責管理數據和維運- 確保數據的使用符合倫理和道德標準

舉個數據質量的例子來理解:

在一家金融機構中，確保數據的準確性和完整性是非常重要的。透過實施數據質量框架，機構可以定期檢查和清理數據，確保所有的交易記錄都是準確無誤的。這包括對數據進行格式標準化、查找和修正不一致的數據、刪除重複的數據等措施。這種嚴謹的數據質量管理不僅強化數據質量，同時可定期審查和更新安全策略，提升內部控制的能力，維護業務的整體安全和客戶的信任。

治理產品的痛點及核心解決方案

以終為始，資料治理真正想要解決的問題，還是在於資料可以被妥善得使用，妥善的範圍就包含很多，例如: 合法性得使用、正確得使用、容易的使用，這都是資料治理想要達成的目標。

為了達成這個目標，有兩個面向可以去努力：資料工具+流程機制建置

市面上有很多資料治理的工具與完整 solution ，但純粹導入工具可能沒辦法達到好的資料治理的效果，甚至是單一一個部門的投入，可能也無法靠一己之力把資料治理做到最好，（要有心理準備這是一場長期的努力 XD) 。

最後講者分享對於這領域有興趣的話，推薦的兩本書：

大数据之路：阿里巴巴大数据实践 大數據之路：阿裡巴巴大數據實踐

華為數據之道