資料湖本該是數據寶庫,卻常因非結構化數據(如 IoT 時序數據)淪為「資料沼澤」。結構化數據(如 ERP 表格)易整理,但 IoT 數據高頻、時間敏感、格式雜亂,進湖前常被人為干預(如手動 Tag 表),缺乏治理規範,導致品質不穩、上下文遺失。《雙軸數據治理》論述指出,縱向治理(IoT 深度可審計)勢在必行,搭配橫向治理(資料湖整合),從邊緣端解決非結構化數據的治理癥結。EDC 方法正是實務利器!
一、傳統數據採集方式
傳統節能或數據採集,通常經歷以下步驟:0. 訊號接入閘道器/PLC:感測器電壓/電流訊號進 PLC 或閘道器。
1. 工程師建立 Tag 表:手工命名測點(如「TANK1_TEMP」),命名不一致。
2. 資料轉換與上傳:轉 Modbus/OPC UA,上傳上層系統。
3. 集中存放到資料池或雲端:格式、單位、頻率不統一,需額外清洗。
問題:
• 重複人工:每個案場重建 Tag 表,SI 工作量大。
• 格式不一致:橫向整合困難,影響資料湖效率。
• 失真風險:忽略時間敏感性與事件驅動(如秒級數據偏移導致誤判),與論述橫向治理限制相符。
• 缺乏可審計:數據中途處理,原始細節消失,AI 分析不可信。
二、EDC 的方法:邊緣端縱向治理
縱向治理勢在必行,EDC 從邊緣端規範 IoT 數據,實現論述的三層框架:
0. 即時結構化:感測數據進 EDC,自動帶標準格式(來源、時間、數值),對應 L1 黑盒存證。
1. 使用者自助定義:管理介面快速設定名稱、單位、量程、頻率,對應 L2 可重算清洗。
2. 原始數據直接保存:保持完整狀態進入資料庫,對應 L3 可審計知識卡(KIM)。
3. 隨時可用:上層系統透過 API 存取,RAG 僅引用審計後知識,避免幻覺。
EDC 還支援橫向融合,數據進資料湖 Curated Zone,與 ERP/CRM 交叉分析。
三、對 SI 的好處
• 少做重工:無需每個案場重建 Tag 表,工程工時減 30%。
• 資料乾淨:統一格式,減少後端清洗麻煩,品質顯著提升。
• AI 更容易導入:第一手原始數據 + KIM 模型,分析精準度顯著提升。
• 雙軸優勢:縱向深度(可審計)+ 橫向廣度(整合),解決傳統沼澤問題。
四、總結
非結構化數據是資料湖治理的癥結,進湖前無規範、人為干預讓問題加劇。縱向治理勢在必行!EDC 從邊緣端講「標準語」,結合雙軸框架,讓 IoT 數據乾淨可信,結構化數據整合順暢。對 SI 而言,這是省工時、提效率、銜接 AI 與 ESG 的利器!
留言分享你的想法!