[ETL] Nifi 初體驗 — Inert
更新於 發佈於 閱讀時間約 2 分鐘
這次有機會可以測試Nifi，是因為公司想要將用了多年的ETL工具替換掉，因此找了Nifi來做測試。測試的案例，先選擇最簡單的方式:
Backup Case
這看起來簡單的流程，其實對第一次玩Nifi的我，已經是很大的挑戰了。這過程中，遇到最大的問題就在於，Oracle的SQL並不會區分大小寫，但Nifi在判別SQL時，是會有大小寫之分的，因此無論我如何檢查DB或SQL，最後都還是會出現”Table not found, ensure the Catalog…..”的錯誤，最後請專業DBA的幫忙，才查出這個小細節。
Nifi 的設計如下:
1. QueryDatabaseTable
主要就是用SQL將資料從DB拉出來，可以利用原始的欄位填寫，Nifi會自動組成SQL，抑或自己寫SQL去抓。
2. ConvertAvroToJSON
將資料型態從Apache專屬的Avro轉變成JSON。什麼原因需要這個Process呢，主要是因為下面"ConvertJSONToSQL"，因此才需要將資料留做轉換。其中的JSON container options設定上選擇"array"和"none"在我的測試案例中，會產生不一樣的結果:
- array:會將資料拆分為多筆。
- none:僅會留存一筆。(哪一筆還需要進一步測試。)
3. ConvertJSONToSQL
將JSON的資料轉換成SQL，SQL可以選擇Insert、Update、Delete。這邊的Table Name以Oracle為例，需填寫大寫，如填寫小寫會出現找不到Table的錯誤訊息。處理SQL的模式是依照?的概念處理的，例如Insert into (Column1,Column2) value (?,?)，將?的值放在Attribute裡。
4. 就來到最後的PutSQL，來執行從前一關組成的SQL。設定上沒有特別研究。
做完第一個流程後，心中還有幾個想要加入流程中:
- 在Insert前多加Delete。
- 能控制執行的次數，列如多加GenerateFlowFile的Process。
結論: 這個流程上，都沒有用到"Record Reader"和"Record Writer"，設定上比較簡單。
2會員
5內容數
留言0
查看全部
你可能也想看
Google News 追蹤
※ 把record加到table有兩種方式：
VALUES
• SELECT
※ 語法
INSERT INTO VALUES 語法：
Record 代表一組值的集合，每個值對應到表格中的一個欄位（column）。
INSERT INTO 語法用來指定要插入資料的表格。
需要提供一個
※ 為什麼選擇SQLite？
安裝簡單：SQLite是一個零配置的資料庫，不需要複雜的設定和安裝過程。。
使用SQL語法。
設計選擇多元性（MySQL / SQLite）：適合於小零件資料應用、嵌入式系統、物聯網設備。
※ SQLite四大優點：
執行檔檔案很小：資料庫系統需要的磁碟空
我們在學習kafka的過程中最不習慣的就是不管什麼樣的資料， 在kafka的傳輸過程都會是binary的資料格式， 因此我們在撰寫程式的過程中並不是那麼的直觀， 必須將資料從float、int…資料型態轉型成binary才能順利傳送， 那麼基於這樣的前提之下， python這套程式語言可以怎麼做
經過前兩篇文章（Notion 是什麼？你適合使用 Notion 嗎、Notion 介面一覽及必備設定）的介紹，相信大家對 Notion 的功能及介面有了大致的瞭解，這次想要與大家分享的是我認為 Notion 中最具代表性的功能，Database。
ETL是資料倉儲領域中一個重要的概念,全稱為Extract-Transform-Load,中文可譯為"抽取-轉換-載入"。ETL的作用是將來自不同來源的資料抽取出來,經過清理、轉換、整合等處理後,最終將處理好的資料載入到資料倉儲或其他單一的資料存放區
※ 基本操作：SQL 語法，SELECT, WHERE, CREATE, UPDATE, DELETE。
SELECT：從資料庫中或資料表中指定要選擇的欄位中取得資料，稱之為查詢 (query)。
※ 語法：要由兩部分構成，第一部分是要 "拿什麼" 資料 (若有多項用逗號隔開)；第二部分則為
題目敘述
題目會給定一個pandas DataFrame作為輸入，要求我們以原有的資料表name欄位為檢查基準，刪除有缺失值None的 data rows。
題目的原文敘述
測試範例
Example 1:
Input:
+------------+---------+-----+
| s
※ 把record加到table有兩種方式：
VALUES
• SELECT
※ 語法
INSERT INTO VALUES 語法：
Record 代表一組值的集合，每個值對應到表格中的一個欄位（column）。
INSERT INTO 語法用來指定要插入資料的表格。
需要提供一個
※ 為什麼選擇SQLite？
安裝簡單：SQLite是一個零配置的資料庫，不需要複雜的設定和安裝過程。。
使用SQL語法。
設計選擇多元性（MySQL / SQLite）：適合於小零件資料應用、嵌入式系統、物聯網設備。
※ SQLite四大優點：
執行檔檔案很小：資料庫系統需要的磁碟空
我們在學習kafka的過程中最不習慣的就是不管什麼樣的資料， 在kafka的傳輸過程都會是binary的資料格式， 因此我們在撰寫程式的過程中並不是那麼的直觀， 必須將資料從float、int…資料型態轉型成binary才能順利傳送， 那麼基於這樣的前提之下， python這套程式語言可以怎麼做
經過前兩篇文章（Notion 是什麼？你適合使用 Notion 嗎、Notion 介面一覽及必備設定）的介紹，相信大家對 Notion 的功能及介面有了大致的瞭解，這次想要與大家分享的是我認為 Notion 中最具代表性的功能，Database。
ETL是資料倉儲領域中一個重要的概念,全稱為Extract-Transform-Load,中文可譯為"抽取-轉換-載入"。ETL的作用是將來自不同來源的資料抽取出來,經過清理、轉換、整合等處理後,最終將處理好的資料載入到資料倉儲或其他單一的資料存放區
※ 基本操作：SQL 語法，SELECT, WHERE, CREATE, UPDATE, DELETE。
SELECT：從資料庫中或資料表中指定要選擇的欄位中取得資料，稱之為查詢 (query)。
※ 語法：要由兩部分構成，第一部分是要 "拿什麼" 資料 (若有多項用逗號隔開)；第二部分則為
題目敘述
題目會給定一個pandas DataFrame作為輸入，要求我們以原有的資料表name欄位為檢查基準，刪除有缺失值None的 data rows。
題目的原文敘述
測試範例
Example 1:
Input:
+------------+---------+-----+
| s