ETL架構中的S3 Data Lake 與 Glue Job 問題(工作日常)
更新於 2024/10/02閱讀時間約 2 分鐘
我想問一般來說在做ETL架構是
S3 Data Lake > Crawlers > Data Catalog > Athena
那我可以改成 S3 Data Lake > Glue job > Athena 嗎？
在 S3 Data Lake > Crawlers > Data Catalog > Athena 這個作業流程中：
- S3 負責存儲數據
- Crawler 負責分析 S3 中數據的 Schema
- Data Catalog 負責存儲 Crawler 分析出的數據 Schema
- Athena 負責根據 Data Catalog 中保存的數據 Schema 對數據進行查詢
如果您希望將流程變更為 s3 Data Lake > Glue job > Athena，那麼您需要確保您已經知道 S3 中保存的數據的 Schema 才可以在 Glue Job 中進行處理。Glue Job 本質上是 spark 程序，其主要作用是對數據進行轉換，清洗等操作，與 Crawler 所提供的功能並不相同，因此無法用 Glue Job 替換 Crawler 這個部分。在使用 Glue Job 的情況下通常的作業流程會是如下所示：
------------------------------------------------------
s3 Data Lake > Crawlers > Data Catalog > Glue Job
------------------------------------------------------
16會員
80內容數
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
※ 為什麼需要 Subquery？
當⼀個任務需要多個 Query 完成任務，可以使⽤ Subquery 把多個 Query 合併成⼀個 Query。
當我們在進行SQL查詢時，每次查詢都需要在Web Server和資料庫之間來回傳遞資料。這個過程會產生網路延遲，特別是當兩者之間的物理距離較遠時
AWS DataSync 是一種線上資料移動和探索服務，可簡化並加速向 AWS 的資料遷移，以及在內部部署儲存、邊緣節點、其他雲端和 AWS 儲存服務移入和移出資料[1]。
在某些架構上會，使用該服務會需要安裝 DataSync Agent 來傳輸檔案
您需要 DataSync Agen
※ 生產者和消費者模式
定義：
生產者和消費者在同一時間內共同存取某一個資料空間。生產者負責生成數據並將其放入共享空間，消費者負責從共享空間中取走數據進行處理。兩者之間互不相干，也不須互相知道對方的存在。
共同存取資料空間：生產者和消費者共享同一個資料空間。這個空間通常是緩衝區或隊列，用於在它
雲端已經成為App開發的核心，而Amazon的AWS（Amazon Web Services是開發者常用的平台，可以幫助開發者建立、整合和擴展App。
工具功能
(1) 彈性任意查詢檔案，如對來源目錄設定，檔案修改日期 設定，檔名特定字串或副檔名設定後，自動查出明細，並可展開至各階子目錄處理
(2) 依查詢後結果，可產出 LIST ，提供查詢結果之確認，再依此對檔案作複
(3) 可對檔案作移動，複製至別處，刪除處理，使電腦可騰出硬碟空間
第一份正職工作
在iot公司擔任後端工程師，一上工就使用先前沒用過的php/laravel，也馬上負責公司產品的架構規劃，先前資料庫只有簡單記載使用者跟使用者的一些設定，很多地方有資料不一致的問題，產品內容還有很多實體的關係沒有被定義進資料庫都是這次改版我要做的事情。
改版納入公司、機器
※ 基本操作：SQL 語法，SELECT, WHERE, CREATE, UPDATE, DELETE。
SELECT：從資料庫中或資料表中指定要選擇的欄位中取得資料，稱之為查詢 (query)。
※ 語法：要由兩部分構成，第一部分是要 "拿什麼" 資料 (若有多項用逗號隔開)；第二部分則為
在沒有分環境之前，每一隻lambda只有一個code console給所有人一起編輯，開發好了就deploy，根據設定的trigger觸發執行。
現在我們希望能夠在code console開發，然後deploy到不同的stage，目標是不同stage的api gateway能夠調用該lambda的
前言
上次我們針對 Docker 這樣容器化技術做了一點介紹，今天我們要來講解 Docker 架構，你是否發現在每次程式上伺服器的流程很麻煩呢 ? 是否發現你寫的程式在別的作業系統不能用呢 ? 如果你遇到這些問題，Docker 都可以幫助你解決這些問題
Docker 架構
在 Docker 這
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
※ 為什麼需要 Subquery？
當⼀個任務需要多個 Query 完成任務，可以使⽤ Subquery 把多個 Query 合併成⼀個 Query。
當我們在進行SQL查詢時，每次查詢都需要在Web Server和資料庫之間來回傳遞資料。這個過程會產生網路延遲，特別是當兩者之間的物理距離較遠時
AWS DataSync 是一種線上資料移動和探索服務，可簡化並加速向 AWS 的資料遷移，以及在內部部署儲存、邊緣節點、其他雲端和 AWS 儲存服務移入和移出資料[1]。
在某些架構上會，使用該服務會需要安裝 DataSync Agent 來傳輸檔案
您需要 DataSync Agen
※ 生產者和消費者模式
定義：
生產者和消費者在同一時間內共同存取某一個資料空間。生產者負責生成數據並將其放入共享空間，消費者負責從共享空間中取走數據進行處理。兩者之間互不相干，也不須互相知道對方的存在。
共同存取資料空間：生產者和消費者共享同一個資料空間。這個空間通常是緩衝區或隊列，用於在它
雲端已經成為App開發的核心，而Amazon的AWS（Amazon Web Services是開發者常用的平台，可以幫助開發者建立、整合和擴展App。
工具功能
(1) 彈性任意查詢檔案，如對來源目錄設定，檔案修改日期 設定，檔名特定字串或副檔名設定後，自動查出明細，並可展開至各階子目錄處理
(2) 依查詢後結果，可產出 LIST ，提供查詢結果之確認，再依此對檔案作複
(3) 可對檔案作移動，複製至別處，刪除處理，使電腦可騰出硬碟空間
第一份正職工作
在iot公司擔任後端工程師，一上工就使用先前沒用過的php/laravel，也馬上負責公司產品的架構規劃，先前資料庫只有簡單記載使用者跟使用者的一些設定，很多地方有資料不一致的問題，產品內容還有很多實體的關係沒有被定義進資料庫都是這次改版我要做的事情。
改版納入公司、機器
※ 基本操作：SQL 語法，SELECT, WHERE, CREATE, UPDATE, DELETE。
SELECT：從資料庫中或資料表中指定要選擇的欄位中取得資料，稱之為查詢 (query)。
※ 語法：要由兩部分構成，第一部分是要 "拿什麼" 資料 (若有多項用逗號隔開)；第二部分則為
在沒有分環境之前，每一隻lambda只有一個code console給所有人一起編輯，開發好了就deploy，根據設定的trigger觸發執行。
現在我們希望能夠在code console開發，然後deploy到不同的stage，目標是不同stage的api gateway能夠調用該lambda的
前言
上次我們針對 Docker 這樣容器化技術做了一點介紹，今天我們要來講解 Docker 架構，你是否發現在每次程式上伺服器的流程很麻煩呢 ? 是否發現你寫的程式在別的作業系統不能用呢 ? 如果你遇到這些問題，Docker 都可以幫助你解決這些問題
Docker 架構
在 Docker 這