歡迎來到「kafka 案例篇」， 這個章節我們來談談如何從kafka的主題訂閱檔案封包並上傳到minio，對於kafka是什麼並不熟悉的朋友， 也歡迎參考我們的「【🔒 Message Queue - Kafka】串流時代的超入門簡介」， 讓我們在串流時代的技術堆疊上能夠加入kafka的技能， 為即時應用搭起資料流的橋樑。
付費限定
【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案上傳
更新於 發佈於 閱讀時間約 11 分鐘
以行動支持創作者！付費即可解鎖
本篇內容共 4746 字、0
則留言，僅發佈於💎 阿Han的Premium軟體技術棧你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
留言
留言分享你的想法！
阿Han的沙龍
130會員
288內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2024/11/27
我們在「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」有分享到如何串接起kafka與minio， 雖然在minio上傳的部份尚未完成串流的部份， 但初步的橋接已經完成了， 接下來我們要分享的是如何串流到minio。
這個實現的關鍵點在
2024/11/27
我們在「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」有分享到如何串接起kafka與minio， 雖然在minio上傳的部份尚未完成串流的部份， 但初步的橋接已經完成了， 接下來我們要分享的是如何串流到minio。
這個實現的關鍵點在
2023/08/26
⏳ 精選好文歡迎收藏學習...
什麼是MQ？ 🎁 送給你以下三篇基礎...
【Message Queue】 井然有序的排隊機制 - 基本介紹
【Message Queue - RabbitMQ】模型架構
【Message Queue - RabbitMQ】 不斷的試誤…, 用Docker來
2023/08/26
⏳ 精選好文歡迎收藏學習...
什麼是MQ？ 🎁 送給你以下三篇基礎...
【Message Queue】 井然有序的排隊機制 - 基本介紹
【Message Queue - RabbitMQ】模型架構
【Message Queue - RabbitMQ】 不斷的試誤…, 用Docker來
2023/08/21
目的
當消費者和生產者在某個節點故障之下還能夠正常運作。
增加多個節點來擴展訊息的吞吐量。
簡單來說就是打群架，透過多台主機的方式處理龐大的訊息量。
集群的模式有哪些？
Cluster：
不支持跨網段。
可以隨意動態增加/減少。
目前常用的方式。
Federation： 應用
2023/08/21
目的
當消費者和生產者在某個節點故障之下還能夠正常運作。
增加多個節點來擴展訊息的吞吐量。
簡單來說就是打群架，透過多台主機的方式處理龐大的訊息量。
集群的模式有哪些？
Cluster：
不支持跨網段。
可以隨意動態增加/減少。
目前常用的方式。
Federation： 應用
你可能也想看
每年4月、5月都是最多稅要繳的月份，當然大部份的人都是有機會繳到「綜合所得稅」，只是相當相當多人還不知道，原來繳給政府的稅！可以透過一些有活動的銀行信用卡或電子支付來繳，從繳費中賺一點點小確幸！就是賺個１%~2%大家也是很開心的，因為你們把沒回饋變成有回饋，就是用卡的最高境界
所得稅線上申報
每年4月、5月都是最多稅要繳的月份，當然大部份的人都是有機會繳到「綜合所得稅」，只是相當相當多人還不知道，原來繳給政府的稅！可以透過一些有活動的銀行信用卡或電子支付來繳，從繳費中賺一點點小確幸！就是賺個１%~2%大家也是很開心的，因為你們把沒回饋變成有回饋，就是用卡的最高境界
所得稅線上申報
全球科技產業的焦點，AKA 全村的希望 NVIDIA，於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1，實際日曆期間為今年二到四月)，交出了打敗了市場預期的成績單。然而，在銷售持續高速成長的同時，川普政府加大對於中國的晶片管制......
全球科技產業的焦點，AKA 全村的希望 NVIDIA，於五月底正式發布了他們在今年 2025 第一季的財報 (輝達內部財務年度為 2026 Q1，實際日曆期間為今年二到四月)，交出了打敗了市場預期的成績單。然而，在銷售持續高速成長的同時，川普政府加大對於中國的晶片管制......
重點摘要：
6 月繼續維持基準利率不變，強調維持高利率主因為關稅
點陣圖表現略為鷹派，收斂 2026、2027 年降息預期
SEP 連續 2 季下修 GDP、上修通膨預測值
---
1.繼續維持利率不變，強調需要維持高利率是因為關稅：
聯準會 (Fed) 召開 6 月利率會議
重點摘要：
6 月繼續維持基準利率不變，強調維持高利率主因為關稅
點陣圖表現略為鷹派，收斂 2026、2027 年降息預期
SEP 連續 2 季下修 GDP、上修通膨預測值
---
1.繼續維持利率不變，強調需要維持高利率是因為關稅：
聯準會 (Fed) 召開 6 月利率會議
我們在「【Message Queue - Kafka】串流時代的超入門簡介」有介紹到關於Kafka的基礎概念， 那麼本章節主要著重於生產者(Producer)的面向來細部探討， 看看生產者(Producer)究竟是什麼？ 有哪些應該要注意的？
我們今天的主題除了說明生產者(Producer)的
我們在「【Message Queue - Kafka】串流時代的超入門簡介」有介紹到關於Kafka的基礎概念， 那麼本章節主要著重於生產者(Producer)的面向來細部探討， 看看生產者(Producer)究竟是什麼？ 有哪些應該要注意的？
我們今天的主題除了說明生產者(Producer)的
我們在學習kafka的過程中最不習慣的就是不管什麼樣的資料， 在kafka的傳輸過程都會是binary的資料格式， 因此我們在撰寫程式的過程中並不是那麼的直觀， 必須將資料從float、int…資料型態轉型成binary才能順利傳送， 那麼基於這樣的前提之下， python這套程式語言可以怎麼做
我們在學習kafka的過程中最不習慣的就是不管什麼樣的資料， 在kafka的傳輸過程都會是binary的資料格式， 因此我們在撰寫程式的過程中並不是那麼的直觀， 必須將資料從float、int…資料型態轉型成binary才能順利傳送， 那麼基於這樣的前提之下， python這套程式語言可以怎麼做
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka， 其中我們使用環境變數來進行kafka的配置， 但除了環境變數之外， 其實還能夠用檔案配置的方式來對kafka進行配置， 如此一來我們就可以將配置檔與啟動檔完全分開，
我們在「【Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有介紹如何架設kafka， 其中我們使用環境變數來進行kafka的配置， 但除了環境變數之外， 其實還能夠用檔案配置的方式來對kafka進行配置， 如此一來我們就可以將配置檔與啟動檔完全分開，
KSQL引擎， 串流形式的SQL？ 聽了應該霧煞煞吧！ 想像一下傳統的SQL， 是不是一個指令一個動作， 每發送一個指令之後就必須等到查詢/寫入…動作皆完成之後才回應， 然而在Streaming的應用上這顯然不太可行， 每分每秒都有資料流入的情境下， 資料的狀態都在變化， 假設我們一個指令一個動作，
KSQL引擎， 串流形式的SQL？ 聽了應該霧煞煞吧！ 想像一下傳統的SQL， 是不是一個指令一個動作， 每發送一個指令之後就必須等到查詢/寫入…動作皆完成之後才回應， 然而在Streaming的應用上這顯然不太可行， 每分每秒都有資料流入的情境下， 資料的狀態都在變化， 假設我們一個指令一個動作，
情境描述
我們在「🔒 阿Han的軟體心法實戰營 - kafka」有關於kafka的教學文章， 那麼在開發過程中我們遇到了 👻 詭異事件， 那就是我們嘗試在做一個檔案串流時， 發現Producer明明傳送了大約16MB檔案大小的封包到kafka， 每一包約(1024 * 1024 ) bytes
情境描述
我們在「🔒 阿Han的軟體心法實戰營 - kafka」有關於kafka的教學文章， 那麼在開發過程中我們遇到了 👻 詭異事件， 那就是我們嘗試在做一個檔案串流時， 發現Producer明明傳送了大約16MB檔案大小的封包到kafka， 每一包約(1024 * 1024 ) bytes
為什麼會有Schema Registry的出現？
因為Kafka的零拷貝原則， 也就是kafka本身並不會去碰觸到訊息也不進行資料驗證， 而是bypass的傳送， 預設都以位元組來傳輸資料會比較有效率， 但位元組誰看得懂啊...。
加上Kafka的特性是生產者與消費者並不能直接溝通， 因
為什麼會有Schema Registry的出現？
因為Kafka的零拷貝原則， 也就是kafka本身並不會去碰觸到訊息也不進行資料驗證， 而是bypass的傳送， 預設都以位元組來傳輸資料會比較有效率， 但位元組誰看得懂啊...。
加上Kafka的特性是生產者與消費者並不能直接溝通， 因
連接器故名思議就是兩個系統之間的橋樑， 而Kafka Connect正是扮演著這樣的角色， 如圖上， 我們可以透過Kafka Connect將SQL的資料導出到Kafka並導入到MySQL。
豐富的Plugin
Confluent Hub提供了各式各樣的外掛套件， 包括了MongoDB、My
連接器故名思議就是兩個系統之間的橋樑， 而Kafka Connect正是扮演著這樣的角色， 如圖上， 我們可以透過Kafka Connect將SQL的資料導出到Kafka並導入到MySQL。
豐富的Plugin
Confluent Hub提供了各式各樣的外掛套件， 包括了MongoDB、My
訊息的即時傳遞已然成為現代社會的趨勢了， 而扮演中樞平台的系統架構功能也漸趨複雜完整， Kafka是一個事件流平台， 正好滿足串流時代之下的即時訊息傳遞架構， 因此我們有必要深入來學習這套事件流平台， 不論是自動化、金融交易、IOT、物流…皆離不開即時的需求， 所以就讓我們蹲好馬步來好好的學習一
訊息的即時傳遞已然成為現代社會的趨勢了， 而扮演中樞平台的系統架構功能也漸趨複雜完整， Kafka是一個事件流平台， 正好滿足串流時代之下的即時訊息傳遞架構， 因此我們有必要深入來學習這套事件流平台， 不論是自動化、金融交易、IOT、物流…皆離不開即時的需求， 所以就讓我們蹲好馬步來好好的學習一