Kafka

含有「Kafka」共 15 篇內容
全部內容
發佈日期由新至舊
限時公開
我們在「【🔒 Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有分享過如何透過docker來架設kafka, 那麼在產品化的階段, 我們可能會預先規劃主題(topic)要有多少個partitions…等的配置, 基於一鍵啟動懶人包的原則, 我們希望按
Thumbnail
付費限定
我們在「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」有分享到如何串接起kafka與minio, 雖然在minio上傳的部份尚未完成串流的部份, 但初步的橋接已經完成了, 接下來我們要分享的是如何串流到minio。 這個實現的關鍵點在
Thumbnail
本文介紹如何使用 Docker 部署 Kafka 和 Zookeeper,並透過 Node.js 實現 Kafka 的訊息生產者與消費者。內容涵蓋 Kafka 和 Zookeeper 的 Docker 配置、使用 KafkaJS 進行訊息生產與消費,並透過 API 來發送和接收消息。
Thumbnail
在這篇文章中,我們將介紹如何設置和使用 Amazon MSK。本文涵蓋了從創建叢集、配置安全設定、到使用 AWS Secrets Manager 管理機密的完整過程。特別關注配置 SASL/SCRAM 身分驗證和開放外部存取的設定。幫助使用者快速上手 MSK,並確保安全與高可用性。
Thumbnail
付費限定
上集回顧「【🔒Message Queue - Kafka】Schema Registry EP.1 傳輸訊息的標準格式制定者 」, 我們在文章中有提到當Schema升級時, 會衍生一些問題, 那這些問題主要是Schema Registry會根據我們的相容性策略來驗證新版的Schema是否合法, 這
Thumbnail
相信對於這一篇感興趣的朋友們都已經玩過kafka的Schema Registry了吧! 沒玩過得朋友也沒關係, 歡迎至「【🔒Message Queue - Kafka】傳輸訊息的標準格式制定者 Schema Registry」了解一下這是什麼玩意兒, 好了, 廢話不多說, 讓我們直接切入主題吧
Thumbnail
付費限定
歡迎來到「kafka 案例篇」, 這個章節我們來談談如何從kafka的主題訂閱檔案封包並上傳到minio,對於kafka是什麼並不熟悉的朋友, 也歡迎參考我們的「【🔒 Message Queue - Kafka】串流時代的超入門簡介」, 讓我們在串流時代的技術堆疊上能夠加入kafka的技能, 為即
Thumbnail
付費限定
我們在「【Message Queue - Kafka】串流時代的超入門簡介」有介紹到關於Kafka的基礎概念, 那麼本章節主要著重於生產者(Producer)的面向來細部探討, 看看生產者(Producer)究竟是什麼? 有哪些應該要注意的? 我們今天的主題除了說明生產者(Producer)的
Thumbnail
付費限定
KSQL引擎, 串流形式的SQL? 聽了應該霧煞煞吧! 想像一下傳統的SQL, 是不是一個指令一個動作, 每發送一個指令之後就必須等到查詢/寫入…動作皆完成之後才回應, 然而在Streaming的應用上這顯然不太可行, 每分每秒都有資料流入的情境下, 資料的狀態都在變化, 假設我們一個指令一個動作,
Thumbnail
情境描述 我們在「🔒 阿Han的軟體心法實戰營 - kafka」有關於kafka的教學文章, 那麼在開發過程中我們遇到了 👻 詭異事件, 那就是我們嘗試在做一個檔案串流時, 發現Producer明明傳送了大約16MB檔案大小的封包到kafka, 每一包約(1024 * 1024 ) bytes
Thumbnail
要學習,會花很多時間嗎?