Kafka
含有「Kafka」共 12 篇內容
全部內容
發佈日期由新至舊
在這篇文章中，我們將介紹如何設置和使用 Amazon MSK。本文涵蓋了從創建叢集、配置安全設定、到使用 AWS Secrets Manager 管理機密的完整過程。特別關注配置 SASL/SCRAM 身分驗證和開放外部存取的設定。幫助使用者快速上手 MSK，並確保安全與高可用性。
付費限定
上集回顧「【🔒Message Queue - Kafka】Schema Registry EP.1 傳輸訊息的標準格式制定者 」， 我們在文章中有提到當Schema升級時， 會衍生一些問題， 那這些問題主要是Schema Registry會根據我們的相容性策略來驗證新版的Schema是否合法， 這
相信對於這一篇感興趣的朋友們都已經玩過kafka的Schema Registry了吧！ 沒玩過得朋友也沒關係， 歡迎至「【🔒Message Queue - Kafka】傳輸訊息的標準格式制定者 Schema Registry」了解一下這是什麼玩意兒， 好了， 廢話不多說， 讓我們直接切入主題吧
付費限定
歡迎來到「kafka 案例篇」， 這個章節我們來談談如何從kafka的主題訂閱檔案封包並上傳到minio，對於kafka是什麼並不熟悉的朋友， 也歡迎參考我們的「【🔒 Message Queue - Kafka】串流時代的超入門簡介」， 讓我們在串流時代的技術堆疊上能夠加入kafka的技能， 為即
付費限定
我們在「【Message Queue - Kafka】串流時代的超入門簡介」有介紹到關於Kafka的基礎概念， 那麼本章節主要著重於生產者(Producer)的面向來細部探討， 看看生產者(Producer)究竟是什麼？ 有哪些應該要注意的？
我們今天的主題除了說明生產者(Producer)的
付費限定
KSQL引擎， 串流形式的SQL？ 聽了應該霧煞煞吧！ 想像一下傳統的SQL， 是不是一個指令一個動作， 每發送一個指令之後就必須等到查詢/寫入…動作皆完成之後才回應， 然而在Streaming的應用上這顯然不太可行， 每分每秒都有資料流入的情境下， 資料的狀態都在變化， 假設我們一個指令一個動作，
情境描述
我們在「🔒 阿Han的軟體心法實戰營 - kafka」有關於kafka的教學文章， 那麼在開發過程中我們遇到了 👻 詭異事件， 那就是我們嘗試在做一個檔案串流時， 發現Producer明明傳送了大約16MB檔案大小的封包到kafka， 每一包約(1024 * 1024 ) bytes
要學習，會花很多時間嗎？
付費限定
為什麼會有Schema Registry的出現？
因為Kafka的零拷貝原則， 也就是kafka本身並不會去碰觸到訊息也不進行資料驗證， 而是bypass的傳送， 預設都以位元組來傳輸資料會比較有效率， 但位元組誰看得懂啊...。
加上Kafka的特性是生產者與消費者並不能直接溝通， 因
付費限定
連接器故名思議就是兩個系統之間的橋樑， 而Kafka Connect正是扮演著這樣的角色， 如圖上， 我們可以透過Kafka Connect將SQL的資料導出到Kafka並導入到MySQL。
豐富的Plugin
Confluent Hub提供了各式各樣的外掛套件， 包括了MongoDB、My
付費限定
為什麼要用Docker安裝？
Docker是一個容器化平台, 就類似於我們早期虛擬機的VMWare、Virtual Box…等, 虛擬機平台一般, 只是面向的是伺服端, 供企業快速、簡單、輕量的佈署開發完成的程式軟體, 並將相關的環境依賴皆封裝成一包所謂的映像檔(image), 透過這樣的方式減少
很棒的文章。