Amazon Kinesis Data Streams 是一項全受管、可大規模擴展且高耐用性的資料串流服務,專門用於即時擷取和處理大量串流資料。
它允許數以萬計的資料生產者(Producers)持續將資料寫入資料串流,並讓多個資料消費者(Consumers)即時讀取和處理這些資料,且能保持資料的順序性。Kinesis Data Streams 適合用於即時分析、監控、日誌收集、物聯網資料處理等場景。
主要特點包括:
- 高擴展性:可動態調整分片(Shard)數量以控制吞吐量,支援每秒數百萬筆資料的寫入與讀取。
- 低延遲:資料可在幾毫秒內被寫入並被消費者讀取,適合即時處理需求。
- 資料持久化:資料在串流中可保留最長365天,方便重複讀取與回溯分析。
- 整合性強:可與 AWS Lambda、Amazon S3、Amazon Redshift、Amazon Managed Service for Apache Flink 等服務無縫整合,構建完整的資料處理管線。
- 安全性:支援使用 AWS IAM 控制存取權限,並可透過 AWS KMS 進行資料加密。
運作流程簡述:
- 資料生產者持續將資料寫入 Kinesis 資料串流。
- 多個消費者應用程式可同時讀取串流資料,進行即時分析、轉換或儲存。
- 處理後的資料可輸出至其他 AWS 服務做後續分析或儲存。