Amazon Kinesis Data Streams

Amazon Kinesis Data Streams 是一項全受管、可大規模擴展且高耐用性的資料串流服務，專門用於即時擷取和處理大量串流資料。

它允許數以萬計的資料生產者（Producers）持續將資料寫入資料串流，並讓多個資料消費者（Consumers）即時讀取和處理這些資料，且能保持資料的順序性。Kinesis Data Streams 適合用於即時分析、監控、日誌收集、物聯網資料處理等場景。

主要特點包括：

• 高擴展性：可動態調整分片（Shard）數量以控制吞吐量，支援每秒數百萬筆資料的寫入與讀取。
• 低延遲：資料可在幾毫秒內被寫入並被消費者讀取，適合即時處理需求。
• 資料持久化：資料在串流中可保留最長365天，方便重複讀取與回溯分析。
• 整合性強：可與 AWS Lambda、Amazon S3、Amazon Redshift、Amazon Managed Service for Apache Flink 等服務無縫整合，構建完整的資料處理管線。
• 安全性：支援使用 AWS IAM 控制存取權限，並可透過 AWS KMS 進行資料加密。

運作流程簡述：

1. 資料生產者持續將資料寫入 Kinesis 資料串流。
2. 多個消費者應用程式可同時讀取串流資料，進行即時分析、轉換或儲存。
3. 處理後的資料可輸出至其他 AWS 服務做後續分析或儲存。