【💊 Python的解憂錦囊】如何使用Buffer流將檔案分段上傳至Minio
MinIO 是一個高性能的物件存儲系統，設計用於大規模的數據存儲需求， 甚至是各種非結構化數據也都能往這邊儲存， 也支持群集擴展， 非常適合正在尋找儲存方案的朋友們。
我們在「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」介紹了如何從kafka將資料流到minio， 但該篇的主軸在於完整的檔案一次上傳， 這一次我們要來鑽研一下如何模擬本地檔案串流上傳到minio的過程， 接著我們會另外撰寫一篇主題來談談如何結合kafka。
我們今天的主題來談談如何使用Python將檔案「串流」上傳到minio，為什麼要特別提到串流？ 主要是隨著時代的演進， 應用逐漸從批次處理轉為即時處理， 使用者體驗逐漸強調「即時」， 而背後的技術從應用程式、訊息佇列、資料庫、儲存媒介也都開始支持「串流功能」， 今天我們將針對「MinIO」這套媒介進行「串流」功能的介紹， 並實際使用「Python」進行展示。
環境準備
這邊我們使用docker來運行minio， 並提供docker compose的配置檔如下：
minio:
image: minio/minio:latest
container_name: minio
ports:
- "9000:9000"
- "9001:9001"
environment:
MINIO_ACCESS_KEY: minioadmin
MINIO_SECRET_KEY: minioadmin
command: server /data --console-address ":9001"
接著請啟動服務：
docker compose up -d
啟動服務之後我們就準備開始實作囉！
安裝套件
這邊我們需要安裝一下Minio Client才能由客戶端進行檔案上傳。
pip install minio
設定minio連線資訊並創建Bucket
client = Minio(
endpoint='minio:9000',
access_key='minioadmin',
secret_key='minioadmin',
secure=False,
)
bucket_name = 'files'
# 建立儲存桶
if not client.bucket_exists(bucket_name):
client.make_bucket(bucket_name)
設計內部Buffer流
這個內部Buffer流主要做為minio put_object與記憶體之間的檔案封包橋樑， 我們可能會從本地檔案、kafka、遠端伺服器拉取檔案封包， 我們可以將這些檔案封包暫存在我們記憶體實作的I/O流， 讓minio client自動去分塊上傳， 避免大檔案要一次拿取完才能上傳到minio伺服器。
這個Buffer流的實作是關鍵重點的部份， 它就像接水管一樣， 將來源與目的橋接， 順利讓資料流入， 大致上的設計草圖如下：
程式碼如下：
引流並上傳到Minio
我們將上傳到minio的部份用另外一個執行緒去進行， 這是因為我們必須讓讀寫分離才能夠很好的實驗控制的邏輯。
當我們讀完「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」 都知道上傳的關鍵函數是「put_object」， 它可以接入一條資料水管， 正好將我們設計的資料水管給接入看看。
驗證成功與否
我們試著打開Monitoring → Trace來追蹤上傳的狀況， 這邊我們可以看到每5MB一包為單位進行上傳的過程。
最後上傳成功才會出現檔案如下：
結語
處理部份上傳的部份也真是不容易啊！ 過程中不斷的翻閱官方文檔與試誤， 最終勉強的試出一條可以用Buffer流控制分段上傳的實現方案， 也讓我們更深入的了解到put_object的使用方式。
你可能也想看
