113會員
255內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
全部內容
由新到舊
當我們架設好Docker環境， 並撰寫一個DAG為Docker Operator的關卡時， 執行後竟然出現以下錯誤：
raise AirflowException("Failed to establish connection to any given Docker hosts.")
air
付費限定
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
付費限定
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
付費限定
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
當我們在訓練各種模型時， 難免會有許多實驗性的參數、產出的模型、不同的資料來源， 隨著版本迭代越來越多， 過了一段時間回頭看之後卻發現當初最好的某一個實驗參數到底是啥啊？ 模型去了哪裡？ 用的數據集是哪些？
我想上述這些問題都是模型訓練的過程難免會遇到的問題， 除非我們有一套管理的SOP， 比
使用docker compose來編排容器化程式非常的方便， 但隨著應用越來越複雜， 我們每個Service會有許多共同掛載的目錄、環境變數， 那這些在傳統的程式語言都能藉由繼承、覆寫的技巧來簡化程式碼， 但在YAML呢？ 有沒有這樣的功能呢？
答案是有的， 也就是 anchors & ali
付費限定
Generator能夠讓我們在需要資料時才產生資料， 原理很像Kafka的Consumer， 它在處理大量數據時非常的有幫助， 讓我們資料一小塊一小塊的流到目的地， 流式的設計對於串流的應用程式來說非常的重要， 如果您正在設計一套串流的應用程式， 那麼學好Generator會非常的重要， 除了讓
謝謝分享，這是對很多想學Python的人來說，是很好的文章。
付費限定
上集回顧「【🔒Message Queue - Kafka】Schema Registry EP.1 傳輸訊息的標準格式制定者 」， 我們在文章中有提到當Schema升級時， 會衍生一些問題， 那這些問題主要是Schema Registry會根據我們的相容性策略來驗證新版的Schema是否合法， 這
相信對於這一篇感興趣的朋友們都已經玩過kafka的Schema Registry了吧！ 沒玩過得朋友也沒關係， 歡迎至「【🔒Message Queue - Kafka】傳輸訊息的標準格式制定者 Schema Registry」了解一下這是什麼玩意兒， 好了， 廢話不多說， 讓我們直接切入主題吧
MinIO 是一個高性能的物件存儲系統，設計用於大規模的數據存儲需求， 甚至是各種非結構化數據也都能往這邊儲存， 也支持群集擴展， 非常適合正在尋找儲存方案的朋友們。
我們在「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」介紹了如
