116會員
257內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
全部內容
由新到舊
付費限定
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
當我們架設好Docker環境， 並撰寫一個DAG為Docker Operator的關卡時， 執行後竟然出現以下錯誤：
raise AirflowException("Failed to establish connection to any given Docker hosts.")
air
付費限定
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
付費限定
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
付費限定
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
當我們在訓練各種模型時， 難免會有許多實驗性的參數、產出的模型、不同的資料來源， 隨著版本迭代越來越多， 過了一段時間回頭看之後卻發現當初最好的某一個實驗參數到底是啥啊？ 模型去了哪裡？ 用的數據集是哪些？
我想上述這些問題都是模型訓練的過程難免會遇到的問題， 除非我們有一套管理的SOP， 比
使用docker compose來編排容器化程式非常的方便， 但隨著應用越來越複雜， 我們每個Service會有許多共同掛載的目錄、環境變數， 那這些在傳統的程式語言都能藉由繼承、覆寫的技巧來簡化程式碼， 但在YAML呢？ 有沒有這樣的功能呢？
答案是有的， 也就是 anchors & ali
歡迎來到我們的「🏫 Python 先修班」系列， 這裡面涵蓋了我們入門Python的技巧與教學， 以下是我們為您整理的閱讀順序， 也非常感謝您的支持， 期望透過簡單易懂的知識分享， 讓我們快速入門Python這門語言， 與業界正式接軌。
【🔒 Python 先修班】我應該怎麼開始學Pytho
付費限定
Generator能夠讓我們在需要資料時才產生資料， 原理很像Kafka的Consumer， 它在處理大量數據時非常的有幫助， 讓我們資料一小塊一小塊的流到目的地， 流式的設計對於串流的應用程式來說非常的重要， 如果您正在設計一套串流的應用程式， 那麼學好Generator會非常的重要， 除了讓
謝謝分享，這是對很多想學Python的人來說，是很好的文章。
付費限定
上集回顧「【🔒Message Queue - Kafka】Schema Registry EP.1 傳輸訊息的標準格式制定者 」， 我們在文章中有提到當Schema升級時， 會衍生一些問題， 那這些問題主要是Schema Registry會根據我們的相容性策略來驗證新版的Schema是否合法， 這
