mlops
含有「mlops」共 7 篇內容
全部內容
發佈日期由新至舊
付費限定
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
付費限定
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
當我們架設好Docker環境， 並撰寫一個DAG為Docker Operator的關卡時， 執行後竟然出現以下錯誤：
raise AirflowException("Failed to establish connection to any given Docker hosts.")
air
付費限定
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
付費限定
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
付費限定
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
當我們在訓練各種模型時， 難免會有許多實驗性的參數、產出的模型、不同的資料來源， 隨著版本迭代越來越多， 過了一段時間回頭看之後卻發現當初最好的某一個實驗參數到底是啥啊？ 模型去了哪裡？ 用的數據集是哪些？
我想上述這些問題都是模型訓練的過程難免會遇到的問題， 除非我們有一套管理的SOP， 比
