付費限定【🔒 MLOps - Airflow】使用DAG流程呼叫Docker Operator來執行任務
avatar-img
阿Han的沙龍
付費限定

【🔒 MLOps - Airflow】使用DAG流程呼叫Docker Operator來執行任務

阿Han-avatar-img
阿Han
發佈於🔒 阿Han的軟體心法實戰營
更新於 發佈於 閱讀時間約 7 分鐘
raw-image

我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機的干擾， 那就讓我們來好好的理解一番吧！

以行動支持創作者！付費即可解鎖
本篇內容共 2496 字、0 則留言，僅發佈於🔒 阿Han的軟體心法實戰營你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
阿Han的沙龍🔒 阿Han的軟體心法實戰營🏭 MLOps
avatar-img
阿Han的沙龍
127會員
281內容數
哈囉，我是阿Han，是一位 👩‍💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言
avatar-img
留言分享你的想法！
阿Han的沙龍 的其他內容
【🔒 MLOps - Airflow】如何準備開發環境來撰寫DAG？
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
#mlops#AirFlow技術#docker
【🔒 MLOps - Airflow】使用docker compose架設Airflow
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。 👉 在我們開始之前…
#mlops#AirFlow技術
【🔒 MLOps - Airflow】工作流自動化平台的超入門簡介
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
#AirFlow技術#mlops
【🔒 MLOps - Airflow】如何準備開發環境來撰寫DAG？
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
#mlops#AirFlow技術#docker
【🔒 MLOps - Airflow】使用docker compose架設Airflow
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。 👉 在我們開始之前…
#mlops#AirFlow技術
【🔒 MLOps - Airflow】工作流自動化平台的超入門簡介
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
#AirFlow技術#mlops