我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機的干擾， 那就讓我們來好好的理解一番吧！
付費限定
【🔒 MLOps - Airflow】使用DAG流程呼叫Docker Operator來執行任務
更新 發佈閱讀 7 分鐘
以行動支持創作者！付費即可解鎖
本篇內容共 2496 字、0
則留言，僅發佈於🔒 阿Han的軟體心法實戰營你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
留言
留言分享你的想法！
阿Han的沙龍
139會員
304內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2024/12/11
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
2024/12/11
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
2024/10/30
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
2024/10/30
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
2024/10/23
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
2024/10/23
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
你可能也想看
在小小的租屋房間裡，透過蝦皮購物平臺採購各種黏土、模型、美甲材料等創作素材，打造專屬黏土小宇宙的療癒過程。文中分享多個蝦皮挖寶地圖，並推薦蝦皮分潤計畫。
在小小的租屋房間裡，透過蝦皮購物平臺採購各種黏土、模型、美甲材料等創作素材，打造專屬黏土小宇宙的療癒過程。文中分享多個蝦皮挖寶地圖，並推薦蝦皮分潤計畫。
小蝸和小豬因購物習慣不同常起衝突，直到發現蝦皮分潤計畫，讓小豬的購物愛好產生價值，也讓小蝸開始欣賞另一半的興趣。想增加收入或改善伴侶間的購物觀念差異？讓蝦皮分潤計畫成為你們的神隊友吧！
小蝸和小豬因購物習慣不同常起衝突，直到發現蝦皮分潤計畫，讓小豬的購物愛好產生價值，也讓小蝸開始欣賞另一半的興趣。想增加收入或改善伴侶間的購物觀念差異？讓蝦皮分潤計畫成為你們的神隊友吧！
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
本文介紹了 Docker 的基本概念，包括 Docker Image、Docker Container、Dockerfile、Docker Compose 及其應用情境，如開發與測試環境、微服務架構和持續整合/持續部署。瞭解這些內容能幫助開發人員更有效地利用 Docker 進行應用程式的部署和管理。
本文介紹了 Docker 的基本概念，包括 Docker Image、Docker Container、Dockerfile、Docker Compose 及其應用情境，如開發與測試環境、微服務架構和持續整合/持續部署。瞭解這些內容能幫助開發人員更有效地利用 Docker 進行應用程式的部署和管理。
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
前言
上次我們針對 Docker 這樣容器化技術做了一點介紹，今天我們要來講解 Docker 架構，你是否發現在每次程式上伺服器的流程很麻煩呢 ? 是否發現你寫的程式在別的作業系統不能用呢 ? 如果你遇到這些問題，Docker 都可以幫助你解決這些問題
Docker 架構
在 Docker 這
前言
上次我們針對 Docker 這樣容器化技術做了一點介紹，今天我們要來講解 Docker 架構，你是否發現在每次程式上伺服器的流程很麻煩呢 ? 是否發現你寫的程式在別的作業系統不能用呢 ? 如果你遇到這些問題，Docker 都可以幫助你解決這些問題
Docker 架構
在 Docker 這
前言
大家好我們今天要來教 Docker 這項技術，什麼是 Docker ? Docker 可以幫助我們做什麼事情 ?
Docker 是一項容器化技術，他可以降低我們在佈署 App 時，讓我們可以有效的分配作業系統資源，降低佈署作業成本，現在讓我們來了解 Docker 要解決的問題
傳統佈署遇
前言
大家好我們今天要來教 Docker 這項技術，什麼是 Docker ? Docker 可以幫助我們做什麼事情 ?
Docker 是一項容器化技術，他可以降低我們在佈署 App 時，讓我們可以有效的分配作業系統資源，降低佈署作業成本，現在讓我們來了解 Docker 要解決的問題
傳統佈署遇
前言
大家好上次我們教了 Gitlab CI/CD 的 extends 如何使用，今天我們要來實際做一個真正佈署上線我們的服務，我們會分成兩個章節，第一部分先教大家怎麼寫 Docker Compose 佈署計畫書，第二部分教大家撰寫 CI/CD 自動化佈署流程計劃書
什麼是 Docker Com
前言
大家好上次我們教了 Gitlab CI/CD 的 extends 如何使用，今天我們要來實際做一個真正佈署上線我們的服務，我們會分成兩個章節，第一部分先教大家怎麼寫 Docker Compose 佈署計畫書，第二部分教大家撰寫 CI/CD 自動化佈署流程計劃書
什麼是 Docker Com
Docker不僅僅改變了應用的部署方式，它還提供了一種封裝、分發和運行應用的統一方法。這篇文章將引導你完成Gin應用的容器化過程。
Docker不僅僅改變了應用的部署方式，它還提供了一種封裝、分發和運行應用的統一方法。這篇文章將引導你完成Gin應用的容器化過程。
限時好文，歡迎支持，讓阿Han給你最貼近業界的開發實戰教學…
為什麼不害怕犯錯很重要？ 開發的過程中我們最害怕的就是我的程式把系統搞掛了…，這樣一來重新安裝作業系統的成本非常高，包括還原也是，我想這會阻礙我們學習的動力，那究竟有什麼樣的技術能夠讓我們開發的同時也能夠勇於犯錯呢？ 答案就是「容器化」
限時好文，歡迎支持，讓阿Han給你最貼近業界的開發實戰教學…
為什麼不害怕犯錯很重要？ 開發的過程中我們最害怕的就是我的程式把系統搞掛了…，這樣一來重新安裝作業系統的成本非常高，包括還原也是，我想這會阻礙我們學習的動力，那究竟有什麼樣的技術能夠讓我們開發的同時也能夠勇於犯錯呢？ 答案就是「容器化」
程式設計師難免會遇到要自已架環境的時候，但是遇到問題時，總不能一直安裝、刪除，這時候可以用docker，先記錄一下安裝與指令
這裡使用Docker Desktop，當然也可以使用command line輸入就好
照上列網址下載之後，並且安裝完成
就可以使用command line 開始操作
如果覺得
程式設計師難免會遇到要自已架環境的時候，但是遇到問題時，總不能一直安裝、刪除，這時候可以用docker，先記錄一下安裝與指令
這裡使用Docker Desktop，當然也可以使用command line輸入就好
照上列網址下載之後，並且安裝完成
就可以使用command line 開始操作
如果覺得