我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行， 而我們學會架設airflow之後的第一件事情便是要如何讓開發更加簡易， 而基於容器化的架構之下我們又可以怎麼做呢？
付費限定
【🔒 MLOps - Airflow】如何準備開發環境來撰寫DAG？
更新於 發佈於 閱讀時間約 3 分鐘
以行動支持創作者！付費即可解鎖
本篇內容共 1048 字、0
則留言，僅發佈於🔒 阿Han的軟體心法實戰營你目前無法檢視以下內容，可能因為尚未登入，或沒有該房間的查看權限。
留言
留言分享你的想法！
阿Han的沙龍
128會員
282內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2024/11/13
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
2024/11/13
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
2024/10/30
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
2024/10/30
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
2024/10/23
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
2024/10/23
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
你可能也想看
大家好，我是一名眼科醫師，也是一位孩子的媽
身為眼科醫師的我，我知道視力發展對孩子來說有多關鍵。
每到開學季時，診間便充斥著許多憂心忡忡的家屬。近年來看診中，兒童提早近視、眼睛疲勞的案例明顯增加，除了3C使用過度，最常被忽略的，就是照明品質。
然而作為一位媽媽，孩子能在安全、舒適的環境
大家好，我是一名眼科醫師，也是一位孩子的媽
身為眼科醫師的我，我知道視力發展對孩子來說有多關鍵。
每到開學季時，診間便充斥著許多憂心忡忡的家屬。近年來看診中，兒童提早近視、眼睛疲勞的案例明顯增加，除了3C使用過度，最常被忽略的，就是照明品質。
然而作為一位媽媽，孩子能在安全、舒適的環境
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
本文介紹了 Docker 的基本概念，包括 Docker Image、Docker Container、Dockerfile、Docker Compose 及其應用情境，如開發與測試環境、微服務架構和持續整合/持續部署。瞭解這些內容能幫助開發人員更有效地利用 Docker 進行應用程式的部署和管理。
本文介紹了 Docker 的基本概念，包括 Docker Image、Docker Container、Dockerfile、Docker Compose 及其應用情境，如開發與測試環境、微服務架構和持續整合/持續部署。瞭解這些內容能幫助開發人員更有效地利用 Docker 進行應用程式的部署和管理。
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
前言
上次我們講到 Docker 的功用與好處，今天我們要在講解，如何安裝 Docker 這個容器，讓我們在之後的教學應用更好的實作與練習，現在讓我們開始吧
Docker Engine 與 Docker Desktop
首先在講解怎麼安裝 Docker 時，我們先講解 Docker Engin
前言
上次我們講到 Docker 的功用與好處，今天我們要在講解，如何安裝 Docker 這個容器，讓我們在之後的教學應用更好的實作與練習，現在讓我們開始吧
Docker Engine 與 Docker Desktop
首先在講解怎麼安裝 Docker 時，我們先講解 Docker Engin
前言
大家好上次我們教了 Gitlab CI/CD 的 extends 如何使用，今天我們要來實際做一個真正佈署上線我們的服務，我們會分成兩個章節，第一部分先教大家怎麼寫 Docker Compose 佈署計畫書，第二部分教大家撰寫 CI/CD 自動化佈署流程計劃書
什麼是 Docker Com
前言
大家好上次我們教了 Gitlab CI/CD 的 extends 如何使用，今天我們要來實際做一個真正佈署上線我們的服務，我們會分成兩個章節，第一部分先教大家怎麼寫 Docker Compose 佈署計畫書，第二部分教大家撰寫 CI/CD 自動化佈署流程計劃書
什麼是 Docker Com
Docker不僅僅改變了應用的部署方式，它還提供了一種封裝、分發和運行應用的統一方法。這篇文章將引導你完成Gin應用的容器化過程。
Docker不僅僅改變了應用的部署方式，它還提供了一種封裝、分發和運行應用的統一方法。這篇文章將引導你完成Gin應用的容器化過程。
限時好文，歡迎支持，讓阿Han給你最貼近業界的開發實戰教學…
為什麼不害怕犯錯很重要？ 開發的過程中我們最害怕的就是我的程式把系統搞掛了…，這樣一來重新安裝作業系統的成本非常高，包括還原也是，我想這會阻礙我們學習的動力，那究竟有什麼樣的技術能夠讓我們開發的同時也能夠勇於犯錯呢？ 答案就是「容器化」
限時好文，歡迎支持，讓阿Han給你最貼近業界的開發實戰教學…
為什麼不害怕犯錯很重要？ 開發的過程中我們最害怕的就是我的程式把系統搞掛了…，這樣一來重新安裝作業系統的成本非常高，包括還原也是，我想這會阻礙我們學習的動力，那究竟有什麼樣的技術能夠讓我們開發的同時也能夠勇於犯錯呢？ 答案就是「容器化」
簡介
因常會在新機器跑container，藉此紀錄安裝過程，順便寫下腳本安裝懶人包
安裝docker
檢查系統中是否已經安裝了docker
執行：ps -ef |grep docker
如上圖所示，說明系統中並沒有安裝docker
添加docker-ce倉庫
安裝yum倉庫管理工具
配置docker
簡介
因常會在新機器跑container，藉此紀錄安裝過程，順便寫下腳本安裝懶人包
安裝docker
檢查系統中是否已經安裝了docker
執行：ps -ef |grep docker
如上圖所示，說明系統中並沒有安裝docker
添加docker-ce倉庫
安裝yum倉庫管理工具
配置docker
程式設計師難免會遇到要自已架環境的時候，但是遇到問題時，總不能一直安裝、刪除，這時候可以用docker，先記錄一下安裝與指令
這裡使用Docker Desktop，當然也可以使用command line輸入就好
照上列網址下載之後，並且安裝完成
就可以使用command line 開始操作
如果覺得
程式設計師難免會遇到要自已架環境的時候，但是遇到問題時，總不能一直安裝、刪除，這時候可以用docker，先記錄一下安裝與指令
這裡使用Docker Desktop，當然也可以使用command line輸入就好
照上列網址下載之後，並且安裝完成
就可以使用command line 開始操作
如果覺得