【MLOps - Airflow 疑難雜症】如何使用minio docker container執行作業?

更新於 發佈於 閱讀時間約 3 分鐘
raw-image


建議閱讀

在開始之前, 建議您先閱讀以下篇章, 相信當您開始大量使用Airflow作業時, 難免會需要儲存空間的方案, 像是今天的主角minio就是其中之一, 而我們會建議您先閱讀相關篇章也是有道理的, 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業, 避免干擾到主機的運作。


幾個關鍵重點

這裡我們歸納出幾個關鍵重點, 幫助您在使用minio容器時更加順利。

詳讀文檔非常重要, 但除了詳讀文檔之外, 我們也要能夠融會貫通, 最好的方法就是善用工具, 像是LLM這類的AI工具, 幫助我們快速聯想與知識轉換, 以下是我們透過這類工具來處理疑難雜症的經驗談, 歡迎閱讀:


這邊是我們的DAG

主要我們會使用 minio/mc 這個Docker Image來進行我們今日的任務, 而關鍵的幾個重點是我們會設法讓entrypoint不進行作業, 而是透過 command 來執行一連串的minio client command。


結語

個人經驗是一開始卡在entrypoint及command這兩個地方, 這是我們未來使用DockerOperator會常常遇到的問題, 因此我們需要去稍微了解一下各個組件的Docker是如何封裝的, 或者文檔中都會指出應該怎麼使用它, 所以這點要非常注意。

留言
avatar-img
留言分享你的想法!
avatar-img
阿Han的沙龍
129會員
287內容數
哈囉,我是阿Han,是一位 👩‍💻 軟體研發工程師,喜歡閱讀、學習、撰寫文章及教學,擅長以圖代文,化繁為簡,除了幫助自己釐清思路之外,也希望藉由圖解的方式幫助大家共同學習,甚至手把手帶您設計出高品質的軟體產品。
阿Han的沙龍的其他內容
2025/04/30
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」有分享如何使用Docker來架設GPT-SoVITS的TTS API服務, 但過程中我們卻遇到了一些困難, 相信有深入使用這套TTS服務的朋友應該難免也會遇到這類的問題, 期望透過我們的分享幫助到正在遇到困難的你! 首先我
Thumbnail
2025/04/30
我們在「【語音合成技術 - GPT-SoVITS】如何架設API伺服器」有分享如何使用Docker來架設GPT-SoVITS的TTS API服務, 但過程中我們卻遇到了一些困難, 相信有深入使用這套TTS服務的朋友應該難免也會遇到這類的問題, 期望透過我們的分享幫助到正在遇到困難的你! 首先我
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/04/23
我們在「【🤖 cursor AI】如何在ubuntu 24.04安裝」有分享如何在Ubuntu安裝cursro這套AI編輯器, 使用起來大幅度的提昇開發效率, 但仍有些問題點需要克服, 比如說: LLM壓根不知道我們的數據庫長怎樣啊? 怎麼分析結構呢? 假設文檔又不足的狀況下更是艱辛, 如果LLM
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
2025/03/12
我們在「【語音合成技術 - GPT-SoVITS】讓機器說人話的語音生成服務」分享了語音合成技術, 該套GPT-SoVITS也非常的出色, 但效能有點不是非常理想, 加上需要GPU才能達到較佳的體驗, 如此一來成本就會有點高了, 因此我們找了另外一套MeloTTS, 這一套強調CPU推理非常的快!
Thumbnail
看更多
你可能也想看
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
每年4月、5月都是最多稅要繳的月份,當然大部份的人都是有機會繳到「綜合所得稅」,只是相當相當多人還不知道,原來繳給政府的稅!可以透過一些有活動的銀行信用卡或電子支付來繳,從繳費中賺一點點小確幸!就是賺個1%~2%大家也是很開心的,因為你們把沒回饋變成有回饋,就是用卡的最高境界 所得稅線上申報
Thumbnail
本文介紹了容器的基本概念、組成部分以及其在應用開發中的重要性,特別是對初階和高階工程師的影響。透過深入探討容器的優點,以及Docker、Kubernetes和ArgoCD等相關技術,幫助讀者理解容器化的應用與管理,進而簡化開發過程並提高效率。適合對容器技術感興趣的開發者從零開始學習與掌握。
Thumbnail
本文介紹了容器的基本概念、組成部分以及其在應用開發中的重要性,特別是對初階和高階工程師的影響。透過深入探討容器的優點,以及Docker、Kubernetes和ArgoCD等相關技術,幫助讀者理解容器化的應用與管理,進而簡化開發過程並提高效率。適合對容器技術感興趣的開發者從零開始學習與掌握。
Thumbnail
建議閱讀 在開始之前, 建議您先閱讀以下篇章, 相信當您開始大量使用Airflow作業時, 難免會需要儲存空間的方案, 像是今天的主角minio就是其中之一, 而我們會建議您先閱讀相關篇章也是有道理的, 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業, 避免干擾到主機的
Thumbnail
建議閱讀 在開始之前, 建議您先閱讀以下篇章, 相信當您開始大量使用Airflow作業時, 難免會需要儲存空間的方案, 像是今天的主角minio就是其中之一, 而我們會建議您先閱讀相關篇章也是有道理的, 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業, 避免干擾到主機的
Thumbnail
當我們架設好Docker環境, 並撰寫一個DAG為Docker Operator的關卡時, 執行後竟然出現以下錯誤: raise AirflowException("Failed to establish connection to any given Docker hosts.") air
Thumbnail
當我們架設好Docker環境, 並撰寫一個DAG為Docker Operator的關卡時, 執行後竟然出現以下錯誤: raise AirflowException("Failed to establish connection to any given Docker hosts.") air
Thumbnail
為什麼我們只推薦docker的環境? 因為透過容器化可以讓我們各個組件安裝的套件各自獨立, 不會發生早期常常衝突的狀況, 當然我們也可以用conda來隔開, 但它的層面僅限於python環境, 我們需要的是整個os環境, 因此docker會是我們優先考慮的選項之一。 👉 在我們開始之前…
Thumbnail
為什麼我們只推薦docker的環境? 因為透過容器化可以讓我們各個組件安裝的套件各自獨立, 不會發生早期常常衝突的狀況, 當然我們也可以用conda來隔開, 但它的層面僅限於python環境, 我們需要的是整個os環境, 因此docker會是我們優先考慮的選項之一。 👉 在我們開始之前…
Thumbnail
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台, 雖然可以幫助我們自動化記錄實驗參數、模型…等數據, 但我們也會希望模型的訓練可以更加的自動化, 而Airflow正好就具備流程設計與管理的功能, 我們可以彈性的設計在某個時間點從某個數據集自動訓練
Thumbnail
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台, 雖然可以幫助我們自動化記錄實驗參數、模型…等數據, 但我們也會希望模型的訓練可以更加的自動化, 而Airflow正好就具備流程設計與管理的功能, 我們可以彈性的設計在某個時間點從某個數據集自動訓練
Thumbnail
本文指導如何驗收基於 Docker 的開發環境,檢查 Laravel 後端、Nuxt 前端、Nginx 反向代理和 MariaDB 資料庫是否正常運行。透過啟動容器、修改 hosts 檔案、測試各服務的運作,確保整個開發環境穩定。並且提供了常見問題的解決方案,幫助開發者順利驗收環境。
Thumbnail
本文指導如何驗收基於 Docker 的開發環境,檢查 Laravel 後端、Nuxt 前端、Nginx 反向代理和 MariaDB 資料庫是否正常運行。透過啟動容器、修改 hosts 檔案、測試各服務的運作,確保整個開發環境穩定。並且提供了常見問題的解決方案,幫助開發者順利驗收環境。
Thumbnail
這一篇主要來談談公司的團隊在於開發一套系統時,對於程式語言開發的初入者需要學些什麼樣的重要技能,對應到Python我們應該學哪些? 畢竟我們的時間、資源、精神都有限,不可能每一樣都學習到深入,所以我們需要的是正在業界的前輩所分享的經驗談,正好您也很幸運的看到這一篇,濃縮了軟體開發生涯中幾年的經驗,並
Thumbnail
這一篇主要來談談公司的團隊在於開發一套系統時,對於程式語言開發的初入者需要學些什麼樣的重要技能,對應到Python我們應該學哪些? 畢竟我們的時間、資源、精神都有限,不可能每一樣都學習到深入,所以我們需要的是正在業界的前輩所分享的經驗談,正好您也很幸運的看到這一篇,濃縮了軟體開發生涯中幾年的經驗,並
追蹤感興趣的內容從 Google News 追蹤更多 vocus 的最新精選內容追蹤 Google News