【MLOps - Airflow 疑難雜症】如何使用minio docker container執行作業？
建議閱讀
在開始之前， 建議您先閱讀以下篇章， 相信當您開始大量使用Airflow作業時， 難免會需要儲存空間的方案， 像是今天的主角minio就是其中之一， 而我們會建議您先閱讀相關篇章也是有道理的， 因為我們推薦的方法是盡量以容器化為導向來進行Airflow自動化流程的作業， 避免干擾到主機的運作。
幾個關鍵重點
這裡我們歸納出幾個關鍵重點， 幫助您在使用minio容器時更加順利。
詳讀文檔非常重要， 但除了詳讀文檔之外， 我們也要能夠融會貫通， 最好的方法就是善用工具， 像是LLM這類的AI工具， 幫助我們快速聯想與知識轉換， 以下是我們透過這類工具來處理疑難雜症的經驗談， 歡迎閱讀：
- 【🔒 江湖一點訣】年中復盤 - AI 潮流下的學習模式轉變與升級
- 【🔒 Python 先修班】我應該怎麼開始學Python？(教您打造🤖 AI腦)
- 【語音辨識引擎sherpa-onnx 問題解決思路篇】 libcublasLt.so.11: cannot open shared object file
這邊是我們的DAG
主要我們會使用 minio/mc 這個Docker Image來進行我們今日的任務， 而關鍵的幾個重點是我們會設法讓entrypoint不進行作業， 而是透過 command 來執行一連串的minio client command。
結語
個人經驗是一開始卡在entrypoint及command這兩個地方， 這是我們未來使用DockerOperator會常常遇到的問題， 因此我們需要去稍微了解一下各個組件的Docker是如何封裝的， 或者文檔中都會指出應該怎麼使用它， 所以這點要非常注意。
121會員
271內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
你可能也想看
Google News 追蹤
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
在Spring Cloud微服務中，透過Maven與Docker，將專案打包成Docker Image，並部署。
安裝Maven
apt install maven
安裝Docker
apt install docker.io
啟動Docker
service docker s
前端
為了實驗我們上傳的 Docker Image 有沒有問題，我們先在學一個刪除本地 Docker Image，刪除 Docker Image 要使用 docker rmi <image> 這個語法，現在開始刪除本地 Docker Image 輸入以下指令
docker rmi timmmmm
Docker是由GO語言實現，是一個在GitHub上開發原始碼的專案。它的目標是實現羽量級的作業系統虛擬化。讓使用者操作Docker，就像是操作一個羽量級的虛擬機器。
優勢
快速發表和部署
高效的部署和擴充
資源使用率高
管理簡單
核心
Image映像檔
Docker
Docker是一種容器化技術，可以將應用程式及相關依賴項目打包到一個容器中。這篇文章介紹了安裝Docker的步驟，以及幾個比較偏向使用者的應用程式。
前言
上次我們初步體驗 Docker 快速佈署能力，今天我們要來講解 Dockerfile、Docker Image 與 Docker Container 這些常見的名詞，我們來了解在我們佈署的時候做哪些事情
Docker 佈署流程
首先看到如下圖上半部，在我們一個完整的佈署流程，我們會先將我
引言
在當今的技術世界中，Kubernetes 已成為容器化應用的領導平台。作為一個高效的容器編排系統，它不僅管理著容器的部署和擴展，還提供了必要的自動化支持，以保證應用的高可用性和性能。在這個框架中，自動擴展功能起著至關重要的作用，特別是在面對不斷變化的負載和需求時。
前言
大家好在先前我們講了什麼是 Docker，Docker 好處有什麼以及怎麼安裝 Docker，今天我們要來開始初體驗 Docker 容器，使用後您會發現 Docker 非常的方便快速
Docker Hub 介紹
首先在開始學怎麼抓取 Docker Image 之前，我們要先來介紹 Doc
前言
上次我們講到 Docker 的功用與好處，今天我們要在講解，如何安裝 Docker 這個容器，讓我們在之後的教學應用更好的實作與練習，現在讓我們開始吧
Docker Engine 與 Docker Desktop
首先在講解怎麼安裝 Docker 時，我們先講解 Docker Engin
前言
大家好我們今天要來教 Docker 這項技術，什麼是 Docker ? Docker 可以幫助我們做什麼事情 ?
Docker 是一項容器化技術，他可以降低我們在佈署 App 時，讓我們可以有效的分配作業系統資源，降低佈署作業成本，現在讓我們來了解 Docker 要解決的問題
傳統佈署遇
提問的內容越是清晰，強者、聰明人越能在短時間內做判斷、給出精準的建議，他們會對你產生「好印象」，認定你是「積極」的人，有機會、好人脈會不自覺地想引薦給你
在Spring Cloud微服務中，透過Maven與Docker，將專案打包成Docker Image，並部署。
安裝Maven
apt install maven
安裝Docker
apt install docker.io
啟動Docker
service docker s
前端
為了實驗我們上傳的 Docker Image 有沒有問題，我們先在學一個刪除本地 Docker Image，刪除 Docker Image 要使用 docker rmi <image> 這個語法，現在開始刪除本地 Docker Image 輸入以下指令
docker rmi timmmmm
Docker是由GO語言實現，是一個在GitHub上開發原始碼的專案。它的目標是實現羽量級的作業系統虛擬化。讓使用者操作Docker，就像是操作一個羽量級的虛擬機器。
優勢
快速發表和部署
高效的部署和擴充
資源使用率高
管理簡單
核心
Image映像檔
Docker
Docker是一種容器化技術，可以將應用程式及相關依賴項目打包到一個容器中。這篇文章介紹了安裝Docker的步驟，以及幾個比較偏向使用者的應用程式。
前言
上次我們初步體驗 Docker 快速佈署能力，今天我們要來講解 Dockerfile、Docker Image 與 Docker Container 這些常見的名詞，我們來了解在我們佈署的時候做哪些事情
Docker 佈署流程
首先看到如下圖上半部，在我們一個完整的佈署流程，我們會先將我
引言
在當今的技術世界中，Kubernetes 已成為容器化應用的領導平台。作為一個高效的容器編排系統，它不僅管理著容器的部署和擴展，還提供了必要的自動化支持，以保證應用的高可用性和性能。在這個框架中，自動擴展功能起著至關重要的作用，特別是在面對不斷變化的負載和需求時。
前言
大家好在先前我們講了什麼是 Docker，Docker 好處有什麼以及怎麼安裝 Docker，今天我們要來開始初體驗 Docker 容器，使用後您會發現 Docker 非常的方便快速
Docker Hub 介紹
首先在開始學怎麼抓取 Docker Image 之前，我們要先來介紹 Doc
前言
上次我們講到 Docker 的功用與好處，今天我們要在講解，如何安裝 Docker 這個容器，讓我們在之後的教學應用更好的實作與練習，現在讓我們開始吧
Docker Engine 與 Docker Desktop
首先在講解怎麼安裝 Docker 時，我們先講解 Docker Engin
前言
大家好我們今天要來教 Docker 這項技術，什麼是 Docker ? Docker 可以幫助我們做什麼事情 ?
Docker 是一項容器化技術，他可以降低我們在佈署 App 時，讓我們可以有效的分配作業系統資源，降低佈署作業成本，現在讓我們來了解 Docker 要解決的問題
傳統佈署遇