116會員
261內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
全部內容
由新到舊
限時公開
我們在「【🔒 Message Queue - Kafka】不斷的試誤…, 用Docker來嘗試安裝Kafka」有分享過如何透過docker來架設kafka， 那麼在產品化的階段， 我們可能會預先規劃主題(topic)要有多少個partitions…等的配置， 基於一鍵啟動懶人包的原則， 我們希望按
付費限定
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」教您如何使用docker compose架設一個Airflow環境， 接著我們要教您如何進到容器內開發DAG， 正所謂工欲善其事必先利其器， 就是要先把事前先把工具給整治好， 讓後續的作業順利進行，
當我們在Ubuntu下載 cursor 這套編輯工具並進行以下步驟安裝時：
sudo apt-get install libfuse2
chmod +x cursor-0.42.5x86_64.AppImage
./cursor-0.42.4x86_64.AppImage
sudo mv
付費限定
我們在「【💎 Message Queue - Kafka 案例篇】如何將檔案流上傳到minio - 完整檔案 」有分享到如何串接起kafka與minio， 雖然在minio上傳的部份尚未完成串流的部份， 但初步的橋接已經完成了， 接下來我們要分享的是如何串流到minio。
這個實現的關鍵點在
付費限定
我們在「【🔒 MLOps - Airflow】使用docker compose架設Airflow」有教您如何使用Docker來架設Airflow的環境， 而這個章節我們準備在DAG的流程中設計一個呼叫Docker去執行作業的節點， 這對於我們容器化的工作流會非常有幫助， 而且運行過程中也減少對主機
當我們架設好Docker環境， 並撰寫一個DAG為Docker Operator的關卡時， 執行後竟然出現以下錯誤：
raise AirflowException("Failed to establish connection to any given Docker hosts.")
air
付費限定
為什麼我們只推薦docker的環境？ 因為透過容器化可以讓我們各個組件安裝的套件各自獨立， 不會發生早期常常衝突的狀況， 當然我們也可以用conda來隔開， 但它的層面僅限於python環境， 我們需要的是整個os環境， 因此docker會是我們優先考慮的選項之一。
👉 在我們開始之前…
付費限定
我們在「【MLOps - MLflow】AI模型實驗管理的超入門簡介」有介紹到模型實驗的追蹤管理平台， 雖然可以幫助我們自動化記錄實驗參數、模型…等數據， 但我們也會希望模型的訓練可以更加的自動化， 而Airflow正好就具備流程設計與管理的功能， 我們可以彈性的設計在某個時間點從某個數據集自動訓練
付費限定
章節重點
架設minio
建立bucket
架設mlflow
透過mlflow上傳artifact
上一集「【 MLOps - MLflow】AI模型管理平台簡介」我們有稍微簡介一下MLflow的概念， 大致上我們知道MLFlow的Client與Server運作方式了，接著我們將試著以
當我們在訓練各種模型時， 難免會有許多實驗性的參數、產出的模型、不同的資料來源， 隨著版本迭代越來越多， 過了一段時間回頭看之後卻發現當初最好的某一個實驗參數到底是啥啊？ 模型去了哪裡？ 用的數據集是哪些？
我想上述這些問題都是模型訓練的過程難免會遇到的問題， 除非我們有一套管理的SOP， 比
