資料科學家之路
35公開內容
歡迎來到「資料科學家之路」，一個專為資料科學家和資料科學愛好者設計的專欄。在這裡，我們將探討資料科學的各個方面，從基礎的數據分析和機器學習技術，到如何應用這些技術解決實際問題。讓我們一起走上這條充滿挑戰和機會的「資料科學家之路」。
全部內容
免費與付費
最新發佈優先
本文探討了在使用 pandas 處理資料時應注意的幾個關鍵點，以及如何減少因資料型態問題而產生的錯誤，確保資料的原始意義得以保留。主要包括Pandas 資料處理深入解析，尋找CSV之外的數據儲存方案，以及優化資料處理策略。
在數據科學和機器學習中，特徵工程是提高模型性能的關鍵步驟之一，通過創建新特徵或轉換現有特徵，我們可以更好地捕捉數據中的信息，提高模型的預測能力。然而，當處理大數據集時，特徵工程可能變得耗時，而且若是在研發階段，特徵其實是需要快速迭代去產生並且做後續的實驗，這也是近期遇到的問題，因此想在這篇文章實作多
1. 問題定義
每一個成功的模型都始於明確的問題定義！
核心思考：你的模型想要達到什麼目的？
例如：是要偵測每一筆交易是否涉及洗錢，還是要從大量資料中找出可能的洗錢關聯戶？
2. 數據檢查
數據是模型的基石，但不是所有數據都是有用的！
核心思考：你的數據夠嗎？時間分佈如何？正負樣本
最近在調整跟優化效能時，又來複習了 Multi-threading 和 Multiprocessing 的概念，在面對大數據時，能夠有效利用多核心處理器的能力，對於提升程式執行效能至關重要。
Python 提供多線程(Multi-threading) 和多進程 (Multiprocessing)
謝謝分享，最近正抉擇中
How to utilize batch input and multi-processing techniques to accelerate feature engineering?
問題
在進行特徵工程的過程中，我們通常需要處理各種各樣的數據，並轉換它們成有意義的特徵，以供後續的模型訓練
How to access feature names in a trained XGB model ?
故事是這樣的...
在接手某個專案中，取得了一份已經訓練好的 pickle 檔案記載著 XGBoost model weight ，但因為 feature engineering 的程式碼交
