以前寫的文章

機器學習最基本的需求是要把資料切成訓練集、測試集 訓練集要做N次交叉驗證避免overfitting，並選出最好的參數，測試集當作真實的表現 以下是我隨意想的幾個問題 問題1: 市場變動太快雜訊太多，訓練集不夠代表測試集，最近美國跟中國的貿易戰、川普行為、科技未來的發展、國際情勢都影響著股市，可能一個消息就讓某個產業大跌。 ...

先花10分鐘做個預測了解問題的難度，這邊不對變數做任何處裡直接丟模型，之後會慢慢改善 因為周末要休息了，放個沒有意義的模型給沒用過sklearn的參考 預測台積電10天後收盤價，切訓練7測試3 dat...

不知道模型怎麼調，可以用暴力法try出來 使用GridSearchCV，就算你真的了解模型的原理也是一樣要用GridSearchCV，所以別怕不了解直接用GridSearchCV交叉驗證就不會用錯模型 昨天的變數只有用當天的資料，預測未來的股價 '成交股數', '成交金額', '開盤價', '最高價', '最低價', '收盤價', '漲跌價差', '成交筆數', '三大法人買賣超','外資自營商買賣超', '外資自營商買進', '外資自營商賣出', '外陸資買賣超', '外陸資買進', '外陸資賣出', '投信買賣超','投信買進', '投信賣出', '自營商買賣超', '自營商買賣超避險', '自營商買進', '自營商買進避險', '自營商賣出','自營商賣出避險', '融券今日餘額', '融券前日餘額', '融券現金償還', '融券買進', '融券賣出', '融券限額','融資今日餘額', '融資前日餘額', '融資現金償還', '融資買進', '融資賣出', '融資限額', '資券互抵', '借券今日可限額','借券前日餘額', '借券當日調整', '借券當日賣出', '借券當日還券', '借券當日餘額' 因該要計算幾天累積買的量，這邊設定累積4天的量 data['三大法人買賣超'].rolling(window=4).agg(['sum','std','mean','max','min','median','kurt','skew']) 上面的方法可以算過去3天加當天"三大法人買賣超"的總數、標準差、4天的最大值、4天的最小值、4天的中位數、峰度、偏度(還可以發揮創意繼續加上去，例如變化量的斜率) for col in data.columns: data=pd.merge(data, data[col].rolling(window=4).agg(['sum','std','mean','max','min','median','kurt','skew']),on='date',suffixes=('','_'+col)

上一篇太多沒用的變數了，可以用變數選擇的方法過濾一下 可以用線性的選(例如Lasso)跟非線性的選(例如random forests) 如果線性跟非線性都選出來很重要的特徵可以特別研究，對他生出更多變...

FeatureUnion 跟 pipeline 真的好用，可以暴力法選出特徵設定跟模型的參數 隨意找個介紹 https://www.kaggle.com/baghern/a-deep-dive-int...

補上昨天說的，有了這個東西就可以花更多時間在特徵工程(多爬資料，多瞭解股市的知識)，花更少時間試模型。 這邊自定義一個function加入Pipeline可以算出最佳累積天數跟模型的參數 import...