爬蟲工作一段時間，其中有些需要定期每小時爬一次或需要時常維護修改 對於大量的爬蟲要如何寫才能可靠且好維護呢?
網路上很多免費的python爬蟲教學 爬蟲教學 這個寫得很好，就不再重寫教學了，只分享一些實際遇到的問題
以下是我用的爬蟲工具
requests 取得網站內容 
pyquery 解析需要的欄

職場產業

藝文

觀點

股票量化交易

框框的沙龍

爬蟲工具

資料可以用這個
https://drive.google.com/open?id=1Jk54UflLtjL2MlS4EYvz9PQV7xgL1p79

由於這邊不能打code所以放到github了
E

 當我們自訂常見的雙均線策略，選擇
短期均線：10 天
長期均線：35 天
偏離度閾值：0.5%

投資理財

不要輕易相信技術指標，做個驗證吧

每天爬資料，也累積了3年多的股票資料，並寫了line每天自動通知我目前持有的股票的資料如下，省去我每天查詢資料的時間

昨天看了這個影片覺得好像不錯，花了一點點時間，寫了這個影片的策略

挑選規則如下

  投信持股小於5%  
  股本小於100億
  近1日投信買超>300張
  近2日投信買超

免費股票資料報表、策略通知

<h2><em>大多頭，人人是股神</em></h2>
<p>多年前因為在股票有不錯的成績加上是做分析建模的工作，所以興起了說不定可以用這些來做教學賺錢的想法，而且也看到了許多成功案例，但經歷了多年多頭，以為自己可以持續順利在股票上賺錢，所以一直提不起勁來分享，直到遇到武漢肺炎，決定還是好好寫教學賺錢好了，這個專題將會給大家最深入的機器學習跟量化交易知識</p>
<h3><strong>基本資料</strong></h3>
<p>工程師，曾經在研究單位、大型企業、外商...工作過，在公司建了很多機器學習模型，文字探勘、圖像、時間序列類型都有研究過</p>
<h3><strong>競賽成績:</strong></h3>
<ol>
  <li>T.Challenge 第二名 2016 年 10 月 新加坡商鈦坦科技 T.Challenge 是個數據分析預測競賽。由鈦坦科技第三方合作廠商提供的六個月間「5 分鐘快速結算」之衍生性金融商品歷史紀錄作為訓練資料，參賽者要在透過這些歷史資料預測另外一個月使用者的投資額。</li>
  <li>台大黑客松 數據分析黑客松 神機妙算獎 最佳模型 2017 年 3 月 HackNTU X 國泰人壽</li>
  <li>台大黑客松 經濟部 Better Business X Better Life 企業獎 2017 年 7 月</li>
  <li>台大黑客松 中國信託 Data 神機妙算 金獎 2017 年 7 月</li>
  <li>TOZZI 第一季《台股/台股ETF投資實戰競賽》 【股感獎】第一名 【人氣獎】第三名</li>
  <li>TOZZI 第二季《台股/台股ETF投資實戰競賽》 第四名</li>
  <li>TOZZI 百人百萬領投計畫 第二名</li>
  <li>TOZZI 第三季《台股/台股ETF投資實戰競賽》 【股感獎】第二名</li>
  <li>TOZZI 第五季《台股/台股ETF投資實戰競賽》 【股感獎】第三名</li>
  <li>民生公共物聯網資料應用競賽佳作 2018 年</li>
  <li>tbrain 玉山人工智慧公開挑戰賽-金融商品交易預測 第7 (1121參加隊伍) 2019 年</li>
  <li>aidea 鎳原料價格預測 第一名 2019 年</li>
  <li>aidea 圖書館資源對學習成效之影響預測 第三名 2020 年</li>
</ol>
<p><br>
&nbsp;</p>
<h3><strong>股票交易經驗:</strong></h3>
<ul>
  <li>時間: 2015~現在</li>
  <li>標的: 主要股票、另外一點台股期貨、海外期貨</li>
  <li>交易偏好: 因為要上班不做當沖、只做波段</li>
  <li>獲利金額(2020/05): 最多獲利約4百萬，最近一年慘賠百萬(年底又賺回來了且多賺)</li>
</ul>

多年前因為在股票有不錯的成績加上是做分析建模的工作，所以興起了說不定可以用這些來做教學賺錢的想法，而且也看到了許多成功案例，但經歷了多年多頭，以為自己可以持續順利在股票上賺錢，所以一直提不起勁來分享，直到遇到武漢肺炎，決定還是好好寫教學賺錢好了，這個專題將會給大家最深入的機器學習跟量化交易知識

工程師，曾經在研究單位、大型企業、外商...工作過，在公司建了很多機器學習模型，文字探勘、圖像、時間序列類型都有研究過

T.Challenge 第二名 2016 年 10 月 新加坡商鈦坦科技 T.Challenge 是個數據分析預測競賽。由鈦坦科技第三方合作廠商提供的六個月間「5 分鐘快速結算」之衍生性金融商品歷史紀錄作為訓練資料，參賽者要在透過這些歷史資料預測另外一個月使用者的投資額。

台大黑客松 數據分析黑客松 神機妙算獎 最佳模型 2017 年 3 月 HackNTU X 國泰人壽

台大黑客松 經濟部 Better Business X Better Life 企業獎 2017 年 7 月

台大黑客松 中國信託 Data 神機妙算 金獎 2017 年 7 月

TOZZI 第一季《台股/台股ETF投資實戰競賽》 【股感獎】第一名 【人氣獎】第三名

TOZZI 第二季《台股/台股ETF投資實戰競賽》 第四名

TOZZI 第三季《台股/台股ETF投資實戰競賽》 【股感獎】第二名

TOZZI 第五季《台股/台股ETF投資實戰競賽》 【股感獎】第三名

民生公共物聯網資料應用競賽佳作 2018 年

tbrain 玉山人工智慧公開挑戰賽-金融商品交易預測 第7 (1121參加隊伍) 2019 年

aidea 鎳原料價格預測 第一名 2019 年

aidea 圖書館資源對學習成效之影響預測 第三名 2020 年

標的: 主要股票、另外一點台股期貨、海外期貨

交易偏好: 因為要上班不做當沖、只做波段

獲利金額(2020/05): 最多獲利約4百萬，最近一年慘賠百萬(年底又賺回來了且多賺)

框框的沙龍

框框的沙龍介紹

精選內容

爬蟲工具

不要輕易相信技術指標，做個驗證吧

免費股票資料報表、策略通知

擁有者

追蹤最新動態，和 1 位同樣興趣愛好的人一起交流

框框的沙龍

框框的沙龍介紹

精選內容

爬蟲工具

不要輕易相信技術指標，做個驗證吧

免費股票資料報表、策略通知

擁有者

追蹤最新動態， 和 1 位同樣興趣愛好的人一起交流

追蹤最新動態，和 1 位同樣興趣愛好的人一起交流