爬蟲工具

以下是我用的爬蟲工具

requests 取得網站內容

pyquery 解析需要的欄位，也可以用beautifulsoup，我選擇使用pyquery，因為可以更方便的取到資料 ，另外語法幾乎跟jquery一樣，jquery是非常實用的工具，寫網站前端或做資料視覺化的互動很常用到，使用過jquery的人轉寫爬蟲可以很快上手

scrapy 如果需要做個可維護好修改的爬蟲還是需要用這個

scrapyd 把爬蟲佈署成一個服務

spiderkeeper(有一些很嚴重的bug需要修改，作者已經沒有維護) scrapyd的圖形化網站服務，做排程

requestium requests整合Selenium的方便工具

tesseract 破解驗證碼，另外自己訓練模型破解驗證碼，會比tesseract正確率高很多，也很簡單實作，網路上有許多現成模型可以使用

MongoDB 對非結構的網站先把資料塞進去

如何爬被禁止爬蟲的網站

• 使用隨機的瀏覽器 添加user agent
• ip被封改proxy 去github上找免費proxy服務
• 下載延遲 越久越好不要把別人的網站搞壞
• 多執行緒 越少越好不要把別人的網站搞壞，除非是不同網站
• 如果可以，不要用cookies 有的會被發現爬蟲
• 當前從哪個網站來的 加referer

以上問題scrapy都可以很方便添加完成，或原本就幫你處理了 網路上都有很多解決上面問題的教學，之後我也會寫我的解法