爬蟲工具
爬蟲工作一段時間，其中有些需要定期每小時爬一次或需要時常維護修改，對於大量的爬蟲要如何寫才能可靠且好維護呢?
網路上很多免費的python爬蟲教學 爬蟲教學 這個寫得很好，就不再重寫教學了，只分享一些實際遇到的問題
以下是我用的爬蟲工具
requests 取得網站內容
pyquery 解析需要的欄位，也可以用beautifulsoup，我選擇使用pyquery，因為可以更方便的取到資料 ，另外語法幾乎跟jquery一樣，jquery是非常實用的工具，寫網站前端或做資料視覺化的互動很常用到，使用過jquery的人轉寫爬蟲可以很快上手
scrapy 如果需要做個可維護好修改的爬蟲還是需要用這個
scrapyd 把爬蟲佈署成一個服務
spiderkeeper(有一些很嚴重的bug需要修改，作者已經沒有維護) scrapyd的圖形化網站服務，做排程
requestium requests整合Selenium的方便工具
tesseract 破解驗證碼，另外自己訓練模型破解驗證碼，會比tesseract正確率高很多，也很簡單實作，網路上有許多現成模型可以使用
MongoDB 對非結構的網站先把資料塞進去
如何爬被禁止爬蟲的網站
- 使用隨機的瀏覽器 添加user agent
- ip被封改proxy 去github上找免費proxy服務
- 下載延遲 越久越好不要把別人的網站搞壞
- 多執行緒 越少越好不要把別人的網站搞壞，除非是不同網站
- 如果可以，不要用cookies 有的會被發現爬蟲
- 當前從哪個網站來的 加referer
以上問題scrapy都可以很方便添加完成，或原本就幫你處理了 網路上都有很多解決上面問題的教學，之後我也會寫我的解法
留言0
查看全部
你可能也想看
爬蟲又被擋了怎麼辦？常見的反爬蟲處理策略資料爬蟲是資料分析的起手式，必須有好的、可用的資料才得以進行高品質的資料科學專案，爬蟲也是資料科學領域開發者的第一項挑戰。但是當你學完爬蟲的技術之後，開始真的跳入爬蟲世界之後會發現有網站其實沒有想像中好爬。當自動
2021-09-12
工具列以外，對齊投影片元素的三個小撇步上文論述了「對齊」對於簡報設計的好處，那麼除了你知我知的工具列功能，例如align、distribute以外，上班族們一起來看一下還有什麼快速有效的小撇步吧！
2021-03-14
#工具開箱 一眼看出多數股票的格局架構－多空頭排列家數指標 股票市場當中，除了股票指數可以快速判斷一個國家的整體股市狀況以外，其實可以透過別的工具更細微地判斷整體盤面上多數個股的狀況，作為判斷行情是否接下來可能轉為盤整或有拉回需求的一個參考。而這個工具，其實就是小路每一天都會在盤中、盤後觀察的一個重要核心架構指標：「多空頭排列家數指標」。
如果妳是一
2021-01-15
工具人，要懂得停損。曾經在小聚會時，有位在座男士分享了一個影片，內容關於工具人的心酸苦楚，其他男士看後表示心有戚戚焉，但是，女士們則是不置可否。
分享影片的男士當下也述說了他大學時期曾經當了一段工具人的小故事。做了工具人一段時間後，他曾向心儀女生坦白說，他為她做了那麼多，想當的不只是朋友而已，他希望可以有進一步的交往。
2020-12-06
【工具推薦】11款實用的免費線上資源分享(2020版)在這個網路與資訊發達的時代，身為個人工作者是件相當幸福的事！因為過去可能需要許多不同技能、團隊協助才能完成的工作，透過一些線上的免費資源就能達到不錯的效果。本篇分享的11款資源/工具是我平常工作上常會用到的，大多都是免下載、免安裝，且操作使用上相當直覺，一起來看看有哪些吧！
2020-10-05
工具人？親兒子？細說福康安與乾隆帝之關係及數位人文研究福康安之展望七月二日是一位與台灣有關的清朝大將福康安逝世的日子。現在的人會知道福康安，第一個可能是因為有追過2018年上映的”延禧攻略”陸劇。名義上是大臣傅恆長子，實際上是其妻喜塔臘·爾睛（虛構人物）與傅謙的私生子。爾晴利用乾隆帝酒醉，造成被其寵幸後懷孕的假象，並告知富察皇后，成為皇后自殺的誘因之一。
2020-07-04