爬蟲工具
閱讀時間約 1 分鐘
爬蟲工作一段時間，其中有些需要定期每小時爬一次或需要時常維護修改，對於大量的爬蟲要如何寫才能可靠且好維護呢?
網路上很多免費的python爬蟲教學 爬蟲教學 這個寫得很好，就不再重寫教學了，只分享一些實際遇到的問題
以下是我用的爬蟲工具
requests 取得網站內容
pyquery 解析需要的欄位，也可以用beautifulsoup，我選擇使用pyquery，因為可以更方便的取到資料 ，另外語法幾乎跟jquery一樣，jquery是非常實用的工具，寫網站前端或做資料視覺化的互動很常用到，使用過jquery的人轉寫爬蟲可以很快上手
scrapy 如果需要做個可維護好修改的爬蟲還是需要用這個
scrapyd 把爬蟲佈署成一個服務
spiderkeeper(有一些很嚴重的bug需要修改，作者已經沒有維護) scrapyd的圖形化網站服務，做排程
requestium requests整合Selenium的方便工具
tesseract 破解驗證碼，另外自己訓練模型破解驗證碼，會比tesseract正確率高很多，也很簡單實作，網路上有許多現成模型可以使用
MongoDB 對非結構的網站先把資料塞進去
如何爬被禁止爬蟲的網站
- 使用隨機的瀏覽器 添加user agent
- ip被封改proxy 去github上找免費proxy服務
- 下載延遲 越久越好不要把別人的網站搞壞
- 多執行緒 越少越好不要把別人的網站搞壞，除非是不同網站
- 如果可以，不要用cookies 有的會被發現爬蟲
- 當前從哪個網站來的 加referer
以上問題scrapy都可以很方便添加完成，或原本就幫你處理了 網路上都有很多解決上面問題的教學，之後我也會寫我的解法
留言0
查看全部
你可能也想看
Google News 追蹤
本篇文章介紹網路爬蟲的基本概念和操作流程，適合初學者瞭解爬蟲的功能與合法使用方式。文章說明爬蟲如何自動蒐集資料及 API 的重要角色，同時提醒用戶注意指南與網站規範。作者也自己嘗試網路爬蟲。也期許自己可以在未來學習到網頁時，能成功操作 LinkedIn 的爬蟲
你是否曾使用Python進行網上爬蟲、撈取資料、分析，並將結果存進雲端資料庫? 你知道這一切可以全部發生在Google Drive裡嗎?而且，全部都是免費的!
網路爬蟲的由來
網路爬蟲，也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。
網路爬蟲的原理
你知道嗎？網路爬蟲其實是整個搜尋世界的起點。爬蟲將所有上線的網頁快速瀏覽後並整理重點做索引，這樣搜尋引擎才能快速檢索相關內容。今天本男爵就來跟大家好好聊一下，在網路世界中無所不在，但你可能卻從未察覺到的這條「蟲」。
對於剛接觸Python程式的使用者來說，要一口氣學會爬蟲可能相對困難，但若想即時且輕鬆獲得台股相關數據，你可以利用證交所所提供的API進行數據蒐集。只需要簡單幾行程式碼，就能輕鬆抓到台股上千支股票的每日資訊，是不是棒呆了!!
如何用Python將DataFrame中的資料擷取維新的DataFrame？
什麼是Python
python是電腦程式語言的一種，如同python官方網站上的介紹 "Python是一種程式語，可讓你更快速地工作並更有效的整合系統"。簡單地說，就是你可用python這個程式語言去告訴電腦你想要作什麼，讓電腦來幫你完成你要作的事情。
想要開始Python語言的開發環境，有兩種常見方式，一種是下載安裝到本機端，另一種是直接在雲端執行。本文將介紹三個常見的開發工具及其安裝步驟。
本篇文章介紹網路爬蟲的基本概念和操作流程，適合初學者瞭解爬蟲的功能與合法使用方式。文章說明爬蟲如何自動蒐集資料及 API 的重要角色，同時提醒用戶注意指南與網站規範。作者也自己嘗試網路爬蟲。也期許自己可以在未來學習到網頁時，能成功操作 LinkedIn 的爬蟲
你是否曾使用Python進行網上爬蟲、撈取資料、分析，並將結果存進雲端資料庫? 你知道這一切可以全部發生在Google Drive裡嗎?而且，全部都是免費的!
網路爬蟲的由來
網路爬蟲，也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。
網路爬蟲的原理
你知道嗎？網路爬蟲其實是整個搜尋世界的起點。爬蟲將所有上線的網頁快速瀏覽後並整理重點做索引，這樣搜尋引擎才能快速檢索相關內容。今天本男爵就來跟大家好好聊一下，在網路世界中無所不在，但你可能卻從未察覺到的這條「蟲」。
對於剛接觸Python程式的使用者來說，要一口氣學會爬蟲可能相對困難，但若想即時且輕鬆獲得台股相關數據，你可以利用證交所所提供的API進行數據蒐集。只需要簡單幾行程式碼，就能輕鬆抓到台股上千支股票的每日資訊，是不是棒呆了!!
如何用Python將DataFrame中的資料擷取維新的DataFrame？
什麼是Python
python是電腦程式語言的一種，如同python官方網站上的介紹 "Python是一種程式語，可讓你更快速地工作並更有效的整合系統"。簡單地說，就是你可用python這個程式語言去告訴電腦你想要作什麼，讓電腦來幫你完成你要作的事情。
想要開始Python語言的開發環境，有兩種常見方式，一種是下載安裝到本機端，另一種是直接在雲端執行。本文將介紹三個常見的開發工具及其安裝步驟。