何謂網頁爬蟲
根據維基百科，網路爬蟲（web crawler），也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人，其目的一般為編纂網路索引。
如今，爬蟲已經不再限於建立網路索引。由於爬蟲可自動執行的特性，重複在網路上複製、下載的枯燥工作，也可以交由爬蟲來完成。舉個例子，在〈網頁爬蟲實作-下載司法院書狀範本〉一文中，便是利用爬蟲自動到司法院網頁下載書狀範本。如果沒有用爬蟲，我可能得花上一個星期才能將書狀名稱、下載網址複製下來，然而透過爬蟲，我只用一個晚上就完成了。
使用爬蟲的法律責任
雖然爬蟲是如此好用的工具，但使用時也必須留意相關的法律規範。
著作權
重製
網路上的圖片、文章、音樂、影片、軟體均有著作權，如果使用爬蟲將其全部複製，可能涉及著作權法第3條第1項第5款所稱之重製。重製不一定侵害著作權，但必須符合合理使用的規範。
舉例而言，如果是為了教學、評論、非營利自用的目的而重製，就可以主張合理使用。但如果是轉貼在自己的部落格，那可能就難逃侵權責任。
robot.txt
網路上有流傳一種說法：使用爬蟲必須遵循robot.txt的內容，以免觸犯著作權法。然而這是不正確的說法。
robot.txt，根據維基百科的定義，是一種存放於網站根目錄下的ASCII編碼的文字檔案，用於告訴網路爬蟲此網站中的哪些內容是不應被搜尋引擎取得的，而哪些是可以被爬蟲取得的。
robot.txt充其量只是作者(或是網站管理者)對搜尋引擎爬蟲的授權範圍，換句話說，搜尋引擎根據robot.txt的內容進行爬蟲、快照，基本上不會觸犯著作權法。但如果不是搜尋引擎的爬蟲，而是私人運行的網頁爬蟲 (如自己撰寫的python程式、網路上下載的爬蟲軟體)，就無法援引robot.txt作為智慧財產權侵權責任的免責事由。
個人資料保護法
有時候網頁上的資訊，涉及個人資料。諸如：姓名、出生年月日、特徵、教育程度、職業、聯絡方式等等。這些個資的蒐集 (爬蟲)、處理 (資料清理)、利用都必須符合個人資料保護法第19條的規範。
個人資料保護法第19條第1項：非公務機關對個人資料之蒐集或處理，除第六條第一項所規定資料外，應有特定目的，並符合下列情形之一者： 一、法律明文規定。 二、與當事人有契約或類似契約之關係，且已採取適當之安全措施。 三、當事人自行公開或其他已合法公開之個人資料。 四、學術研究機構基於公共利益為統計或學術研究而有必要，且資料經過提供者處理後或經蒐集者依其揭露方式無從識別特定之當事人。 五、經當事人同意。 六、為增進公共利益所必要。 七、個人資料取自於一般可得之來源。但當事人對該資料之禁止處理或利用，顯有更值得保護之重大利益者，不在此限。 八、對當事人權益無侵害。
簡而言之，取得這些個資必須是依據法律明文規定、出於與當事人有約定、學術研究必要、公共利益必要，或者資料是取自於一般可得之來源、已合法公開之個人資料。
舉例而言，許多人會在人力資源網站放上自己的履歷，內含姓名、email、學經歷等等個資，如果使用爬蟲蒐集下來，欲進行行銷或其他方式的利用，就必須符合前述個人資料保護法的規定。
同樣的，robot.txt也不能作為個人資料保護法的免責事由。
公平交易法
公平交易法的目的，主要是在維護競爭秩序。倘若網頁資料的取得，是他人的心血結晶、有利於在市場上競爭，透過網頁爬蟲將該資料不費吹灰之力全部複製、利用，則有可能違反公平交易法第25條之規定。
公平交易法第25條：除本法另有規定者外，事業亦不得為其他足以影響交易秩序之欺罔或顯失公平之行為。
舉例而言，許多房仲會到競爭對手的網站大量複製售屋資訊，再放置到自己的房仲網站上，營造也有受屋主委託賣屋的假象，進而吸引買家。如此一來，便使得花費大量精力簽下委託售屋契約的房仲平白無故被搭便車。
刑法
網頁爬蟲在蒐集資料時，多半也必須實際進到該網頁，讓網頁載入內容、顯示內容。因此，如果短時間內進行極大量的網頁爬蟲，有可能會癱瘓網站。如此一來，可能會觸犯刑法第360條干擾電腦設備罪。不過以目前市面上主流的網頁主機而言，單純以網頁爬蟲工具要形成類似DDoS的效果，著實也有些困難。
科技始終來自於人性
網頁爬蟲可以幫助我們快速完成重複、枯燥的複製工作，但因為使用網頁爬蟲讓「複製」太過輕易，也容易使得人們忘記資料的取得與整理，其實是一件多麼不容易的事情。
然而網頁爬蟲本身沒有善惡，端看使用者如何運用，這也是所謂的科技中立性。
在使用網頁爬蟲之前，首先確定爬下來的資料，是否符合著作權法的合理使用規範；其次，如果爬下來的資料涉及他人個資，最好是取得同意後再使用；再者，如果爬下來的資料是事業競爭對手的資料，則是能免則免。
