Node.js 爬蟲 — 自動化下載 1,178 張吉卜力作品劇照
更新於 發佈於 閱讀時間約 2 分鐘
最近對爬蟲感到興趣，幾天的研究發現 Puppeteer 這套由 Google 開源、使用無介面操作 Chrome 做自動化測試的 Node.js 函式庫也能用來爬取資料，因此決定使用 Node.js 搭配 Puppeteer 和 Axios (基於 promise 的 HTTP 庫)，自動化將先前作品「吉卜力相簿」 上的一千多張作品劇照下載下來。
Puppeteer 可由 npm 進行安裝，如果電腦中有基於 Chromium 的瀏覽器，可下載容量較小的核心版本，之後再將啟動路徑設置為應用程式路徑即可 (範例使用 Brave 瀏覽器)：
$ npm i puppeteer-core
Puppeteer 的語法並不難，在官方文件中可找到許多範例；而其中因為大多自動化操作屬於非同步行為，需要另外使用 async/await 語法確保程式依序執行，算是比較需要注意的部分，較常用到的指令有：
這次實作中遇到最大的問題是在大量下載圖片時，Node 端遇到的錯誤，原因由短時間內發出過多請求導致圖片下載失敗，透過加上 slowMo 參數，將自動化操作的速度減慢得以解決：
$ (node:15319) UnhandledPromiseRejectionWarning: Error: getaddrinfo ENOTFOUND www.ghibli.jpat GetAddrInfoReqWrap.onlookup [as oncomplete] (dns.js:67:26)(Use `node — trace-warnings …` to show where the warning was created)
完成初次爬蟲和自動化程序的過程中小有成就感，如果未來有需求，也許還會使用類似的方式做網頁轉 PDF、自動化登入操作，又或是定時爬完資料後結合寄信功能做 Email 通知吧！
感謝您的閱讀，我試著將生活與自己所學到的知識，以平易近人的方式傳達給正在努力進步的同好，甚至是領域之外卻有興趣的人。如果喜歡我的文章，歡迎贊助我，你的鼓勵也是我進步的動力。
為什麼會看到廣告
留言0
查看全部
你可能也想看
Google News 追蹤
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
在這篇教學文章中，我們將展示如何使用 Node.js 建立一個簡單的伺服器，並解決常見的跨來源資源共享（CORS）問題，確保伺服器能夠接收並處理來自不同來源的資料。
網路爬蟲的由來
網路爬蟲，也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。
網路爬蟲的原理
你知道嗎？網路爬蟲其實是整個搜尋世界的起點。爬蟲將所有上線的網頁快速瀏覽後並整理重點做索引，這樣搜尋引擎才能快速檢索相關內容。今天本男爵就來跟大家好好聊一下，在網路世界中無所不在，但你可能卻從未察覺到的這條「蟲」。
xhr
在下面的例子裡，我們首先建立了一個 XMLHttpRequest 物件，並使用 .open() 開啟一個 URL，最後使用 .send() 發出 request。
具體來說步驟有四個：
建立XMLHttpReque
開啟一個請求。
送出請求。
拿到回應後去處理畫面要如何呈現。
Perplexity AI 是一款使用 GPT 模型的人工智慧搜尋引擎，提供即時、準確且廣泛的網路搜尋服務，根據用戶提問自動篩選和整理相關資料，並附上參考來源連結。
@看了youtube的人工智慧漫畫圖片生成教學，試著自己寫了一個漫畫小劇本，將劇本的人物，故事內容等輸入comica 人工智慧網站，約幾分鐘就生成了一頁四格的漫畫。@感想：民視新聞報導，日本已經有小說家用人工智慧漫畫生成網站，用電腦自動生成了90頁的漫畫「桃太郎」，而且已經在日本發售。而美國
先前幾篇筆記介紹了網路請求，瀏覽器儲存資料的方式，那麼實務上，前端最常需要發送網路請求的時候，就是透過呼叫 API，去向後端工程師發送/請求資料，所以今天來記錄什麼是 API吧！
這個地址可以讓我一鍵安裝目前所有的開源AI應用，包括：
AI繪圖工具：Stable Diffusion的Web UI和comyUI
視訊換臉工具：Face Fusion
聲音課程工具：RVC和XTDS
記住這個地址，它可以讓你一鍵安裝目前所有的開源AI應用。不用管環境配置需要哪一個，直接點擊
現代社會跟以前不同了，人人都有一支手機，只要打開就可以獲得各種資訊。過去想要辦卡或是開戶就要跑一趟銀行，然而如今科技快速發展之下，金融App無聲無息地進到你生活中。但同樣的，每一家銀行都有自己的App時，我們又該如何選擇呢？(本文係由國泰世華銀行邀約)
今天我會用不同角度帶大家看這款國泰世華CUB
嘿，大家新年快樂~ 新年大家都在做什麼呢？
跨年夜的我趕工製作某個外包設計案，在工作告一段落時趕上倒數。
然後和兩個小孩過了一個忙亂的元旦。在深夜時刻，看到朋友傳來的解籤網站，興致勃勃熬夜體驗了一下，覺得非常好玩，或許有人玩過了，但還是想寫上來分享紀錄一下~
在這篇教學文章中，我們將展示如何使用 Node.js 建立一個簡單的伺服器，並解決常見的跨來源資源共享（CORS）問題，確保伺服器能夠接收並處理來自不同來源的資料。
網路爬蟲的由來
網路爬蟲，也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。
網路爬蟲的原理
你知道嗎？網路爬蟲其實是整個搜尋世界的起點。爬蟲將所有上線的網頁快速瀏覽後並整理重點做索引，這樣搜尋引擎才能快速檢索相關內容。今天本男爵就來跟大家好好聊一下，在網路世界中無所不在，但你可能卻從未察覺到的這條「蟲」。
xhr
在下面的例子裡，我們首先建立了一個 XMLHttpRequest 物件，並使用 .open() 開啟一個 URL，最後使用 .send() 發出 request。
具體來說步驟有四個：
建立XMLHttpReque
開啟一個請求。
送出請求。
拿到回應後去處理畫面要如何呈現。
Perplexity AI 是一款使用 GPT 模型的人工智慧搜尋引擎，提供即時、準確且廣泛的網路搜尋服務，根據用戶提問自動篩選和整理相關資料，並附上參考來源連結。
@看了youtube的人工智慧漫畫圖片生成教學，試著自己寫了一個漫畫小劇本，將劇本的人物，故事內容等輸入comica 人工智慧網站，約幾分鐘就生成了一頁四格的漫畫。@感想：民視新聞報導，日本已經有小說家用人工智慧漫畫生成網站，用電腦自動生成了90頁的漫畫「桃太郎」，而且已經在日本發售。而美國
先前幾篇筆記介紹了網路請求，瀏覽器儲存資料的方式，那麼實務上，前端最常需要發送網路請求的時候，就是透過呼叫 API，去向後端工程師發送/請求資料，所以今天來記錄什麼是 API吧！
這個地址可以讓我一鍵安裝目前所有的開源AI應用，包括：
AI繪圖工具：Stable Diffusion的Web UI和comyUI
視訊換臉工具：Face Fusion
聲音課程工具：RVC和XTDS
記住這個地址，它可以讓你一鍵安裝目前所有的開源AI應用。不用管環境配置需要哪一個，直接點擊