使用 Selenium 自動滾動網頁並抓取文章連結
在網頁爬蟲開發中，我們經常遇到需要自動滾動頁面以加載新內容的場景，特別是在一些無限滾動的頁面中（例如新聞網站或社交媒體）。
本文將介紹如何使用 Python 的 Selenium 庫來實現這一需求，並抓取頁面中的VCC自己文章的連結。
前置準備
在開始實作之前，確保你已完成以下準備：
- 安裝 Python 和 Selenium
可以通過 pip 安裝 Selenium：pip install selenium - 準備要爬取的網站
本文以一個自己的文章列表頁面為例。
網頁按右鍵，在按檢查就會顯示網頁的 HTML 結構
在隨意複製其中一篇文章網址連結，按ctr鍵加F，搜尋複製的網址，試圖找出關聯性。
發現跟文章網址有關聯的標籤名稱為<a> ，有關鍵字article利用此特性來篩選出所有文章的內容
實作步驟
以下是完整的程式碼，包含自動滾動網頁並提取文章連結的功能：
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
def get_article_links_with_scroll(base_url):
try:
# 初始化瀏覽器
driver = webdriver.Chrome() # 確保安裝了對應的 WebDriver
driver.get(base_url)
time.sleep(2) # 等待頁面初始加載
# 模擬向下滾動
scroll_pause_time = 2 # 每次滾動後的等待時間
last_height = driver.execute_script("return document.body.scrollHeight") # 獲取滾動條初始高度
links = set() # 用於儲存文章鏈接
while True:
# 滾動到底部
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(scroll_pause_time) # 等待新內容加載
# 獲取新高度並檢查是否到達底部
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
break # 如果滾動條高度未變化，說明已經到底部
last_height = new_height
# 提取文章鏈接
page_links = driver.find_elements(By.TAG_NAME, "a")
for link in page_links:
href = link.get_attribute("href")
if href and 'article' in href: # 篩選包含 'article' 的鏈接
links.add(href)
driver.quit() # 關閉瀏覽器
return links
except Exception as e:
print(f"錯誤: {e}")
return set()
# 測試網址
base_url = "https://vocus.cc/salon/crab/room/Crab_OpenCV" # 替換為你的網站首頁或文章列表頁面
article_links = get_article_links_with_scroll(base_url)
# 輸出所有文章鏈接
print("找到的文章鏈接：")
for link in article_links:
print(link)
程式碼詳解
1. 初始化 Selenium
driver = webdriver.Chrome()
driver.get(base_url)
time.sleep(2) # 等待頁面初始加載
這段程式碼用來啟動 Chrome 瀏覽器並訪問指定的 base_url。
2. 滾動頁面
last_height = driver.execute_script("return document.body.scrollHeight")
while True:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(scroll_pause_time)
new_height = driver.execute_script("return document.body.scrollHeight")
if new_height == last_height:
break
last_height = new_height
這段程式碼使用 JavaScript 指令 window.scrollTo 將頁面滾動到底部，並通過比較滾動高度來判斷是否已經到達頁面底部。
3. 提取文章連結
page_links = driver.find_elements(By.TAG_NAME, "a")
for link in page_links:
href = link.get_attribute("href")
if href and 'article' in href:
links.add(href)
這部分程式碼遍歷頁面中的所有 <a> 標籤，並篩選出包含 article 關鍵字的連結。
運行結果
執行程式後，所有符合條件的文章連結將會被輸出到終端，例如：
找到的文章鏈接：
https://vocus.cc/article/12345
https://vocus.cc/article/67890
注意事項
- 滾動等待時間
設置合適的scroll_pause_time，以確保新內容能夠完全加載。 - 鏈接篩選條件
根據網站結構調整if 'article' in href的條件，避免抓取無關的連結。 - 動態內容網站
如果頁面內容是通過 AJAX 加載的，滾動後可能需要更長的等待時間。
結語
透過 Selenium，我們能輕鬆模擬瀏覽器操作，自動滾動頁面並抓取需要的資料。在實際應用中，根據網站結構靈活調整爬取邏輯，能幫助我們高效地完成數據收集。
希望本文能幫助你解決相關需求！如果有任何問題，歡迎留言討論。 😊
