【筆記】Selenium 實作:讓你的網頁自動幫你開啟網站

更新於 2023/07/23閱讀時間約 6 分鐘
當Selenium環境做好以後就可以拿它來做點事情了,這次我們試試如何讓網頁幫你搜尋並登入網站,以電子書網站readmoo為例。

延續【筆記】Selenium with Python 環境配置

#導入webdriver​
from selenium import webdriver

#建立一個chrome的webdriver
driver = webdriver.Chrome()

#開啟的網址是google首頁
driver.get("https://www.google.com")

#防止網頁馬上開了就關,再執行一次檔案就可以關閉頁面
input()

為了要讓接下來的程式運作順利,我們需要載入兩個套件:

#載入需要的套件​
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys​
  • By 套件 用於協助定位元素,讓我們可以在頁面中找到想要的操作元素

常用的定位方法如:

By.CSS_SELECTOR:抓CSS選擇器來定位,幾乎可以做到大多數的定位方式

By.ID:抓"ID"屬性來定位

By.NAME:抓"NAME"屬性來定位

By.LINK_TEXT:根據連接元素的文本內容來定位

By.XPATH:用XPath表達式定位

By.TAG_NAME:用標籤定位元素,例如<div>、<p>、<a>、<input>

開啟瀏覽器的「開發人員工具」,點擊元素(Elements)分頁就可以看到了

google搜尋欄位的元素

google搜尋欄位的元素

  • Keys 套件 用於模擬鍵盤操作

常用的操作如:

Keys.ENTER:就是鍵盤上的ENTER,Keys.RETURN同等意思

Keys.ESCAPE:Esc鍵

Keys.ARROW_UP:上箭頭;DOWN,下箭頭;LEFT,左箭頭;RIGHT,右箭頭。

Keys.BACKSPACE:退格鍵,就是鍵盤的ENTER上面長長的"<——"

Keys.DELETE:刪除鍵

Keys.PAGE_UP:Page Up鍵,可以頁面往上移動

Keys.PAGE_DOWN:Page Down鍵,可以頁面往下移動


導入套件後,首先我們需要定位google的搜尋欄位,以上方截圖當例子:

#定義一個​變數為search_box,它是用來抓取搜尋欄位的元素的
search_box = driver.find_element(By.NAME,"q")


抓取到我們要的元素以後,由於我們要搜尋Readmoo這本電子書的網站,因此我們就讓輸入框輸入 "readmoo"

#調用​search_box鎖定的輸入框,在輸入框輸入 readmoo
search_box.send_keys("readmoo")


輸入完之後,點擊送出

#調用​search_box鎖定的輸入框,在輸入框模仿鍵盤按ENTER
search_box.send_keys(Keys.ENTER)


結果如下:

raw-image
接著我們要控制瀏覽器鎖定Google搜尋結果:

#​定義一個變數為 search_results,用來抓取Google搜尋結果的元素
search_results = driver.find_elements(By.CSS_SELECTOR, "div.g")


"div.g"怎麼來的

透過瀏覽器的「開發者工具」,我們會發現網頁用<div></div>把搜尋結果包在裡面,如下圖:

raw-image

展開後,每個搜尋結果的class都會一個帶有g開頭(google額外的廣告會是不同的格式),所以可以用css選擇器(By.CSS_SELECTOR)選擇div裡面的g,篩選到每個搜尋結果,如下圖:

raw-image

我們篩選第一個當成是我們到網站的選項,並且點擊,到達我們要到的網址

#定義first_results,他是搜尋結果的第一個
first_results = search_results[0]
#定義link,調用​first_results,並進行定位
link = first_results.find_element(By.TAG_NAME,"h3")
#點擊link​
link.click()

結果如下:

閃退了,並出現錯誤提示

閃退了,並出現錯誤提示

錯誤提示 IndexError: list index out of range,表示嘗試訪問的陣列元素索引超出陣列範圍,在網頁自動化跳轉的情況下產生這個錯誤通常是網頁還沒有載入資料就先執行檔案了,導致抓不到。

因此需要讓我們的driver多一點等待,需要加入這個設定:

#​driver加入隱含等待
driver.implicitly_wait(10)

隱含等待告訴selenium尋找元素時,最多等10秒,如果10秒內出現要尋找的元素,繼續執行後續的程式碼,等超過10秒都沒有出現,則跳異常。

總結

#導入webdriver​
from selenium import webdriver

#套件​
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

driver = webdriver.Chrome()
driver.get("https://www.google.com")
driver.implicitly_wait(10)

#google欄位,關鍵字輸入
search_box = driver.find_element(By.NAME,"q")
search_box.send_keys("readmoo")
search_box.send_keys(Keys.ENTER)

#搜尋結果定位
search_results = driver.find_elements(By.CSS_SELECTOR, "div.g")
first_results = search_results[0]
link = first_results.find_element(By.TAG_NAME,"h3")
link.click()

input()


結果如下:

raw-image

我們讓瀏覽器自動幫我們搜尋預想到的頁面了,但頁面有彈窗,如果想要讓瀏覽器做別的動作,那就會需要對彈窗進行處理,下一篇內容會讓瀏覽器關閉彈窗,並自動登入帳號成功。

    avatar-img
    21會員
    18內容數
    留言0
    查看全部
    avatar-img
    發表第一個留言支持創作者!
    冬霞的沙龍 的其他內容
    你可能也想看
    Google News 追蹤
    Thumbnail
    *合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
    从个人发展的角度来讲,我认为每个人都要有一点自己的长处,这个长处并不是人们常说的一些爱好之类的东西,而是个人身上那种相对稀缺的禀赋,或者是几种特质组合起来的独特性能。 这是任何时候都能保持一定竞争力的前提,也是一种不需要卷就能体现出来的个人优势。其实不需要对自己要求很高,只要在自己的领域高于平均,就
    Thumbnail
    在日常工作、学习、生活中,笔记软件成为重要的生产力工具。然而,如今的笔记软件百花齐放:云文档? 云笔记? 离线笔记? Markdown 编辑器? 块编辑器?双链笔记?在每个类别中,都有几十款比较有名的笔记软件。那么,我们应该如何选择这些适合自己的笔记软件呢? 文本编辑器的特征 文本编辑器的分类
    取得最多列數 行數 openpyxl sheet.max_row sheet.max_column
    Thumbnail
    兩年多前,開始有了重新架構網站的想法,所以把 Blogger 架設的網站,移轉至到了新的平台,當年我也做過了一些優缺點評析,剛好最近又再重新整理網站的所有架構,順便也重新啟動了一次 Hugo 架設網站的循環。
    什麼樣的社會運動,才算是成功的社會運動?或者,什麼樣的社會運動,才算有價值與完美的社會運動?這部紀錄片,並未給出一個正確的解答。 但……沒有答案,並不代表就不值得觀看,只因藉由這部紀錄片,我們可以省思在運動之後,這個社會是否得到了什麼?改善了什麼?前進了什麼?還是什麼也沒有,只是一段激情之後換來一股
    Thumbnail
    *合作聲明與警語: 本文係由國泰世華銀行邀稿。 證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務,定期定額(股)服務由國泰綜合證券提供。   剛出社會的時候,很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天,都會聽到各種市場動態、理財話題,像是:聯準會降息或是近期哪些科
    从个人发展的角度来讲,我认为每个人都要有一点自己的长处,这个长处并不是人们常说的一些爱好之类的东西,而是个人身上那种相对稀缺的禀赋,或者是几种特质组合起来的独特性能。 这是任何时候都能保持一定竞争力的前提,也是一种不需要卷就能体现出来的个人优势。其实不需要对自己要求很高,只要在自己的领域高于平均,就
    Thumbnail
    在日常工作、学习、生活中,笔记软件成为重要的生产力工具。然而,如今的笔记软件百花齐放:云文档? 云笔记? 离线笔记? Markdown 编辑器? 块编辑器?双链笔记?在每个类别中,都有几十款比较有名的笔记软件。那么,我们应该如何选择这些适合自己的笔记软件呢? 文本编辑器的特征 文本编辑器的分类
    取得最多列數 行數 openpyxl sheet.max_row sheet.max_column
    Thumbnail
    兩年多前,開始有了重新架構網站的想法,所以把 Blogger 架設的網站,移轉至到了新的平台,當年我也做過了一些優缺點評析,剛好最近又再重新整理網站的所有架構,順便也重新啟動了一次 Hugo 架設網站的循環。
    什麼樣的社會運動,才算是成功的社會運動?或者,什麼樣的社會運動,才算有價值與完美的社會運動?這部紀錄片,並未給出一個正確的解答。 但……沒有答案,並不代表就不值得觀看,只因藉由這部紀錄片,我們可以省思在運動之後,這個社會是否得到了什麼?改善了什麼?前進了什麼?還是什麼也沒有,只是一段激情之後換來一股