你的網站需要全身健檢！初探Google URL Inspection API

什麼樣的網站適合？

• 每天都會生成千百個網址
• 想針對大量網址做健檢
• 相當重視即時搜尋成效
• 想優化網站SEO

URL檢查工具是什麼？

這支API還可以查出什麼資訊？

• Google爬到的內容有哪些？
• 檢索時間、檢索狀態、網頁擷取狀態
• Google選到的標準網址是什麼？
• 網頁是否適合用行動裝置瀏覽？
• AMP網頁是否有效？
• Google抓到的結構化資料長怎樣？
• robots.txt 是否封鎖該頁面？

串接步驟

• pip3 install --upgrade google-auth
• pip3 install google-api-python-client==1.12.10
• pip3 install requests

from google.oauth2 import service_account
from google.oauth2.service_account import Credentials
from googleapiclient.discovery import build

creds = 'key.json' #此處填入你的json檔名
scopes = ['https://www.googleapis.com/auth/webmasters',
'https://www.googleapis.com/auth/webmasters.readonly']
credentials = service_account.Credentials.from_service_account_file(creds, scopes=scopes)
service = build('searchconsole','v1', credentials=credentials)

#inspectionUrl = 你想檢索的網址；siteUrl = 主網站
request = {
  'inspectionUrl': 'https://www.cna.com.tw/news/afe/202203170150.aspx',
  'siteUrl': 'https://www.cna.com.tw/'
}
response = service.urlInspection().index().inspect(body=request).execute()
inspectionResult = response['inspectionResult']
print(inspectionResult)

串接注意事項

• 配額限制 每天 2,000 個查詢 每分鐘 600 個查詢
• HTTP Error 500 批量呼叫API時，爬蟲不定期出現這則訊息並終止運作：

googleapiclient.errors.HttpError: <HttpError 500 when requesting https://searchconsole.googleapis.com/v1/urlInspection/index:inspect?alt=json returned "Internal error encountered.". Details: "Internal error encountered.">

我們難以避免這個問題，API閘道系統背後有約1000台伺服器在處理各種請求，若有其中1台出現問題，便會回傳Error 500，但下一次你送出請求時會送到其他伺服器，回傳有效的資料。

實驗發現

URL檢查工具在Crawled與Indexed相關的狀態，改變速度跟不上實際上的索引結果

更新時間與爬蟲檢索頻率沒有絕對關係，且回報的檢索時間有問題

重複內容無法完全用canonical來避免

• Canonical宣告網址
• 轉址網址
• 內部連結
• sitemap裡面的URL
• 有Https的URL
• 網址結構比較好的URL

參考資源

• inspection API twitter上的討論串
• Google官方測試教學
• 感謝澳洲SEO專家JC大大的完整教學
• Google Search Console Community的問題