Robots.txt:告訴搜尋引擎爬蟲根本不要造訪此頁面,不僅不索引該頁面,甚至不要造訪和閱讀它。因此,搜尋引擎不會爬行和讀取該網頁,因此它無法爬行該網頁上存在的連結,並且這些連結不計入網頁排名分數。
Noindex:告訴抓取頁面的機器人不要將頁面編入索引,並且不要將其顯示在搜尋結果頁面中。
簡單來說,Robots.txt 限制爬取,Noindex 限制索引。
分別又稱檢索和收錄,搜尋引擎爬蟲來網站上爬取、下載網站資料就叫做檢索;將網頁資料收錄、建檔到搜尋引擎裡面並展現在搜尋結果頁面中就叫做索引。
從 SEO 的角度來看,robots.txt 扮演著至關重要的角色,它告訴搜尋引擎如何最好地抓取您的網站。
使用 robots.txt,可以阻止搜尋引擎訪問網站的某些部分,防止重複內容並為搜尋引擎提供有用的指令,告訴他們如何更有效地抓取您的網站,可以讓搜尋引爬蟲在重要的頁面上花費更多的抓取預算。
又稱 Canonical Tag 或標準網址定義,rel=canonical 是一小段 HTML 程式碼,能幫助搜尋引擎從相似的頁面中確認最主要的版本,並呈現在搜尋結果上。
一般來說,一個網站通常會有一些重複的頁面,他們顯示相同的內容卻具有不同的 URL。在這些情況下,Google 必須決定選擇哪個頁面進行索引和排名,它不會使用所有頁面作為搜尋結果,因為它們看起來都相同或非常相似。
又稱元描述或是 Meta tags,元標籤是一個 HTML 語法,它會被撰寫在 HTML <head> 的區塊上,元標籤的內容一般不會直接顯示在網頁上,它會先被搜尋引擎閱讀並被轉化為片段顯示在搜尋引擎結果頁面中的頁面 URL 和標題下方,透過元標籤 Google 和用戶可以更了解網頁內容所提供的資訊。
值得注意的是,您設定的元標籤有可能不會被顯示在搜尋結果頁面上,Google 會根據搜尋查詢、頁面內容以及頁面元描述,認為哪一個最能充分滿足用戶的搜尋意圖自動產生頁面片段,所以元描述應該是跟頁面內容相關且具有描述性的摘要內容。
元標籤並不是 Google 決定排名的直接因素之一,但它可能會影響到搜尋引擎頁面中的點擊率,用戶透過元標籤決定他們要不要點進網頁觀看內容,Google 還可能會加粗元描述中跟查詢高度相關的關鍵字,有助於用戶掃描結果並找到符合需求的頁面,所以元標籤對於搜尋引擎排名是有間接影響的。