Meta Robots
閱讀時間約 8 分鐘
什麼是Meta Robots？
之前我們在介紹Meta tags中有大概介紹到Meta Robos，這篇則會完整的介紹Meta Robots的作用以及使用方式。
Meta Robots是Meta Tags中的一種。主要是為搜尋引擎的爬蟲，告訴他們「要如何」對網頁進行爬蟲或索引。這個與「robots.txt」文件有相似的作用，但Meta Robots可以告訴爬蟲更清楚的網頁索引需求。
Meta Robots 主要有兩種撰寫方式：
1.寫在HTML頁面<head>中
<!DOCTYPE html>
<html>
<head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>
2.寫在HTTP Sever端，例如
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
這兩種方式可以同時使用，但我們主要的話還是使用Meta Robots的方式較為簡單。
爬蟲在讀取網頁中，會先抓取Meta Robots上有關索引的設定。如果爬蟲有發現這些指令，那麼他們將會依照你所設定的參數進行索引，以下是Meta Robots的參數，這些參數是不分大小寫。
Meta Robots 參數
- Noindex：告訴搜索引擎不要索引頁面。
- Index：告訴搜索引擎索引頁面。不需要添加此標記（此為默認值）
- Follow：即使頁面沒有編入索引，爬蟲還是會將頁面上所有鏈結權重傳遞給鏈結的頁面。
- Nofollow：告訴爬蟲不要關注頁面上的任何鏈結，也不需要傳遞任何鏈結的權重。
- Noimageindex：不要索引任何圖片。
- None：等於同時使用noindex和nofollow。（不要索引頁面，不要關注頁面鏈結）
- Noarchive：不要再在SERP上顯示此頁面的緩存。
- Nocache：與Noarchive相同，但僅供Internet Explorer和Firefox使用。
- Nosnippet：不要在SERP上顯示此頁面的摘要（Meta Description）。
- Unavailable_after：搜尋引擎在設定的時間之後，不會將頁面編入索引。
如何編寫Meta Robots？
<meta name ="robots" content ="參數">
基本的Meta Robots編寫方式就如同上方程式碼，但你也可以把「Robots」替換成特定的爬蟲程序名稱。例如，你要針對GoogleBot，就可以像這樣寫：
<meta name ="googlebot" content ="參數">
這個程式碼只會針對Google的爬蟲進行控制。
如果你想要執行多個參數，只需要在同個參數格中，以「,」逗點分隔即可。
<meta name ="robots" content ="noimageindex,nofollow,nosnippet">
以上程式碼事告訴爬蟲不要索引頁面上的任何圖像、跟隨任何鏈接、不要在SERP中顯示摘要。
如果您為不同的爬蟲使用不同的標記指令，那麼你需要為每個爬蟲都使用單獨的標記。如果不知道有哪爬蟲，我們在此提供爬蟲清單。
<meta name ="robots" content ="noimageindex,nofollow,nosnippet">
<meta name ="googlebot" content ="noimageindex,nofollow,nosnippet">
X-robots-tag
X-Robots-Tag 可用來做為指定網址的 HTTP 標頭回應元素。他所用的參數與Robots相同， 並且還提供比Meta Robots更多、更靈活動參數。
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)
X-robots-tag 有效參數
以下參數為Google所認可的參數，其他的搜尋引擎爬蟲可能會不支援，如果需要多個參數，您可以使用逗號分隔即可。
- noindex：
- 不在搜尋結果中顯示這個網頁，也不要在搜尋結果中顯示「快取」連結。
- nofollow不追蹤這個網頁上的連結。
- none相當於 noindex, nofollow。
- noarchive不在搜尋結果中顯示「快取」連結。
- nosnippet不在搜尋結果中顯示這個網頁的文字片段或影片預覽畫面。系統仍會顯示靜態縮圖 (如果有的話)。
- notranslate不在搜尋結果中提供這個網頁的翻譯。
- noimageindex不為這個網頁上的圖片建立索引。
- unavailable_after: [RFC-850 date/time]在指定的日期/時間後不在搜尋結果中顯示這個網頁。指定日期/時間時需使用 RFC 850 格式。
如何使用X-robots-tag
要使用X-robots-tag，您需要編輯網站的標題.php、.htaccess或是sever訪問文件。
我們舉Apache式的Sever來說，您可以使用預設由 Apache 提供的 .htaccess 和 httpd.conf 檔案 ，將 X-Robots-Tag 加入網站的 HTTP 回應中。
舉例來說，如要將 noindex, nofollowX-Robots-Tag 新增到全網站所有 .PDF 檔案的 HTTP 回應中，請將以下的程式碼片段加到網站的根目錄 .htaccess 檔案或 httpd.conf 檔案：
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
或是不想讓頁面中所有的圖片被索引你可以在檔案中加入以下的程式碼：
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
X-robots-tag使用時機：
- 頁面不是使用HTML所編寫的內容（如FLash或影片）
- 阻止頁面中的特定元素（如圖片、影片）的索引，但不阻止整個頁面被索引
- 如果您無權訪問頁面的HTML部分，或是網站無法更改<head>中的內容
使用須知
- 當爬蟲再進行檢索時，會優先抓取robots.txt中的設定，如果設定為禁止檢索，那麼爬蟲將不會檢索此頁面，如果您有設定Meta Robots，也會被忽略。
- 大部分情況下，要限制抓取或是索引，只要使用Meta robots即可，而不是使用robots.txt文件禁止爬蟲。
最後如果您的頁面有您不想被公開搜索的私人訊息，您需要選擇更安全的方式，例如以密碼保護，防止訪問者進入頁面，因為有些惡意的爬蟲會完全忽略robots的指令，所以並不能有效的保護頁面的私人內容。
文章轉自：SEOBOOK
0會員
13內容數
留言0
查看全部
你可能也想看
Google News 追蹤
要如何利用 HTML 標籤來增加網頁的結構性呢？HTML 標籤提供了 Google 爬蟲更多有用的資訊，讓爬蟲在爬行網站時可以更輕鬆且正確地分析網頁內容。本文將為你介紹 HTML 對於 SEO 的重要性以及 10 個常見的 HTML 語法。｜SEO
HTML 是什麼？
超文本標記語言（Hyper
網路爬蟲的由來
網路爬蟲，也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。
網路爬蟲的原理
你知道嗎？網路爬蟲其實是整個搜尋世界的起點。爬蟲將所有上線的網頁快速瀏覽後並整理重點做索引，這樣搜尋引擎才能快速檢索相關內容。今天本男爵就來跟大家好好聊一下，在網路世界中無所不在，但你可能卻從未察覺到的這條「蟲」。
1、頁面沒有建立內部連結｜SEO
Google 的搜尋引擎爬蟲在抓取網站時，透過內部連結來發現新網頁並為其建立索引，所以建立內部連結對搜尋引擎索引網頁起著至關重要的作用。
如果網站缺乏內部連結，搜尋引擎爬蟲可能難以發現其所有頁面，這可能會導致某些頁面未被索引。
2、沒有提交 Sitemap｜
文章將搜尋引擎的運作原理分為三個段落進行介紹，並強調網站結合有效的SEO策略對提升曝光度的重要性。
SEO(Search Engine Optimization)是搜尋引擎優化的意思,它是一種透過了解搜尋引擎的運作規則來調整網站,以提高網站在相關搜尋引擎中的排名,從而增加網站流量的方法。
在現代數位時代，擁有一個網站是非常重要的。確保您的網站能夠被搜索引擎正確地索引和顯示是至關重要的。本文章介紹了一些提高網站在搜索引擎中排名的方法，包括Google網站登錄、GSC工具、其他搜索引擎的登錄方法、優化網站內容、網站地圖、內部連結、外部連結、社交媒體的使用以及不希望被搜索引擎索引的方法。
SEO是一種通過改進網站的內容、結構和其他因素，以提高網站在搜索引擎中的排名和可見性的技術和策略。關鍵詞研究，優化網站內容，技術優化，建立高質量的鏈接和用戶體驗是實現這一目標的重要方面。
在現今數位時代，學習編寫引人入勝的META描述標籤成為網站優化的重要一環。透過SEO（搜尋引擎優化）技術，提升網站在搜尋引擎中的排名，而META描述標籤則是影響點擊率的關鍵元素。以下是有關如何編寫META描述標籤的一些建議。
首先，了解SEO的基礎原理是必要的。SEO公司和Google SEO教學
在網路時代，SEO（搜尋引擎優化）成為網站主人不可或缺的一環。理解搜尋引擎演算法的基本原理是提高網站排名的關鍵。在這裡，我們將深入探討SEO的基礎知識，包括Google的Search Console工具，以及一些提升SEO效果的關鍵點。
首先，SEO是什麼？SEO是搜尋引擎優化的縮寫，是一種通過改
要如何利用 HTML 標籤來增加網頁的結構性呢？HTML 標籤提供了 Google 爬蟲更多有用的資訊，讓爬蟲在爬行網站時可以更輕鬆且正確地分析網頁內容。本文將為你介紹 HTML 對於 SEO 的重要性以及 10 個常見的 HTML 語法。｜SEO
HTML 是什麼？
超文本標記語言（Hyper
網路爬蟲的由來
網路爬蟲，也叫網路蜘蛛（spider），是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來，以便搜尋引擎事後生成索引供使用者搜尋。
網路爬蟲的原理
你知道嗎？網路爬蟲其實是整個搜尋世界的起點。爬蟲將所有上線的網頁快速瀏覽後並整理重點做索引，這樣搜尋引擎才能快速檢索相關內容。今天本男爵就來跟大家好好聊一下，在網路世界中無所不在，但你可能卻從未察覺到的這條「蟲」。
1、頁面沒有建立內部連結｜SEO
Google 的搜尋引擎爬蟲在抓取網站時，透過內部連結來發現新網頁並為其建立索引，所以建立內部連結對搜尋引擎索引網頁起著至關重要的作用。
如果網站缺乏內部連結，搜尋引擎爬蟲可能難以發現其所有頁面，這可能會導致某些頁面未被索引。
2、沒有提交 Sitemap｜
文章將搜尋引擎的運作原理分為三個段落進行介紹，並強調網站結合有效的SEO策略對提升曝光度的重要性。
SEO(Search Engine Optimization)是搜尋引擎優化的意思,它是一種透過了解搜尋引擎的運作規則來調整網站,以提高網站在相關搜尋引擎中的排名,從而增加網站流量的方法。
在現代數位時代，擁有一個網站是非常重要的。確保您的網站能夠被搜索引擎正確地索引和顯示是至關重要的。本文章介紹了一些提高網站在搜索引擎中排名的方法，包括Google網站登錄、GSC工具、其他搜索引擎的登錄方法、優化網站內容、網站地圖、內部連結、外部連結、社交媒體的使用以及不希望被搜索引擎索引的方法。
SEO是一種通過改進網站的內容、結構和其他因素，以提高網站在搜索引擎中的排名和可見性的技術和策略。關鍵詞研究，優化網站內容，技術優化，建立高質量的鏈接和用戶體驗是實現這一目標的重要方面。
在現今數位時代，學習編寫引人入勝的META描述標籤成為網站優化的重要一環。透過SEO（搜尋引擎優化）技術，提升網站在搜尋引擎中的排名，而META描述標籤則是影響點擊率的關鍵元素。以下是有關如何編寫META描述標籤的一些建議。
首先，了解SEO的基礎原理是必要的。SEO公司和Google SEO教學
在網路時代，SEO（搜尋引擎優化）成為網站主人不可或缺的一環。理解搜尋引擎演算法的基本原理是提高網站排名的關鍵。在這裡，我們將深入探討SEO的基礎知識，包括Google的Search Console工具，以及一些提升SEO效果的關鍵點。
首先，SEO是什麼？SEO是搜尋引擎優化的縮寫，是一種通過改