Meta Robots
閱讀時間約 8 分鐘
什麼是Meta Robots？
之前我們在介紹Meta tags中有大概介紹到Meta Robos，這篇則會完整的介紹Meta Robots的作用以及使用方式。
Meta Robots是Meta Tags中的一種。主要是為搜尋引擎的爬蟲，告訴他們「要如何」對網頁進行爬蟲或索引。這個與「robots.txt」文件有相似的作用，但Meta Robots可以告訴爬蟲更清楚的網頁索引需求。
Meta Robots 主要有兩種撰寫方式：
1.寫在HTML頁面<head>中
<!DOCTYPE html>
<html>
<head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>
2.寫在HTTP Sever端，例如
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
這兩種方式可以同時使用，但我們主要的話還是使用Meta Robots的方式較為簡單。
爬蟲在讀取網頁中，會先抓取Meta Robots上有關索引的設定。如果爬蟲有發現這些指令，那麼他們將會依照你所設定的參數進行索引，以下是Meta Robots的參數，這些參數是不分大小寫。
Meta Robots 參數
- Noindex：告訴搜索引擎不要索引頁面。
- Index：告訴搜索引擎索引頁面。不需要添加此標記（此為默認值）
- Follow：即使頁面沒有編入索引，爬蟲還是會將頁面上所有鏈結權重傳遞給鏈結的頁面。
- Nofollow：告訴爬蟲不要關注頁面上的任何鏈結，也不需要傳遞任何鏈結的權重。
- Noimageindex：不要索引任何圖片。
- None：等於同時使用noindex和nofollow。（不要索引頁面，不要關注頁面鏈結）
- Noarchive：不要再在SERP上顯示此頁面的緩存。
- Nocache：與Noarchive相同，但僅供Internet Explorer和Firefox使用。
- Nosnippet：不要在SERP上顯示此頁面的摘要（Meta Description）。
- Unavailable_after：搜尋引擎在設定的時間之後，不會將頁面編入索引。
如何編寫Meta Robots？
<meta name ="robots" content ="參數">
基本的Meta Robots編寫方式就如同上方程式碼，但你也可以把「Robots」替換成特定的爬蟲程序名稱。例如，你要針對GoogleBot，就可以像這樣寫：
<meta name ="googlebot" content ="參數">
這個程式碼只會針對Google的爬蟲進行控制。
如果你想要執行多個參數，只需要在同個參數格中，以「,」逗點分隔即可。
<meta name ="robots" content ="noimageindex,nofollow,nosnippet">
以上程式碼事告訴爬蟲不要索引頁面上的任何圖像、跟隨任何鏈接、不要在SERP中顯示摘要。
如果您為不同的爬蟲使用不同的標記指令，那麼你需要為每個爬蟲都使用單獨的標記。如果不知道有哪爬蟲，我們在此提供爬蟲清單。
<meta name ="robots" content ="noimageindex,nofollow,nosnippet">
<meta name ="googlebot" content ="noimageindex,nofollow,nosnippet">
X-robots-tag
X-Robots-Tag 可用來做為指定網址的 HTTP 標頭回應元素。他所用的參數與Robots相同， 並且還提供比Meta Robots更多、更靈活動參數。
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)
X-robots-tag 有效參數
以下參數為Google所認可的參數，其他的搜尋引擎爬蟲可能會不支援，如果需要多個參數，您可以使用逗號分隔即可。
- noindex：
- 不在搜尋結果中顯示這個網頁，也不要在搜尋結果中顯示「快取」連結。
- nofollow不追蹤這個網頁上的連結。
- none相當於 noindex, nofollow。
- noarchive不在搜尋結果中顯示「快取」連結。
- nosnippet不在搜尋結果中顯示這個網頁的文字片段或影片預覽畫面。系統仍會顯示靜態縮圖 (如果有的話)。
- notranslate不在搜尋結果中提供這個網頁的翻譯。
- noimageindex不為這個網頁上的圖片建立索引。
- unavailable_after: [RFC-850 date/time]在指定的日期/時間後不在搜尋結果中顯示這個網頁。指定日期/時間時需使用 RFC 850 格式。
如何使用X-robots-tag
要使用X-robots-tag，您需要編輯網站的標題.php、.htaccess或是sever訪問文件。
我們舉Apache式的Sever來說，您可以使用預設由 Apache 提供的 .htaccess 和 httpd.conf 檔案 ，將 X-Robots-Tag 加入網站的 HTTP 回應中。
舉例來說，如要將 noindex, nofollowX-Robots-Tag 新增到全網站所有 .PDF 檔案的 HTTP 回應中，請將以下的程式碼片段加到網站的根目錄 .htaccess 檔案或 httpd.conf 檔案：
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>
或是不想讓頁面中所有的圖片被索引你可以在檔案中加入以下的程式碼：
<Files ~ "\.(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
X-robots-tag使用時機：
- 頁面不是使用HTML所編寫的內容（如FLash或影片）
- 阻止頁面中的特定元素（如圖片、影片）的索引，但不阻止整個頁面被索引
- 如果您無權訪問頁面的HTML部分，或是網站無法更改<head>中的內容
使用須知
- 當爬蟲再進行檢索時，會優先抓取robots.txt中的設定，如果設定為禁止檢索，那麼爬蟲將不會檢索此頁面，如果您有設定Meta Robots，也會被忽略。
- 大部分情況下，要限制抓取或是索引，只要使用Meta robots即可，而不是使用robots.txt文件禁止爬蟲。
最後如果您的頁面有您不想被公開搜索的私人訊息，您需要選擇更安全的方式，例如以密碼保護，防止訪問者進入頁面，因為有些惡意的爬蟲會完全忽略robots的指令，所以並不能有效的保護頁面的私人內容。
文章轉自：SEOBOOK
0會員
13Content count
留言0
查看全部
你可能也想看
1.加權指數與櫃買指數
週五的加權指數在非農就業數據開出來後，雖稍微低於預期，但指數仍向上噴出，在美股開盤後於21500形成一個爆量假突破後急轉直下，就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後，週二或週三開始有無買單進場支撐，在沒有明確的反轉訊號形成前，小夥伴盡量不要貿然抄底，或是追空
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
最近朋友帶我參加「Meta 戀愛維度 X 戀愛星河」品牌聯名的活動，真的是全新體驗耶！這次體驗讓我對於認識新朋友的方式，有了革命性的突破。參加完之後，自己做了些功課，寫了這篇讓大家參考~
因為這次參加的聯誼主題非常特別，叫做「MBTI約會東西軍_👉顏值VS個性~今晚你要哪一個！」，所以我好奇查了
Meta Platforms 正在探索推出其人工智慧助理 Meta AI 的付費版本的可能性，因為它的目標是在快速發展的人工智慧市場中與其他科技巨頭競爭。該付費版本擁有潛在的高級功能，並將競爭能力提高到新的水平。
Meta 高效速成+ 目錄廣告中新增影片選項，讓品牌更完整述說產品故事
推出全新 AI 工具，如提醒式廣告、促銷亮點及含有商品標籤的廣告等，助品牌提高銷售業績
協助零售媒體聯播網在 Meta 上連結消費者，並衡量其行銷活動的全通路影響力
許多全球零售商都已經開始使用具備 AI 技術的 Me
社群網路巨頭 Meta，正式發表了 2024 第一季的財報，雖然營收與獲利都超越了華爾街分析師的共識預期，但市場顯然有更高的期望 - 在宣布 Meta 將會拉高今後的資本支出，投資在 AI 相關的計畫後，Meta 的股價在財報後出現了一波下跌。究竟，本季 Meta 的財報，是否需要憂心呢？
Meta 高效速成+ 目錄廣告中新增影片選項，讓品牌更完整述說產品故事
推出全新 AI 工具，如提醒式廣告、促銷亮點及含有商品標籤的廣告等，助品牌提高銷售業績
協助零售媒體聯播網在 Meta 上連結消費者，並衡量其行銷活動的全通路影響力
許多全球零售商都已經開始使用具備 AI 技術的 Me
為推動元宇宙為中心的商業模式，由臉書改名的Meta本周宣布支付系統品牌也由Facebook Pay改為Meta Pay，同時透露單一電子錢包服務的規畫。
在Libre/Diem加密貨幣專案失敗，Meta今年2月將Diem出售。改名成Meta Pay可能也意謂Meta會有新的加密貨幣計畫。
METAE上週三(2/2)發表2021年Q4財報後，隔天(2/3)的股價大跌。
讓人想到之前NETFLIX公布財報後股價幾近腰斬，
兩者的用戶數都是它們商業模式裡很重要的一環，
也雙雙都在公布財報後股價下跌，是否有問題相似之處呢
Meta(Facebook)的股價在美東時間2022年2月3日這一天狂跌26.39%，從Meta提供的資料來看，主要的原因大約有以下幾項。1.元宇宙業務讓營利率明顯下滑；2.Facebook 活躍用戶數首次下滑；3.各國政府加大管制力道。
10 月 28 日，臉書創辦人暨執行長祖克柏宣布將公司名稱更改為「Meta」，宣示將全力打造元宇宙（Metaverse）之後，元宇宙便瞬間竄升為網路上最火紅的話題之一，各種相關軟硬體類股股價噴飛，
Facebook 改名Meta 後，元宇宙（metaverse）的概念議題持續發燒，但認真說起來，Meta的概念其實不算新鮮。只是因為Fecabook社群發展之後，未來可以透過VR或者AR的方式，讓使用者「登入」到元宇宙，以虛擬分身，或者實際上就是實體身分在虛擬世界的身分，參與虛擬社群的互動....
1.加權指數與櫃買指數
週五的加權指數在非農就業數據開出來後，雖稍微低於預期，但指數仍向上噴出，在美股開盤後於21500形成一個爆量假突破後急轉直下，就一路收至最低。 台股方面走勢需觀察週一在斷頭潮出現後，週二或週三開始有無買單進場支撐，在沒有明確的反轉訊號形成前，小夥伴盡量不要貿然抄底，或是追空
重點摘要：
1.9 月降息 2 碼、進一步暗示年內還有 50 bp 降息
2.SEP 上修失業率預期，但快速的降息速率將有助失業率觸頂
3.未來幾個月經濟數據將繼續轉弱，經濟復甦的時點或是 1Q25 季底附近
近期的「貼文發佈流程 & 版型大更新」功能大家使用了嗎？
新版式整體視覺上「更加凸顯圖片」，為了搭配這次的更新，我們推出首次貼文策展 ❤️
使用貼文功能並完成這次的指定任務，還有機會獲得富士即可拍，讓你的美好回憶都可以用即可拍珍藏！
最近朋友帶我參加「Meta 戀愛維度 X 戀愛星河」品牌聯名的活動，真的是全新體驗耶！這次體驗讓我對於認識新朋友的方式，有了革命性的突破。參加完之後，自己做了些功課，寫了這篇讓大家參考~
因為這次參加的聯誼主題非常特別，叫做「MBTI約會東西軍_👉顏值VS個性~今晚你要哪一個！」，所以我好奇查了
Meta Platforms 正在探索推出其人工智慧助理 Meta AI 的付費版本的可能性，因為它的目標是在快速發展的人工智慧市場中與其他科技巨頭競爭。該付費版本擁有潛在的高級功能，並將競爭能力提高到新的水平。
Meta 高效速成+ 目錄廣告中新增影片選項，讓品牌更完整述說產品故事
推出全新 AI 工具，如提醒式廣告、促銷亮點及含有商品標籤的廣告等，助品牌提高銷售業績
協助零售媒體聯播網在 Meta 上連結消費者，並衡量其行銷活動的全通路影響力
許多全球零售商都已經開始使用具備 AI 技術的 Me
社群網路巨頭 Meta，正式發表了 2024 第一季的財報，雖然營收與獲利都超越了華爾街分析師的共識預期，但市場顯然有更高的期望 - 在宣布 Meta 將會拉高今後的資本支出，投資在 AI 相關的計畫後，Meta 的股價在財報後出現了一波下跌。究竟，本季 Meta 的財報，是否需要憂心呢？
Meta 高效速成+ 目錄廣告中新增影片選項，讓品牌更完整述說產品故事
推出全新 AI 工具，如提醒式廣告、促銷亮點及含有商品標籤的廣告等，助品牌提高銷售業績
協助零售媒體聯播網在 Meta 上連結消費者，並衡量其行銷活動的全通路影響力
許多全球零售商都已經開始使用具備 AI 技術的 Me
為推動元宇宙為中心的商業模式，由臉書改名的Meta本周宣布支付系統品牌也由Facebook Pay改為Meta Pay，同時透露單一電子錢包服務的規畫。
在Libre/Diem加密貨幣專案失敗，Meta今年2月將Diem出售。改名成Meta Pay可能也意謂Meta會有新的加密貨幣計畫。
METAE上週三(2/2)發表2021年Q4財報後，隔天(2/3)的股價大跌。
讓人想到之前NETFLIX公布財報後股價幾近腰斬，
兩者的用戶數都是它們商業模式裡很重要的一環，
也雙雙都在公布財報後股價下跌，是否有問題相似之處呢
Meta(Facebook)的股價在美東時間2022年2月3日這一天狂跌26.39%，從Meta提供的資料來看，主要的原因大約有以下幾項。1.元宇宙業務讓營利率明顯下滑；2.Facebook 活躍用戶數首次下滑；3.各國政府加大管制力道。
10 月 28 日，臉書創辦人暨執行長祖克柏宣布將公司名稱更改為「Meta」，宣示將全力打造元宇宙（Metaverse）之後，元宇宙便瞬間竄升為網路上最火紅的話題之一，各種相關軟硬體類股股價噴飛，
Facebook 改名Meta 後，元宇宙（metaverse）的概念議題持續發燒，但認真說起來，Meta的概念其實不算新鮮。只是因為Fecabook社群發展之後，未來可以透過VR或者AR的方式，讓使用者「登入」到元宇宙，以虛擬分身，或者實際上就是實體身分在虛擬世界的身分，參與虛擬社群的互動....