或許有很多人跟我一樣,本身身為一個管理網站或自己部落格的人,當你想要讓自己的網站變得更顯眼、瀏覽次數又或者被點擊率提高,這個時候,你會如何做呢?
分享給自己親朋好友幫忙轉傳?還是自己腦苦的一直絞盡腦汁想盡辦法?
或許,交給網路搜尋引擎機器人爬蟲幫忙,是一個更好的選擇。
網路爬蟲(web crawler),是一種用來自動瀏覽全球資訊網的網路機器人。其目的一般為編纂網路索引。
網路搜尋引擎等站點通過爬蟲軟體更新自身的網站內容或其對其他網站的索引。網路爬蟲可以將自己所訪問的頁面儲存下來,以便搜尋引擎事後生成索引供使用者搜尋。
爬蟲造訪網站的過程會消耗目標系統資源。不少網路系統並不默許爬蟲工作。因此在訪問大量頁面時,爬蟲需要考慮到規劃、負載,還需要講「禮貌」。 不願意被爬蟲訪問、被爬蟲主人知曉的公開站點可以使用robots.txt檔案之類的方法避免訪問。這個檔案可以要求機器人只對網站的一部分進行索引,或完全不作處理。
以下是使用Google、路比搜、Bing及Yahoo搜尋引擎站長服務後的心得。
Google Search Console 是Google 提供的一項免費服務,能夠協助您監控及維持網站在Google 搜尋結果中的排名,並排解相關問題。在2000年左右設立,於2015年第一次改名。
優點
一、Sitemap網站地圖功能完善:不需一直提交網站給Google就會自動抓取並收錄。
二、報表功能,讓網站改善更順利。
三、網站收錄速度比Bing還有Lubisou路比搜快 (若網站已被收錄,其餘子網頁1小時內即可被收錄)。
四、具有人工判決機制(好比Bing完全是機器判定)。
五、可檢舉其他違反Google規範的網站(Bing無法提出檢舉網站,甚至只有有關著作權可移除)。
缺點
一、網站容易有時直接消失在Google索引當中,要重新提交網站 (幾個月發生一次,Bing與Lubisou沒發生過)。
二、網站重新提交後,會自動從原本在搜尋結果第一列第一個換到第二、三列甚至後面(路比搜也會發生這種情況)。
Bing 網站管理員工具是一項免費服務,作為Microsoft Bing 搜尋引擎的一部分,它允許網站管理員在Bing 中獲取網站效能洞察,以提高其排名。
優點
一、支援資料導入:Bing站長平台允許站長導入Google站長平台或Google分析中的數據,從而可以在Bing站長平台上查看更全面的數據分析。
二、提供多種工具和功能:Bing站長平台提供了多種工具和功能,包括網站的索引狀態、關鍵字分析、網站地圖管理、伺服器和網路監控等等。
三、數據準確性高:Bing站長平台提供的數據比較準確,能夠更好的反映站點的真實情況。
缺點
一、支援有限:Bing站長平台只支援Bing搜尋引擎的數據進行監測分析。其他的搜尋引擎、社群媒體和管道暫時不支援。二、功能相對簡單:相較於其他搜尋引擎的資源平台,Bing站長平台的功能相對簡單,沒有其他平台提供的多功能工具與分析。三、網站必須手動新增:和其他搜尋資源平台不同,Bing站長平台不會主動爬取網站,網站必須經過手動新增才能進行監控和分析。
Lubisou Webmaster Tools (路比搜網站管理員),是由Lubisou搜尋引擎所管理,為台灣少數自行開創的搜尋引擎,其利用Google搭建網站,但路比搜官方特別強調搜尋引擎及網站管理員皆為路比搜Lubisou所開發,包含內軟體及搜尋引擎運作方式都與Google沒有關聯。其實我們也可以發現透過Lubisou和Google兩個搜尋引擎所查詢出的東西和運作、排列方式都不一樣。
優點
一、審查網站、收錄網站、審理網站,全程由人工完成。
二、可以新增網站關鍵字,讓網站觸及率提高。
三、有些網站無法在Google或Bing上收錄,有一部分可能是基於企業考量,但這些網站可以透過Lubisou來進行收錄,就沒有這些問題。
四、透過人工搭配自動化審查,有效提高搜尋結果的安全性。
缺點
一、收錄網站速度慢,最常須等一個月