XML Sitemap是XML(可擴展標記語言)格式的站點地圖,包含了網站所有重要頁面的目錄檔案,可以幫助Google蜘蛛發現網站重要頁面以及頁面的更新頻率。以下是摘自谷歌官方的解釋:
“站點地圖會告訴 Google 您認爲網站中的哪些網頁和文件比較重要,還會提供與這些文件有關的重要信息:以網頁爲例,這些信息包括網頁上次更新的時間、網頁更改的頻率,以及網頁是否有其他語言版本。”
Google的網站分析師Gary Illyes曾說過,XML Sitemap是谷歌蜘蛛發現頁面的第二重要的途徑(第一是已抓取頁面上的鏈接)。由於Sitemap可以包含大量URL,因此其重要性不應被小覷!
那麼是不是所有的網站都必須創建XML Sitemap呢?由於Sitemap最基本的作用是展現網站上URL的信息供爬蟲爬取,主要受益的是新頁面或是內容剛更新的頁面,因此如果您的網站頁面數量非常少(少於500個頁面),內鏈結構清晰,圖片視頻等多媒體資源少,那麼XML Sitemap的必要性就顯得不是那麼大;但是XML Sitemap對任何類型網站來說仍然有以下好處:
一、管理爬取預算
Google爬蟲的抓取能力雖然強大,但每次的抓取頁面份額依然是有限的,如果您的網站每次只有少量頁面更新,爲了讓爬蟲集中抓取這部分頁面,而不是分配爬取份額到其他頁面上,您可以通過sitemap.xml的lastmod屬性向Google發出信號,通知它應該在此集中精力。
二、網站整改後觸發爬蟲重新爬取
如果您在網站整改的過程中更改了站內大量的URL,但新版的Google Search Console僅索引您提交的單個URL,這時可以通過Sitemap向谷歌發出重新爬取整站的請求。
三、快速抓取
有一些經驗和證據表明,提交站點地圖會使Google抓取速度更快,促進頁面更快獲得排名。
因此,建議每個網站都創建XML Sitemap,尤其是對以下類型網站來說:
● 大型網站
● 新聞站
● 使用了大量圖片和視頻的網站
XML Sitemap VS. HTML Sitemap
事實上,Sitemap可簡單分爲兩種,按照文件格式來區分的話分別是XML Sitemap和HTML Sitemap。在我們說提交Sitemap的時候,指的是提交XML Sitemap文件的線上URL到谷歌(或者其他平臺如Bing)站長後臺,而我們在底部導航欄常看到的“Sitemap”錨文本鏈向的就是HTML版本的Sitemap,兩者的本質和作用方式都是不一樣的。
這裏首先跟大家介紹一下較爲簡單的HTML Sitemap,顧名思義,HTML Sitemap實際上是一個網頁,供網站用戶概覽網站頻道分類使用,通常大家會將這個頁面設計得較爲美觀,下圖是HTML Sitemap的一個示例:
HTML Sitemap上一般放置網站重要(一級,二級導航頁面等)內部鏈接的列表,簡單明瞭地展示權重從首頁傳遞到其他重要頁面的流向。早年SEO業界普遍認爲HTML Sitemap可以促進排名,但是來自Google的專家John Mueller表示,HTML 對於SEO來說用處並不大,反之,如果用戶需要靠HTML Sitemap來進行站內導航的話, 這說明您的導航設計和站內搜索功能還差強人意。因此,如果您的網站還沒有HTML Sitemap,無需擔心,將精力放在優化站內導航和搜索功能上,收益會更大。
XML Sitemap應用實踐
如上文所述,XML Sitemap對於SEO工作有着非常重要的作用,隨着SEO技術的發展,XML Sitemap的功能也在不斷被擴展。針對不同類型的網站或者需求,我們現已可以使用對應的XML Sitemap的擴展或者Sitemap管理和創建方式來進行優化。
XML Sitemap基本規範
在介紹一些重點類型網站的XML Sitemap實踐方法之前,建議大家先要對XML Sitemap的規範有所瞭解,以保證XML Sitemap能正常發揮作用。
● 僅包含狀態碼爲200的Canonical規範URL;
● 每個sitemap最多包含20萬個URL,每個index sitemap最多包括5萬個sitemap;
● 被添加到robots.txt;
● BUTF-8編碼;
● 以.gz格式壓縮;
● 大小不能超過50Mb;
● 無需爲AMP URL添加XML網站地圖。
我們可以將XML Sitemap理解城市地圖,那麼您的網站就是城市,Google就是遊客。您只需確保地圖中包含重要建築物的位置即可,而不是必須包含所有的地址。這就是爲什麼非重要頁面如隱私權政策頁面或關於我們頁面等不應該被包含在XML Sitemap中的原因,這些頁面雖然應編入索引,但對於SEO來說重要性不高,不需要被經常抓取。
大型網站的XML Sitemap建議
根據Google的Sitemap官方指南,每個Sitemap包含的網址最大數量是50,000 個。因此當網站規模大於這個大小時,例如大型新聞網站,可以考慮在製作Sitemap時用創建目錄文件(sitemap_index)的方式,如此一來可以對各個Sitemap檔案進行管理。
您可以按照頁面類型或內容主題來組織和劃分sitemap。在實際過程中,爲各個子目錄或頁面模板創建專用的XML Sitemap,有利於發現瞭解網站的技術和索引問題。根據Google的Sitemap官方指南,每個Sitemap包含的網址最大數量是50,000 個。因此當網站規模大於這個大小時,例如大型新聞網站,可以考慮在製作Sitemap時用創建目錄文件(sitemap_index)的方式,如此一來可以對各個Sitemap檔案進行管理。
您可以按照頁面類型或內容主題來組織和劃分sitemap。在實際過程中,爲各個子目錄或頁面模板創建專用的XML Sitemap,有利於發現瞭解網站的技術和索引問題。
圖片和視頻Sitemap建議
像Pinterest和YouTube這樣主要運營多媒體資源內容的網站將從圖像或視頻Sitemap中受益良多。圖片Sitemap可增加網站在Google圖片搜索中被發現的機會。也可以在常規站點地圖中使用圖片標籤,無需額外創建圖片Sitemap。
以下是圖片標籤示例(XML規範):
視頻Sitemap遵循相同的原則:創建單獨的視頻Sitemap或爲常規站點地圖添加標籤:
新聞Sitemap建議
新聞內容則需要專門創建一個單獨的新聞XML Sitemap,不能在常規Sitemap添加新聞標籤。對於每天都發布大量內容的新聞出版業來說,獲得新文章的排名是一件十分具有挑戰性的事情,而新聞Sitemap可幫助Google發現新文章從而促進排名。即便Google已聲明並不會對使用新聞Sitemap的網站給予優待,但它確有助於更快地在Google新聞中獲得熱門新聞排名。
新聞站點地圖有一些特殊的要求:
● 僅添加發布不超過2天的文章。
● 一次添加到現有站點地圖的新URL不要超過1000個。
● 有文章更新時更新現有站點地圖。
Sitemap中添加其他標籤的建議
您還可以使用XML Sitemap來定義和指示Google的某些元標記。例如常用的hreflang多語言爲例,您可以將這部分信息拓展添加到站點地圖:
XML Sitemap工具和生成器
介紹完了Sitemap的定義和用法之後,本部分將會介紹一批廣受歡迎的XML Sitemap生成工具。雖然大多數內容管理系統都會自帶自動創建XML網站地圖功能,但有系統則沒有這樣做,在這種情況下,您需要使用第三方工具。
最佳Sitemap生成器
以下是幾款優秀的XML網站地圖生成器:
適用於WordPress的最佳Sitemap插件
大多數CMS如Shopify具有當新URL被創建或現有頁面內容有更新時自動刷新XML Sitemap的功能,。但WordPress在默認情況下並不會創建Sitemap,以下是適用於WordPress平臺的一些優秀Sitemap插件推薦,詳細信息請查看錶格。
如何提交Sitemap?
大多數搜索引擎(例如Google或Bing)都會通過網站的robots.txt文件中查找“ Sitemap:<sitemap_location>”條目來搜尋XML Sitemap存放地址。
當然,我們也可以在將Sitemap.xml上傳到服務器根目錄後自行提交到各個站長平臺。在提交之前,檢查網站是否已經具備站點地圖的最簡單方法是在Google Search Console或Bing網站管理員工具中的“站點地圖”下查看,如果發現沒有,您可以按照下圖所示在站長工具中提交Sitemap。
Google Search Console中的XML Sitemaps功能:
1.點擊站點地圖報告。
2.添加新的站點地圖路徑並提交。
3.Google已發現剛添加的站點地圖。
Bing網站管理員工具中的XML Sitemaps功能:
1.點擊站點地圖報告。
2.添加新的站點地圖路徑並提交.
3.Bing已發現剛提交的站點地圖。
另外,您也可以直接將站點地圖ping到Google,百度,Bing和Yandex。