盡人皆知，robots.txt是百度蜘蛛和谷歌機械人拜訪網站時必看的第一個文件，它能抓取法式能在辦事器上檢察甚麼文件。在舉行網站優化的時刻，常常會應用robots文件把一些內容沒有想讓蜘蛛抓取，而且，把sitemap放入個中，會進步收錄速率，增長收錄量，指向後果異常顯著。到底會沒有會呢?

　　15天前，筆者一個新站上線，這是一個企業站，做的也是百度指數500以下的癥結詞。極其光榮的是，5天後網站被百度收錄首頁。為瞭可以或許讓網站其他頁面敏捷收錄，並進步收錄速率，增長收錄量，筆者將sitemap寫入robots文件。然後，照舊紀律性首創和外鏈。

　　11月28日的早晨，恐怖的工作產生瞭。當再次檢察網站收錄情形時，仍然隻是收錄首頁，同期成長的幾個網站，都已更新瞭快照，惟獨這個網站，遲遲沒有更新。湧現這麼糟的效果，是筆者不肯意看到的，查瞭許多材料才懂得百度對sitemap沒有傷風，因而武斷的刪除sitemap指向

　　如今，百度開端一般收錄。

　　由此揣摸，各個搜刮引擎對付sitemap感化紛歧。理論證實，假如站點構造公道,收錄也一般，完整沒有需要應用sitemap。筆者推測sitemap合適小范圍、站點構造沒有太公道的站點，假如網站構造公道，搜刮引擎均可以或許自立匍匐，完成收錄。

　　別的，假如網站做瞭sitemap文件，最好讓它時候更新，固然，最好後果是法式主動化的更新。

　　以上是筆者小我領會，沒有具有指點性，僅供商量交換。版權歸全部。