盡人皆知，robots.txt是網站和蜘蛛之間的一個協定，蜘蛛來到網站以後，會先檢察這個文件，以肯定本身是不是應當對該網站舉行爬取。以是robots文件是網站必備的一個文件，信任每一個站長的網站根目次下都邑有這個文件。然則有相稱一部門的站長，對付該文件並沒有舉行過任何設置，根本上都是初始狀況，即：

User-agent: *

Allow:

也就是許可全部搜刮引擎蜘蛛爬取網站的全部頁面。
一樣平常網站對付robots文件沒有舉行任何設置，並沒有太大的影響，然則假如網站想歷久可連續成長，並在同類網站中能有沒有錯的排名，那末對robots文件舉行一些需要設置是弗成或缺的環節，究竟細節決議成敗，信任是全部站長共勉的一句名言。當我們網站和合作敵手在外鏈、內鏈、內容等方面平起平坐的時刻，網站各個細節環節的看重，將是人人一決牝牡的基本點。

要設置好robots文件，起首須要曉得該文件的格局

User-agent: 界說搜刮引擎的范例

Disallow: 界說制止搜刮引擎收錄的地點

Allow: 界說許可搜刮引擎收錄的地點
　
實例剖析：

淘寶網的Robots.txt文件 　　

User-agent: Baiduspider 　　

Disallow: / 　　

User-agent: 百度spider 　　

Disallow:/ 　

很明顯淘寶沒有許可百度的機械人拜訪其網站下其全部的目次。固然我們一樣平常的網站是沒有會這麼設置的，隻要淘寶如許的牛掰才會視百度為玩物

固然有些站長假如認為一些引擎的蜘蛛對網站沒甚麼意義，沒有須要來爬取，也能夠設置。好比我認為有道蜘蛛對我沒甚麼意義，來爬取以後隻會增長我辦事器的累贅，那我就在robots裡設置制止有道蜘蛛爬取：　　

User-agent: YoudaoBot 　　

Disallow: /

我們一樣平常站長須要對robots的設置，隻是對網站中某個頁面或某個目次舉行的，上面舉一個簡略的例子來講明：

User-agent: * 　　

Disallow: /cgi-bin/ 　　

Disallow: /tmp/ 　　

Disallow: /~joe/
該網站的robot設置瞭三個目次制止搜刮引擎拜訪，這裡須要留意的是，每個目次的設置必需離開聲明，沒有要寫成Disallow: /cgi-bin/ /tmp/。

固然robots的設置千差萬別，列位站長在設置時確定會依據本身須要舉行設定。

上面要說的是，一樣平常網站須要在robots中設置的，制止蜘蛛爬取的文件：
1：網站的劇本法式，css款式表，這些文件沒有會增長網站的收錄率，還會占用辦事器存儲空間；
2：網站背景治理文件，背景的治理文件是沒需要蜘蛛爬取的；
3：附件、數據庫文件、編碼文件、模板文件、導航圖片、配景圖片；
4：假如靜態網站創立瞭靜態副本，那末須要robots中設置制止蜘蛛爬取靜態頁，幸免蜘蛛視這些網頁為反復頁；

網站的robots設置很主要，留意細節，能力決議成敗。
本文由砭萃網砭石 /首創 轉載可說明。