處置搜索引擎優化優化的事情職員必需要懂得Robots.txt ，這是一個及格的搜索引擎優化er必需懂得的常識。那末,到底robots有甚麼須要懂得的呢?

　　起首,作為一位及格的搜索引擎優化事情職員,必需要懂得，Robots.txt是一個協定，而沒有是一個敕令。robots.txt是搜刮引擎拜訪網站的時刻要檢察的第一個文件。robots.txt文件告知蜘蛛法式在辦事器上甚麼文件是能夠被檢察的，和甚麼文件是沒有許可被蜘蛛法式抓取的。

　　平日情形下，當蜘蛛來到你的網站今後，起首就是要看根目次下是不是存在robots.txt這個文件，假如存在，則蜘蛛遵守robots.txt的協定;假如沒有存在，則蜘蛛會默許爬取網站的全部文件。

　　懂得瞭這些，想必人人都懂得到robots的主要性瞭，那末到底robot的寫法有哪些要點呢?本日煙臺狐臭之傢就談一下本身的一些意見：

　　第1、 robots.txt必需安排在一個站點的根目次下，並且文件名必需全體小寫.

　　第2、經常使用敕令

　　User-agent: 界說搜刮引擎的范例

　　Disallow: 界說制止搜刮引擎收錄的地點

　　Allow: 界說許可搜刮引擎收錄的地點

　　Sitemap:界說搜刮引擎爬取的網站輿圖的地點

　　第3、對付User-agent的寫法,有些須要留意的方面

　　User-agent: *

　　這裡的*代表的全部的搜刮引擎品種，*是一個通配符。假如要對特定的蜘蛛法式舉行限定，則須要轉變寫法。利於對谷歌蜘蛛增加特定的指令，則須要寫成 User-agent: Googlebot ;寫成如許的的界說范例，上面再寫針對其的特別協定，如Allow和Disallow等。

　　第4、Disallow和Allow分離代表制止抓取和許可抓取，在後邊寫上響應的地點便可以。如Disallow: /tmp/ ，如許就是要制止抓取tmp目次瞭。

　　而對付要特殊限定針對某品種型文件的寫法，則須要懂得一下$ 這個標記瞭。$ 代表的是婚配網址的停止字符，如 /.jpg$ ，如許的情勢就是表現後綴名為jpg的全部文件瞭。如許再加上Disallow和Allow敕令便可以限定抓取瞭。

　　第5、Sitemap的寫法

　　Sitemap的寫法必需采取絕對地點，即Sitemap:/map.xml ;寫成如許的情勢能力被蜘蛛讀取，假如寫成相對地點的情勢，則會提醒語法毛病。

　　別的，還須要留意的一點，就是Sitemap的網站輿圖必需要在網站的根目次下才有用。

　　第6、今朝用Robots.txt來限定搜刮引擎蜘蛛抓取站點內容的方法隻是一種規矩，須要搜刮引擎蜘蛛的合營才行，其實不是每一個蜘蛛都全體遵照Robots.txt的。(首創文章，轉載請說明轉自：/news/html/558.html 侵權必究)