前次和人人一路分享瞭<新站若何在百度K站嚴峻的情形下收錄>，有許多童鞋加我QQ向我取經，實在我也是方才打仗SEO本身其實不是有履歷的人，並且職業也其實不是處置收集這個行業，隻是本身喜好罷瞭。我也是常常在盧松松、牟長青等一些著名推行博客和網站裡賡續的取經，加上本身有充足的時光和耐煩去測試，從理論中去汲取教導得到履歷!

　　好瞭我們接下來來講本日的主題robots.txt，robots.txt是搜刮引擎中拜訪網站的時刻要檢察的第一個文件。當一個搜刮蜘蛛拜訪一個站點時，它會起首檢討該站點根目次下是不是存在robots.txt，假如存在，搜刮機械人就會依照該文件中的內容來肯定拜訪的規模;假如該文件沒有存在，全部的搜刮蜘蛛將可以或許拜訪網站上全部沒有被口令掩護的頁面!

　　關於robots的先容，已很清晰瞭，這裡說說為何對網站來講很主要。許多站長都沒有在本身的網站根目次增加這個文件並設置它，它的尺度格局你能夠在搜刮引擎搜刮，也能夠借助谷歌網站治理員對象去天生。

　　用robots.txt告知蜘蛛本身的網站權重散佈

　　要曉得，對付一個網站來講，權重是有限的，特別是草根的網站，假如將全部網站付與同等的權限，一來沒有科學，二來完整是糟蹋辦事器資本(搜刮蜘蛛比一般拜訪更占用辦事器資本，CPU/IIS/帶寬等);你能夠想一想，就想你網站構造沒有明白一樣，沒有優越的權重聲明，那蜘蛛就沒法斷定你網站上甚麼內容是甚麼主要的內容，甚麼內容才是你的重要內容。

　　屏障蜘蛛對背景文件的收錄應用的是別的的范例化網頁代碼，這裡沒有做解釋

　　以我本身旗下的草蛋網(!