以下兩點比擬細節，一向被孤藤疏忽，本日整頓下，跟人人一路進修：關於二級目次、二級域名的robots.txt設置

　　1、二級目次的robots.txt的設置robots.txt文件必需放在網站的根目次，放在子目次的robots.txt文件搜刮引擎不克不及爬取到，以是沒有會起感化。(除非你的子目次是一個綁定瞭域名的新網站)

　　算是搜索引擎優化的基本常識瞭，不外每每輕易被疏忽，孤藤就是一例，在新建的二級目次搜索引擎優化資訊，孤藤就是犯瞭這初級毛病，把二級目次的robots.txt放在瞭二級目次文件夾上瞭，致使一些日志歸檔、作者等本應被屏障的網頁都被收錄瞭。狂汗!

　　2、二級域名綁定在空間子目次的robots.txt設置如孤藤博客的二級域名，跟主域名綁定在統一空間子目次下，致使該二級域名與/fubaba的內容是雷同的。做搜索引擎優化的同夥都理解反復內容對se有多沒有友愛，以是，必定的想方法弄定它。

　　辦理辦法：經由過程在網站根目次下的robotst.txt屏障之。

　　詳細操縱以下：

　　翻開該二級域名的根目次下的Robots.txt文件.依照你的現實情形來舉行設置.

　　如上所述,二級域名是綁定的根目次下的fubaba文件夾.按須要舉行以下設置

　　User-agent: *

　　Disallow: /fubaba/

　　假如你為網站啟用瞭多個二級域名,則響應的設置多個二級目次的制止抓取便可以瞭。本文由丹姿官網編纂首創，轉載請說明出處，感謝!