一個及格的網站，有需要在根目次下包含一下robots.txt文件，這個文件的感化對統統運營網站的兄弟來講其實不陌生，網上也供應瞭很多制作robots.txt文件的方法和軟件，可謂恰當方便。但是，你真的知道網站的robots.txt文件設置是否是公道，哪些文件大概目次需求屏障、哪些設購置法對網站運營有長處?

　　那上面帶著這些疑問，筆者會舉行詳細的答復，盼望對新手站長兄弟們有所幫忙，老鳥勿噴。

　　1、啥是robots.txt

　　筆者引證百度站長器械中後段話來講解。查找引擎應用spider法式自動訪問互聯網上的頁面並獵取頁面信息。spider在訪問一個網站時，會起首會檢察該網站的根域下是否是有一個叫做 robots.txt的純文本文件，這個文件用於指定spider在您網站上的抓取計劃。您可以或許在您的網站中創建一個robots.txt，在文件中聲明 該網站中沒有想被查找引擎錄入的有些大概指定查找引擎隻錄入特定的有些。

　　2、robots.txt文件對網站有啥長處

　　1、快速增長網站權重和訪問量;

　　2、禁止某些文件被查找引擎索引，可以或許勤儉辦事器帶寬和網站訪問速率;

　　3、為查找引擎供應一個簡練清楚明瞭的索引情況

　　3、哪些網站的目次需求應用robots.txt文件禁止抓取

　　1)、圖象目次

　　圖象是組成網站的重要構成元素。隨著如今建站愈來愈方便，很多cms的出現，實在做到瞭會打字就會建網站，而恰是因為如斯方便，網上出現瞭很多的同質化模板網站，被反復應用，如許的網站查找引擎是一定沒有愛好的，就算是你的網站被錄入瞭，那你的感化也是很差的。如果你非要用這類網站的話，主意你也許在robots.txt文件中舉行屏障，一樣平常的網站圖象目次是：imags 大概 img;

　　2)、網站模板目次

　　如上面 圖象目次 中所說，cms的壯大和敏銳，也導致瞭很多同質化的網站模板的出現和亂花，高度的反復性模板在查找引擎中構成瞭一種冗餘，且模板文件經常與天生文件高度相似，雷同易構成雷同內容的出現。對查找引擎很沒有友好，嚴格的間接被查找引擎打入冷宮，沒有得翻身，很多cms有具有自力的模板存放目次，因此，也許舉行模板目次的屏障。一樣平常模板目次的文件目次是：templets

　　3)、css、js目次的屏障

　　css目次文件在查找引擎的抓取中沒有效途，也沒法供應有代價的信息。以是猛烈主意站長兄弟們在robots.txt文件中將其舉行屏障，以提高查找引擎的索引質量。為查找引擎供應一個簡練清楚明瞭的索引情況更容易提升網站友好性。css格式的目次一樣平常情形下是：css 大概 style

　　js文件在查找引擎中沒法舉行識別，這裡僅僅主意，可以或許對其舉行屏障，如許做也有一個長處：為查找引擎供應一個簡練清楚明瞭的索引情況;

　　4)、屏障雙頁面的內容

　　這裡拿dedecms來舉例吧。我們都知道dedecms可以或許應用靜態和靜態url舉行統一篇內容的訪問，如果你天生全站靜態瞭，那你有需要屏障靜態地點的url銜接。這裡有兩個長處：1、查找引擎對靜態的url比靜態的url更友好、更簡略錄入;2、幸免靜態、靜態url能訪問統一篇文章而被查找引擎判為反復內容。如許做對查找引擎友好性來講是無益有害的。

　　5)、模板緩存目次

　　很多cms法式都有緩存目次，這類緩存目次的長處我想不消說我們也明確瞭吧，可以或許非常有效的提升網站的訪問速率，減少網站帶寬，對用戶領會也是極好的。不外，如許的緩存目次也有一定的缺點，那就是會讓查找引擎舉行反復的抓取，一個網站中內容反復也是大祭，對網站百害而無一利。很多應用cms建站的兄弟都沒有留意到，有需要要致使重視。

　　6)被刪去的目次

　　逝世鏈過量，對查找引擎優化來講，是喪命的。不克不及沒有致使站長的高度重視，。在網站的展開進程中，目次的刪去和調劑是弗成幸免的，如果你的網站其時目次沒有存在瞭，那有需要對此目次舉行robots屏障，並返來準確的404錯誤頁面(留意：在iis中，有的兄弟在設置404錯誤的時分，設置存在疑問，在自界說錯誤頁面一項中，404錯誤的準確設置也許是遴選：默許值 大概 文件，而沒有也許是：url，以免查找引擎返來200的狀態碼。至於如何設置，網上教程很多，我們要吧查找一下)

　　這裡有一個爭議性的疑問，關於網站背景解決目次是否是需求舉行屏障，實在這個無關緊要。在能確保網站平安的情形下，如果你的網站運營計劃較小，就算網站解決目次出現在robots.txt文件中，也沒有多大疑問，這個我也見過很多網站如許設置的;但如果是你的網站運營計劃較大，競掠奪手過量，猛烈主意萬萬別出現任何你網站背景解決目次的信息，以防被包藏禍心的人應用，傷害你的好處;實在查找引擎愈來愈智能，關於網站的解決目次還是能極好的識別，並擯棄索引的。其餘，我們在做網站背景的時分，也可以或許在頁面元標簽中增長：舉行查找引擎的屏障抓取。

　　終極，需求說明一點，很多站長兄弟愛好把站點輿圖地點放在robots.txt文件中，固然這裡其實不是去屏障查找引擎，而是讓查找引擎在初次索引網站的時分便能經由站點輿圖快速的抓取網站內容。這裡需求留意一下：1、站點輿圖的制作一定要尺度;2、網站一定要有高質量的內容;