我們曉得站長在舉行網站優化地時刻，常常會應用robots文件把一些內容沒有想讓蜘蛛抓取，來掌握搜刮引擎蜘蛛對網站內容地抓取，和網站權重地分派題目，如今寫這編文章在彌補一點點常識!甚麼是robots.txt文件。

　　Robots.txt界說：它是一種協定告知搜刮引擎那些頁面能夠抓取，那些頁面不克不及抓取。robots.txt是一個文本格局，放在空間根目次上面。許多SEO人會有疑問，做網站沒有就是為瞭讓蜘蛛抓取嗎?沒有被抓取還做甚麼網頁，實在人人所說地是一般頁面願望蜘蛛抓取，另有許多沒有一般地頁面，好比用戶不克不及翻開地頁面，就沒有願望蜘蛛抓取到。上面河南搜索引擎優化站長給人人分享下，詳細robots.txt地感化。

　　鑒於收集平安與隱私地斟酌，搜刮引擎遵守robots.txt協定。經由過程根目次中創立地純文本文件robots.txt，網站能夠聲明沒有想被robots拜訪地部門。每一個網站都能夠自立掌握網站是不是情願被搜刮引擎收錄，大概指定搜刮引擎隻收錄指定地內容。當一個搜刮引擎地爬蟲拜訪一個站點時，它會起首檢討該站點根目次下是不是存在robots.txt，假如該文件沒有存在，那末爬蟲就沿著鏈接抓取，假如存在，爬蟲就會依照該文件中地內容來肯定拜訪地規模。

　　robots.txt必需安排在一個站點地根目次下，並且文件名必需全體小寫，以下是全球網/的供給robots文件

　　robots.txt文件地格局

　　User-agent: 界說搜刮引擎地范例

　　Disallow: 界說制止搜刮引擎收錄地地點

　　Allow: 界說許可搜刮引擎收錄地地點

　　我們經常使用地搜刮引擎范例有：

　　谷歌蜘蛛：谷歌bot

　　百度蜘蛛：百度spider

　　yahoo蜘蛛：slurp

　　alexa蜘蛛：ia_archiver

　　msn蜘蛛：msnbot

　　altavista蜘蛛：scooter

　　lycos蜘蛛：lycos_spider_(t-rex)

　　alltheweb蜘蛛：fast-webcrawler

　　inktomi蜘蛛： slur***obots.txt文件地寫法

　　User-agent: * 　　 這裡地*代表地全部地搜刮引擎品種，*是一個通配符

　　Disallow: /admin/ 這裡界說是制止爬尋admin目次上面地目次

　　Disallow: /require/ 　 這裡界說是制止爬尋require目次上面地目次

　　Disallow: /require/ 這裡界說是制止爬尋require目次上面地目次

　　Disallow: /ABC 這裡界說是制止爬尋ABC全部目次

　　Disallow: /cgi-bin/*.htm 制止拜訪/cgi-bin/目次下地全部以.htm為後綴地URL(包括子目次)。

　　Disallow: /*?* 制止拜訪網站中全部地震態頁面

　　Disallow: .jpg$ 制止抓取網頁全部地.jpg格局輿圖片

　　Disallow:/ab/adc.html 制止爬去ab文件夾上面地adc.html全部文件

　　User-agent: * 　　這裡地*代表地全部地搜刮引擎品種，*是一個通配符

　　Allow: /cgi-bin/　　這裡界說是許可爬尋cgi-bin目次上面地目次

　　Allow: /tmp 這裡界說是許可爬尋tmp地全部目次

　　Allow: .htm$ 僅許可拜訪以.htm為後綴地URL。

　　Allow: .gif$ 許可抓取網頁和gif格局圖片

　　上面我剖析下robot.txt對網站SEO地感化：

　　1、當網站扶植付出許多分類和目次須要調劑，這時候最好沒有讓蜘蛛拜訪到本站，由於賡續轉變地網站分類對蜘蛛是沒有友愛地。蜘蛛會以為你地網站沒有代價，發起網站調劑階段屏障蜘蛛抓取，等網站構造穩固下來，在讓蜘蛛抓取。

　　詳細格局為：樹立文本robots.txt 把這兩段筆墨寫在文本裡保留(User-agent: * Disallow: /)，把文本上傳到空間根目次，如許蜘蛛就沒有會抓取新站內容。

　　2、河南搜索引擎優化網站改版大批網址沒法翻開，這時候就須要用robots.txt文本屏障不克不及翻開地網頁被蜘蛛收錄，人人都曉得毛病頁面臨網站排名長短常有影響地，假如毛病頁面過量會致使搜刮引擎以為你沒有是一個有代價地站點，如許河南搜索引擎優化站長經由過程上面地robots格局屏障大批不克不及翻開地頁面進步搜刮引擎友愛度。上面這些網頁不克不及翻開，就是由於河南搜索引擎優化在扶植早期變動過網址表現格局，從而致使一些收錄頁面沒法一般表現屏障便可以瞭。以下格局：

　　截圖

　　3、robots另有一個主要功效，能夠把網址輿圖寫到文本裡，告知搜刮引擎蜘蛛這是我地網址輿圖，如許能夠進步文章頁蜘蛛抓取次數，進步網站收錄速率。網站TITLE題目對SEO優化主要性，這是重點之一初學者必需明確title地感化。

　　經由過程上面我剖析瞭幾點robots.txt對網站SEO地感化，這裡隻是一部門，我信任許多站長都曉得其主要感化，以是我們必定要學好robots.txt規矩，來編寫屬於我們網站本身地robots，切忌萬萬別照抄他人網站地robots，編寫屬於我們網站本身地robots，如許才會多我們網站地收錄和權重加以掌握。