百度spider是百度搜刮引擎的一個主動法式，它的感化是拜訪互聯網上的網頁，樹立索引數據庫，應用戶能在百度搜刮引擎中搜刮到您網站上的網頁。

　　1、百度蜘蛛百度spider的user-agent是甚麼?

　　百度各個產物應用分歧的user-agent：

　　產物稱號 對應user-agent

　　無線搜刮 百度spider

　　圖片搜刮 百度spider-image

　　視頻搜刮 百度spider-video

　　消息搜刮 百度spider-news

　　百度搜藏 百度spider-favo

　　百度同盟 百度spider-cpro

　　商務搜刮 百度spider-ads

　　網頁和其他搜刮 百度spider

　　2、百度蜘蛛百度spider對一個網站辦事器釀成的拜訪壓力若何?

　　為瞭到達對目的資本較好的檢索後果，百度spider須要對您的網站堅持必定量的抓取。我們隻管沒有給網站帶來分歧理的累贅，並會依據辦事器蒙受才能，網站質量，網站更新等綜合身分來舉行調劑。假如您認為百度spider的拜訪行動有任何分歧理的情形，您能夠反應至百度贊揚平臺。

　　3、為何百度蜘蛛百度spider一直的抓取我的網站?

　　對付您網站上新發生的大概連續更新的頁面，百度spider會連續抓取。別的，您也能夠檢討網站拜訪日記中百度spider的拜訪是不是一般，以防備有人歹意假裝百度spider來頻仍抓取您的網站。 假如您發明百度spider非一般抓取您的網站，請經由過程贊揚平臺反應給我們，並請隻管給出百度spider對貴站的拜訪日記，以便於我們跟蹤處置。

　　4、若何斷定是不是假裝百度蜘蛛百度spider的抓取?

　　發起您應用dns反查方法來肯定抓取起源的ip是不是屬於百度，依據平臺分歧考證辦法分歧，如linux/windows/os三種平臺下的考證辦法分離以下：

　　1.在linux平臺下，您可使用host ip敕令反解ip來斷定是不是來自百度spider的抓取。百度spider的hostname以*.百度.com或*.百度.jp的格局定名，非*.百度.com或*.百度.jp即為假裝。

　　$ host 123.125.66.120

　　120.66.125.123.in-addr.arpa domain name pointer

　　百度spider-123-125-66-120.crawl.百度.com.

　　host 119.63.195.254

　　254.195.63.119.in-addr.arpa domain name pointer

　　百度mobaider-119-63-195-254.crawl.百度.jp.

　　2.在windows平臺大概ibm os/2平臺下，您可使用nslookup ip敕令反解ip來斷定是不是來自百度spider的抓取。翻開敕令處置器 輸入nslookup xxx.xxx .xxx.xxx(ip地點)就可以剖析ip，來斷定是不是來自百度spider的抓取，百度spider的hostname以*.百度.com或*.百度.jp的格局定名，非*.百度.com或*.百度.jp即為假裝。

　　3.在mac os平臺下，您可使用dig敕令反解ip來斷定是不是來自百度spider的抓取。翻開敕令處置器輸入dig xxx.xxx.xxx.xxx(ip地點)就可以剖析ip，來斷定是不是來自百度spider的抓取，百度spider的hostname以*.百度.com或*.百度.jp的格局定名，非*.百度.com或*.百度.jp即為假裝。

　　5、我沒有想我的網站被百度蜘蛛百度spider拜訪，我該怎樣做?

　　百度spider遵照互聯網robots協定。您能夠應用robots.txt文件完整制止百度spider拜訪您的網站，大概制止百度spider拜訪您網站上的部門文件。 留意：制止百度spider拜訪您的網站，將使您的網站上的網頁，在百度搜刮引擎和全部百度供給搜刮引擎辦事的搜刮引擎中沒法被搜刮到。

　　您能夠依據各產物分歧的user-agent設置分歧的抓取規矩，假如您想完整制止百度全部的產物收錄，能夠間接對百度spider設置制止抓取。

　　以下robots完成制止全部來自百度的蜘蛛抓取：

　　user-agent: 百度spider

　　disallow: /

　　以下robots完成制止全部來自百度的抓取但許可圖片搜刮抓取/image/目次：

　　user-agent: 百度spider

　　disallow: /

　　user-agent: 百度spider-image

　　allow: /image/

　　　　百度spider-ads抓取的網頁其實不會建入索引，隻是履行與客戶商定的操縱，以是沒有遵照robots協定，假如百度spider-ads給您形成瞭困擾，請接洽您的客戶辦事專員。

　　6、為何我的網站已加瞭robots.txt，還能在百度搜刮出來?

　　由於搜刮引擎索引數據庫的更新須要時光。固然百度spider已停滯拜訪您網站上的網頁，但百度搜刮引擎數據庫中已樹立的網頁索引信息，大概須要數月時光才會消除。別的也請檢討您的robots設置裝備擺設是不是準確。

　　假如您的謝絕被收錄需求異常急切，也能夠經由過程贊揚平臺反應要求處置。

　　7、我願望我的網站內容被百度索引但沒有被保留快照，我該怎樣做?

　　百度spider遵照互聯網meta robots協定。您能夠應用網頁meta的設置，使百度表現隻對該網頁建索引，但其實不在搜刮成果中表現該網頁的快照。

　　和robots的更新一樣，由於搜刮引擎索引數據庫的更新須要時光，以是固然您已在網頁中經由過程meta制止瞭百度在搜刮成果中表現該網頁的快照，但百度搜刮引擎數據庫中假如已樹立瞭網頁索引信息，大概須要二至周圍才會在線上見效。

　　8、百度蜘蛛百度spider抓取釀成的帶寬梗塞?

　　百度spider的一般抓取其實不會形成您網站的帶寬梗塞，形成此征象大概是因為有人假裝百度spider歹意抓取。假如發明著名為百度spider的agent抓取而且形成帶寬梗塞，能夠將信息反應至贊揚平臺，假如可以或許供給網站該時段的拜訪日記將更好瞭。