在網站湧現在一些非常時，拜訪者拜訪網站時，辦事器會觸發一些行動，這些行動是能夠自界說的，以下代碼是百度教你若何自界說這些行動：

　　百度爬蟲在舉行抓取和處置時，是依據http協定范例來設置響應的邏輯的，以是請站長們也隻管參考http協定中關於返回碼的寄義的界說來舉行設置。

　　百度spider對經常使用的http返回碼的處置邏輯是如許的：

　　1、403頁面及代碼

　　403返回碼的寄義是Forbidden，百度會以為網頁當前制止拜訪。對付這類情形，假如是新發明的url，百度spider暫沒有會抓取，短時間內會再次檢討;假如是百度已收錄url，當前也沒有會間接刪除，短時間內一樣會再拜訪。屆時假如網頁許可拜訪，則一般抓取;假如仍沒有許可拜訪，短時間內還會重復拜訪幾回。然則假如網頁歷久返回403，百度也會以為是掉效鏈接，從搜刮成果中刪除。

　　2、503頁面及代碼

　　503返回碼的寄義是Service Unavailable，百度會以為該網頁暫時弗成拜訪，平日網站暫時封閉，帶寬有限等會發生這類情形。對付網頁返回503，百度spider沒有會把這條url間接刪除，短時間內會再拜訪。屆時假如網頁已規復，則一般抓取;假如持續返回503，短時間內還會重復拜訪幾回。然則假如網頁歷久返回503，那末這個url仍會被百度以為是掉效鏈接，從搜刮成果中刪除。

　　3、404頁面及代碼

　　404返回碼的寄義是NOT FOUND，百度會以為網頁已掉效，那末平日會從搜刮成果中刪除，而且短時間內spider再次發明這條url也沒有會抓取。

　　4、301頁面及代碼

　　301返回碼的寄義是Moved Permanently，百度會以為網頁當前跳轉至新url。當碰到站點遷徙，域名改換、站點改版的情形時，推舉應用301返回碼，隻管削減改版帶來的流量喪失。固然百度spider如今對301跳轉的相應周期較長，但我們照樣推舉人人這麼做。

　　百度的相幹發起：

　　1、　站點遷徙，或域名改換時，請應用301返回碼。

　　2、假如百度spider對您的站點抓取壓力過大，請隻管沒有要應用404，一樣發起返回503。如許百度spider會過段時光再來測驗考試抓取這個鏈接，假如誰人時光站點餘暇，那它就會被勝利抓取瞭。

　　3、假如站點暫時封閉，當網頁不克不及翻開時，沒有要立刻返回404，發起應用503狀況。503能夠告訴百度spider該頁面對時弗成拜訪，請過段時光再重試。

　　4、有一些網站願望百度隻收錄部門內容，比方考核後的內容，積累一段時光的新用戶頁等等。在這類情形，發起新發內容臨時返回403，等考核或做利益理以後，再返回一般狀況的返回碼。(文章轉自：/news/html/531.html)