1、IIS日記的設置。

　　上面文章認為例解讀：第一個步調：翻開IIS辦事器。挑選所要設置的網站屬性。彈出以下窗口：

　　挑選啟用日記記載，勾選，挑選W3C擴大日記文件格局。

　　第二步調：再次點擊這裡的屬性按鈕，慣例選項內裡，挑選新日記籌劃為天天，固然也能夠挑選其他，挑選好保留日記文件的目次

　　許多SEO設置到這裡，點擊肯定以後，發明IIS日記已開端記載，然則不管若何都找沒有到搜刮引擎爬蟲的陳跡，相似於Baiduspider+怎樣都看沒有到，實在，我們還應當做第三個幫助步調，由於默許的IIS日記是沒有開啟這個功效的。

　　第三個步調：挑選高等選項。勾選底下的用戶署理(cs(User-Agent))等選項，我一樣平常都將最上面的三個選項勾選起來。如許，你才能夠看到百度等爬蟲的稱號。

　　第四個步調：假如你全體依照上面設置以後，發明你的IIS日記還沒開端記載，也就是本次困擾瞭我異常久的題目，那末最主要的一步就是檢討相幹的設置是不是都完全。有的同夥說IIS日記沒有記載是由於體系辦事WINDOWS time 沒啟動，大概體系的權限沒有準確等，好比沒讓IIS日記保留的誰人文件夾有和IIS一樣的權限之類，實在沒有這麼龐雜，把下圖的記載拜訪選項勾選便可。如許你的IIS日記就開端一般記載瞭。

　　2、若何剖析網站IIS日記中的搜刮引擎爬蟲軌跡

　　起首，參加你要搜刮百度的爬蟲，那末就間接在保留記載的文本文檔上搜刮Baiduspider，我們節選以下一行來做具體的剖析：

　　2009-04-09 13:02:40 W3SVC321 121.199.136.181 GET /index.html – 80 – 61.135.168.39 Baiduspider+(+/search/spider.htm) 200 0 64- –

　　這段IIS日記代碼表現：在2009-04-09 13:02:40這個時光，百度搜刮引擎的蜘蛛(ip地點為61.135.168.39，背面的/search/spider.htm是關於Baiduspider+的相幹題目)拜訪瞭辦事器ip為121.199.136.181的網站，而且抓取瞭首頁/index.html，該日記記載保留在 W3SVC321文件夾。

　　個中，兩個處所值得解釋：

　　一是代碼中的200表現搜刮引擎蜘蛛匍匐後返回HTTP的狀況代碼，代表勝利匍匐並抓取。

　　各個數字代碼的詳細意義拜見以下：

　　2xx 勝利

　　200 一般;要求已完成。

　　201 一般;緊接 POST 敕令。

　　202 一般;已接收用於處置，但處置還沒有完成。

　　203 一般;部門信息 返回的信息隻是一部門。

　　204 一般;無相應 已吸收要求，但沒有存在要回送的信息。

　　3xx 重定向

　　301 已挪動 要求的數據具有新的地位且變動是永遠的。

　　302 已找到 要求的數據暫時具有分歧 URI。

　　303 請參閱別的 可在另外一 URI 下找到對要求的相應，且應應用 GET 辦法檢索此相應。

　　304 未修正 未按預期修正文檔。

　　305 應用署理 必需經由過程地位字段中供給的署理來拜訪要求的資本。

　　306 未應用 沒有再應用;保存此代碼以便未來應用。

　　4xx 客戶機中湧現的毛病

　　400 毛病要求 要求中有語法題目，或不克不及知足要求。

　　401 未受權 未受權客戶機拜訪數據。

　　402 須要付款 表現計費體系已有用。

　　403 制止 縱然有受權也沒有須要拜訪。

　　404 找沒有到 辦事器找沒有到給定的資本;文檔沒有存在。

　　407 署理認證要求 客戶機起首必需應用署理認證本身。

　　410 要求的網頁沒有存在(永遠);

　　415 介質范例沒有受支撐 辦事器謝絕辦事要求，由於沒有支撐要求實體的格局。

　　5xx 辦事器中湧現的毛病

　　500 內部毛病 由於不測情形，辦事器不克不及完成要求。

　　501 未履行 辦事器沒有支撐要求的對象。

　　502 毛病網關 辦事器吸收到來自上遊辦事器的無效相應。

　　503 沒法得到辦事 因為暫時過載或保護，辦事器沒法處置要求。

　　二是各大搜刮引擎爬蟲(蜘蛛)的稱號整頓以下，人人能夠對號入坐：

　　1. Google爬蟲稱號

　　1) Googlebot：從Google的網站索引和消息索引中抓取網頁

　　2) Googlebot-Mobile針對Google的挪動索引抓取網頁

　　3) Googlebot-Image：針對Google的圖片索引抓取網頁

　　4) Mediapartners-Google：抓取網頁肯定 AdSense 的內容。隻要在你的網站上展現 AdSense 告白的情形下，Google才會應用此周遊器來抓取您的網站。

　　5) Adsbot-Google：抓取網頁來權衡 AdWords 目的網頁的質量。隻要在你應用 Google AdWords 為你的網站做告白的情形下，Google才會應用此周遊器。

　　2. 百度(Baidu)爬蟲稱號：Baiduspider

　　3. 雅虎(Yahoo)爬蟲稱號：Yahoo Slurp

　　4. 有道(Yodao)蜘蛛稱號：YodaoBot

　　5. 搜狗(sogou)蜘蛛稱號：sogou spider

　　6. MSN的蜘蛛稱號：Msnbot

　　參考材料/