主機的IIS日記內裡能夠檢察。
1. Google爬蟲稱號
1) Googlebot:從Google的網站索引和消息索引中抓取網頁
2) Googlebot-Mobile針對Google的挪動索引抓取網頁
3) Googlebot-Image:針對Google的圖片索引抓取網頁
4) Mediapartners-Google:抓取網頁肯定 AdSense 的內容。隻要在你的網站上展現 AdSense告白的情形下,Google才會應用此周遊器來抓取您的網站。
5) Adsbot-Google:
抓取網頁來權衡 AdWords 目的網頁的質量。隻要在你應用 Google AdWords為你的網站做告白的情形下,Google才會應用此周遊器。
2. 百度(Baidu)爬蟲稱號:Baiduspider
3. 雅虎(Yahoo)爬蟲稱號:Yahoo Slurp
4. 有道(Yodao)蜘蛛稱號:YodaoBot
5. 搜狗(sogou)蜘蛛稱號:sogou spider由於我們海內比擬存眷百度以是我們來分下百度的蜘蛛,從方才記載的日記搜刮Baiduspider+拔取一段00:00:06 GET http://www.8671.co/new.html 61.135.168.142Baiduspider+(+ ) 200 0214上面這個日記解釋是在0點的時刻 拜訪瞭new.html頁面。蜘蛛IP地點為61.135.168.142。
個中的200表現搜刮引擎蜘蛛匍匐後返回HTTP的狀況代碼,代表勝利匍匐並抓取。
上面列出常見數字代碼:
2xx 勝利
200 一般;要求已完成。
201 一般;緊接 POST 敕令。
202 一般;已接收用於處置,但處置還沒有完成。
203 一般;部門信息 返回的信息隻是一部門。
204 一般;無相應 已吸收要求,但沒有存在要回送的信息。
3xx 重定向
301 已挪動 要求的數據具有新的地位且變動是永遠的。
302 已找到 要求的數據暫時具有分歧 URI。
303 請參閱別的 可在另外一 URI 下找到對要求的相應,且應應用 GET 辦法檢索此相應。
304 未修正 未按預期修正文檔。
305 應用署理 必需經由過程地位字段中供給的署理來拜訪要求的資本。
306 未應用 沒有再應用;保存此代碼以便未來應用。
4xx 客戶機中湧現的毛病
400 毛病要求 要求中有語法題目,或不克不及知足要求。
401 未受權 未受權客戶機拜訪數據。
402 須要付款 表現計費體系已有用。
403 制止 縱然有受權也沒有須要拜訪。
404 找沒有到 辦事器找沒有到給定的資本;文檔沒有存在。
407 署理認證要求 客戶機起首必需應用署理認證本身。
410 要求的網頁沒有存在(永遠);
415 介質范例沒有受支撐 辦事器謝絕辦事要求,由於沒有支撐要求實體的格局。
5xx 辦事器中湧現的毛病
500 內部毛病 由於不測情形,辦事器不克不及完成要求。
501 未履行 辦事器沒有支撐要求的對象。
502 毛病網關 辦事器吸收到來自上遊辦事器的無效相應。
503 沒法得到辦事 因為暫時過載或保護,辦事器沒法處置要求。
主機的IIS日記狀況是收錄的晴雨表,我們要養成檢察剖析IIS日記的好風俗。