近期筆者對約莫50多位剛處置或已處置1-2年的搜索引擎優化er做瞭個小查詢拜訪，個中包含許多口試者，真正在事情中能剖析到日記的搜索引擎優化er比例異常異常的少，在問到拜訪日記在搜索引擎優化所起到的感化，許多搜索引擎優化er都直點頭，大概僅僅曉得一些外相並未親手操縱過，其重要緣故原由照樣在公司平臺中並未有機遇去理論，上面筆者分享下本身對網站原始拜訪日記的熟悉：

　　甚麼是拜訪日記

　　網站拜訪日記是記載web辦事器吸收處置要求和運轉時毛病等各類原始信息的以.log末端的文件，確實的講，應當是辦事器日記。它的感化是讓我們搜索引擎優化er能夠清晰的得知用戶在甚麼IP、甚麼時光、用甚麼操縱體系、甚麼閱讀器、甚麼分辯率表現器的情形下拜訪瞭你網站的哪一個頁面，是不是拜訪勝利。

　　甚麼時刻我們須要去剖析日記及日記特點

　　我們會每天都去剖析日記嗎?沒有會的，由於日記剖析比擬死板，一樣平常都是每個月大概半月剖析一次。這類剖析屬於一樣平常剖析，假如您的網站一向都比擬一般那能夠每個月剖析一次，大概能夠簡略的剖析一次。

　　實在日記更多是在網站湧現非常的時刻，會不雅察半個月日記，會合剖析蜘蛛的意向。好比會剖析是否是網站404，robots設置非常大概掛馬等題目形成蜘蛛消逝，逐兒去查找辦理題目。

　　上面是從筆者一樣平常剖析的日記中取的一條拜訪記載：

　　119.254.22.200 – – [10/Apr/2012:00:04:54 +0800] GET /bbjk/index.html HTTP/1.0 200 25269 – Sogou web spider/4.0(+/docs/help/webmasters.htm#07)

　　119.254.22.200 為用戶拜訪ip

　　10/Apr/2012:00:04:54 +0800 為拜訪日期 -時區

　　GET /bbjk/index.html HTTP/1.0 依據HTTP/1.1 協定 抓取(域名下)/bbjk/index.html 這個頁面(GET表現辦事器行動)

　　200 辦事器相應狀況碼

　　25269 為頁面字節數。

　　Sogou web spider/4.0(+/docs/help/webmasters.htm#07) 為搜狗蜘蛛特點。

　　留意：任何蜘蛛都僅僅為網站的通俗用戶。沒有要認為蜘蛛異常的壯大，許多人還以為網站若制止登錄檢察內容，蜘蛛都能爬取上岸後的頁面內容，這是弗成能的。除非網站做瞭蜘蛛專屬手腕。

　　怎樣去剖析網站拜訪日記

　　曾記得在幾年前，筆者剛打仗搜索引擎優化的時刻，對象稀疏的年月，條記一向都愛好手工

　　去剖析拜訪日記，固然手工剖析很費時辛苦，再這裡隻講授下筆者最愛好手工剖析日記中的幾點。

　　筆者如今手工剖析一樣平常都會合在研討逐日蜘蛛在網站上匍匐紀律與網站更新數據之間的幹系。固然每一個網站需依據本身來不雅察，末瞭會有一個異常完善的紀律。

　　筆者會把逐日的蜘蛛拜訪時光定時間段排序統計成報表，

　　好比：2012-4-18 1-2點匍匐5次

　　2-3點匍匐3次

　　3-4點匍匐10次

　　假如你仔細的話能夠做個走勢圖就異常直不雅。這類統計一樣平常都是在網站剛樹立後和網站出非常後增強剖析日記，一樣平常運營中，更多重視的是剖析出蜘蛛逐日的匍匐紀律然後準時的放出充量文章，增長收錄。

　　手工剖析日記都是比擬死板的，偶然會影響心境，不外如今對象鬧熱的年月，我們也借助對象來到達事半功倍。

　　筆者比擬推舉的是光年日記剖析對象。該對象異常簡略，筆者沒有在此演示，有興致的本身百度，它的長處在於能在天生的申報中清楚的告知我們蜘蛛匍匐非常，與頁面抓取陳跡。好比404. 獨一遺憾的是今朝筆者還未找到一款對象帶有剖析蜘蛛匍匐紀律天生走勢圖的對象。

　　留意：在日記剖析中，許多時刻我們都是想從日記中探求到題目，以便改良我們的本身的題目，以是須要特殊存眷404,301等狀況碼。

　　真假蜘蛛鑒別

　　為何會湧現真假蜘蛛，重要是由於如今信息鬧熱，許多收羅對象為沒有讓對方發明本身的陳跡都模仿蜘蛛的陳跡來下載數據源。以是會形成許多搜索引擎優化er誤以為蜘蛛大批的抓取頁面卻發明收錄並未增長的征象。上面筆者告知人人比擬輕易識別真假蜘蛛和一些特殊留意的處所。

　　1， 真蜘蛛

　　220.181.108.96 – – [07/Apr/2012:01:22:21 +0800] GET /site/sex/index.php HTTP/1.1 302 20 – Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)

　　這是筆者某網站的日記片斷，我拿出ip，在win體系下cmd登錄dos框下輸入nslookup 220.181.108.96 檢察回顯：

　　如上圖，如果百度蜘蛛，他會間接回顯百度的域名。

　　2， 假蜘蛛

　　假蜘蛛比擬典范的就是chinaz的查詢對象瞭，他就是模仿百度蜘蛛的，他的ip為125.90.88.96 我們反查後並未湧現百度域名。有興致的能夠nslookup 125.90.88.96下，筆者就沒有截圖瞭。

　　一樣平常假蜘蛛的存在情勢為：XXX.XXX.XXX.XXX – – [07/Apr/2012:01:22:21 +0800] GET /site/sex/index.php HTTP/1.1 302 20 – Mozilla/5.0 (compatible; Baiduspider/2.0; +/search/spider.html)

　　看著跟真的一樣，惟獨ip就是貓膩!

　　3， 特別情形的蜘蛛

　　1) cdn加快後，形成ip凌亂。

　　此類情形湧現一樣平常是網站在做瞭cdn加快後，再去檢察apache辦事器的拜訪日記的時刻發明許多蜘蛛的陳跡ip都異常的相似，假如依照百度官方出的鑒別手段nslookup ip 後確定為匿名，由於這些ip都是cdn節點ip，以是會形成誤會。若開啟cdn後，蜘蛛現實拜訪次數一樣平常都<=日記中蜘蛛總數值。

　　2) 百度匿名蜘蛛的存在性評論辯論。

　　匿名蜘蛛?百度工程師lee一向誇大百度蜘蛛是沒有會匿名去拜訪網站的，但筆者從網上查閱材料，加上筆者某個站的數據推想，筆者以為會有兩種情形:

　　第一種：如果真的存在匿名蜘蛛，這很顯著與lee的話有悖。以是這點我們能夠去辯證的去懂得，如果存在，匿名蜘蛛會做甚麼，許多搜索引擎優化er包含筆者都推測大概會存在用此類蜘蛛去考證網站是不是對蜘蛛與用戶做瞭分歧的報酬。以是此種情形，做賊就沒有要心虛嘛，老誠實實做站吧。

　　第二種：大概是百度的上班族們在公司拜訪瞭你的網站，百度員工也是人，他們也有七情六欲，大概你的網站被他們或人發明瞭，拜訪瞭你的網站後，從而留下瞭百度ip，形成瞭誤會。(實在百度許多部分都是一向在做網絡客戶材料的，好比網盟部分)

　　留意：對付真假蜘蛛的鑒別必定要多方面斟酌，切勿隻拿ip來斷定就判斷真偽。

　　末瞭以上就是筆者比來在剖析所辦事的網站時的履歷積聚，本想寫一篇簡短的履歷分享，卻沒有知沒有覺的已近三千字瞭，若列位搜索引擎優化er有甚麼題目能夠加我的QQ：123464947 —小蘇，跟我接洽，一路評論辯論!三人行必有我師，配合提高!