每一個搜刮引擎的蜘蛛名字都是紛歧樣的,接下來為你先容海內幾個支流搜刮引擎蜘蛛的稱號。
1. 谷歌蜘蛛稱號
1) 谷歌bot:從谷歌的網站索引和消息索引中抓取網頁
2) 谷歌bot-mobile針對谷歌的挪動索引抓取網頁
3) 谷歌bot-image:針對谷歌的圖片索引抓取網頁
4) mediapartners-谷歌:抓取網頁肯定 adsense 的內容。隻要在你的網站上展現 adsense 告白的情形下,谷歌才會應用此周遊器來抓取您的網站。
5) adsbot-谷歌:抓取網頁來權衡 adwords 目的網頁的質量。隻要在你應用 谷歌 adwords 為你的網站做告白的情形下,谷歌才會應用此周遊器。
2. 百度蜘蛛稱號:百度spider 首字母b大寫,別的為小寫
3. 雅虎(yahoo!)蜘蛛稱號:
1)yahoo!搜刮蜘蛛稱號:yahoo! slurp。
2)yahoo!搜刮引擎告白蜘蛛:yahoo!-adcrawler。 用來抓取yahoo!搜刮引擎告白上岸頁網頁
4. 有道蜘蛛稱號:yodaobot
5. 騰訊搜搜soso蜘蛛稱號:sosospider 首字母s大寫,別的為小寫
6. 搜狗(sogou)蜘蛛稱號:sogou spider
7. live蜘蛛稱號
1)msnbot:main web crawler ()
2)msnbot-media:images all other media (images.live.com)
3)msnbot-newsblogs:news and blogs (search.live.com/news)
4)msnbot-products:products shopping (products.live.com)
5)msnbot-academic:academic search (academic.live.com)