搜刮引擎的處置工具是互聯網網頁，日前網頁數目以百億計，以是搜刮引擎起首面對的題目就是：若何可以或許計劃出高效的下載體系，以將如斯海量的網頁數據傳送到當地，在當地構成互聯網網頁的鏡像備份。

　　收集爬蟲即起此感化，它是搜刮引擎體系中很癥結也基礎礎的構件。這裡重要先容與收集爬蟲相幹的技巧，隻管爬蟲技巧經由幾十年的成長，從團體框架上已相對成熟，但跟著聯網的賡續成長，也面對著一些有挑釁性的新題目。

　　下圖所示是一個通用的爬蟲框架流程。起首從互聯網頁面中經心挑選一部門網頁，以這些網頁的鏈接地點作為種子url，將這些種子url放入待抓取url行列中，爬蟲從待抓取url行列順次讀取，並將url經由過程dns剖析，把鏈接地點轉換為網站辦事器對應的ip地點。

　　然後將其和網頁相對途徑稱號交給網頁下載器，網頁下載器賣力頁面內容的下載。對付下載到當地的網頁，一方面將其存儲到頁面庫中，期待樹立索引等後續處置;另外一方面將下載網頁的url放入已抓取url行列中，這個行列記錄瞭爬蟲體系已下載過的網頁url，以免網頁的反復抓取。對付剛下載的網頁，從中抽掏出所包括的全部鏈接信息，並在已抓取url行列中檢討，假如發明鏈接還沒有被抓取過，則將這個url放入待抓取url行列末端，在以後的抓取調劑中會下載這個url對應的網頁。如斯這般，構成輪回，直到待抓取url行列為審，這代表著爬蟲體系已將可以或許抓取的網頁盡數抓完，此時完成瞭一輪完全的抓取進程。

　　對付爬蟲來講，每每還須要舉行網頁去重及網頁反做弊。

　　上述是一個通用爬蟲的團體流程，假如從加倍宏不雅的角度斟酌，處於靜態抓取進程中的爬蟲和互聯網全部網頁之間的幹系，能夠大抵像如圖2-2所身那樣，將互聯網頁面分別為5個部門：

　　1.已下載網頁聚集：爬蟲已從互聯網下載到當地舉行索引的網頁聚集。

　　2.已過時網頁聚集：因為網頁數最偉大，爬蟲完全抓取一輪須要較長時光，在抓取進程中，許多已下載的網頁大概過時。之以是如斯，是由於互聯網網頁處於賡續的靜態變更進程中，以是易發生當地網頁內容和實在互聯網網頁紛歧致的情形。

　　3.待下載網頁聚集：即處於上圖中待抓取url行列中的網頁，這些網頁馬上被爬蟲下載。

　　4.可知網頁聚集：這些網頁還沒有被爬蟲下載，也沒有湧現在待抓取url行列中，不外經由過程已抓取的網頁大概在待抓取url行列中的網頁，總足可以或許經由過程鏈接幹系發明它們，稍晚時刻會被爬蟲抓取並索引。

　　5.弗成知網頁聚集：有些網頁對付爬蟲來講是沒法抓取到的，這部門網頁組成瞭弗成知網頁聚集。究竟上，這部門網頁所占的比例很高。

　　依據分歧的運用，爬蟲體系在很多方面存在差別，大要而言，能夠將爬蟲分別為以下三品種型:

　　1. 批量型爬蟲（batch crawler）：批量型爬蟲有比擬明白的抓取規模和目的，當爬蟲到達這個設定的目的後，即停滯抓取進程。至於詳細目的大概各別，大概是設定抓取必定數目的網頁便可，大概是設定抓撤消耗的時光等。

　　2.增量型爬蟲（incremental crawler）：增量型爬蟲與批量型爬蟲分歧，會堅持連續賡續的抓取，對付抓取到的網頁，要按期更新，由於互聯網的網頁處於賡續變更中，新增網頁、網頁被刪除大概網頁內容變動都很常見，而增量型爬蟲須要實時反應這類變更，以是處於連續賡續的抓取進程中，沒有是在抓取新網頁，就是在更新已有網頁。通用的貿易搜刮引擎爬蟲根本都屬此類。

　　3.垂直型爬蟲(focused crawter）：垂直型爬蟲存眷特定主題內容大概屬於特定行業的網頁，好比對付康健網站來講，隻須要從互聯網頁而裡找到與康健相幹的頁面內容便可，其他行業的內容沒有在斟酌規模。垂直型爬蟲一個最大的特色和難點就是：若何辨認網頁內容是不是屬於指定行業大概主題。從節儉體系資本的角度來講，沒有太大概把全部互聯網頁面下載下來以後再去挑選，如許糟蹋資本就太甚分瞭，每每須要爬蟲在抓取階段就可以夠靜態辨認某個網址是不是與主題相幹，並隻管沒有去抓墩無關頁面，以到達節儉資本的目標。垂直搜刮網站大概垂直行業網站每每須要此品種型的爬蟲。