許多有關於網站構造、抓取與收錄、乃至是排名的題目都能夠被歸結為一其中心題目，那就是：搜刮引擎可以或許何等輕易的抓取您的網站?我們在比來的幾回運動上都談到過這個話題，上面您將會看到我們關於這個題目的演講內容和要點歸納綜合。

　　收集天下極為宏大;時時刻刻都在發生新的內容。Google 自己的資本是有限的，劈面對幾近無限無盡的收集內容的時刻，Googlebot 隻能找到和抓取個中必定比例的內容。然後，在我們已抓取到的內容中，我們也隻能索引個中的一部門。

　　URLs 就像網站和搜刮引擎抓取對象之間的橋梁： 為瞭可以或許抓取到您網站的內容，抓取對象須要可以或許找到並超過這些橋梁(也就是找到並抓取您的URLs)。假如您的URLs很龐雜或冗雜，抓取對象不能不須要重復花時光去跟蹤這些網址;假如您的URLs很規整而且間接指向您的奇特內容，抓取對象便可以把精神放在懂得您的內容上，而沒有是白白花在抓取空網頁或被分歧的URLs指引卻終極隻是抓取到瞭雷同的反復內容。

　　在上面的幻燈片上，您能夠看到一些我們應該幸免的反例–這些都是實際中存在的URL例子(隻管他們的稱號因為掩護隱私的緣故原由已被調換瞭)，這些例子包含被黑的URL和編碼，冗餘的參數假裝成URL途徑的一部門，無窮的抓取空間，等等。您還能夠找到贊助您理順這些網址迷宮和贊助抓取對象更快更好地找到您的內容的一些發起，重要包含：

　　去除URL中的用戶相幹參數。那些沒有會對網頁內容發生影響的URL中的參數比方session ID大概排序參數是能夠從URL中去除的，並被cookie記載的。經由過程將這些信息參加cookie，然後301重定向至一個清潔的URL，你能夠堅持原本的內容，並削減多個URL指向統一內容的情形。

　　掌握無窮空間。你的網站上是不是有一個日歷表，上面的鏈接指向無數個曩昔和未來的日期(每個鏈接地點都舉世無雙)?你的網頁地點是不是在參加一個page=3563的參數以後，仍舊能夠返回200代碼，哪怕基本沒有這麼多頁?假如是如許的話，你的網站上就湧現瞭所謂的無窮空間，這類情形會糟蹋抓取機械人和你的網站的帶寬。若何掌握好無窮空間，參考這裡的一些技能吧。

　　阻攔Google爬蟲抓取他們不克不及處置的頁面。經由過程應用你的robots.txt 文件，你能夠阻攔你的登錄頁面，接洽方法，購物車和其他一些爬蟲不克不及處置的頁面被抓取。(爬蟲是以他的小氣和含羞而有名，以是一樣平常他們沒有會本身 往購物車裡增加貨色 大概 接洽我們)。經由過程這類方法，你可讓爬蟲消費更多的時光抓取你的網站上他們可以或許處置的內容。

　　一人一票。 一個 URL， 一段內容。在幻想的天下裡，URL和內容之間有著一對一的對應：每個URL會對應一段奇特的內容，而每段內容隻能經由過程獨一的一個URL拜訪。越靠近如許的幻想狀態，你的網站會越輕易被抓取和收錄。假如你的內容治理體系大概今朝的網站樹立讓它完成起來比擬艱苦，你能夠測驗考試應用rel=canonical元素去設定你想用的URL去指導某個特定的內容。

　　原文: Optimize your crawling indexing