URLs 就像網站和搜刮引擎抓取對象之間的橋梁： 為瞭可以或許抓取到您網站的內容，抓取對象須要可以或許找到並超過這些橋梁(也就是找到並抓取您的URLs)。假如您的URLs很龐雜或冗雜，抓取對象不能不須要重復花時光去跟蹤這些網址;假如您的URLs很規整而且間接指向您的奇特內容，抓取對象便可以把精神放在懂得您的內容上，而沒有是白白花在抓取空網頁或被分歧的URLs指引卻終極隻是抓取到瞭雷同的反復內容。

　　贊助抓取對象更快更好地找到您的內容的一些發起，重要包含：

　　1、去除URL中的用戶相幹參數

　　那些沒有會對網頁內容發生影響的URL中的參數比方session ID大概排序參數是能夠從URL中去除的，並被cookie記載的。經由過程將這些信息參加cookie，然後301定向向至一個清潔的URL，你能夠堅持原本的內容，並削減多個URL指向統一內容的情形。

　　2、掌握無窮空間

　　你的網站上是不是有一個日歷表，上面的鏈接指向無數個曩昔和未來的日期(每個鏈接地點都舉世無雙)?你的網頁地點是不是在參加一個page=3563的參數以後，仍舊能夠返回200代碼，哪怕基本沒有這麼多頁?假如是如許的話，你的網站上就湧現瞭所謂的無窮空間，這類情形會糟蹋抓取機械人和你的網站的帶寬。若何掌握好無窮空間，參考這裡的一些技能吧。

　　3、阻攔Google爬蟲抓取他們不克不及處置的頁面

　　經由過程應用你的robots.txt 文件，你能夠阻攔你的登錄頁面，接洽方法，購物車和其他一些爬蟲不克不及處置的頁面被抓取。(爬蟲是以他的小氣和含羞而有名，以是一樣平常他們沒有會本身 往購物車裡增加貨色 大概 接洽我們)。經由過程這類方法，你可讓爬蟲消費更多的時光抓取你的網站上他們可以或許處置的內容。

　　4、 一個 URL, 一段內容

　　在幻想的天下裡，URL和內容之間有著一對一的對應：每個URL會對應一段奇特的內容，而每段內容隻能經由過程獨一的一個URL拜訪。越靠近如許的幻想狀態，你的網站會越輕易被抓取和收錄。假如你的內容治理體系大概今朝的網站樹立讓它完成起來比擬艱苦，你能夠測驗考試應用rel=canonical元素去設定你想用的URL去指導某個特定的內容。

　　文章整頓 壓濾機 / 轉載請說明出處