在蜘蛛實(shí)際抓取網(wǎng)頁(yè)的過(guò)程中，因?yàn)榫W(wǎng)頁(yè)內(nèi)容的復(fù)雜性(文本、Flash、 視頻等)和技術(shù)實(shí)現(xiàn)的多樣性(純靜態(tài)、動(dòng)態(tài)加載等)，為了更高效地利用蛛蛛資源，搜索引擎公司會(huì)置頂不同的抓取策略，作為SEO人員，可以參考搜素引擎公司對(duì)抓取策略的描述，采用最大化的SEO方法。
作為國(guó)內(nèi)最大的搜索引擎公司，百度在它的官方文檔中是如下這樣描述抓取策略的。
互聯(lián)網(wǎng)資源具有龐大的數(shù)量級(jí)，這就要求抓取系統(tǒng)盡可能高效地利用帶寬，在有限的硬件和帶寬資源下盡可能多地抓取到有價(jià)值的資源。這就造成了另一個(gè)問(wèn)題，耗費(fèi)被抓取網(wǎng)站的帶寬造成訪問(wèn)壓力，如果程度過(guò)大，將直接影響被抓取網(wǎng)站的正常用戶訪問(wèn)行為。因此，在抓取過(guò)程中要進(jìn)行一定的抓取壓力控制，實(shí)現(xiàn)既不影響網(wǎng)站的正常用戶訪問(wèn)，又能盡量多地抓取到有價(jià)值資源的目標(biāo)。
通常情況下，采用的最基本的方法是基于IP的壓力控制。這是因?yàn)槿绻诔敲?，可能存在一個(gè)域名對(duì)多個(gè)IP (很多大網(wǎng)站)或多個(gè)城名對(duì)應(yīng)同一個(gè)IP (小網(wǎng)站共享IP )的問(wèn)題。實(shí)際工作中，往往根據(jù)IP及域名的多種條件進(jìn)行壓力控制。同時(shí)，站長(zhǎng)平臺(tái)也推出了壓力反饋工具，站長(zhǎng)可以人工調(diào)配對(duì)自己網(wǎng)站的抓取壓力，這時(shí)Baiduspider將優(yōu)先按照站長(zhǎng)的要求進(jìn)行抓取壓力控制。
對(duì)同一個(gè)站點(diǎn)的抓取速度控制一般分為兩類：其一 ,一段時(shí)間內(nèi)的抓取頻率；其二，一段時(shí)間內(nèi)的抓取流量。同一站點(diǎn)不同的時(shí)間抓取速度也會(huì)不同，例如，夜深人靜的時(shí)候抓取的可能就會(huì)快一些。 也視具體站點(diǎn)類型而定，主要思想是錯(cuò)開正常用戶訪問(wèn)高峰，不斷地調(diào)整。對(duì)于不同站點(diǎn)，也需要不同的抓取速度。
上面的描述很簡(jiǎn)潔，但是從這個(gè)描述里面，我們可以得到啟發(fā)，蜘蛛抓取頁(yè)面是有壓力控制的，對(duì)于特別大型的網(wǎng)站來(lái)說(shuō)，不可能指望蜘蛛爬行到一個(gè)網(wǎng)站后，會(huì)一次性抓取到所有的網(wǎng)站，因此，作為SEO人員來(lái)說(shuō)，盡量減少蜘蛛的壓力，對(duì)網(wǎng)站的網(wǎng)頁(yè)收錄是有好處的。一般來(lái)說(shuō)，減輕蜘蛛壓力有以下兩種方法。
方法一：采用Nofollow (反垃圾鏈接的標(biāo)簽)的策略，將蜘蛛引導(dǎo)到最有價(jià)值的頁(yè)面。Nofollow標(biāo)簽用來(lái)告訴蜘蛛，如果遇到帶著此標(biāo)簽的頁(yè)面或者鏈接，就不要繼續(xù)追蹤了，這樣蜘蛛就可以爬行到其他更加有用的頁(yè)面。
方法二：在Sitetap中定義不同頁(yè)面的權(quán)重和更新頻率，就是在網(wǎng)站的Sitemap文件中，定義好每個(gè)鏈接的權(quán)重和更新的頻率，這樣，蜘蛛在爬行到這些鏈接和頁(yè)面的時(shí)候，會(huì)識(shí)別哪些頁(yè)面比較重要， 可以重點(diǎn)抓取，哪些頁(yè)面更新比較頻繁，需要蜘蛛分配更多的注意力。網(wǎng)站式新聞動(dòng)態(tài)
本文地址：http://heisem.cn/article/7755.html
