如何使用Robots避免蜘蛛黑洞？

蜘蛛黑洞：

蜘蛛黑洞指的是網(wǎng)站通過(guò)極低的成本運(yùn)營(yíng)，制造出大量和內(nèi)容相識(shí)但參數(shù)不同的動(dòng)態(tài)URL ，像一個(gè)無(wú)限循環(huán)的“黑洞”將蜘蛛困住，蜘蛛花費(fèi)太多的時(shí)間在網(wǎng)站，浪費(fèi)了大量資源抓取的網(wǎng)頁(yè)為無(wú)效網(wǎng)頁(yè)。

如果你的網(wǎng)站存在蜘蛛黑洞現(xiàn)象，盡快的處理好，蜘蛛黑洞不利于網(wǎng)站的收錄，也會(huì)影響搜索引擎對(duì)網(wǎng)站的評(píng)分。

如何使用Robots避免蜘蛛黑洞？

如何利用Robots避免蜘蛛黑洞操作：

普通的篩選結(jié)果頁(yè)基本都是使用靜態(tài)鏈接，比如：

http:// bj.XXXXX. com/category/zizhucan/weigongcun

當(dāng)用戶選擇不同排序后，會(huì)自動(dòng)生成帶有不同參數(shù)的動(dòng)態(tài)鏈接，即使選擇是同一種排序條件，生成的參數(shù)也有不同的，比如：

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

把帶有不同參數(shù)的結(jié)果排序頁(yè)面使用robots規(guī)則拒絕，告知搜索引擎，讓搜索引擎只抓取篩選結(jié)果頁(yè)，為用戶和搜索引擎節(jié)省時(shí)間。

Robots文件寫(xiě)法中Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào) (?) 的網(wǎng)址，通過(guò)這種方式，如果網(wǎng)站的無(wú)效頁(yè)面不希望被搜索引擎收錄，可以屏蔽掉低質(zhì)量的頁(yè)面，告訴搜索引擎哪些頁(yè)面可以抓取，有效的避免黑洞的形成。