蜘蛛陷阱是什么

蜘蛛陷阱是指：阻止蜘蛛程序爬行網(wǎng)站的障礙物，如站內(nèi)搜索、電商產(chǎn)品、flash網(wǎng)站、限制性內(nèi)容等。蜘蛛陷阱的最大特點(diǎn)是：當(dāng)蜘蛛抓取某個(gè)特定URL時(shí)，它便進(jìn)入了無限循環(huán)，只有入口，沒有出口。

在SEO工作中，SEO人員每天都在與內(nèi)容和鏈接打交道，從目前來看，他們深知獨(dú)立的原創(chuàng)內(nèi)容，對(duì)于未來站點(diǎn)長(zhǎng)期發(fā)展的重要性，但這一切的開始，都有一個(gè)前提，那就是避免產(chǎn)生“蜘蛛陷阱”。那么什么是蜘蛛陷阱？

“蜘蛛陷阱”是什么？

“蜘蛛陷阱”是阻止蜘蛛程序爬行網(wǎng)站的障礙物，一些網(wǎng)站設(shè)計(jì)技術(shù)對(duì)搜索引擎說很不友好，不利于蜘蛛爬行和抓取，這些技術(shù)被稱為蜘蛛陷阱。 最大的特點(diǎn)是當(dāng)蜘蛛抓取某個(gè)特定URL的時(shí)候，它便進(jìn)入了無限循環(huán)，只有入口，沒有出口。??

常見的“蜘蛛陷阱”有哪些：??

1、站內(nèi)搜索??

這是一個(gè)常見且容易造成“蜘蛛陷阱”的地方，當(dāng)你試圖在站內(nèi)搜索某些特定關(guān)鍵詞的時(shí)候，如果類似search.php?q=這樣的URL地址被搜索引擎抓取與收錄，那么很可能產(chǎn)生大量無意義的搜索結(jié)果頁面。??

解決：你可以通過Robots.txt這個(gè)文件，屏蔽動(dòng)態(tài)參數(shù)。??

2、電商產(chǎn)品??

如果你以往有過操作電商網(wǎng)站的經(jīng)歷，那么你會(huì)遇到產(chǎn)品SKU的多樣性的問題，同一個(gè)主題內(nèi)容，會(huì)根據(jù)SKU的不同，產(chǎn)生多個(gè)URL，造成大量的內(nèi)容重復(fù)頁面，這也導(dǎo)致嚴(yán)重浪費(fèi)蜘蛛抓取頻率。??

當(dāng)然，還有一種特殊的“蜘蛛陷阱”與電商產(chǎn)品頁面類似，就是動(dòng)態(tài)的內(nèi)容插入，這也往往導(dǎo)致蜘蛛陷入溫柔的陷阱。??

解決：確保URL的規(guī)范性，你可以試圖利用rel=canonical這個(gè)標(biāo)簽來解決類似問題。??

3、Flash網(wǎng)站??

為了滿足用戶的視覺體驗(yàn)，建站公司通常會(huì)使用Flash網(wǎng)站，給用戶搭建企業(yè)官網(wǎng)，這樣看起來非常美觀，但由于目前搜索引擎并不能很好的抓取與識(shí)別flash內(nèi)容，往往導(dǎo)致站點(diǎn)排名很難提升。??

解決：不要做整站flash，盡量將flash嵌入網(wǎng)頁內(nèi)容的一部分。??

4、限制性內(nèi)容??

對(duì)于一些站點(diǎn)，出去吸引粉絲的目的，很多內(nèi)容只有登錄才能查看，特別是一些強(qiáng)制Cookie的操作，這誘導(dǎo)與欺騙了蜘蛛，它很難識(shí)別內(nèi)容，并且不斷的嘗試抓取這個(gè)URL。??

解決：針對(duì)網(wǎng)站建設(shè)，盡量避免采用這種策略，去吸引用戶。??

如何識(shí)別“蜘蛛陷阱”??

對(duì)于識(shí)別蜘蛛陷阱的方法，特別容易，你只需要通過如下內(nèi)容：??

① 網(wǎng)站日志：利用工具讀取當(dāng)日蜘蛛抓取URL的內(nèi)容，如果發(fā)現(xiàn)特殊的URL地址，那么值得進(jìn)一步關(guān)注。??

② 抓取頻率：查看百度搜索資源平臺(tái)中抓取頻率，如果某一天數(shù)值特別大，那么很可能陷入蜘蛛陷阱。??

總結(jié)：常被討論的蜘蛛陷阱還有網(wǎng)站框架、sessionid、各類跳轉(zhuǎn)，本文只簡(jiǎn)單講述了實(shí)際應(yīng)用中常遇到的蜘蛛陷阱，僅供參考。