“蜘蛛陷阱”是什么？它是阻止蜘蛛爬行網(wǎng)站的障礙物，并且這些蜘蛛陷阱會對蜘蛛程序造成障礙，如果消除這些陷阱，可以使蜘蛛程序收錄更多的收錄您網(wǎng)站的網(wǎng)頁。誰都不能保證說讓搜索引擎100%收錄你網(wǎng)站的所有網(wǎng)頁，但通過長期的努力，我們可以做的更好。只有最大限度的避免這些蜘蛛陷阱，才能讓搜索引擎收錄您更多的網(wǎng)頁。
1、登陸要求。有些企業(yè)站和個人站的設(shè)置一定要注冊登陸后才能看到相關(guān)的文章內(nèi)容，這種對搜索引擎蜘蛛不是很友好，搜索引擎蜘蛛不會注冊、也不會登陸。
2、動態(tài)URL。什么叫動態(tài)URL？簡單的說就是帶有問號、等號等參數(shù)的網(wǎng)址就是動態(tài)URL，動態(tài)URL不利于搜索引擎蜘蛛的爬行和抓取。
3、強制使用Cookies。有些網(wǎng)站為了讓用戶記住登錄信息，強迫用戶使用Cookies。如果未開啟，則無法進(jìn)行訪問，訪問頁面顯示的也不會正常，這種方式同時也會導(dǎo)致讓蜘蛛無法進(jìn)行訪問。
4、框架結(jié)構(gòu)。框架結(jié)構(gòu)對搜索引擎來說是一個很大的問題，因為大多數(shù)的搜索引擎都無法識別網(wǎng)站框架，并且有些瀏覽器對框架結(jié)構(gòu)頁面也不支持。
5、各種跳轉(zhuǎn)。對搜索引擎來說只對301跳轉(zhuǎn)相對來說比較友好，對其他形式的跳轉(zhuǎn)都是比較敏感，例如：JavaScript跳轉(zhuǎn)、MetaRefresh跳轉(zhuǎn)、Flash跳轉(zhuǎn)、302跳轉(zhuǎn)等等，這些都不推薦使用，因為很多的占用其他轉(zhuǎn)向欺騙用戶和搜索引擎，也是黑帽SEO的一種手段，很容易被搜索引擎懲罰。
6、Flash。有的網(wǎng)站頁面使用Flash視覺效果是很正常的，比如用Flash做的Logo、廣告、圖表等，這些對搜索引擎抓取和收錄是沒有問題的，但如果你網(wǎng)站的首頁是一個大大的Flash文件，雖然看上去很漂亮，但最終搜索引擎蜘蛛無法識別這些內(nèi)容。
