“蜘蛛陷阱”是什么？它是阻止蜘蛛爬行網(wǎng)站的障礙物，并且這些蜘蛛陷阱會(huì)對(duì)蜘蛛程序造成障礙，如果消除這些陷阱，可以使蜘蛛程序收錄更多的收錄您網(wǎng)站的網(wǎng)頁(yè)。誰(shuí)都不能保證說(shuō)讓搜索引擎100%收錄你網(wǎng)站的所有網(wǎng)頁(yè)，但通過(guò)長(zhǎng)期的努力，我們可以做的更好。只有最大限度的避免這些蜘蛛陷阱，才能讓搜索引擎收錄您更多的網(wǎng)頁(yè)。
1、登陸要求。有些企業(yè)站和個(gè)人站的設(shè)置一定要注冊(cè)登陸后才能看到相關(guān)的文章內(nèi)容，這種對(duì)搜索引擎蜘蛛不是很友好，搜索引擎蜘蛛不會(huì)注冊(cè)、也不會(huì)登陸。
2、動(dòng)態(tài)URL。什么叫動(dòng)態(tài)URL？簡(jiǎn)單的說(shuō)就是帶有問(wèn)號(hào)、等號(hào)等參數(shù)的網(wǎng)址就是動(dòng)態(tài)URL，動(dòng)態(tài)URL不利于搜索引擎蜘蛛的爬行和抓取。
3、強(qiáng)制使用Cookies。有些網(wǎng)站為了讓用戶記住登錄信息，強(qiáng)迫用戶使用Cookies。如果未開(kāi)啟，則無(wú)法進(jìn)行訪問(wèn)，訪問(wèn)頁(yè)面顯示的也不會(huì)正常，這種方式同時(shí)也會(huì)導(dǎo)致讓蜘蛛無(wú)法進(jìn)行訪問(wèn)。
4、框架結(jié)構(gòu)。框架結(jié)構(gòu)對(duì)搜索引擎來(lái)說(shuō)是一個(gè)很大的問(wèn)題，因?yàn)榇蠖鄶?shù)的搜索引擎都無(wú)法識(shí)別網(wǎng)站框架，并且有些瀏覽器對(duì)框架結(jié)構(gòu)頁(yè)面也不支持。
5、各種跳轉(zhuǎn)。對(duì)搜索引擎來(lái)說(shuō)只對(duì)301跳轉(zhuǎn)相對(duì)來(lái)說(shuō)比較友好，對(duì)其他形式的跳轉(zhuǎn)都是比較敏感，例如：JavaScript跳轉(zhuǎn)、MetaRefresh跳轉(zhuǎn)、Flash跳轉(zhuǎn)、302跳轉(zhuǎn)等等，這些都不推薦使用，因?yàn)楹芏嗟恼加闷渌D(zhuǎn)向欺騙用戶和搜索引擎，也是黑帽SEO的一種手段，很容易被搜索引擎懲罰。
6、Flash。有的網(wǎng)站頁(yè)面使用Flash視覺(jué)效果是很正常的，比如用Flash做的Logo、廣告、圖表等，這些對(duì)搜索引擎抓取和收錄是沒(méi)有問(wèn)題的，但如果你網(wǎng)站的首頁(yè)是一個(gè)大大的Flash文件，雖然看上去很漂亮，但最終搜索引擎蜘蛛無(wú)法識(shí)別這些內(nèi)容。
