网站建好后的7个蜘蛛陷阱

作者：佚名   时间：2012-02-14   分享到：

在SEO工作中，网页被收录是基础工作，但对于搜索引擎来讲，极少情况会100%收录你网站的所有网页，搜索引擎的爬虫程序设计的再精巧，也难以逾越所谓的蜘蛛陷阱（蜘蛛陷进）。

蜘蛛陷阱是组织蜘蛛程序爬行网站的障碍物，通常是那些显示网页的技术方法，目前很多浏览器在设计的时候考虑过这些因素，所以可能网页界面看起来非常正常，但这些蜘蛛陷阱会对蜘蛛程序赞成障碍，如果消除这些蜘蛛陷阱，可以是蜘蛛程序收录更多的网页。

很对蜘蛛陷阱都是先进的技术方法，开发成本相对也较大，但是这些的确会影响搜索引擎对你网站的了解，甚至还可能被整个网站都不被搜索引擎收录，那么，当务之急，是消除这些蜘蛛陷阱，让搜索引擎收录你的更多网页，这才将有利于你的SEM营销计划的开展。

一、注意robots文件正确书写

robots.txt 文件看似一个简单的文本文件，放在网站的根目录下面，但它可以告诉搜索引擎的蜘蛛程序在服务器上的那些文件是可以被查看的，那些文件是私人文件将不被查看。

1、User agent（用户代理）：User agent 定义了下面的禁止命令使用于那个蜘蛛程序，如果对 User agent 定义为星号（*），则表示针对所有的蜘蛛程序。

User-agent: Baiduspider （百度蜘蛛）

Disallow: /

User-agent: * （所有蜘蛛）

Disallow: /

2、Disallow（禁止）：禁止指明了具体那个文件蜘蛛程序不能查看，可以指定精确的文件名或者任意文件，甚至是目录名的一部分，比如：

User-agent: * （所有蜘蛛）

Disallow: /（所有文件被禁止查看）

User-agent: Baiduspider （百度蜘蛛）

Disallow: /admin （根目录下任何以admin开头的目录和文件）

User-agent: * （所有蜘蛛）

Disallow: /admin/（admin目录和该目录下的任何文件）

意外的失误对网站带来的影响很普遍，在网站上线之前可能会对整个网站暂时屏蔽，但上线以后往往忙于其他事情而忘记该文件的更正，导致网站不能正常被搜索引擎收录。

除了robots.txt文件外，还应该注意元标记也可能会导致同样的问题，但这类情况往往很少。

二、消除弹窗

虽然弹窗（弹出窗口）很吸引眼球，但大多数用户都不喜欢它，因为这些“小广告”是强制展示给用户的，可能用户正在认真浏览他感兴趣的信息，这时候弹到用户面前，感受可想而知。

如果使用弹窗来显示一些补充和重要内容，最好在网站地图或者其他正常网页上给这些页面做上链接，不然可能或导致这些页面的无法正常收录。

三、避免使用JS下拉菜单

蜘蛛程序对JS的理解还不深入，一些在JS存在的链接可能无法被蜘蛛程序捕捉到，而往往菜单中的链接又是很重要的，所以使用JS下拉菜单的网页最好使用html重新这些链接。

除了用html代码，还可以使用