网站建设优化学习—理解搜索引擎蜘蛛的爬行原理
作者：佚名 时间：2014-02-27
搜索引擎的计算过程可以说是最复杂的程序之一,之前曾经讲过其大致的工作原理.不过还是不够通俗,很多SEO新手朋友感觉有些不容易理解.今天笔者再用另外的一种形式为广大网站建设与优化的新手朋友们再说说了.可能对于真正的搜索引擎技术人员或者优化人员是皮毛.不过对于很多不从事网站建设不接触程序,负责外围的SEO推广人员来说比较有用.
搜索引擎的大致工作过程
搜索引擎的工作大致上可以分成下面的3个阶段:1,爬行和抓取.,这个阶段,搜索引擎的蜘蛛会通过链接来访问网页,获取页面的HTML代码,将这些代码存在自己的数据库;2,页面代码的预处理,这个过程是对所存的页面的一些数据进行文字提取,分词,建立索引等操作,这样以备后面的排名程序的调用.3,接下来就是排名了,用户在输入关键词,排名的程序会根据数据库里面的索引,相关性的计算等处理,然后按照重要性生成搜索操作结果呈现给用户.
蜘蛛的爬行和抓取
搜索引擎的爬行和访问页面程序被通俗的称为蜘蛛.搜索引擎蜘蛛访问会模拟用户使用的浏览,蜘蛛程序发出页面访问请求后,网页服务器会返回HTML代码,搜索引擎就会把代码存到自己的原始数据库里面.蜘蛛访问每个网站的时候,都会先访问网站的ROBOTS.TXT文件.如果有的ROBOTS.TXT文件不想被搜索引擎抓取,比如一些保密的信息,那么搜索引擎就不会抓取这些页面.
链接的跟踪
理解了链接的跟踪,就会明白为什么大家在进行网站制作的时候,要遵守一些优化的原则.搜索引擎的蜘蛛从一个网页到另一个网页,很象蜘蛛网的爬行,互联网的链接就象蜘蛛网一样.虽然计算机的速度很快,但再快也是有时间的,理论上虽然说不管是链接有多深,只要时间足够,蜘蛛都能够爬完所有的页面,但实际上,网上资源实在太多,加上带宽的限制,不可能爬完所有的页面.
所以大家在布局链接的时候,要让蜘蛛程序很清晰的判断出你的网站架构,避免一些死链接,使用扁平的价格,这样蜘蛛就会比较容易比较快速的对你网站所有的页面进行访问抓取,并能够通过自己的程序,很快的分析出你的网站内容,这样就能起到很好的优化的效果.
了解了以上上海网站制作的小编所述，相信大家也从原理上了解了搜索引擎的爬行访问收录原理,就能明白自己的网站该如何在优化的角度来展开.
本文由上海联楷网络科技有限公司（http://www.linksj.com）原创编辑转载请注明。
