当前位置: 首页 > 谷歌学院 > 谷歌知识问答 > 知己知彼才能百战百胜 搜索引擎蜘蛛的工作原理是什么?
知己知彼才能百战百胜 搜索引擎蜘蛛的工作原理是什么?
文章来源:http://www.googlewz.cn       发布时间:2013-11-01       点击数:

  各位站长在做搜索引擎优化的过程中,肯定都特别想要知道搜索引擎蜘蛛的工作原理,这样我们才能够更好的去做SEO。谷歌推广专家今天给大家分析下搜索引擎蜘蛛的工作原理。

  一、蜘蛛抓取相关的概念

  了解了蜘蛛的相关概念我们才能在谷歌优化中做到知己知彼,才能百战百胜。蜘蛛的相关概念有爬取率、爬取频率、爬取深度、爬取饱和度、爬取优先、爬取冗余度、爬取mapping。

  这些概念都是需要事先掌握好的蜘蛛的工作原理,也许我们不能全面的掌握到其中的意义,但是有一个初步的了解还是必要的。至少我们在蜘蛛抓取网页的时候可以知道都有哪些指标。

  二、分析爬取率验证模糊经验理论

  我们自己可以根据一些理论对于蜘蛛的爬取率进行验证,找到蜘蛛爬取我们网站的特定频率和特定的各项指标,这样我们的优化工作才能更有的放矢。很多时候我们考虑的就是一天时间内的爬取率,但是我们不妨可以使用更短的时间段来做测试,将蜘蛛爬取率的分析***到小时,这样对于我们以后的优化工作肯定有帮助。

  三、研究蜘蛛爬取习惯并优化习惯

  我们可以从更加深入的分析中去发现蜘蛛爬取习惯,比如从蜘蛛的爬取深度方面,我们可以发现网站的结构设计上和目录的层级设计上存在哪些不足,做出相应的调整。从蜘蛛的爬取优先上,我们可以总结出蜘蛛更青睐哪些网页内容,在后面的优化中多添加这样的内容。从蜘蛛的爬取饱和度上,我们可以看出蜘蛛对于单一页面的爬取是否是在浪费时间,从而决定是否继续保留这样的页面。

  总之,了解了蜘蛛的爬取习惯,我们才能更好地做优化。