网站google推广，无论是哪个行业，医药也好，影楼也好，婚纱网站也好，外贸网站也罢，都不能闭门造车，否则站长就要为自己的固步自封而付出代价。今天想写一篇文章***解析robots.txt的使用方法，相信站长们会有兴趣听。

　　这里用的是“***”而非“正确”，请站长们注意这一点。

　　***、robots.txt可帮助减少重复收录

　　robots.txt的作用是通过禁止蜘蛛爬行某些页面达到目的。网站中有些内容是重复的，如果蜘蛛都收录了，就会影响网站的权重，导致权重分散。robots.txt正好可以避免这一点。这招常用语商城站、资讯站、问答站等大型网。

　　第二、robots.txt诱导蜘蛛爬行重点页面

　　我们知道，搜索引擎蜘蛛爬行网站的频率是一定的，当站长用robots.txt屏蔽了一些不重要的页面后，蜘蛛就会被诱导爬行到重要的页面，从而提高它对重点页面的爬行频率，这些页面被收录的机会也能增加。robots.txt中中Allow命令可以让蜘蛛优先抓取网站地图、聚合页标签伪装的列表页等等。

　　第三、调整网站权重分配

　　刚刚说过，如果不使用robots.txt屏蔽掉某些内容，网站页面的权重就会分散，如果robots.txt配合nofollow，就可以将权重导入重点的栏目页，让权重得到重新分配。

　　第四、robots.txt降低蜘蛛的抓取压力

　　虽然说百度每天都派出很多的蜘蛛出来工作，但如果网站优化成蜘蛛喜欢的样子，比如说不让蜘蛛爬行某些无用网站，这里说的是对用户无用，降低蜘蛛的爬行压力，那么蜘蛛对于网站的好感也会上升。这就是robots.txt的威力。

　　无论怎么讲，robots.txt的使用讲究的都是技巧，如果站长随便使用或者是压根不重视robots.txt文件，那么想要超越竞争对手得到排名，恐怕有点难。