为什么要写robots.txt呢?其实robots.txt主要目的是告诉搜索引擎哪些可以抓取，哪些不可以抓取。这对提升搜索引擎友好度非常关键，那么到底robots.txt有着哪些好处和优势呢?

　　Google推广专家为大家讲解一些正确robots.txt的好处和优势，希望对大家有所帮助。

　　一、节省服务器带宽

　　如果一台服务器上访问量过大，内容过多就会占用很大的宽带，，比如imge等等，这对搜索引擎来说没有什么实际意义，这样就会做一个robots.txt，以屏蔽搜索引擎的抓取，这样就在一定程度上减少了网站服务器访问量过大的情况，节省了服务器的宽带。

　　二、保护网站安全目录

　　为什么网站会设置robots.txt，一般来说，robots.txt的作用就是禁止搜索引擎抓取一些没有意义的页面或者目录，比如打不开的页面或删除页面，这些页面都要禁止搜索引擎抓取，从而保证那些安全页面的正常索引，一般来说，如果一个改版网站，基本上都忽悠这样的页面，所以必须要禁止，否则会影响到安全页面的正常抓取。

　　三、禁止搜索引擎索引页面

　　Robots.txt的主要目的就是禁止搜索引擎抓取某些页面，而且这也是保证搜索引擎不要抓取那些打不开页面或者死页面***的方法。

　　四、Robots.txt链接网站地图

　　众所周知，搜搜引起蜘蛛访问网站首先看的不是首页，而是robots.txt文件，这个时候大家就可以将网站地图放置进去，这样就会更有利于搜索引擎蜘蛛的索引到***新的信息，不用绕弯到网站中去抓取，节省了搜索引擎蜘蛛的时间，也就相当于提高了网站收录率。

　　五、写法及注意事项

　　对于Robots.txt写法一定要规范，写法上疏忽不注意的人并不在少数。首先来说：User-agent:*是必须要写的，*表示针对所有搜索引擎。Disallow:(文件目录)不包括括号，表示禁止搜索引擎索引的意思。

　　Robots.txt的作用非常大，是告诉搜索引擎哪些应该抓取，哪些不应该抓取，从而起到一个提高网站收录率的目的。