今天了解到一个新知识，网站robots文件，那么robots文件是什么？到底要不要加？请看下面大头的总结。
robots文件是什么？
robots文件也就是robots.txt，是一个文本文件，是蜘蛛抓取网站的第一个地方，robots.txt可以告诉蜘蛛网站哪些文件可以被抓取，哪些不可以抓取，这极大的提高了蜘蛛对网站抓取的效率。
通常情况下在在一个网址后面加上robots.txt就能查看这个网站的robots.txt文件，比如www.baidu.com/robots.txt（这是百度的）。
robots文件有什么作用？
- 引导蜘蛛抓取指定的文件、内容；
- 网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
- 屏蔽死链接、404错误页面；
- 屏蔽无内容、无价值页面；
- 屏蔽重复页面，如评论页、搜索结果页；
- 引导蜘蛛抓取网站地图；
robots文件要不要加？
前面大头提到了robots文件可以引导蜘蛛抓取指定的内容，屏蔽一些不必要的内容或者目录，极大的提高了蜘蛛对网站抓取的效率，从而蜘蛛对你网站的好感度也会增高。有人做过实验，如果网站设置了robots文件，并且允许抓取的话，网站的收录情况要比没设置robots文件的好，所以大家还是添加一下robots文件，可以说是百利而无一害。
以上内容是自己翻阅网上资料总结出来的，总之，给网站添加robots文件没毛病。
