网站robots文件是什么到底要不要加?

2020年03月03日 425点热度 7人点赞 0条评论

今天了解到一个新知识,网站robots文件,那么robots文件是什么?到底要不要加?请看下面大头的总结。

网站robots文件是什么到底要不要加?

 

robots文件是什么?

robots文件也就是robots.txt,是一个文本文件,是蜘蛛抓取网站的第一个地方,robots.txt可以告诉蜘蛛网站哪些文件可以被抓取,哪些不可以抓取,这极大的提高了蜘蛛对网站抓取的效率。

通常情况下在在一个网址后面加上robots.txt就能查看这个网站的robots.txt文件,比如www.baidu.com/robots.txt(这是百度的)。

 

robots文件有什么作用?

  • 引导蜘蛛抓取指定的文件、内容;
  • 网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;
  • 屏蔽死链接、404错误页面;
  • 屏蔽无内容、无价值页面;
  • 屏蔽重复页面,如评论页、搜索结果页;
  • 引导蜘蛛抓取网站地图;

 

robots文件要不要加?

前面大头提到了robots文件可以引导蜘蛛抓取指定的内容,屏蔽一些不必要的内容或者目录,极大的提高了蜘蛛对网站抓取的效率,从而蜘蛛对你网站的好感度也会增高。有人做过实验,如果网站设置了robots文件,并且允许抓取的话,网站的收录情况要比没设置robots文件的好,所以大家还是添加一下robots文件,可以说是百利而无一害。

 

以上内容是自己翻阅网上资料总结出来的,总之,给网站添加robots文件没毛病。

大头

勤而自律,心似明镜。

文章评论