网站的robots.txt文件有什么用处

在做网站优化的时候,相信站长都会给网站做robots协议,那么什么是robots协议呢?其实就是一个txt文本,那么这个txt文本又有什么用处呢?下面我们就具体说说,看看什么robots协议,又该怎样使用?

什么是robots协议?

robots是网站和搜索引擎之间的一个协议。用来阻止一些不想被搜索引擎索引的页面或内容的抓取,当然也可以将sitemap地图的路径放在robots协议中,这样有助于网站地图的抓取。robots协议能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录

robots协议怎么写?

robots的常用的命令一般有:

User-agent:*(这里的*代表的所有的搜索引擎种类,表示可以让所有的搜索引擎都可以访问抓取这个网站。)
Disallow:(这个表示禁止的意思,一些不想让搜索引擎访问的页面可以把路径写下来。)
Allow:(这个表示允许的意思,想要搜索引擎访问页面可以把路径写下来。)

robots协议的作用

通过我们上面的内容,对robots也有了一定的了解。当搜索引擎蜘蛛访问网站时,会优先访问网站的robots协议,从中根据robots信息来抓取网站。

那么如果没有robots协议会对网站有什么影响呢?

1、搜索引擎蜘蛛访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是肯定不好。

2、搜索引擎蜘蛛默认抓取所有内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行限制比较好。

综合上面所说的内容,robots协议还是加上比较好,我们一般会把robots放在网站的根目录下,有助于蜘蛛的抓取。

1. 本站所有资源来源于用户上传和网络,因此不包含技术服务请大家谅解!如有侵权请邮件联系客服:1377177670@qq.com
2. 本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!如有链接无法下载或失效,请联系客服处理!
3. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!如用于商业或者非法用途,与本站无关,一切后果请用户自负!
4. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有米币奖励和额外收入!

哈米酷 站内优化 网站的robots.txt文件有什么用处 https://www.hmkoo.com/625.html

互联网优质源码素材教程共享下载平台

常见问题
  • 本站除独家和商用资源外的所有资源版权均属于原作者所有,这些资源均只能用于参考学习使用,请于下载后的24个小时之内,从您的电脑中彻底删除上述内容资源,切勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
查看详情
  • 最常见的情况是下载不完整, 可对比下载完的压缩包与网盘上的容量,若小于网盘提示的容量则是不完整的原因。这是浏览器下载的bug,建议用百度网盘。
查看详情

相关文章

评论
暂无评论
网站的robots.txt文件有什么用处-海报

分享本文封面