首页 seo 正文
聚名企服

robots协议是什么意思?

转载 chaicp 2022-12-01 13:46:00 1829
robots.txt是一个协议,而不是一个命令。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

robots.txt是一个协议,而不是一个命令。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件,robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器。

robots.txt文件应该放置在网站根目录下。举例来说,当spider访问一个网站(比如 http://www.abc.com)时,首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件,如果 Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

robots协议是什么意思?

例如:

User-agent: Baiduspider

Disallow: /

robots.txt文件的格式:

"robots.txt"文件包含一条或更多的记录,这些记录通过空行分开

User-agent:

该项的值用于描述搜索引擎robot的名字。

Disallow表示:

说明不允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。

举例:

"Disallow:/help" 禁止robot访问/help.html、/helpabc.html、/help 、/index.html

"Disallow:/help/" 则允许robot访问/help.html

Allow格式:

与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。

以上就是对robots协议是什么意思?robots.txt文件放在哪里的全部介绍,如果您想了解更多有关SEO相关知识,请及时关注我们。

声明:本文转载于:互联网,如有侵犯,请联系service@Juming.com删除
相关标签: robots协议

编辑推荐

  • 域名注册专题合集 域名注册专题合集

  • 域名抢注专题合集 域名抢注专题合集

  • 企业建站专题合集 企业建站专题合集

联系
我们

用户交流QQ
1926846642

关注聚名网
实时了解活动详情