首页 站长新闻 正文
聚名企服618

网站的robots文件应该怎么写?

转载 2019-01-14 15:36:11 8420
  robots文件就是告诉搜索引擎什么可以抓取什么不可以抓取的,一些对于我们的排名有害或者没有意义的页面我们就可以通过robots文件做到,下面我

  robots文件就是告诉搜索引擎什么可以抓取什么不可以抓取的,一些对于我们的排名有害或者没有意义的页面我们就可以通过robots文件做到,下面我们来说说网站的robots文件应该怎么写?

网站的robots文件应该怎么写?

  robots.txt文件位置(推荐阅读:人民网曝光微信号买卖交易市场

  robots文件往往放置于根目录下

  robots.txt文件格式

  Disallow:该项的值用于描述不希望被访问的一组URL

  Allow:该项的值用于描述希望被访问的一组URL

  User-agent:该项的值用于描述搜索引擎robot的名字

  例如:

  User-Agent:YisouSpider // 配置YisouSpider

  Disallow: / // 不允许YisouSpider抓取网站任何内容

  User-Agent:* // 配置所有搜索引擎

  Allow: / // 允许抓取网站任何内容

  更多

  Disallow: /abc //禁止抓取含abc目录及子目录的所有页面

  注意:有些地方注释为“禁止抓取abc目录及子目录中的内容”百度官方有举例,"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html

  Disallow: /abc/ //禁止抓取含abc目录的所有页面

  百度官方有举例,"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。

  robots.txt通配符的使用

  "*" 匹配0或多个任意字符

  "$" 匹配行结束符。

  举例:

  Disallow: /*?* //禁止抓取网站中所有的动态页面

  Disallow: /*.htm$ // 禁止抓取所有以.htm为后缀的URL页面 /abc.htm/index 不匹配

  区别于Disallow: /*.htm // /abc.htm/index 也匹配

  网站哪些内容不建议被抓取

  对于这个思想这个小白也懂的不多,一般取决于内容是否利于SEO的原则。例如,我博客的搜索结果页,没做好优化的tags页都禁止抓取了。而对于企业站来说,如果不打算可以优化公司名称的关键词,关于、联系、企业新闻等一些内容都可以考虑禁止

  还有一点值得注意的事,有很多站长反馈说百度不遵循robots.txt协议,抓取不该抓取的内容。思享也感觉不是很靠谱,所以也可以考虑在一些页面设置meta name="robots"

  以上就是网站的robots文件的写法了,想获得更多seo资讯的内容,请关注查icp备案网!

声明:本文转载于:小周,如有侵犯,请联系service@Juming.com删除
相关标签: seo资讯

编辑推荐

  • 域名注册专题合集 域名注册专题合集

  • 域名抢注专题合集 域名抢注专题合集

  • 企业建站专题合集 企业建站专题合集

联系
我们

用户交流QQ群
2030042444

关注聚名网
实时了解活动详情