首页
ICP备案查询
网安备案查询
whois查询
热门工具
技术文章
域名注册
域名抢注
一口价
首页

robots协议

聚名企服
  • robots协议是什么意思?robots.txt文件放在哪里

    robots协议是什么意思?robots.txt文件放在哪里

    robots.txt是一个协议，而不是一个命令。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

    2023-02-15 14:12:00 1725

    robots协议

     
  • robots协议是什么意思?

    robots协议是什么意思?

    robots.txt是一个协议，而不是一个命令。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

    2022-12-01 13:46:00 1579

    robots协议

     

热门排行榜

猜你喜欢

热门标签

网站信息

查ICP网：全新的综合网站备案信息查询网

Copyright © 2008-2028 www.chaicp.com [ 查icp] All Rights Reserved.| 合肥寻云网络科技有限公司 | 营业执照

icp备案号：【皖B2-20160079-16】 增值电信业务经营许可证 【皖B2-20160079-16】 网站地图 robots文件 皖公网安备: 34010402702277号 不良举报 关于我们 免责申明 广告合作

联系
我们

用户交流QQ
1926846642

关注聚名网
实时了解活动详情