page contents
发现
问答
发起
提问
文章
文章
更多
专家
讲堂
话题
财富榜
商城
Toggle navigation
问答
文章
精品课
商城
冒泡
搜索
我要提问
立即登录
免费注册
首页
问答
正文
robots 协议有什么用处?
轩辕小不懂
发布于 2021-11-03 13:39
阅读 537
收藏 0
答案
1
分类:
大数据
robots
默认排序
时间排序
2325
Nen
2021-11-03 13:53
- 程序员
Robots 协议:网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
评论 (
0
)
请先
登录
后评论
您需要登录后才可以回答问题,
登录
或者
注册
关注
1
关注
轩辕小不懂
提出于 2021-11-03 13:39
全部
轩辕小不懂 的其他提问
类似问题
×
发送私信
发给:
内容:
×
举报此文章
垃圾广告信息:
广告、推广、测试等内容
违规内容:
色情、暴力、血腥、敏感信息等内容
不友善内容:
人身攻击、挑衅辱骂、恶意行为
其他原因:
请补充说明
举报原因:
Robots 协议:网站通过 Robots 协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。