robots 协议有效性的认定，在适用范围上可以大致分为两类：一类是如本案在搜索引擎范围的适用，当 robots 协议适用搜索引擎领域时，应遵守《互联网搜索引擎服务自律公约》规定的开放、平等、写作、分享的互联网精神，设置限制时应具有行业公认合理正当的理由，否则 robots 协议并不当然有效；另一类为在非搜索引擎范围的适用，此时《互联网搜索引擎服务自律公约》则不宜再适用于整个互联网行业，对于常规爬虫行为，在法律上并未规定为违法行为或禁止使用的行为 。
如今，在中国国内互联网行业，正规的大型企业也都将 robots 协议当做一项行业标准，国内使用 robots 协议最典型的案例，就是淘宝网拒绝百度搜索（2008年9月8日）、京东商城拒绝一淘网搜索（2011年10月25日），相关司法案例也屡见不鲜：百度诉 360 案、腾讯诉字节跳动案、大众点评诉百度案等等 。不过，绝大多数中小网站都需要依靠搜索引擎来增加流量，因此通常并不排斥搜索引擎，也很少使用 robots 协议 。
爬虫工程师们也需要注意的一点是，基于现行的惯例，未被 robots 协议排除的数据属于互联网上的公开数据，任何人都有权访问和收集 。因而，遵循 robots 协议的前提下公开爬取数据原则上既不会侵犯信息提供者的权利，也不会构成不正当竞争 。反之，如果违反 robots 协议，强行爬取他人的数据，则可能被认定为违反诚实信用和商业道德，构成不正当竞争 。
推荐阅读
- 2021太原中考分数线 太原中考分数线
- 发动机测试 发动机测试
- 奥迪A7敞篷 奥迪a7敞篷
- 液晶电视质量奖 液晶电视质量
- 北京国企招聘要求 北京国企招聘
- 别忘了给生活加点糖别忘了给生活加点糖开头结尾
- 菠萝蜜丝可以冻多久
- 青岛万达影城延吉路店_青岛万达影城延吉路店今日影讯
- 包子和面的比例做法