——科技公司诉技术公司不正当竞争案
【案件基本信息】
1.裁判书字号
北京市高级人民法院(2021)京民终281号民事判决书 2.案由：不正当竞争纠纷
3.当事人
原告(被上诉人):科技公司 被告(上诉人):技术公司
【基本案情】
科技公司成立于2012年3月9日，主要从事互联网信息服务、技术开发、 技术推广等，“××Spider”系科技公司所有和经营的“今日××”产品的网络机 器人。技术公司成立于2010年8月9日，主要从事互联网信息服务、技术开 发、技术咨询等，是A 社交媒体平台的主办方。
技术公司在技术公司网站的robots.txt①文件中作出如下设置：

① robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许 的权限。下文不再对此进行提示。




三、不正当竞争纠纷 183

User-agent:××Spider Disallow:/
User-agent:*
Disallow:*gsid=*
该设置表明技术公司禁止科技公司的网络机器人“××Spider” 抓取其网站 信息。技术公司认可在2016年设置robots.txt文件时只是针对科技公司。同时， 双方均认可技术公司的涉案行为仅是单方宣示行为，没有其他技术上的限制措 施，且所有网络用户都可以看到涉案声明。 一审庭审中，技术公司认可涉案声 明已于2019年7月18日进行了修改。
科技公司认可其在技术公司设置上述限制声明后，仍然使用“××Spider” 网络 机器人抓取了A 社交媒体平台的内容，并根据是否获得A 社交媒体平台博主的授 权对抓取后的内容是否用于“微××”产品进行处理，对于获得授权的内容仍然用 于“微××”产品。“微××”与A 社交媒体平台相同，均是社交性质的内容产品。
科技公司主张，技术公司的涉案行为构成不正当竞争，请求判令科技公司 停止不正当竞争行为、消除影响、赔偿其经济损失1亿元及合理开支50万元。 技术公司否认其行为构成不正当竞争。
【案件焦点】
技术公司针对科技公司设置robots协议是否扰乱互联网行业的竞争秩序及 是否违反公认的商业道德而构成不正当竞争。
【法院裁判要旨】
北京知识产权法院经审理认为：技术公司涉案行为导致原告科技公司的网 络机器人无法正常抓取相关网络信息，直接降低了科技公司“今日××”平台的 用户体验，影响了网络用户对科技公司相关网络平台的市场评价，也一定程度 上降低了科技公司“今日××”网络平台的竞争优势，损害了科技公司的合法权 益，违反了公平竞争、诚实信用原则和互联网行业公认的商业道德。
北京知识产权法院依据《中华人民共和国反不正当竞争法》第一条、第二




184 中国法院2023年度案例 · 知识产权纠纷

条第一款和第二款、第二十条，《中华人民共和国立法法》第九十三条之规定， 作出如下判决：
一、技术公司立即停止涉案不正当竞争行为；
二、技术公司消除影响；
三、技术公司赔偿科技公司经济损失30万元及制止侵权的合理开支 34343元。
北京市高级人民法院经审理认为：在案证据能够证明，除技术公司外，其 他网站的robots 协议也存在以主体进行抓取限制的情形，特别是科技公司在其 网站上也明示了其他网站可以通过robots协议禁止其抓取的内容。由此可知， 包括科技公司在内的互联网企业对于网站经营者通过robots协议来限制其他网 络机器人的抓取行为都是认可和遵守的。因此，通过robots 协议对网络机器人 进行限制并不当然违背互联网行业的商业道德。
科技公司对于其他网站经营者通过robots协议拒绝其网络机器人抓取是认 可的，对结果也是有明确预期的。因此，被诉行为与科技公司的经营意愿并不 违背。事实上，科技公司也并没有因为技术公司设置了robots协议的限制而未 能抓取到A 社交媒体平台内容，而是在抓取后根据是否获得用户的授权来决定 删除还是保留。此外，作为一般消费者通常不会仔细阅读用户协议，即使点开 其中的链接去读取robots协议，作为一般消费者而言，大多也不会理解 robots 协议中语句的具体内涵。科技公司并没有因为被诉行为受到实际损害。
被诉行为应被认定为行使企业自主经营权的行为，但这并不意味着对于互 联网企业所设置的任何robots 协议均能够基于企业自主经营权而当然地认定其 具有正当性。综上，被诉行为应属于技术公司企业自主经营权范畴内的正当行 为，并不构成不正当竞争行为。
北京市高级人民法院依照《中华人民共和国民事诉讼法》第一百七十条第 一款第二项之规定，作出如下判决：
一、撤销北京知识产权法院判决；
二、驳回科技公司的诉讼请求。





三、不正当竞争纠纷


185


【法官后语】
新类型网络不正当竞争案件中，适用《中华人民共和国反不正当竞争法》 第二条原则条款判断被诉行为是否违反商业道德时，需要考察以下方面并对被 诉行为正当与否作出评判。
一 、被诉行为所涉行业是否存在特定的行业惯例
robots协议是搜索引擎行业较早形成的行业惯例，是搜索引擎行业普遍遵 守的一项技术规范。网站经营者既可以在robots 协议中列明准许或禁止网络机 器人抓取的网站内容，也可以列明准许或不准许抓取其网站内容的网络机器人， 即通常所说的“白名单”“黑名单”制度。robots协议主要是为了应对被抓取网 站流量负载压力，防止因网络机器人频繁抓取、重复抓取而影响网站正常运行， 同时也是为了识别抓取内容，让网络机器人避开不希望被抓取的内容，提高抓 取效率。
中国互联网协会于2012年11月1日发布了由当时国内主要搜索引擎公司 参加的《互联网搜索引擎服务自律公约》①,其中第七条第一款规定：“遵循国 际通行的行业惯例与商业规则，遵守机器人协议 (robots 协议)”,第八条规 定：“互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动 的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议 进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。”因此， robots协议限制抓取的设置规则满足作为搜索引擎行业惯例的要求。
二 、特定的行业惯例能否用于评判被诉行为的正当性
《互联网搜索引擎服务自律公约》中要求互联网站所有者设置机器人协议 应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公 认合理的正当理由，主要应针对搜索引擎行业相关的网站。原因在于，搜索引 擎网站的主要作用是促进信息流通和共享，具有一定的公益性质。因此，搜索 引擎网站所设置的robots协议应当公平、开放和促进信息自由流动，不宜针对
① 《互联网搜索引擎服务自律公约》,载中国互联网协会网，https://www.isc.org.cn/ article/10677720886931456.html,最后访问时间：2023年2月6日。




186 中国法院2023年度案例 ·知识产权纠纷

性设置限制抓取的robots协议。
随着爬虫程序应用场景的不断扩展，robots协议的应用场景也日益扩展。 在非搜索引擎应用场景下，爬虫程序不仅仅是抓取检索网站的信息编制成索引 便于其他用户访问，而往往抓取其他网站公开的各种数据，甚至是其他网站中 用户生成的数据，直接用于自己的商业行为。被诉行为即非发生在搜索引擎应 用场景下，则针对搜索引擎网站适用的robots协议限制抓取规则不宜直接作为 评判该行为正当性的依据。
三、被诉行为正当性评判的考量因素
在当前的数字经济时代，网络数据已经成为企业重要的生产要素，网络经 营者对数据的收集、整理、展示、挖掘都付出了可观的经营成本。数据资源的 获取与利用是极为重要的一种资源配置方式。如果爬虫程序用于非搜索引擎应 用场景下，特别是将抓取到的经营者数据进行替代性或同质化利用，既属于 “不劳而获”的掠夺他人经营资源的行为，又无法从实质上增加消费者福利， 显然不符合诚信经营的基本商业道德。本案中，科技公司的“××Spider”网络 机器人将抓取后的内容直接“移植”到“微××”,实现对A 社交媒体平台内容 实质性替代的应用场景，虽然在一定程度上扩大了消费者对于用户发布内容的 获取途径，但并没有实质上增加消费者的消费体验。此种情形下，经营者通过 设置，甚至针对性设置限制抓取的 robots 协议，不属于影响信息自由流动的可 责性行为，而是网站经营者经营自主权的一种体现。更何况，robots 协议仅是 一项“君子协议”,不属于可实现禁止访问的技术措施。
本案为数字经济时代设置robots协议相关行为正当性判断的典型案例，充 分阐明了行业惯例作为公认商业道德的评判依据，对于非搜索引擎应用场景下 的网站经营者设置限制抓取数据的robots 协议，不影响信息共享和公共利益， 不构成不正当竞争，恰当平衡了经营者、消费者利益，也有利于规范自律的网 络市场秩序的形成。
编写人：北京市高级人民法院谢甄珂