2017年，原告字节跳动公司（今日头条的运营者）诉称，微梦创科公司（微博的运营者）出于恶意限制竞争的不正当目的，在m.weibo.cn网站的robots.txt文件中，仅针对“今日头条”进行限制，阻止“今日头条”的网络机器人（ToutiaoSpider）抓取上述网站中对公众和其他所有网络机器人完全公开并可以自由访问的网站内容......遂起诉微博索赔1亿元、停止不正当竞争等。一审法院部分支持原告诉讼请求，认为微博通过robots.txt独家限制今日头条抓取的行为构成不正当竞争。被告不服，向北京市高级人民法院提出上诉。
2021年10月，北京高院对“今日头条”诉“微博”设置唯一黑名单限制字节跳动公司抓取相关网页内容被诉不正当竞争案作出二审判决，认为微博是在行使企业自主经营权范畴内的正当行为，并不构成不正当竞争，遂撤销一审判决，改判驳回今日头条公司的诉讼请求。
以下是北京市高级人民法院的终审判决书：
北京市高级人民法院
民 事 判 决 书
（2021）京民终281号
上诉人（原审被告）：北京微梦创科网络技术有限公司，住所地北京市海淀区。
法定代表人：曹菲，董事长。
委托诉讼代理人：吴子芳，北京市融泰律师事务所律师。
委托诉讼代理人：郭凌云，男，北京微梦创科网络技术有限公司员工，住四川省泸州市。
被上诉人（原审原告）：北京字节跳动科技有限公司，住所地北京市海淀区。
法定代表人：张利东，总经理。
委托诉讼代理人：曲凌刚，男，北京字节跳动科技有限公司员工，住北京市大兴区。
委托诉讼代理人：宋雪佼，女，北京字节跳动科技有限公司员工，住山东省乳山市。
上诉人北京微梦创科网络技术有限公司（简称微梦创科公司）因与被上诉人北京字节跳动科技有限公司（简称字节跳动公司）不正当竞争纠纷一案，不服北京知识产权法院（2017）京73民初2020号民事判决（简称一审判决），向本院提起上诉。
本院于2021年3月22日受理后，依法组成合议庭，于2021年5月18日公开开庭进行了审理。上诉人微梦创科公司的委托诉讼代理人吴子芳、郭凌云，被上诉人字节跳动公司的委托诉讼代理人曲凌刚、宋雪佼到庭参加了诉讼。本案现已审理终结。
微梦创科公司上诉请求：撤销一审判决，依法驳回字节跳动公司的全部诉讼请求。
事实和理由：
1.一审判决认定被诉行为“导致字节跳动公司的网络机器人无法正常抓取相关网络信息”，从而认定被诉行为具有损害后果，属认定事实错误。Robots协议只是文字宣示，不是技术措施，客观上无法阻止网络机器人抓取网络数据。事实上，被诉行为并未导致字节跳动公司网络机器人无法正常抓取有关网络信息，字节跳动公司在被诉行为发生后仍然持续、大量抓取新浪微博数据。
2.“ToutiaoSpider”不是搜索引擎网络机器人，一审判决认为被诉行为会对网络用户的信息检索需求造成影响，并依据《互联网搜索引擎服务自律公约》判断被诉行为不具有正当性，明显错误。字节跳动公司的搜索引擎产品“头条搜索”于2019年8月10日正式上线，此时被诉行为已于2019年7月18日停止，字节跳动公司官方头条号公示的“头条搜索”爬虫UA为“Bytespider”，而非“ToutiaoSpider”。字节跳动公司使用“ToutiaoSpider”抓取的内容并非用于搜索引擎服务，而是用于“微头条”等社交性质的内容产品，并向用户直接展示。
3.网络机器人具有众多不同用途，需结合不同用途进行评价，搜索引擎网络机器人与非搜索引擎网络机器人在功能与价值评价上存在显著区别，搜索引擎网络机器人的用途与促进信息共享相关，具有公益性和互助性，而非搜索引擎网络机器人的用途与促进信息共享无关，往往对竞争对手造成损害。
4.即使被诉行为构成不正当竞争，微梦创科公司也不应承担消除影响的责任，且一审判决判令的消除影响范围超出了被诉行为的影响范围。
5.被诉行为持续到2019年《中华人民共和国反不正当竞争法》（简称反不正当竞争法）修订之后，本案应适用2019年反不正当竞争法，一审判决适用法律错误。
6.被诉行为已经停止，一审判决不应再判令停止被诉行为。
7.一审判决中的“m.weibo.com”均应为“m.weibo.cn”。
字节跳动公司辩称：
1.字节跳动公司的搜索引擎产品于2018年11月即已上线，本案完全可以适用搜索引擎的司法实践及行业惯例，《互联网搜索引擎服务自律公约》可作为本案“公认商业道德”的参考；
2.微梦创科公司针对字节跳动公司设置唯一黑名单的时间远远早于其声称的字节跳动公司抓取新浪微博内容的时间，该唯一黑名单的设置并无合理理由，违反了相关法律规定和行业公认的商业道德，构成不正当竞争；
3.被诉行为损害了字节跳动公司的合法权益，损害了网络用户的合法权益，也损害了网络市场的竞争秩序；
4.一审判决判令微梦创科公司停止被诉行为、消除影响于法有据；
5.由于2019年反不正当竞争法与1993年反不正当竞争法在第二条的规定上并无本质区别，故即便本案应适用2019年反不正当竞争法，一审判决结论也无不当；
6.有关一审判决中的“m.weibo.com”均应为“m.weibo.cn”，仅系笔误，纠正即可，无需重新作出判决。
字节跳动公司向一审法院起诉请求：
一、判令微梦创科公司立即停止通过robots.txt对字节跳动公司的不正当竞争行为；
二、判令微梦创科公司在判决生效之日起三日内，在“新浪微博”网站（包括weibo.com、weibo.cn、m.weibo.cn网站）首页显著位置连续三十天刊登声明，消除影响；
三、判令微梦创科公司赔偿字节跳动公司经济损失1亿元及制止侵权的合理支出50万元。
一审法院认定事实：字节跳动公司成立于2012年3月9日，主要从事互联网信息服务、技术开发、技术推广等，其经营的主要产品为“头条网”“今日头条”等。
微梦创科公司成立于2010年8月9日，主要从事互联网信息服务、技术开发、技术咨询等。ICP/CP地址/域名信息备案管理系统显示，北京微梦创科网络技术有限公司是微博平台weibo.com、weibo.cn的主办单位。
（2017）京长安内经证字第50906号公证书显示，今日头条网站合作说明页面的蜘蛛协议载明如下内容：
《今日头条》支持蜘蛛协议“ToutiaoSpider”。
“ToutiaoSpider”系字节跳动公司所有和经营的“今日头条”产品的网络机器人。
（2017）京长安内经证字第36959号公证书显示，微梦创科公司在m.weibo.com网站的robots.txt。文件中声明如下内容（简称涉案声明）：
User-agent:ToutiaoSpider
Disallow:/
User-agent:*
Disallow:*gsid=*
微梦创科公司认可涉案声明内容的真实性，认为涉案声明内容仅能证明微梦创科公司在m.weibo.com网站的robots.txt.文件中将字节跳动公司的网络机器人“ToutiaoSpider”宣示为不受欢迎者，不能证明微梦创科公司针对“今日头条”实施了不正当竞争行为。
（2017）京东方内民证字第17854号公证书载明：Archive抓取留存的m.weibo.com网站快照页面显示，2016年4月15日，微梦创科公司在m.weibo.com网站的robots.txt.文件中显示涉案声明。2016年4月14日，m.weibo.com网站快照未显示涉案声明。字节跳动公司据此主张微梦创科公司于2016年4月15日修改了m.weibo.com网站的robots协议，微梦创科公司对该事实表示认可。
（2018）京东方内民证字第07006号公证书显示，2018年5月14日，m.weibo.com网站的robots.txt.文件仍显示涉案声明，微梦创科公司对该事实表示认可。
（2017）京东方内民证字第16406、18497号公证书显示，2017年1月16日、2017年11月28日，依次登录天天快报APP、腾讯新闻APP、一点咨讯APP、手机百度APP，可以搜索到相关微博内容。（2018）京东方内民证字第01868号公证书显示，2018年3月1日，腾讯微博、搜狐微博、人民微博、东方微博、百家号的robots协议文件中未显示有针对字节跳动公司网络机器人ToutiaoSpider的相关内容。
（2019）京国信内经证字第09858号公证书载明，Archive抓取留存的m.weibo.com网站快照页面显示，2019年7月18日，微梦创科公司修改了robots.txt.文件声明，修改后的声明内容部分显示为：
User-agent:Baiduspider
Disallow:
User-agent:360spider
Disallow:
……
修改后的声明中未包含涉及网络机器人ToutiaoSpider的相关内容。一审庭审中，微梦创科公司认可涉案声明已经于2019年7月18日进行了修改。
中国互联网协会于2012年11月1日发布的《互联网搜索引擎服务自律公约》第三条规定，本公约适用于中国互联网协会会员单位和自愿加入《互联网搜索引擎服务自律公约》的互联网从业单位，并且倡议其他从业单位积极遵守。第四条规定，互联网搜索引擎服务提供者应当遵循守法、诚信、公平、中立、客观的基本原则，遵从开放、平等、协作、分享的互联网精神，积极维护国家利益、公共利益和行业利益，尊重权利人的合法权益。
第八条规定，互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。
附件二显示《互联网搜索引擎服务自律公约》发起单位名单为：百度、即刻搜索、盘古搜索、奇虎360、盛大文学、搜狗、腾讯、网易、新浪、宜搜、易查无限、中搜。
字节跳动公司主张按照微梦创科公司的侵权获利计算赔偿数额为一亿元，具体的计算方式为：
微博2017年全年、2018年全年、2019年前三季度的广告收入共计36.21亿美元×移动端广告收入占比80%×侵权贡献率0.6%＝0.17亿美元，约合人民币1.2亿元，远超过本案主张的赔偿数额及合理支出。为此，字节跳动公司提交了微博2017年、2018年、2019年前三季度财报情况及中国互联网络发展状况统计报告，其中，微博2017年财报显示，截至2017年12月，微博月活跃用户增至3.92亿，2017年全年净营收11.5亿美元，广告和营销营收9.967亿美元。微博2018年财报显示，2018年12月，微博月活跃用户达到4.62亿，全年净营收11.5亿美元，广告和营销营收15.0亿美元。微博2019年财报显示，2019年第一季度广告和营销营收3.411亿美元、第二季度广告和营销营收3.707亿美元、第三季度广告和营销营收4.125亿美元。
此外，字节跳动公司还提交了中国互联网络信息中心发布的《第41次中国互联网网络发展状况统计报告》、（2017）京东方内民证字第18496号公证书、微博社区公告、《微博服务使用协议》。其中《第41次中国互联网网络发展状况统计报告》显示，2017年中国网民用户达到7.72亿，微博用户使用率达到40.9%，约占中国网民用户数的一半。
字节跳动公司主张为制止微梦创科公司被诉行为的合理支出50万元，包括翻译费、律师费和公证费。为此，字节跳动公司提交了中译语通科技股份有限公司2020年3月16日出具的发票号为00063851号翻译费发票4979元、北京市长安公证处2018年5月22日出具的发票号为01449448号公证服务费发票5440元、北京市东方公证处2018年6月28日出具的发票号为21496346号公证费发票7420元、北京市东方公证处2018年6月28日出具的发票号为21496347号公证费发票10760元、北京市东方公证处2018年6月28日出具的发票号为21496348号公证费发票5744元。一审庭审中，字节跳动公司明确其在本案中主张46万元律师费，但没有提交相应的发票予以佐证。
另查明，微梦创科公司提交了（2017）京0108民初20003号民事判决书、（2017）京0108民初20013号民事判决书、（2017）京0108民初21660号民事判决书、（2017）京0108民初22544号民事判决书等相关判决和发布虚假新闻及字节跳动公司爬虫机器人爬取网站内容致网站瘫痪的相关报道，用于证明在将字节跳动公司的爬虫机器人置于黑名单之前，字节跳动公司经营的“今日头条”有多起侵犯他人著作权、肖像权及不正当竞争行为，字节跳动公司的爬虫机器人为不受欢迎者。
一审庭审中，微梦创科公司认可在2016年设置robots.txt文件声明时只是针对字节跳动公司。此外，字节跳动公司、微梦创科公司均认可微梦创科公司的涉案单方宣示行为只是文字上的记载，没有其他技术上的限制措施，且所有网络用户都可以看到涉案声明。
一审法院认为，微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司的网络机器人抓取对公众和其他所有网络机器人完全公开的相关网页内容，导致字节跳动公司的网络机器人无法正常抓取相关网络信息，直接降低了字节跳动公司“今日头条”平台的用户体验，影响了网络用户对字节跳动公司相关网络平台的市场评价，也一定程度上降低了字节跳动公司“今日头条”网络平台的竞争优势，损害了字节跳动公司的合法权益。
同时，微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司“今日头条”网络机器人抓取相关网页信息，影响了网络用户对其所选择的“今日头条”客户端的正常使用，且在一定程度上迫使存在相关信息检索需求的网络用户只能通过其他平台获取相关信息，增加了网络用户的选择成本，损害了网络用户的选择权，从而损害了相关网络用户的合法权益。
此外，robots协议的设立初衷在于引导网络机器人更有效地抓取对网络用户有用的信息，从而促进信息共享。微梦创科公司作为互联网信息服务经营者，应当坚持诚实信用原则，公平对待其他经营者，但其以在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司抓取对其他经营者公开的相关网络信息，显然违背了公平竞争原则。
微梦创科公司的被诉行为造成相关网络用户无法完整地获取相关信息，人为设置了网络信息正常流动的障碍，这与互联网行业普遍遵循的开放、平等、公平、促进信息流动的原则相悖，与网络行业互联互通的基本价值不符，损害了网络市场的竞争秩序。
《互联网搜索引擎服务自律公约》是在中国互联网协会组织下，由部分会员提出草案，并得到包括微梦创科公司在内的互联网企业广泛签署的行业自律公约，反映了互联网行业的行业惯例和商业规则，因此，可以将该公约作为认定互联网行业公认商业道德的参考。该公约第八条规定，互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。
微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司抓取对公众和其他所有网络机器人完全公开的相关网页内容，本质上按照经营主体来区分网络信息是否可以被抓取，而并非按照信息内容本身区分是否可被抓取，此种针对性的限制措施显然与行业公认的robots协议公平、开放和促进信息自由流动原则不符，与互联网行业普遍遵从的开放、平等、分享、协作的互联网精神相悖，不利于维护公平参与、理性竞争的互联网市场竞争环境。
字节跳动公司侵犯他人著作权、肖像权及不正当竞争行为与本案并无直接因果关系。此外，任何企业的自主经营不能违反公平竞争、诚实信用的基本原则，以牺牲其他经营者的合法权益的“自主”会最终破坏整个市场竞争秩序，不应受到法律保护。因此，即使字节跳动公司存在侵犯他人著作权、肖像权及不正当竞争行为，亦不构成微梦创科公司以限制互联网信息流动方式限制字节跳动公司抓取相关网页内容的合法依据。因此，微梦创科公司的相关抗辩意见不构成其采取被诉行为的正当理由。
综上，微梦创科公司在m.weibo.com网站robots协议中以文字宣示方式单方限制字节跳动公司抓取相关网页内容的被诉行为违反了公平竞争、诚实信用原则和互联网行业公认的商业道德。
在无证据证明微梦创科公司因被诉行为所获利润，字节跳动公司也未举证证明其损失的情况下，根据微梦创科公司的主观过错程度、涉案不正当竞争行为持续时间及范围、涉案不正当竞争行为本身造成的实际影响等因素综合酌定赔偿数额。
就合理支出，因字节跳动公司没有提交相应的委托代理合同或律师费发票，在实际庭审中亦无律师出庭，故仅对翻译费、公证费共计34343元予以支持。
微梦创科公司的不正当竞争行为降低了用户对于字节跳动公司“今日头条”平台的评价，客观上对于其在互联网业内的声誉产生了一定影响，字节跳动公司请求微梦创科公司在“新浪微博”网站首页显著位置连续三十天刊登声明消除影响并未超出合理限度，按照合理性和必要性原则，对于字节跳动公司的该项诉讼请求予以支持。
综上，依据1993年反不正当竞争法第一条、第二条第一款、第二款、第二十条，《中华人民共和国立法法》第九十三条之规定判决：
一、自判决生效之日起，微梦创科公司立即停止涉案不正当竞争行为；
二、微梦创科公司在判决生效之日起三日内，在“新浪微博”网站（包括weibo.com、weibo.cn、m.weibo.cn网站）首页显著位置连续三十天刊登声明，消除影响（声明内容需经法院审核，逾期不履行，法院将依据字节跳动公司的请求，在相关媒体上公布判决书主要内容，费用由微梦创科公司负担）；
三、微梦创科公司赔偿字节跳动公司经济损失30万元及制止侵权的合理支出34343元。
本院诉讼中，微梦创科公司和字节跳动公司均补充提交了证据，根据补充提交的证据及当事人陈述，另查明以下事实：
字节跳动公司将“ToutiaoSpider”网络机器人抓取的结果用于“微头条”等产品，其中包括自2016年10月开始，将抓取的新浪微博内容发布到“微头条”中。“微头条”与新浪微博相同，均是社交性质的内容产品。
字节跳动公司认可其在微梦创科公司设置上述限制声明后，仍然使用“ToutiaoSpider”网络机器人抓取了新浪微博的内容，并根据是否获得新浪微博博主的授权对抓取后的内容是否用于“微头条”产品进行处理，对于获得授权的内容仍然用于“微头条”产品。
针对字节跳动公司将抓取的新浪微博内容直接用于“微头条”的行为，微梦创科公司于2017年向北京市海淀区人民法院提起不正当竞争之诉。北京市海淀区人民法院于2021年5月17日作出（2017）京0108民初24530号民事判决，认定字节跳动公司的上述行为构成不正当竞争。
字节跳动公司成立时运营的产品并不包括搜索引擎产品，微梦创科公司主张字节跳动公司的搜索引擎产品于2019年8月作为独立产品上线。
字节跳动公司则提出在此之前，早在2019年3月即开始在开屏广告中推出了全网搜索功能，并为此提交了搜狐网2019年3月12日的2篇报道以及百度经验的相关内容。
其中：
搜狐网2019年3月12日登载的《今日头条“全网搜索”功能已上线，能否搅动中文搜索格局》一文记载“有媒体报道，3月12日，今日头条已开始在开屏广告推广‘头条全网搜索’功能，从广告词‘搜罗全网好结果’来看，‘头条搜索’强调的是其全网搜索的能力，而这已经与以往的搜索引擎没有什么差别。”
搜狐网2019年3月12日登载的《正式叫板“百度”？今日头条“全网搜索”功能已上线》一文记载“日前，有用户反应称，今日头条App已经在开屏广告中推广‘头条全网搜索’功能，很可能意味着与其他搜索引擎的竞争已全面开始。”“其实在今年的1月16日，今日头条官方账号就发文称，今日头条App已经上线了‘账号内搜索’功能，可以搜索到一些站外内容，包括但不限于视频和文字。2月25日，头条号再次发文，宣布推出‘正文插入外链’功能，即创作者可以将用户引流到其他文章或视频页面、公司企业官方网址、H5、以及店铺”。
2019年3月15日的百度经验中记载有以下内容：“今日头条搜索引擎最近上线了，丈哥也去尝试了一下，目前应该仍是测试阶段，内容除了头条内容以外还多了站外的内容，而且虽然结果比较陈旧，但是还是值得期待的。”“目前今日头条搜索引擎的入口只有APP内部才可以使用。”
微梦创科公司不认可字节跳动公司在2019年3月开屏广告中即已推出头条全网搜索功能，提出上述两份证据均系传来证据，在无其他证据佐证的情况下不能证明待证事实。
字节跳动公司的搜索引擎产品目前使用的是“BytesSpider”网络机器人。字节跳动公司主张其也曾使用“ToutiaoSpider”网络机器人进行搜索引擎产品的运营，但并未就此举证。微梦创科公司对此不予认可。
从字节跳动公司提交的上述3份证据文字表述来看，均是间接证据，字节跳动公司并未提交其他证据佐证其在上述3份证据所示时间已推出了搜索引擎服务，且在案证据不足以证明微梦创科公司通过robots协议所限制的“ToutiaoSpider”网络机器人被字节跳动公司用于搜索引擎服务。因此，在字节跳动公司认可在其搜索引擎产品正式上线后，另有“BytesSpider”网络机器人被用于搜索引擎产品的情况下，在案证据不能证明字节跳动公司于2019年3月即推出了搜索引擎服务，也不能证明微梦创科公司对字节跳动公司利用“ToutiaoSpider”网络机器人从事搜索引擎服务进行了限制。
此外，字节跳动公司并未举证证明其在所主张的搜索引擎功能最初推出时及以后，就涉案声明向微梦创科公司提出过异议。
字节跳动公司“今日头条”的robots协议中载明“我们尊重所有的网络媒体，如媒体不希望内容被《今日头条》推荐，请及时邮件至toutiao.com邮箱，或在网站页面中根据拒绝蜘蛛协议（RobotsExclusionProtocol）加注拒绝收录的标记。我们将对有异议的内容采取断开链接的做法。”
字节跳动公司提交的其他网站的robots协议也存在以主体进行限制的情况。
一审判决事实查明部分的“m.weibo.com”均应为“m.weibo.cn”，属于笔误，对此予以纠正。
上述事实，有字节跳动公司提交的判决书、网页打印件、公证书，以及当事人陈述等在案佐证。
本院认为：
《中华人民共和国立法法》第九十三条规定，法律、行政法规、地方性法规、自治条例和单行条例、规章不溯及既往，但为了更好地保护公民、法人和其他组织的权利和利益而作的特别规定除外。
2017年反不正当竞争法于2018年1月1日施行，并已于2019年4月23日修订，自公布之日施行。本案被诉行为发生在2016年4月15日至2019年7月18日期间，跨越1993年反不正当竞争法、2017年反不正当竞争法和2019年反不正当竞争法施行期间。一审法院受理本案的时间在1993年反不正当竞争法施行期间，而一审判决作出时2019年反不正当竞争法已经施行。根据上述规定，本案被诉行为持续到2019年反不正当竞争法施行期间，故应适用2019年反不正当竞争法。一审判决适用1993年反不正当竞争法有误，本院对此予以纠正。鉴于字节跳动公司系依据反不正当竞争法一般条款提出的诉讼主张，故本院将根据2019年反不正当竞争法中的一般条款，即2019年反不正当竞争法第二条对本案进行审理。
2019年反不正当竞争法第二条规定，经营者在生产经营活动中，应当遵循自愿、平等、公平、诚信的原则，遵守法律和商业道德。本法所称的不正当竞争行为，是指经营者在生产经营活动中，违反本法规定，扰乱市场竞争秩序，损害其他经营者或者消费者的合法权益的行为。
根据上述规定认定不正当竞争行为时，不仅要考虑其他经营者的合法权益，还要同时考虑市场竞争秩序和消费者的合法权益。
一审判决将《互联网搜索引擎服务自律公约》作为本案中商业道德的参考，并直接引述了该公约第八条的规定，认定被诉行为与互联网行业普遍遵从的开放、平等、分享、协作的互联网精神相悖，进而认定被诉行为具有不正当性。因此，本案首先要分析《互联网搜索引擎服务自律公约》能否作为本案中商业道德的参考。
搜索引擎应用场景是将含有符合网络用户希望搜索信息的网页挑出，按照匹配度的高低，将包含这些网页的地址链接、简介等信息的搜索结果依次列出，供网络用户选择访问。用户选择后访问的是被搜索到的网站，而非在搜索引擎服务提供者自己的网站内实现访问。搜索引擎爬虫的功能在于对网络上的超链接进行遍历式抓取，检索网站的信息编制成索引便于其他用户访问，省却了记住域名、网址的麻烦。就搜索引擎的功能而言，其对于公众利益，以及对于互联网互联、互通、共享、开放的精神密切相关。因此，robots协议最初也是针对搜索引擎提出的。
robots协议作为一种技术规范，其作用只在于标示该网站是否准许网络机器人访问、准许哪些网络机器人访问，但网络机器人识别该robots协议后，无论是否遵守，robots协议都不会起到强制禁止访问的结果。robots协议已经成为国内外搜索引擎行业普遍遵守的技术规范。网络服务商或网站所有者既可以在robots协议中列明准许或禁止网络机器人抓取的网站内容，也可以列明准许或不准许抓取其网站内容的网络机器人，即通常所说的“白名单”“黑名单”制度。
随着搜索技术和网络应用的发展，网络机器人的适用场景不断扩展，从通用搜索引擎领域，扩展到非搜索引擎的其他各种场景。搜索引擎是给被搜网站带来流量和利益，而非搜索引擎的网络机器人往往不是给被搜网站带来流量，反而可能带走被搜网站的流量。
由于非搜索引擎场景应用的网络机器人，已经不像搜索引擎那样当然地对公众利益，以及互联网的互联、互通、共享、开放的精神产生影响，因此在对这些网络机器人通过robots协议进行限制时，不宜当然地借用对于搜索引擎进行限制的规则。也就是说，《互联网搜索引擎服务自律公约》仅可作为搜索引擎服务行业的商业道德，而不能成为互联网行业通行的商业道德。
本案在案证据显示，微梦创科公司限制的“ToutiaoSpider”网络机器人的应用场景并非搜索引擎服务，而是“微头条”等非搜索引擎应用场景。因此，一审判决将《互联网搜索引擎服务自律公约》作为本案中商业道德的参考显有不妥。
在判断robots协议对于网络机器人限制行为的正当性时，其核心在于保护网站经营者的自主经营权与维护其他经营者利益、维护消费者利益、维护竞争秩序之间的平衡。因此，对本案被诉行为是否具有正当性，应从以下方面进行分析：
首先，虽然robots协议的设置初衷，主要在于防止被抓网站的服务器过载影响网站正常运行，以及防止网络机器人抓取一些管理后台的内部信息、临时性文件、cgi脚本等对网络用户没有使用价值的数据，但随着网络机器人应用场景的不断扩展，在非搜索引擎应用场景下，网络机器人不仅仅是抓取检索网站的信息编制成索引便于其他用户访问，而往往抓取其他网站公开的各种数据，甚至是其他网站中用户生成的数据，直接用于自己的商业行为。
在数字经济时代，数据日益成为企业重要的生产要素，数据资源的获取与利用是极为重要的一种资源配置。网站经营者对数据的收集、整理等基本都付出了相应的人力、物力、财力和时间等经营成本。robots协议在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段。
尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。
在案证据能够证明，除微梦创科公司外，其他网站的robots协议也存在以主体进行抓取限制的情形，特别是字节跳动公司在其网站上也明示了其他网站可以通过robots协议禁止其抓取的内容。由此可知，包括字节跳动公司在内的互联网企业对于网站经营者通过robots协议来限制其他网络机器人的抓取行为都是认可和遵守的。因此，通过robots协议对网络机器人进行限制并不当然违背互联网行业的商业道德。
其次，互联网行业中信息的自由流动应控制在合理范围内，即符合互联网行业的商业道德，否则将不利于鼓励商业投入与创新。对搜索引擎场景下的robots协议进行较为严格的限制，主要是基于搜索引擎的作用就是便于公众搜索，降低搜索成本，符合互联网互联、互通、共享、开放的精神。
互联网领域中消费者福利的增加，依赖于数据在更大范围和更深层次的共享利用，而非通过数据爬取对数据进行明显替代性或同质化地利用。在非搜索引擎的应用场景中，特别是在类似本案字节跳动公司的“toutiaospider”网络机器人将抓取后的内容直接“移植”到“微头条”，实现对微博内容实质性替代的应用场景，虽然在一定程度上扩大了消费者对于用户发布内容的获取途径，但并没有实质上增加消费者的消费体验。即使微梦创科公司不允许字节跳动公司的“toutiaospider”网络机器人抓取，消费者通过微梦创科公司的网站也可以获取用户发布的内容，或者通过搜索引擎搜索到用户发布到微博上的内容。因此，被诉行为并未对消费者的利益造成损害。
再次，从字节跳动公司自己网站上载明的robots协议内容来看，其明示其他网站经营者可以根据robots协议拒绝其抓取。由此可见，字节跳动公司对于其他网站经营者通过robots协议拒绝其网络机器人抓取是认可的，对结果也是有明确预期的。因此，被诉行为与字节跳动公司的经营意愿并不违背。事实上，字节跳动公司也并没有因为微梦创科公司设置了robots协议的限制而未能抓取到微博内容，而是在抓取后根据是否获得用户的授权来决定删除还是保留。该事实进一步证明，字节跳动公司并没有因为被诉行为受到实际损害。
此外，由于微梦创科公司仅对字节跳动公司的“toutiaospider”网络机器人设置了robots协议限制，即其他网络机器人仍然可对微博内容进行抓取，故不会导致出现所谓的信息孤岛现象，进而违背互联网互联、互通、共享、开放的精神，损害到公共利益或竞争秩序。
至于微梦创科公司将robots协议的链接放置在微博用户协议中的行为，虽然该行为使该协议内容处于被消费者阅读的可能性中，但作为一般消费者通常不会仔细阅读用户协议，即使点开其中的链接去读取robots协议，作为一般消费者而言，大多也不会理解robots协议中语句的具体内涵。因此，该行为亦不足以给字节跳动公司带来损害。
最后，反不正当竞争法不是权益保护法，其对互联网行业的竞争行为进行规制时不应过多考虑静态利益和商业成果，而应立足于竞争手段的正当性和竞争机制的健全性，更应考虑市场竞争的根本目标。对于网站经营者通过robots协议限制其他网站网络机器人抓取的行为，不应作为一种互联网经营模式进行绝对化的合法性判断，而应结合robots协议设置方与被限制方所处的经营领域和经营内容、被限制的网络机器人应用场景、robots协议的设置对其他经营者、消费者以及竞争秩序的影响等多种因素进行综合判断。根据前述分析，本案被诉行为应被认定为行使企业自主经营权的行为，但这并不意味着对于互联网企业所设置的任何robots协议均能够基于企业自主经营权而当然地认定其具有正当性。
综上，被诉行为应属于微梦创科公司企业自主经营权范畴内的正当行为，并不构成不正当竞争行为。一审判决有关被诉行为违反反不正当竞争法一般条款的认定有误，本院对此予以纠正。
本院在此还要特别指出，2019年反不正当竞争法在第十二条对互联网不正当竞争行为进行了规制，但互联网行业的不正当竞争行为纷繁多样，法律不可能穷尽所有的不正当手段。因此，对于上述法律条款中未明确规定的互联网行业其他非类型化不正当竞争行为，可以依据反不正当竞争法的一般条款予以认定，但对于能够归入上述法律条款所规定的不正当竞争行为，仍应优先适用上述法律条款，且在适用上述法律条款对不正当竞争行为作出规则后，不宜再适用一般条款。
综上所述，微梦创科公司的上诉请求成立，予以支持。依照《中华人民共和国民事诉讼法》第一百七十条第一款第二项之规定，判决如下：
一、撤销北京知识产权法院（2017）京73民初2020号民事判决；
二、驳回北京字节跳动科技有限公司的诉讼请求。
二审案件受理费六千三百一十五元一角四分，由北京字节跳动科技有限公司负担（于本判决生效之日起七日内交纳）。
本判决为终审判决。
审 判 长 谢甄珂
审 判 员 曹丽萍
审 判 员 郭 伟
二〇二一年十月八日
法官助理 焦光阳
书 记 员 张嘉琦
