自称代表 2000 多家美国出版商的贸易组织“新闻媒体联盟”也对这一行为表示担忧 ——AI 公司对出版商设置的“禁止抓取”机制或“robots.txt”等工具置若罔闻。该组织主席 Danielle Coffey 表示,“如果 AI 公司无法停止大规模抓取的话,我们就无法通过有价值的内容获利,也无法为记者们支付报酬。”
Tollbit 表示,Perplexity 并不是唯一无视出版商网站“禁止抓取”机制的违规者。根据其分析,“大量”AI 平台绕过了这一机制,而该机制为 AI 平台抓取自家内容设置了一份“白名单”—— 指示其网站哪些部分可以被抓取。
“这意味着,来自多个来源(而不仅仅是一家公司)的 AI 平台正在选择绕过 robots.txt 协议来从网站中检索内容,”TollBit 写道,“我们获取的出版商日志越多,这种模式出现的次数就越多。”
包括《纽约时报》在内的一些出版商已就这些侵权行为起诉 AI 公司。其他出版商则与人工智能公司签署了许可协议,AI 公司们也愿意为内容付费,尽管双方往往对材料的价值存在分歧。许多 AI 开发者认为,他们免费获取内容并未违反任何法律。






