自由开放的Web在IETF面临威胁

自动访问（爬取）是自由开放互联网的核心价值，支持新闻、研究、存档等关键功能。但出版商和科技巨头因AI模型爬取带来的成本和商业模式冲击，试图通过修改IETF标准来限制合法爬取。AI偏好工作组提出通过robots.txt表达禁止AI爬取偏好，可能具有法律效力；Web Bot Auth工作组则推动加密识别机器人，允许网站封锁任何不受欢迎的访问，包括竞争对手和研究人员，甚至要求付费访问。这些提案将严重损害开放互联网，EFF及其盟友正在抵制这些威胁。