公开网页数据采集有哪些边界？

页面可以在浏览器打开，不代表可以无限采集、训练、再分发或用于任何目的。使用前需要同时评估访问和数据使用权限。

访问边界

• 遵守法律、网站条款、robots 规则和明确的禁止信号。
• 不绕过登录、付费、验证码或技术访问控制。
• 不尝试获取非公开接口和隐藏数据。

数据边界

• 只采集业务必要字段。
• 识别个人信息、版权和合同限制。
• 建立保留期限、访问权限和删除流程。

运行控制

• 设置并发、速率、超时和有限重试。
• 遇到 429、禁止响应或条款变化时暂停。

可审计性

• 记录来源、时间、用途、字段和处理版本。
• 高风险用途在采集前由法务或合规人员确认。