# 如何为 AI 项目准备公开网页数据？

从数据授权、采集、清洗、溯源到评估构建可审计的 AI 数据流程。

AI 数据准备首先是授权、质量和治理问题，代理只负责合规访问环节，不能赋予数据训练或再分发权利。

## 数据范围

- 确认网页公开性、许可、版权、个人信息和用途限制。
- 建立允许域名、字段、语言、时间和删除规则。
- 对高风险来源执行人工审批。

## 采集流程

- 按地区和语言建立任务。
- 记录 URL、时间、出口范围、响应状态和内容哈希。
- 限制并发并遵守目标信号。
- 将原始、清洗和派生数据分层保存。

## 质量治理

- 去重、检测语言、过滤无效模板和敏感信息。
- 保留来源与处理版本。
- 建立抽样评审和下游删除传播机制。

## 评估

- 按来源、地区和时间检查偏差。
- 数据量增加前先验证模型任务是否真正受益。