在上一篇中,我们将长期数据采集拆分为一条完整的数据链路:
来源入口
→ 页面发现
→ 页面抓取
→ 内容快照
→ 结构化提取
→ 数据融合
→ 人工审核
→ 生产数据
页面发现是系统真正开始理解目标网站的第一步。
它要解决的问题不是“如何下载页面”,而是:
一个网站中,哪些页面值得被长期管理和持续采集?
如果这个环节处理得不好,后续抓取、存储和 AI 解析都会被大量低价值内容拖累。
为什么不直接抓取整个网站
从首页开始递归遍历所有链接,是最直观的做法。
但真实网站通常包含大量与目标数据无关的内容,例如:
- 新闻和活动归档;
- 标签页与分页;
- 登录入口;
- 隐私政策;
- 社交媒体链接;
- 重复语言页面;
- 图片、脚本和其他静态资源。
如果默认抓取整站,系统很容易出现几个问题:
- 页面数量快速增长;
- 同一内容通过多个 URL 重复出现;
- 大量低价值页面进入解析流程;
- 网站请求压力增加;
- 存储和模型调用成本失控。
因此,长期数据采集更适合先发现并筛选页面,再决定哪些页面进入后续流程。
页面发现阶段负责什么
页面发现阶段以一个已知网站入口为起点,提取页面中的候选链接,并从中识别高价值页面。
它通常负责:
- 访问网站入口;
- 提取导航、正文和资源链接;
- 过滤明显无关的 URL;
- 对候选链接进行标准化;
- 判断页面类型;
- 将有效页面写入页面管理表。
它不负责:
- 深度解析业务字段;
- 判断页面内容是否变化;
- 调用大模型;
- 合并多个页面的数据;
- 更新生产数据。
这种边界可以让页面发现规则独立演进,而不影响抓取和解析逻辑。
什么是高价值页面
高价值页面并没有统一定义,它取决于具体的数据目标。
但从结构上看,这类页面通常具备以下特点:
- 包含稳定的事实信息;
- 与目标实体直接相关;
- 更新后具有业务意义;
- 可以支持结构化字段提取;
- 值得被周期性重新检查。
例如,一个公开机构网站中,常见的高价值页面可能包括:
- 首页;
- 关于页面;
- 产品或服务页面;
- 价格页面;
- 联系页面;
- 申请或流程说明;
- PDF 文档;
- 公开下载资源。
相对而言,新闻、活动、标签和归档页面的结构化价值通常较低,除非系统本身就是为了采集这些内容。
页面发现的目标不是找出网站中的所有页面,而是建立一个与业务目标相关的、可持续维护的页面集合。
如何识别高价值页面
页面类型判断通常不依赖单一信号,而是结合多个来源。
常见判断依据包括:
- URL 路径;
- 链接文字;
- 页面标题;
- 文件类型;
- 页面层级;
- 所在导航位置;
- 是否属于目标域名。
例如,下面这些信息都可能帮助判断页面用途:
/pricing
/fees
/contact
/about
/products
/downloads
/document.pdf
链接文字同样重要。
即使 URL 没有明显语义,像“Pricing”“Contact Us”“Download Brochure”这样的文本,也可以提供较强分类信号。
实际项目中,一种常见做法是先使用可解释的规则完成初步分类,而不是一开始就依赖大模型判断所有链接。
原因很简单:
- 规则成本更低;
- 执行速度更快;
- 结果更容易解释;
- 页面发现本身通常不需要深度语义理解。
无法可靠分类的页面可以标记为 unknown,而不是直接丢弃。后续可以根据抓取结果或规则升级重新判断。
URL 标准化是页面发现的基础
同一个页面经常会以不同形式出现:
https://example.com/contact
https://example.com/contact/
https://example.com/contact#form
https://example.com/contact?utm_source=menu
如果直接按原始 URL 保存,系统会把它们识别为不同页面。
因此,候选链接在写入前需要进行标准化。
常见处理包括:
- 相对路径转换为绝对 URL;
- 移除锚点;
- 移除已知追踪参数;
- 统一主机名格式;
- 统一尾斜杠规则;
- 过滤
mailto:和tel:; - 过滤站外广告和社交媒体链接;
- 过滤登录页和明显无关资源。
标准化后的 URL 用于去重,但原始链接仍然值得保留。
原始链接文字、发现位置和来源页面,可以帮助解释:
- 这个页面为什么被系统发现;
- 它来自导航、正文还是页脚;
- 页面类型判断依据是什么。
页面管理表可以对“实体 ID + 标准化 URL”建立唯一约束,避免同一网站中的重复页面被反复写入。
首页和 Sitemap 应该如何配合
首页和 Sitemap 都可以作为页面发现入口,但它们提供的信息不同。
首页及导航更接近网站主动展示给用户的内容,通常能够反映页面的重要程度。
Sitemap 更适合提高页面召回率,但不能默认认为其中的所有 URL 都值得采集。部分 Sitemap 会包含:
- 新闻存档;
- 分类页;
- 标签页;
- 多语言重复页面;
- 已失效地址;
- 大量低价值内容。
因此,一种较为稳妥的方式是:
- 以首页和导航作为主要发现来源;
- 使用 Sitemap 补充遗漏页面;
- 所有候选链接仍然经过统一过滤和分类;
- 不直接把 Sitemap 中的全部 URL 加入抓取队列。
首页用于判断优先级,Sitemap 用于提高覆盖率,两者更适合互补,而不是互相替代。
页面发现需要周期运行
页面发现不是一次性任务。
网站会持续变化,例如:
- 导航结构调整;
- 新增价格页面;
- 发布新的 PDF;
- 原页面被替换;
- 内容迁移到新的路径;
- 某些链接被移除。
如果页面发现只在系统初始化时执行一次,后续新增页面就无法进入采集链路。
因此,系统可以周期性重新执行页面发现。
重复发现时:
- 已存在页面更新最近发现时间;
- 新页面进入页面管理表;
- 已存在页面不重置抓取历史;
- 新页面可以尽快进入抓取流程;
- 长期消失的页面可以进入待确认状态。
这里的重点是“持续维护页面集合”,而不是每次重新生成一份页面列表。
页面类型会影响后续流程
页面类型不仅用于分类展示,还会影响后续处理。
例如,它可以决定:
- 抓取周期;
- 解析方式;
- 使用哪一套 Schema;
- 是否允许调用大模型;
- 页面处理优先级;
- 是否属于高时效数据。
价格、申请和公告页面可能需要更频繁检查,而公司历史或基础介绍页面通常变化较少。
PDF 页面和普通 HTML 页面也可能采用不同的正文生成方式。
因此,页面发现阶段虽然不处理具体字段,但它为后续调度和结构化提取提供了重要上下文。
不要把分类失败当成发现失败
页面分类并不总是准确。
有些网站的 URL 没有语义,链接文字也很模糊,例如:
/page-12
/view?id=428
/content/details
这类页面如果直接丢弃,可能损失有效信息。
更合适的做法是:
- 保存页面;
- 标记为
unknown; - 使用较低优先级;
- 在抓取后根据标题或正文重新判断;
- 通过后续规则升级重新分类。
页面发现的成功标准,不应该是每个页面都被准确分类,而应该是:
有价值的页面能够进入系统,无法确认的页面不会被过早丢弃。
页面发现的几个设计原则
只发现,不解析
页面发现只建立页面集合,不提取具体业务字段。
优先可解释规则
优先使用路径、链接文字、文件类型和页面位置完成判断。
标准化用于去重
标准化 URL 负责识别相同页面,但不应覆盖原始发现信息。
Sitemap 用于补充
Sitemap 可以提高覆盖率,但不能直接替代页面筛选。
分类失败允许保留
无法判断的页面可以进入 unknown,等待后续处理。
页面集合需要持续维护
页面发现应周期运行,以适应网站结构和内容入口的变化。
小结
页面发现阶段解决的是一个范围控制问题。
它不是尽可能多地抓取页面,而是在网站不断变化的情况下,持续维护一组与数据目标相关的页面。
一条简化的页面发现流程可以表示为:
网站入口
→ 提取候选链接
→ URL 标准化
→ 无关链接过滤
→ 页面分类
→ 页面去重与保存
这个阶段的输出不是结构化数据,而是一组可以被稳定调度和持续跟踪的来源页面。
下一篇将继续讨论页面进入系统后的第一个版本化环节:
Snapshot:为什么内容版本是整个系统的核心。