返回博客
数据工程数据采集网页爬虫页面发现AI Data Pipeline

数据智能采集系统设计与实践(二):页面发现,如何持续发现高价值页面

长期数据采集不适合从一个入口无边界地遍历整站。本文介绍页面发现阶段的职责,讨论如何从网站入口中识别、分类并持续维护高价值页面,为后续抓取、快照和结构化提取建立稳定输入。

RaytonX
3 min read

在上一篇中,我们将长期数据采集拆分为一条完整的数据链路:

来源入口
→ 页面发现
→ 页面抓取
→ 内容快照
→ 结构化提取
→ 数据融合
→ 人工审核
→ 生产数据

页面发现是系统真正开始理解目标网站的第一步。

它要解决的问题不是“如何下载页面”,而是:

一个网站中,哪些页面值得被长期管理和持续采集?

如果这个环节处理得不好,后续抓取、存储和 AI 解析都会被大量低价值内容拖累。


为什么不直接抓取整个网站

从首页开始递归遍历所有链接,是最直观的做法。

但真实网站通常包含大量与目标数据无关的内容,例如:

  • 新闻和活动归档;
  • 标签页与分页;
  • 登录入口;
  • 隐私政策;
  • 社交媒体链接;
  • 重复语言页面;
  • 图片、脚本和其他静态资源。

如果默认抓取整站,系统很容易出现几个问题:

  • 页面数量快速增长;
  • 同一内容通过多个 URL 重复出现;
  • 大量低价值页面进入解析流程;
  • 网站请求压力增加;
  • 存储和模型调用成本失控。

因此,长期数据采集更适合先发现并筛选页面,再决定哪些页面进入后续流程。


页面发现阶段负责什么

页面发现阶段以一个已知网站入口为起点,提取页面中的候选链接,并从中识别高价值页面。

它通常负责:

  1. 访问网站入口;
  2. 提取导航、正文和资源链接;
  3. 过滤明显无关的 URL;
  4. 对候选链接进行标准化;
  5. 判断页面类型;
  6. 将有效页面写入页面管理表。

它不负责:

  • 深度解析业务字段;
  • 判断页面内容是否变化;
  • 调用大模型;
  • 合并多个页面的数据;
  • 更新生产数据。

这种边界可以让页面发现规则独立演进,而不影响抓取和解析逻辑。


什么是高价值页面

高价值页面并没有统一定义,它取决于具体的数据目标。

但从结构上看,这类页面通常具备以下特点:

  • 包含稳定的事实信息;
  • 与目标实体直接相关;
  • 更新后具有业务意义;
  • 可以支持结构化字段提取;
  • 值得被周期性重新检查。

例如,一个公开机构网站中,常见的高价值页面可能包括:

  • 首页;
  • 关于页面;
  • 产品或服务页面;
  • 价格页面;
  • 联系页面;
  • 申请或流程说明;
  • PDF 文档;
  • 公开下载资源。

相对而言,新闻、活动、标签和归档页面的结构化价值通常较低,除非系统本身就是为了采集这些内容。

页面发现的目标不是找出网站中的所有页面,而是建立一个与业务目标相关的、可持续维护的页面集合。


如何识别高价值页面

页面类型判断通常不依赖单一信号,而是结合多个来源。

常见判断依据包括:

  • URL 路径;
  • 链接文字;
  • 页面标题;
  • 文件类型;
  • 页面层级;
  • 所在导航位置;
  • 是否属于目标域名。

例如,下面这些信息都可能帮助判断页面用途:

/pricing
/fees
/contact
/about
/products
/downloads
/document.pdf

链接文字同样重要。

即使 URL 没有明显语义,像“Pricing”“Contact Us”“Download Brochure”这样的文本,也可以提供较强分类信号。

实际项目中,一种常见做法是先使用可解释的规则完成初步分类,而不是一开始就依赖大模型判断所有链接。

原因很简单:

  • 规则成本更低;
  • 执行速度更快;
  • 结果更容易解释;
  • 页面发现本身通常不需要深度语义理解。

无法可靠分类的页面可以标记为 unknown,而不是直接丢弃。后续可以根据抓取结果或规则升级重新判断。


URL 标准化是页面发现的基础

同一个页面经常会以不同形式出现:

https://example.com/contact
https://example.com/contact/
https://example.com/contact#form
https://example.com/contact?utm_source=menu

如果直接按原始 URL 保存,系统会把它们识别为不同页面。

因此,候选链接在写入前需要进行标准化。

常见处理包括:

  • 相对路径转换为绝对 URL;
  • 移除锚点;
  • 移除已知追踪参数;
  • 统一主机名格式;
  • 统一尾斜杠规则;
  • 过滤 mailto: 和 tel:;
  • 过滤站外广告和社交媒体链接;
  • 过滤登录页和明显无关资源。

标准化后的 URL 用于去重,但原始链接仍然值得保留。

原始链接文字、发现位置和来源页面,可以帮助解释:

  • 这个页面为什么被系统发现;
  • 它来自导航、正文还是页脚;
  • 页面类型判断依据是什么。

页面管理表可以对“实体 ID + 标准化 URL”建立唯一约束,避免同一网站中的重复页面被反复写入。


首页和 Sitemap 应该如何配合

首页和 Sitemap 都可以作为页面发现入口,但它们提供的信息不同。

首页及导航更接近网站主动展示给用户的内容,通常能够反映页面的重要程度。

Sitemap 更适合提高页面召回率,但不能默认认为其中的所有 URL 都值得采集。部分 Sitemap 会包含:

  • 新闻存档;
  • 分类页;
  • 标签页;
  • 多语言重复页面;
  • 已失效地址;
  • 大量低价值内容。

因此,一种较为稳妥的方式是:

  • 以首页和导航作为主要发现来源;
  • 使用 Sitemap 补充遗漏页面;
  • 所有候选链接仍然经过统一过滤和分类;
  • 不直接把 Sitemap 中的全部 URL 加入抓取队列。

首页用于判断优先级,Sitemap 用于提高覆盖率,两者更适合互补,而不是互相替代。


页面发现需要周期运行

页面发现不是一次性任务。

网站会持续变化,例如:

  • 导航结构调整;
  • 新增价格页面;
  • 发布新的 PDF;
  • 原页面被替换;
  • 内容迁移到新的路径;
  • 某些链接被移除。

如果页面发现只在系统初始化时执行一次,后续新增页面就无法进入采集链路。

因此,系统可以周期性重新执行页面发现。

重复发现时:

  • 已存在页面更新最近发现时间;
  • 新页面进入页面管理表;
  • 已存在页面不重置抓取历史;
  • 新页面可以尽快进入抓取流程;
  • 长期消失的页面可以进入待确认状态。

这里的重点是“持续维护页面集合”,而不是每次重新生成一份页面列表。


页面类型会影响后续流程

页面类型不仅用于分类展示,还会影响后续处理。

例如,它可以决定:

  • 抓取周期;
  • 解析方式;
  • 使用哪一套 Schema;
  • 是否允许调用大模型;
  • 页面处理优先级;
  • 是否属于高时效数据。

价格、申请和公告页面可能需要更频繁检查,而公司历史或基础介绍页面通常变化较少。

PDF 页面和普通 HTML 页面也可能采用不同的正文生成方式。

因此,页面发现阶段虽然不处理具体字段,但它为后续调度和结构化提取提供了重要上下文。


不要把分类失败当成发现失败

页面分类并不总是准确。

有些网站的 URL 没有语义,链接文字也很模糊,例如:

/page-12
/view?id=428
/content/details

这类页面如果直接丢弃,可能损失有效信息。

更合适的做法是:

  • 保存页面;
  • 标记为 unknown;
  • 使用较低优先级;
  • 在抓取后根据标题或正文重新判断;
  • 通过后续规则升级重新分类。

页面发现的成功标准,不应该是每个页面都被准确分类,而应该是:

有价值的页面能够进入系统,无法确认的页面不会被过早丢弃。


页面发现的几个设计原则

只发现,不解析

页面发现只建立页面集合,不提取具体业务字段。

优先可解释规则

优先使用路径、链接文字、文件类型和页面位置完成判断。

标准化用于去重

标准化 URL 负责识别相同页面,但不应覆盖原始发现信息。

Sitemap 用于补充

Sitemap 可以提高覆盖率,但不能直接替代页面筛选。

分类失败允许保留

无法判断的页面可以进入 unknown,等待后续处理。

页面集合需要持续维护

页面发现应周期运行,以适应网站结构和内容入口的变化。


小结

页面发现阶段解决的是一个范围控制问题。

它不是尽可能多地抓取页面,而是在网站不断变化的情况下,持续维护一组与数据目标相关的页面。

一条简化的页面发现流程可以表示为:

网站入口
→ 提取候选链接
→ URL 标准化
→ 无关链接过滤
→ 页面分类
→ 页面去重与保存

这个阶段的输出不是结构化数据,而是一组可以被稳定调度和持续跟踪的来源页面。

下一篇将继续讨论页面进入系统后的第一个版本化环节:

Snapshot:为什么内容版本是整个系统的核心。