返回博客
数据工程数据采集Snapshot数据血缘AI Data Pipeline

数据智能采集系统设计与实践(三):为什么内容 Snapshot 是系统的核心

长期数据采集不能只保存最终字段,还需要保存页面在具体时间点的内容版本。本文介绍 Snapshot 在 AI Data Pipeline 中的作用,以及它如何支撑来源追踪、重新解析、版本对比和后续增量采集。

RaytonX
3 min read

在上一篇中,我们讨论了如何从网站入口中持续发现高价值页面。

页面被发现后,系统接下来要解决的问题是:

抓取到的内容应该如何保存?

最直接的做法,是下载页面、解析字段,然后只保存最终结果。

这种方式适合一次性任务,但不太适合长期运行的数据采集系统。因为页面会变化,解析规则会调整,模型也会升级。如果系统只保留最终字段,很多历史过程就无法还原。

Snapshot 的作用,就是保存页面在某个时间点的内容版本。

它连接了外部网站和内部结构化数据,也是后续增量采集、来源追踪和重新解析的基础。


页面和 Snapshot 是两个不同对象

一个页面通常长期存在,例如:

https://example.com/pricing

但页面内容会不断更新。

因此,系统需要区分:

  • 页面本身;
  • 页面在某个时间点的内容。

可以表示为:

Source Page
├── Snapshot 2026-01-01
├── Snapshot 2026-03-15
└── Snapshot 2026-06-20

页面记录更适合保存长期状态,例如:

  • URL;
  • 页面类型;
  • 最近抓取时间;
  • 下一次抓取时间;
  • 当前状态;
  • 连续失败次数。

Snapshot 则保存一次具体的内容版本,例如:

  • 来源页面;
  • 抓取时间;
  • 最终 URL;
  • HTTP 状态;
  • 内容类型;
  • 原始文件位置;
  • 清洗后的正文;
  • 内容哈希。

页面负责调度,Snapshot 负责记录历史,两者的职责不应该混在一起。


为什么不能只保存最终字段

假设系统从某个页面中提取出一个价格,并直接写入生产数据库。

一段时间后,价格发生变化。系统再次抓取页面并覆盖旧值。

如果只保存最终结果,就很难回答:

  • 旧价格来自哪个页面;
  • 页面当时的内容是什么;
  • 什么时候发生了变化;
  • 使用的是哪一版解析规则;
  • 新结果为什么覆盖旧结果;
  • 当时是否存在其他候选值。

这些问题在数据量较小时可能不明显,但随着系统持续运行,来源追踪会变得越来越重要。

尤其是在引入大模型之后,结构化结果还会受到以下因素影响:

  • 模型版本;
  • Prompt 版本;
  • Schema 版本;
  • 输入清洗方式;
  • 上下文长度;
  • 分段策略。

如果没有 Snapshot,模型输出和原始证据之间就会失去稳定关联。


Snapshot 应该保持不可变

Snapshot 表示页面在某个时间点的事实记录,因此正文创建后不应直接修改。

后续可以更新处理状态、错误信息和解析时间,但原始内容和正文版本应尽量保持不变。

这样做的价值在于:

  • 历史来源不会被新内容覆盖;
  • 解析结果可以稳定关联到具体输入;
  • 规则升级后可以重新处理旧内容;
  • 数据问题可以回到原始页面版本排查;
  • 不同模型或规则的结果可以比较。

如果正文抽取逻辑升级,也不建议直接覆盖旧 Snapshot。

一种更清晰的方式是保留原始文件,并生成新的内容版本或重新处理记录。这样旧结果仍然可以复现,新结果也有独立依据。


Snapshot 应该保存什么

Snapshot 不一定要把所有内容都存进数据库。

一种常见做法是将元数据保存在数据库中,将较大的原始文件保存在文件系统或对象存储中。

数据库中的 Snapshot 可以包含:

snapshot
├── source_page_id
├── fetched_at
├── final_url
├── http_status
├── content_type
├── raw_content_location
├── normalized_content
├── content_hash
└── parser_version

其中可以分为三类信息。

来源信息

用于说明内容从哪里来:

  • 来源页面 ID;
  • 原始 URL;
  • 最终 URL;
  • 抓取时间;
  • HTTP 状态。

内容信息

用于保存可重新处理的数据:

  • 原始 HTML;
  • PDF 文件;
  • 图片文件;
  • 清洗后的正文;
  • 页面标题;
  • 内容类型。

版本信息

用于判断和解释内容变化:

  • 原始文件哈希;
  • 正文哈希;
  • 正文抽取版本;
  • 内容生成方式。

具体字段可以根据系统规模调整,但需要保证 Snapshot 能够重新关联来源并支持后续解析。


原始内容和清洗正文都值得保留

结构化提取通常不直接使用原始 HTML。

原始页面中可能包含:

  • JavaScript;
  • CSS;
  • 导航菜单;
  • 页脚;
  • Cookie 提示;
  • 广告;
  • 动态组件;
  • 重复模板。

这些内容会增加解析噪声。

因此,系统通常会从原始页面生成一份更适合解析的正文:

Raw HTML
→ DOM Cleaning
→ Main Content Extraction
→ Normalized Markdown or Text

但清洗后的正文不能完全替代原始内容。

正文抽取规则可能出错,也可能在某个版本中误删表格、标题或脚注。如果只保存清洗结果,后续就无法修复。

较为稳妥的方式是:

  • 原始内容作为长期证据;
  • 清洗正文作为解析输入;
  • 处理版本用于说明正文如何生成。

对于 PDF 和图片,同样可以分别保存原始文件和解析后的文本。


抓取失败不应该生成 Snapshot

Snapshot 表示一次有效的内容记录。

如果页面请求失败、正文为空或内容无法解析,不应该创建一个空 Snapshot,并将它当成正常页面版本。

否则后续系统可能误以为:

页面成功抓取,但没有提供任何信息。

实际上,真实情况可能是:

  • 请求超时;
  • 返回登录页;
  • PDF 下载失败;
  • 页面正文提取错误;
  • 内容格式暂不支持。

这些情况应该记录为抓取任务失败或输入无效,而不是生成伪快照。

只有获得了可保存、可回溯的内容后,才适合创建 Snapshot。


Snapshot 是结构化提取的稳定输入

结构化提取阶段应该读取已经保存的 Snapshot,而不是直接使用抓取任务中的临时响应。

Source Page
→ Snapshot
→ Structured Extraction

这样做有几个好处。

抓取和解析可以解耦

页面下载完成后,即使模型服务暂时不可用,Snapshot 仍然已经保存。后续可以在合适的时间继续解析。

解析失败不会要求重新访问网站

如果模型输出格式错误或 Schema 校验失败,可以基于已有 Snapshot 重试,不需要重新请求目标网站。

输入可以稳定复现

同一条结构化记录始终关联到明确的 Snapshot,避免页面已经变化后无法解释历史结果。

多种解析方式可以共享同一来源

同一个 Snapshot 可以用于:

  • 规则解析;
  • 大模型提取;
  • 人工检查;
  • 回归测试;
  • 新版本重新解析。

在当前设计中,Snapshot 是外部内容进入内部数据系统后的稳定边界。


Snapshot 支撑完整的数据血缘

最终生产字段最好能够回溯到具体来源。

完整链路可以表示为:

Production Data
→ Approved Result
→ Extraction Record
→ Content Snapshot
→ Source Page

其中,Snapshot 负责回答:

  • 当时页面实际包含什么;
  • 页面是什么时候抓取的;
  • 哪条提取记录使用了这份内容;
  • 当前生产字段采用了哪个来源版本。

如果没有 Snapshot,数据血缘通常只能停留在 URL 层面。

但 URL 只能说明页面位置,不能说明页面在某个时间点的内容。对于价格、联系方式、政策和其他会变化的数据,仅保存 URL 并不足够。


Snapshot 也为重新解析提供基础

解析规则不会一直不变。

随着系统运行,可能会发生:

  • 页面清洗规则改进;
  • 新增结构化字段;
  • Prompt 调整;
  • Schema 变化;
  • 模型升级;
  • 枚举规则补充。

如果原始 Snapshot 仍然存在,就可以重新处理历史内容,而不必重新访问外部网站。

这在以下场景中尤其有价值:

  • 原页面已经删除;
  • 网站限制频繁访问;
  • PDF 已被新版本替换;
  • 需要比较新旧模型效果;
  • 需要修复历史解析错误。

重新解析是否创建新的 Snapshot,还是引入独立的 Extraction Run,可以根据系统阶段决定。

但无论采用哪种模型,前提都是原始内容版本仍然存在。


Snapshot 不等于备份所有页面

保存 Snapshot 并不意味着每次抓取都必须生成新版本。

如果页面正文没有发生有效变化,重复保存相同内容只会增加存储和后续处理成本。

因此,页面抓取后通常需要先判断:

当前内容是否与最近一次 Snapshot 不同

如果内容相同,可以只更新页面的最近检查时间。

如果内容不同,再创建新的 Snapshot,并触发后续结构化提取。

这就自然引出了 Snapshot 与增量采集之间的关系:

Page Crawl
→ Content Comparison
→ New Snapshot or No Change

如何判断页面是否真正变化,以及如何避免动态 HTML 造成大量无效版本,将在下一篇中展开。


Snapshot 的几个设计原则

页面与内容版本分离

页面负责长期管理,Snapshot 负责记录具体内容。

Snapshot 内容保持不可变

历史输入不能因为规则升级或新版本出现而被覆盖。

原始文件和解析正文分开保存

原始内容用于回溯和重新处理,正文用于后续结构化解析。

无效内容不创建 Snapshot

请求失败、正文为空和无法解析的内容应进入错误流程。

提取结果必须关联 Snapshot

结构化候选不能脱离具体来源版本。

Snapshot 需要记录处理版本

正文清洗和内容生成方式发生变化时,系统能够解释不同版本之间的差异。


小结

Snapshot 的核心作用,不只是保存页面历史。

它让外部网站中的内容转化为一份稳定、可追踪、可重复使用的内部输入。

有了 Snapshot,系统才能更清晰地实现:

  • 内容版本管理;
  • 来源追踪;
  • 重新解析;
  • 模型回归测试;
  • 历史问题排查;
  • 增量更新;
  • 生产字段溯源。

在整条 AI Data Pipeline 中,Snapshot 位于页面抓取和结构化提取之间:

Source Page
→ Content Snapshot
→ Extraction Record

它把不断变化的外部页面,转换成内部系统可以稳定处理的内容版本。

下一篇将继续讨论:

增量采集:如何避免重复抓取和重复解析。