在大规模采集公开网站数据时,信息通常分散在网页、PDF、图片等不同载体中,不仅页面结构各异,数据格式和展示方式也缺乏统一规范。
因此,这类任务与传统基于固定 XPath 或 CSS Selector 的网页采集有着本质区别。面对高度异构的数据源,爬虫需要从一次性的页面解析工具,演变为一套能够持续发现、采集、解析、清洗和更新数据的智能处理链路。
本文将介绍一种分阶段的数据智能采集架构,适用于公开网站中非结构化、非标准化且需要长期维护的数据采集与结构化处理场景。
传统爬虫为什么难以支撑长期采集
一个常见的爬虫流程可以表示为:
请求页面
→ 解析内容
→ 提取字段
→ 写入数据库
这种流程并没有问题,但它把多个职责放在了同一次执行中。
页面下载后立即解析,解析完成后直接写入生产数据。中间通常只保留日志,很少保存完整的来源内容和处理过程。
当系统规模较小时,这种简化可以降低开发成本。但随着运行时间增长,一些问题会逐渐出现。
页面和数据同时变化
网站不是固定的数据源。
页面路径可能调整,导航可能新增内容,PDF 文件可能被替换,某些数据可能从首页迁移到独立页面。只维护一组固定 URL 和解析规则,很难持续覆盖这些变化。
即使 URL 没有变化,页面内容也可能只更新了一小部分。系统需要区分:
- 页面被重新访问;
- 页面代码发生变化;
- 页面中的有效信息发生变化。
如果每次抓取都重新解析和覆盖数据,不仅会产生大量重复处理,也很难判断一次更新是否真的有业务意义。
自动提取结果缺少来源
结构化数据写入数据库后,通常只剩下最终值。
例如,一个地址、价格或联系方式已经进入生产表,但系统可能无法快速回答:
- 这个值来自哪个页面;
- 页面是什么时候抓取的;
- 当时的原始内容是什么;
- 使用了哪一版解析规则;
- 为什么覆盖了之前的值。
没有这些信息,数据出现问题时只能重新访问当前页面。但当前页面可能已经更新,无法还原当时的处理过程。
解析和生产写入耦合
解析程序直接更新生产数据,会让错误快速扩散。
传统规则可能因为页面结构变化而提取错误字段,大模型也可能返回格式正确但缺少依据的结果。如果自动提取阶段和生产写入之间没有明确边界,系统就很难在效率和可信度之间取得平衡。
任务完成不等于数据正确
HTTP 请求成功、Worker 正常退出、JSON 通过校验,都只能说明某个技术步骤完成了。
页面可能返回登录页,正文提取可能为空,大模型可能误解上下文,多个来源之间也可能存在冲突。
因此,长期数据采集不能只依赖任务成功率衡量质量。它需要保存每个阶段的输入、输出和状态,让问题能够回到具体环节排查。
从爬虫脚本转向 Data Pipeline
一种较为清晰的设计思路,是把采集过程拆成多个相对独立的阶段:
来源入口
→ 页面发现
→ 页面抓取
→ 内容快照
→ 结构化提取
→ 数据融合
→ 人工审核
→ 生产数据
这里的重点不是让系统变得更复杂,而是避免不同职责互相干扰。
每个阶段只解决一个主要问题,并将结果保存下来,作为下一阶段的稳定输入。
完整的数据主链路可以抽象为:
Seed Source
↓
Source Page
↓
Content Snapshot
↓
Extraction Record
↓
Merge Candidate
↓
Review Result
↓
Production Data
这条链路中存在三类性质不同的数据: 来源内容 ≠ 自动提取结果 ≠ 生产事实
来源内容描述网站在某个时间点实际提供了什么, 自动提取结果描述规则或模型从当前来源中识别出了什么, 生产事实则表示经过校验和确认后,系统最终采用了什么。
将这三层分开,是后续实现来源追踪、增量更新、重新解析和人工审核的基础。
阶段一:来源入口
Pipeline 通常从一组已知入口开始。
入口可以是:
- 一个机构官网;
- 一个产品目录首页;
- 一个公开数据页面;
- 一个文档下载入口;
- 一个经过确认的域名。
来源入口只需要保存最基本的信息,例如业务实体标识和网站地址。
它不应该同时承担页面列表、抓取状态、解析结果和生产数据等职责。否则入口表会逐渐演变成一张包含各种运行字段的综合任务表,后续很难维护。
这一阶段的目标很简单:
明确系统从哪里开始寻找数据。
阶段二:页面发现
一个网站通常包含很多页面,但并不是所有页面都值得长期采集。
新闻归档、活动页面、标签分页、隐私政策和登录入口,可能对目标数据没有直接价值。无边界地遍历整个网站,会增加请求数量、存储成本和后续解析成本。
因此,页面发现阶段负责从入口中识别值得管理的页面,例如:
- 基础介绍页;
- 产品或服务页;
- 价格页;
- 联系页面;
- 公开文档;
- PDF 下载页;
- 其他包含目标字段的页面。
页面发现和页面抓取需要分开。
页面发现回答:
哪些页面值得进入系统?
页面抓取回答:
当前页面的内容是什么?
拆分之后,链接筛选规则可以独立调整,而不需要修改抓取和解析流程。网站新增高价值页面时,也可以通过下一轮发现任务将其纳入系统。
页面发现的具体策略、URL 规范化和页面分类,将在系列第二篇中单独展开。
阶段三:页面抓取
页面抓取阶段负责获取来源内容。
它通常需要处理:
- HTML 页面;
- PDF 文件;
- 图片;
- 重定向;
- 不同响应类型;
- 网络失败;
- 页面正文生成。
这一阶段只负责获取并准备内容,不应该直接提取业务字段。
这样做有两个原因。
首先,抓取方式和解析方式的变化频率不同。网站请求、重定向和文件下载属于采集问题,而字段识别属于数据解析问题。将两者放在一起,会让解析规则变化影响抓取逻辑。
其次,页面内容本身是后续所有处理的依据。只有先稳定保存来源,后续才能重新解析、比较版本和追踪结果。
抓取成功也不一定意味着产生新数据。页面可能被正常访问,但有效内容与上一次完全相同。是否需要进入后续处理,要由内容版本阶段判断。
阶段四:内容快照
内容快照表示某个页面在特定时间点的内容版本。
页面和快照是两个不同概念:
Source Page
├── Snapshot A
├── Snapshot B
└── Snapshot C
页面是长期管理和调度的对象。
快照则是一次具体的内容记录。
快照通常会关联:
- 来源页面;
- 抓取时间;
- 原始 URL 和最终 URL;
- 内容类型;
- 原始文件;
- 可供解析的正文;
- 内容版本标识。
快照建立后,正文内容应尽量保持不可变。后续即使正文抽取规则、模型或 Schema 发生变化,也不直接覆盖已有记录。
这样可以带来几项能力:
- 保留页面历史版本;
- 判断内容是否发生变化;
- 使用新规则重新处理旧内容;
- 对比不同解析版本;
- 追踪生产字段的来源;
- 复现一次历史处理过程。
在整个 Pipeline 中,Snapshot 连接了外部网站和内部结构化数据,是来源追踪的重要基础。
Snapshot 的设计不仅用于保存页面历史,也是后续增量更新和重新解析的基础。相关设计将在系列第三篇展开。
阶段五:结构化提取
来源内容进入系统后,需要转换成统一的数据结构。
传统爬虫主要依赖:
- CSS Selector;
- XPath;
- 正则表达式;
- 固定字段映射;
- 页面专用解析器。
这些方法对稳定页面仍然很有价值。
大模型则更适合处理:
- 页面结构差异较大的内容;
- 自然语言描述;
- PDF 文档;
- 表格和半结构化数据;
- 同一字段的不同表达方式。
因此,AI Data Pipeline 并不意味着所有内容都必须由大模型处理。更常见的做法是根据内容类型和稳定程度选择合适的解析方式。
结构化提取阶段的输入应该是已经保存的快照,而不是抓取过程中的临时变量。
它的输出也不是最终生产数据,而是一条结构化候选记录:
Content Snapshot
→ Structured Extraction
→ Candidate Record
候选记录需要保留与来源快照的关联,并记录解析方式或模型版本。这样,即使模型输出出现问题,也不会破坏原始来源。
这一阶段主要回答:
当前页面明确提供了哪些结构化信息?
它不负责跨页面选择正确答案,也不应该根据生产数据反向影响模型结果。
大模型输入准备、Prompt、Schema 和结果校验,将在后续文章中分别讨论。
阶段六:数据融合
同一个实体的信息通常分布在多个页面中。
例如:
首页
├── 名称
└── 简介
联系页面
├── 地址
├── 电话
└── 邮箱
价格页面
├── 金额
├── 周期
└── 适用范围
这些页面之间可能互相补充,也可能出现冲突。
某个页面可能仍保留旧电话,另一页面已经更新;不同语言版本可能使用不同地址格式;PDF 可能属于上一年度,而网页展示的是当前数据。
因此,单页面结构化提取不应该直接生成完整实体,更不应该在模型内部提前消除冲突。
一种较为清晰的职责划分是:
- 提取阶段保留每个页面的独立结果;
- 融合阶段按字段汇总候选值;
- 一致结果可以自动聚合;
- 不一致结果保留来源并进入审核。
这样可以避免将来源差异隐藏在某个难以解释的合并结果中。
多来源数据如何比较、规范化和处理冲突,将在系列后续文章中展开。
阶段七:人工审核
对于需要较高可信度的数据,自动提取结果和生产数据之间通常需要一条明确边界。
人工审核并不意味着所有字段都要逐项手动录入。
自动化系统可以先完成:
- 页面变化检测;
- 候选字段提取;
- 基础格式规范化;
- 一致结果合并;
- 冲突项识别;
- 与生产数据比较。
人工只需要重点关注:
- 来源之间存在冲突的字段;
- 时间敏感的数据;
- 无法自动判断的枚举;
- 需要覆盖或删除的生产字段;
- 缺少足够来源依据的结果。
这种模式的目标不是让人工参与每个步骤,而是将人工判断集中在自动化难以可靠处理的部分。
只有确认后的结果才进入生产环境,自动提取记录继续作为历史依据保留。
审核系统的具体交互、数据比较和写入边界,将在独立文章中讨论。
阶段八:生产数据
生产数据代表系统当前认可并对外使用的事实。
它与 Pipeline 中间数据的职责不同。
Pipeline 保存的是:
- 来源页面;
- 历史内容;
- 自动提取结果;
- 数据候选;
- 处理状态;
- 调用审计。
生产数据库保存的是:
- 当前生效的数据;
- 经过确认的关系;
- 面向业务查询的结构;
- 对外展示所需的字段。
将两者分开后,采集和解析逻辑可以持续演进,而不会直接影响线上数据。
生产数据最好保留必要的来源引用或变更摘要,使某个字段能够沿着下面的链路回溯:
Production Data
→ Approved Result
→ Extraction Record
→ Content Snapshot
→ Source Page
完整来源链路并不一定要全部存储在同一张表中,但系统应保留足够的关联关系,避免最终值脱离证据。
任务队列在架构中的位置
页面发现、页面抓取和 AI 提取通常都适合异步执行。
任务队列可以负责:
- 排队;
- 并发控制;
- 失败重试;
- 延迟执行;
- Worker 分发。
但队列只解决“如何执行任务”,不能单独决定“哪些任务应该执行”。
在这套架构中,一种较为清晰的职责划分是:
Database
↓
Dispatcher
↓
Task Queue
↓
Worker
↓
Database
数据库保存业务状态,Dispatcher 发现满足条件的任务,队列负责任务分发,Worker 负责真正执行抓取或解析。
第一篇只需要确认这些组件的位置,不深入调度状态、重试、租约和幂等细节。
基于 BullMQ 的 Dispatcher 与 Worker 协作方式,将在系列第五篇展开。
这套架构解决了什么问题
将一次抓取拆分成一条 Data Pipeline,主要带来以下几项能力。
1. 来源可以追踪
结构化结果不再只是一个孤立的值,而是能够关联到具体页面和内容版本。
2. 内容可以重新处理
解析规则、Prompt 或 Schema 调整后,可以基于已有快照重新解析,不必立即重新访问外部网站。
3. 页面变化可以独立判断
页面检查和数据更新不再等价。只有内容产生有效变化时,才需要进入后续处理。
4. 自动结果不会直接污染生产数据
结构化提取先形成候选记录,再经过融合和审核进入生产环境。
5. 各阶段可以独立演进
页面发现、抓取、正文处理、AI 提取和审核可以分别优化,不需要同时重写整条链路。
6. 运行过程更容易恢复
只要阶段状态和中间结果得到保存,系统中断后就可以从已有数据继续,而不是从头重新抓取。
任务如何在重复执行、Worker 中断和队列状态不一致的情况下恢复,将在幂等设计相关的文章中展开。
核心设计原则
这套架构可以归纳为几个相对稳定的原则。
阶段职责保持单一
页面发现不解析字段,页面抓取不直接调用模型,模型提取不直接写入生产数据。
中间结果需要保存
值得保留的不只是最终数据,还包括来源页面、内容快照和结构化候选。
来源内容与生产事实分离
来源描述网站提供了什么,生产数据描述系统最终采用了什么,两者不能等同。
自动化结果默认是候选
无论使用固定规则还是大模型,自动提取结果都可能受到页面结构、输入质量和解析版本影响。
队列负责执行,数据库负责状态
任务队列可以被清理或重建,业务是否完成应由数据库中的结果和状态判断。
每个结果都应能够解释
系统不仅需要知道任务是否成功,还需要知道数据来自哪里、由什么规则生成,以及在哪个阶段发生了问题。
小结
传统爬虫更关注一次请求和字段提取,而长期数据采集需要管理完整的数据生命周期。
从整体上看,AI Data Pipeline 这套设计没有试图让某个组件解决所有问题,而是通过清晰的阶段边界,让来源、内容版本、自动提取结果和生产事实各自承担不同职责。
后续文章将分别讨论每个阶段为什么需要、如何设计,以及它在整条数据链路中解决了什么问题。
下一篇将从 Pipeline 的第一个主动环节开始:
页面发现:如何持续发现高价值页面。