返回博客
PostgreSQLSupabasepgvectorRAGLLM知识库

使用 PostgreSQL 搭建轻量知识库:全文检索、向量召回与 LLM 问答实现方案

本文介绍一种基于 PostgreSQL 的轻量知识库实现方案:将 Markdown 或业务文档结构化入库,结合全文检索、pgvector 向量召回和 LLM 生成回答,搭建适合中小型项目的智能问答能力。

RaytonX
4 min read

在很多项目里,知识库最开始只是一些 Markdown、FAQ、产品说明、技术文档或运营手册。

如果只需要展示页面,把这些内容放在 Git 仓库、CMS 或对象存储里都可以。但当我们希望进一步做站内搜索、相关文章推荐、智能问答,甚至让 LLM 基于这些内容回答用户问题时,内容就不能只停留在“文件”层面。

一种轻量而实用的方案是:

使用 PostgreSQL 作为知识库的结构化存储层,将文档、段落、标签、来源、向量和检索状态统一管理,再结合 LLM 实现问答。

如果使用 Supabase,本质上也是在使用托管 PostgreSQL,并且可以比较方便地启用 pgvector、权限策略和 API 能力。

整体思路

知识库的核心不是“把所有内容丢给大模型”,而是先在数据库里完成可控的内容管理和召回。

一个基础流程可以这样设计:

Markdown / 文档 / FAQ
  │
  ▼
解析与清洗
  - 提取标题、摘要、标签、来源
  - 去除无用格式
  - 按段落或语义切分
  │
  ▼
PostgreSQL
  - documents:文档元数据
  - document_chunks:知识片段
  - tsvector:全文检索
  - vector:语义检索
  │
  ▼
检索层
  - 关键词检索
  - 向量召回
  - 混合排序
  │
  ▼
LLM 回答
  - 拼接上下文
  - 限定回答范围
  - 返回引用来源

这里 PostgreSQL 承担的是知识库的“底座”:保存内容、维护结构、提供查询能力,并为 LLM 提供可控上下文。

数据表设计

可以先把知识库拆成两层:文档和片段。

documents 保存一篇完整内容的元数据,例如标题、slug、来源、语言、状态和更新时间。

create table documents (
  id uuid primary key default gen_random_uuid(),
  slug text not null unique,
  title text not null,
  summary text,
  source text,
  locale text not null default 'zh',
  tags text[] not null default '{}',
  status text not null default 'published',
  published_at timestamptz,
  updated_at timestamptz not null default now()
);

document_chunks 保存被切分后的知识片段。LLM 问答时通常不会把整篇文章塞进上下文,而是召回最相关的几个片段。

create table document_chunks (
  id uuid primary key default gen_random_uuid(),
  document_id uuid not null references documents(id) on delete cascade,
  chunk_index int not null,
  heading text,
  content text not null,
  token_count int,
  search_vector tsvector,
  embedding vector(1536),
  created_at timestamptz not null default now(),
  updated_at timestamptz not null default now()
);

其中:

  • content 是片段正文
  • search_vector 用于 PostgreSQL 全文检索
  • embedding 用于向量检索
  • heading 用于保留片段所属小标题,方便回答时生成引用

如果暂时还不做向量检索,可以先不加 embedding 字段,只用全文检索和结构化标签就能跑起来。

文档切分

知识库问答的质量,很大程度取决于切分策略。

切得太大,召回内容会冗余,浪费上下文;切得太小,片段缺少语义,LLM 容易拿不到完整信息。

比较稳妥的做法是:

  • 优先按 Markdown 标题切分
  • 每个片段保留所属标题路径
  • 单个片段控制在 300 到 800 中文字左右
  • 过长段落再按自然段拆分
  • 表格、列表、代码块尽量不要从中间切断

例如一篇 Markdown:

## 退款规则

课程购买后 7 天内,如果学习进度低于 20%,可以申请退款。

## 发票说明

企业客户可以申请普通发票或专用发票。

可以被切成两个 chunk:

[
  {
    "heading": "退款规则",
    "content": "课程购买后 7 天内,如果学习进度低于 20%,可以申请退款。"
  },
  {
    "heading": "发票说明",
    "content": "企业客户可以申请普通发票或专用发票。"
  }
]

这样做的好处是,检索结果不仅能返回正文,也能告诉用户答案来自哪个主题。

全文检索

PostgreSQL 自带全文检索能力,适合处理明确关键词问题。

例如用户搜索“退款 发票”,可以用 to_tsvector 和 plainto_tsquery 做匹配。

update document_chunks
set search_vector = to_tsvector('simple', coalesce(heading, '') || ' ' || content);

然后创建索引:

create index document_chunks_search_idx
on document_chunks
using gin(search_vector);

查询时:

select
  dc.id,
  dc.heading,
  dc.content,
  ts_rank(dc.search_vector, plainto_tsquery('simple', '退款 发票')) as rank
from document_chunks dc
join documents d on d.id = dc.document_id
where
  d.status = 'published'
  and dc.search_vector @@ plainto_tsquery('simple', '退款 发票')
order by rank desc
limit 5;

全文检索的优势是结果可解释、成本低、速度快。它适合“用户的问题里已经包含明确关键词”的场景。

向量召回

当用户的问题不是简单关键词,而是语义表达时,就需要向量检索。

例如:

买了课之后不满意怎么办?

这句话不一定包含“退款”两个字,但语义上应该召回“退款规则”。

使用 pgvector 后,可以给 document_chunks.embedding 建索引:

create extension if not exists vector;

create index document_chunks_embedding_idx
on document_chunks
using ivfflat (embedding vector_cosine_ops)
with (lists = 100);

查询时先把用户问题转成 embedding,再做相似度检索:

select
  dc.id,
  dc.heading,
  dc.content,
  1 - (dc.embedding <=> $1) as similarity
from document_chunks dc
join documents d on d.id = dc.document_id
where d.status = 'published'
order by dc.embedding <=> $1
limit 5;

这里 $1 是用户问题的向量。

向量召回更适合自然语言问题,但它也有不足:有时语义相近不代表业务答案正确。所以实际项目里通常不会只依赖向量召回。

混合召回

更稳妥的方式是把全文检索和向量召回结合起来。

一种简单做法:

  1. 用全文检索召回一批结果
  2. 用向量检索召回一批结果
  3. 合并去重
  4. 按关键词分数、向量相似度、文档权重、更新时间重新排序

伪代码大致是:

const keywordResults = await searchByKeyword(question);
const vectorResults = await searchByEmbedding(questionEmbedding);

const merged = mergeAndRerank({
  keywordResults,
  vectorResults,
  weights: {
    keyword: 0.4,
    vector: 0.5,
    freshness: 0.1,
  },
});

对中小型知识库来说,这种混合召回已经足够处理很多真实问题。

如果后续内容量很大、查询复杂度很高,再考虑引入专门的搜索服务或向量数据库也不迟。

LLM 问答接口

召回相关片段后,再把这些片段作为上下文交给 LLM。

关键点是:不要让模型自由发挥,而是明确要求它只能基于上下文回答。

const context = chunks
  .map((chunk, index) => {
    return `[${index + 1}] ${chunk.heading ?? '知识片段'}\n${chunk.content}`;
  })
  .join('\n\n');

const prompt = `
你是一个知识库问答助手。
请只基于下面的资料回答用户问题。
如果资料中没有答案,请直接说明“当前资料中没有找到相关信息”。
回答后列出引用编号。

资料:
${context}

用户问题:
${question}
`;

回答结果可以包含引用:

课程购买后 7 天内,且学习进度低于 20% 时,可以申请退款。参考资料:[1]

这样做可以降低幻觉,也方便用户回到原文确认。

内容更新流程

知识库不是一次性导入就结束了。更常见的情况是:文章、FAQ、产品说明会持续更新。

可以沿用 Git + GitHub Actions 的流程:

Markdown 更新
  │
  ▼
GitHub Actions
  - 校验 frontmatter
  - 更新 documents
  - 重新切分 chunks
  - 生成 embedding
  - upsert 到 PostgreSQL
  │
  ▼
Next.js / API
  - revalidate 页面缓存
  - 问答接口读取最新知识片段

更新策略可以简单一些:

  • 文档内容没变:不重新生成 embedding
  • 文档内容变化:删除旧 chunks,重新切分并写入
  • 标题、标签变化:只更新 documents
  • 发布状态变化:立即影响检索条件

如果内容量不大,重新生成整篇文章的 chunks 和 embedding 是可以接受的。等数据规模上来后,再做增量 diff。

权限与安全

知识库如果只服务公开内容,权限模型会比较简单。

如果涉及内部文档、客户资料或付费内容,需要在检索层就做权限过滤,而不是等 LLM 回答后再过滤。

例如:

select dc.*
from document_chunks dc
join documents d on d.id = dc.document_id
where
  d.status = 'published'
  and d.visibility in ('public', 'customer')
order by dc.embedding <=> $1
limit 5;

原则是:用户没有权限看到的内容,不应该进入 LLM 上下文。

在 Supabase 场景中,还可以结合 RLS 控制不同用户、组织或角色能访问哪些文档。

这种方案适合什么场景

基于 PostgreSQL 的知识库适合:

  • 公司官网 FAQ 和技术博客问答
  • SaaS 帮助中心
  • 内部运营手册
  • 产品文档检索
  • 中小型 RAG 问答系统
  • 已经使用 Supabase/PostgreSQL 的项目

它的优势是工程链路短,内容、元数据、权限、全文检索和向量检索可以放在同一个数据库里,开发和维护成本都比较可控。

当然,它不是所有知识库的终点。如果内容规模非常大,或者需要复杂搜索排序、日志分析、多租户大规模向量检索,后续可以把搜索层拆出去。但在早期阶段,先用 PostgreSQL 把内容资产管理起来,通常已经足够。

实践场景:学在大马

以“学在大马”这类教育信息平台为例,知识库并不只是几篇静态文章。它可能同时包含:

  • 学校介绍
  • 学费说明
  • 课程体系
  • 申请流程
  • 签证与陪读政策
  • 家长常见问题
  • 留学指南和案例内容

这些内容天然适合先进入 PostgreSQL:学校、城市、课程、标签、发布时间、语言版本等字段可以结构化查询;正文内容可以切分成知识片段,用全文检索和向量检索做召回。

当用户提问“吉隆坡有哪些适合低龄孩子的国际学校?”或“申请马来西亚国际学校一般需要准备什么材料?”时,系统可以先从 PostgreSQL 中筛选公开且相关的学校数据、指南文章和 FAQ 片段,再交给 LLM 生成回答。

这样做的重点不是让模型凭空回答,而是让模型基于平台已经整理过、审核过的内容回答。PostgreSQL 在这里承担的是内容事实库和召回层,LLM 负责把召回结果组织成更自然的表达。

总结

使用 PostgreSQL 搭建知识库的关键,不是把数据库当成简单的文本仓库,而是利用它的结构化能力:

  • 用表结构管理文档、片段、状态和来源
  • 用全文检索处理明确关键词问题
  • 用 pgvector 处理语义相似问题
  • 用混合召回提高问答稳定性
  • 用权限过滤确保 LLM 只能读取用户可见内容
  • 用 GitHub Actions 或后台流程持续同步知识内容

这样一来,Markdown、文档和 FAQ 不只是页面内容,也可以成为搜索、推荐和智能问答的基础数据。