← 返回文章
作者 ··约 4 分钟阅读·AI 用进真实工作

我把知识库改复杂了,答案真的更好了吗?

分类切片让答案结构更完整,也增加了迁移、维护和上下文成本。我用一次真实前后对照,算算这次复杂度到底值不值。

我把知识库改复杂了,答案真的更好了吗?

哈喽,我是阿梦。这个公众号,我会持续记录自己怎么把 AI 用进真实的工作,成功的、失败的、返工的,都是我的来时路~

去微信公众号「是哆啦 AI 梦」看看 →

哈喽,我是阿梦。这个博客,我会持续记录自己怎么把 AI 用进真实的工作,成功的、失败的、返工的,都是我的来时路~

上一篇写了为什么不同资料不能使用同一套切片规则。

文章沿着标题和段落拆,表格保留表头,问题和答案不能分开,操作步骤还要留住上下级关系。

规则听起来更合理了,系统也确实更复杂了。

但做完以后,我更关心的是:

我付出了这些成本,答案真的变好了吗?会不会反而消耗更多 Token?

阿梦在答案质量与系统复杂度之间做权衡

先算实践成本

这次改造不是调整一个数字。

我需要识别不同资料、设计对应规则、清理目录和旧版本,再重新处理整个资料库,重建索引,并人工判断系统无法确定的内容。

光是最后一次完整迁移,就运行了大约 89 分钟。后面又做了两轮维护,分别用了约 14 分钟和 19 分钟。

这还不包括前期写规则和调试的时间。

所以,本地处理虽然不消耗大模型 Token,却依然会消耗时间和维护精力。

如果答案没有明显变好,这些复杂度就不值得。

本地处理不消耗模型 Token,但依然需要时间、维护和人工检查

答案质量有没有提高?

我用一道真实问题做了前后对比:

新品牌海外社媒运营,从 0 到 1 应该怎么做?

旧方式找回了 15 条相关要点,包括平台、内容、达人和数据。

每一条单独看都有用,放在一起却像一桌散开的零件。AI 找到了很多相关内容,却不容易判断它们之间的顺序和关系。

新方式没有继续塞入更多片段,而是先保留原文的章节结构,再用其他资料补充对应环节。

这样,AI 不只知道“有哪些建议”,还知道:

  • 哪一步应该先做;
  • 哪些内容属于同一个环节;
  • 哪些观点来自主要资料;
  • 哪些是其他来源的补充;
  • 哪些是 AI 自己的综合判断。

最终,旧方式只能生成一份待检查的草稿;新方式得到的回答,结构和来源都更完整,可以继续使用。

它的提升不是“写得更长”,而是:

从一组相关建议,变成了一套顺序清楚、来源明确的回答。

旧方式得到零散建议,新方式保留资料关系并形成完整流程

会不会更消耗 Token?

Token 消耗的不是“知识库有多少规则”,而是最后有多少内容被送进模型。

本地完成的清洗、分类、切片和检索,通常不消耗大模型 Token。真正消耗 Token 的,是问题、找回的证据、来源说明、回答规则和最终生成的内容。

这次对比的结果是:

对比项 旧方式 新方式
证据正文 6827 字符 6406 字符
完整提示 13176 字符 14147 字符
回答耗时 约 204 秒 约 193 秒
最终结果 待检查草稿 可以继续使用

新方式的证据正文反而更少,因为它减少了零散片段。

但加入章节关系和来源说明后,完整提示增加了约 971 个字符,增幅约 7.4%。

目前系统记录的是字符数,不是模型返回的精确 Token,因此我不能直接说多花了多少 Token。

只能确认:

输入成本小幅增加了,但没有翻倍;增加的部分换来了更完整的结构和来源。

这一次耗时还少了约 11 秒。不过单次运行会受到网络和模型状态影响,暂时不能证明新方式一定更快。

本地处理不直接产生模型 Token,Token 取决于最终送进模型的内容

这笔复杂度值不值?

对这道完整流程题来说,我认为值得。

但这不代表所有问题都要使用最复杂的方式。

简单事实可以轻量检索;问答资料保留问题和答案;表格带回表头;只有完整流程题,才需要章节结构和多来源补充。

我现在判断一次改造是否有价值,会看三件事:

  • 它解决了什么真实错误;
  • 答案具体好在哪里;
  • 为此多付出了多少时间和上下文成本。

复杂不是问题。

没有换来更好结果的复杂,才是。

下一步,我还要继续验证:知识库能不能自己判断,什么时候应该轻一点,什么时候才值得把更多资料一起交给 AI。