第10章　验证：用三个阶段确保交接合格的流程

第4阶段叙述写作结束后，1,500个 LLM 区块都将填入文字。然而，文字填满并不表示 Vault 已经完成。

此时 Vault 规模很大，却还没有经过验证。失效链接、同一人物的重复词条、被分到错误世界观轴的词条都可能仍然存在。若在发现这些问题前把 Vault 交给下游工作，错误信息也会原样被继承。

第10章讨论的就是发现并处理这些潜在问题的验证阶段。

“验证会拖慢创作”的误解

初次接触验证时，有人会说：“检查项太多。如果全部都必须通过，创作不会更慢吗？”这种看法把验证当作创作的阻碍；软件开发的历史已经用长期经验证明，它并不正确。

20世纪60年代早期的软件开发常常先快速写代码，出了问题再修。没有验证就发布，等用户找到错误再补救，结果并不好：错误不断累积，修好一处又在别处产生新错，代码越大，修复成本越呈指数增长。行业从中学到的是：越靠近错误发生时点发现它，修复成本越低。 第1阶段提取时产生的错误立即修正，成本是1；若经第2、3阶段扩散到 Vault 的1,500个文件后才发现，成本会增加数十倍。验证不会拖慢创作；缺少验证，创作才会变慢。

制造业也有相同教训。丰田生产方式的一项核心原则是发现异常立即停线。持续制造瑕疵品看似更快，但之后回收、报废或维修的成本高得多。Librarying 的三阶段验证把这个原则带进创作流程：每一阶段以不同成本抓住不同层次的问题。

验证保护创作的两个案例

Wikipedia 是大规模运行验证的公开创作案例。它有三项核心内容方针，其中一项是可验证性：可能受到质疑的叙述与引文必须附上可靠来源。违反原则的编辑可以通过 revert 恢复；针对同一文件的编辑冲突，则可经由争议解决公告板或征求意见（RfC）等程序寻求共识。这些不是阻止创作的规章，而是保护创作的装置。若无来源的叙述不断积累，最终没有人能分辨事实，百科全书整体也会失去可信度。可验证性与回退防止了这种崩坏。Librarying 自动阶段检查失效链接和重复词条，也起着同样作用。

游戏领域也有类似做法。大型游戏在发售前由 QA（质量保证）运行回归测试，确认加入新功能没有破坏原先正常的部分；发售后通过补丁说明公开改了什么。这两件事共同维护游戏这个大世界的一致性。Librarying 也一样：在第3阶段骨架构建或第4阶段写作重跑后再次执行自动阶段，是回归测试；在 Vault 索引中用一行记录验证状态，则相当于补丁说明。

问题优先级：P0、P1、P2

验证中发现的问题分为三个等级，以免把每个问题都用同样的力度处理。

P0 直接影响 Vault 的可用性，或破坏词条同一性，发现后立即修复。例如同一人物被登记为两个词条、hub 词条出现失效链接、文件的 frontmatter YAML 解析失败、世界观轴填写了允许值以外的内容。它们都属于 Vault 本身会失常的级别。一个 YAML 解析失败文件就会让下游读取工作报错；刚发现时三分钟能修好的问题，之后追查来源可能要三十分钟。

损害可追溯性或引用完整性的问题归为 P1，必须在交接前修正。比如 related 链接指向不存在的文件，或 manifest 的词条数量与实际文件数量不一致。Vault 虽可运行，但追溯性已经受损。

P2 指结构改善或后续补强，可留给下一轮。leaf 词条叙述略少于标准篇幅，或未填写的 %% LLM %% 区块占全部词条不超过5%，均属于 P2，不会妨碍 Vault 的使用。

有意识地决定哪些现在必须修、哪些可以以后处理，正是优先级分类的核心。

第1阶段：自动阶段——机器能抓住的，让机器来抓

自动阶段检查脚本与自动化工具可以判断的完整性项目，不依赖人工判断即可决定通过或失败。

它类似软件开发中的单元测试。单元测试自动确认一个函数是否按预期工作；一旦失败，问题位置立即明确，因此比人工通读代码更快、更准确。

Librarying 的自动阶段在管线各阶段设置检查项。第1阶段确认工作计划复选框是否100%完成、输入文件是否均匀覆盖、九个分类是否均至少有一项；物件分类异常为空，可能意味着整批漏掉了勺子、锅等道具。第2阶段确认代表关键词重复0件、英文名缺失0件、失效 wikilink 0件、版本状态“未定”不超过5%、世界观轴“未定”不超过10%、轴值超出允许范围0件。第3阶段确认 .md 文件数与第2阶段 CSV 行数相符、frontmatter YAML 解析失败0件、文件名冲突0件、worldbuilding_axis 缺失0件。第4阶段确认 LLM 叙述完成率至少95%、内容相对格式比例至少60%、hub 词条至少四段、leaf 至少一段、各 category 存在结构化区段、指向自身的链接为0，且 manifest 进度与实际文件状态一致。

这些内容几乎可以立即自动检查。出现失败便登记为 P0 或 P1 并立刻处理。自动阶段的价值有二：机器不用等人工读完就能立即发现问题；骨架重建或叙述重写后还能重跑同一组检查，立刻知道是否引入了新问题。

第2阶段：人工样本阶段——需要语义与判断的审查

自动阶段抓住结构完整性，却无法判断“这一组同义名是否真的是同一人物”这类需要语义与判断的问题。人工样本阶段负责的正是这个范围。

这里适用抽样原理。工厂不必检查全部1,000件产品；随机抽取部分仔细检查，即能以较低成本获得整体状态的实务信号。人工样本阶段也不让人读完1,500个词条，而是仔细审查随机抽出的样本，寻找整体质量的风险信号。

所以原则不是全面审查，而是每个分类随机抽取1到2项直接阅读。检查四项内容。

整合判断是否恰当：查看随机选出的五个词条，其异称和别名是否真的指向同一对象，不同人物是否被错误合到同一词条。这是第2阶段整合时 AI 误判一路进入 Vault 的情形，自动化无法发现，必须由人直接阅读。

第4阶段叙述的语气一致性：比较一个 hub 词条和同分类五个中间词条，确认 hub 建立的核心 framing 是否也在其他词条中以同样方式发挥作用。不同批次使用不同 AI 实例时，批次边界的语气可能突然变化。

世界观轴分类是否恰当：从每条世界观轴随机选取五个词条，确认它们确实属于该轴。例如归入“天命”轴的词条，实际可能更接近“事件”。

结构化区段是否准确：确认装置词条的“约束条件”区段是否指向真实来源。若 AI 把无来源的猜测写成约束条件，就是 P1。

人工样本阶段需要三十分钟到一小时。发现的问题登记为 P1 或 P2；样本中若出现严重问题，就扩大审查其所属分类。样本发出警报时，便进一步查看整体。

第3阶段：集成构建阶段——实际使用时能否正常工作

第三阶段是最高层次的验证。自动阶段检查单个文件完整性，人工样本阶段检查语义准确性；集成构建阶段则检查 Vault 在真实使用中提供的体验。以软件比喻，它相当于用户验收测试（UAT）：即便通过单元与集成测试，实际用户使用时仍可能发现意外问题。

集成构建阶段做三件事。

从头到尾跟随一个 hub 词条。 打开一个 hub 词条，按顺序查看 frontmatter、定义、详细说明、LLM 叙述、related、backlinks（指向此词条的其他词条）。沿途检查信息是否足够、链接是否正确、叙述是否回答 IP 的问题。比如跟随“宇沙部”的“祈雨祭”词条时，若想了解举行仪式的人后来如何却没有链接通往该信息，就是 P2。Vault 不会立即停止，但此处缺少应有的连接。

模拟写一篇虚构短篇。 只看 Vault 尝试写一个短场景，找出在哪里卡住；卡住之处就是需要补强资料之处。若要写人物初次举行祈雨祭的场景，却没有仪式地点的信息，就应在地点词条或祈雨祭叙述中补充；此类问题登记为 P2。

模拟新用户。 确认第一次看到 Vault 的人能否从索引走到核心词条、再走到相关词条，并在三十分钟内理解 IP 的世界观。长期创作 IP 的制作人已知 Vault 内容，会用记忆补足缺失信息；新用户无法这样做。新的编辑者或译者加入时，必须只凭 Vault 就能理解 IP。新用户模拟正是在确认这种准备状态。

集成构建阶段需一到两小时。发现的问题登记为 P2，并转入索引、hub 词条和辅助文件的补强计划。

交接合格复选框

三阶段验证结束后，确认交接合格复选框。全部必要项目通过后，Vault 才能交给下游工作。

必要项目只要有一项未通过就暂缓交接：自动阶段所有项目通过；第4阶段委派后的五阶段审查全部通过；manifest 标示“已准备交接”；所有 P0 均已立即修复；所有 P1 均已修复或明确决定延期；已附上 profile、世界观轴目录和辅助文件目录。建议项目允许最多一项未通过：人工样本阶段通过、集成构建阶段认定资料本身足够、辅助文件按目录产出、hub 词条由制作人亲自撰写。

复选框完成后，把验证状态用一行记录在 Vault 索引文件中，使第一次打开 Vault 的人也能立刻确认其状态。

合格线体系：为什么每个阶段标准不同

管线阶段的合格线各不相同。第1阶段目标是“尽可能多收集”，收集到60%即可前进。第2阶段是整合与精炼，大多数词条必须填满13列并达到95%，其余5%可保留为“未定”。第3阶段是决定性的自动化阶段，必须100%：一个文件也不能出错。第4阶段对 hub 和 leaf 的篇幅标准不同，但整个运营 Vault 的 LLM 叙述完成率必须至少95%。leaf 词条可以短，不意味着可以大量留空；剩余未写部分必须不超过5%，明确记为 P2，并列入下一轮补强计划。

有了这一体系，哪里必须追求完整、哪里可以适度前进便很清楚。第1阶段追求100%是浪费时间；第3阶段只达到99%则是问题。不同阶段采用不同标准，各有其理由。

完成验证，走向交接

通过这三阶段的 Vault 已准备好交接给下游工作。但交接之后，Vault 会停在那里吗？不会。Vault 将随着 IP 持续存活与变化。

第11章将讨论运营循环：新 IP 内容发布时 Vault 如何更新、新词条如何逆流，以及只要 IP 存在，Vault 如何一同持续运作。

第10章 验证：用三个阶段确保交接合格的流程