第10章　驗證：以三個階段確保交付合格的流程

第4階段的敘述寫作結束後，1,500個 LLM 區塊都會填入文字。然而，僅僅填滿敘述，不能表示 Vault 已經完成。

此時的 Vault 規模龐大，卻尚未經過驗證：可能留有失效連結、同一人物被重複登錄為兩個詞條，或混入被分到錯誤世界觀軸的詞條。若未發現這些問題就把 Vault 交給下游工作，錯誤資訊也會一併被繼承。

第10章處理的，就是發現並處理這些潛在問題的驗證階段。

「驗證會拖慢創作」的誤解

初次接觸驗證時，常有人說：「檢查項目太多，若每一項都得通過，創作不是反而變慢嗎？」這是把驗證當成創作阻礙的看法；軟體開發的歷史已用長期經驗證明，這個看法並不正確。

1960年代早期的軟體開發現場，常先盡快寫出程式，出了問題再修。沒有驗證就發布，使用者發現錯誤才補救，結果並不好：錯誤不斷累積，修好一處又在別處生出新錯誤，程式越大，修正成本越呈指數增加。業界從中學到的是：越接近錯誤發生的時點抓到它，修正成本越低。 第1階段擷取時產生的錯誤在當下修正，成本是1；若讓它經過第2、3階段、擴散到 Vault 的1,500個檔案後才抓到，成本可能增加數十倍。驗證不會拖慢創作；沒有驗證，創作才會更慢。

製造業也有同樣的教訓。豐田生產方式的重要原則之一是發現異常便立刻停線。持續生產瑕疵品看似較快，但日後回收、報廢與修理的成本遠高得多。Librarying 的三階段驗證，就是把這個原則帶進創作流程：每一階段以不同成本捕捉不同層次的問題。

驗證保護創作的兩個案例

大規模運作驗證的公開創作案例是 Wikipedia。Wikipedia 有三項核心內容方針，其中之一是可驗證性：可能遭質疑的敘述與引文都必須附上可靠來源。違反原則的編輯可以透過 revert 回復到先前狀態；同一文件的編輯衝突，則會透過爭議解決公告板或意見徵詢（RfC）等程序尋求共識。我把這些裝置理解為保護創作的機制，而非阻礙創作的規範。沒有來源的敘述若持續堆積，最後沒有人能辨別何者為真，整部百科也會失去可信度；可驗證性與回退正是阻止崩壞的裝置。Librarying 自動段所做的失效連結與重複詞條檢查，也扮演相同角色。

遊戲領域也有類似例子。大型遊戲在上市前會由 QA（品質保證）執行回歸測試，確認加入新功能時沒有破壞原本可運作的部分；上市後則以更新說明公開改了什麼、如何改變。兩者共同守住遊戲這個巨大世界的一致性。Librarying 亦然：第3階段骨架建置或第4階段寫作重跑後，再執行一次自動段以確認沒有新問題，就是回歸測試；把驗證狀態在 Vault 索引記成一行，就是更新說明。

議題優先級：P0、P1、P2

驗證中發現的議題分為三個等級。如此可避免所有問題都以同樣的比重處理而浪費資源。

P0 是直接影響 Vault 可用性或破壞詞條同一性的議題，發現後必須立即修正。例如同一人物以兩個詞條重複登錄、hub 詞條出現失效連結、檔案的 frontmatter YAML 無法解析，或世界觀軸出現許可值以外的內容，都屬於此類；它們會使 Vault 本身運作失常。若有一個 YAML 解析失敗檔案，下游工作讀取它就會報錯。剛發現時三分鐘能修好的事，日後追查來源可能花三十分鐘。

損害可追溯性或參照完整性的議題歸為 P1，必須在交接前修正。像是 related 欄位的連結指向不存在檔案，或 manifest 的詞條數與實際檔案數不一致；Vault 雖然仍能運作，追溯性卻被破壞。

P2 是結構改善或後續補強，可延到下一個循環。例如 leaf 詞條敘述略低於標準篇幅，或未填的 %% LLM %% 區塊佔全部詞條5%以下。這類問題不妨礙使用 Vault。

有意識地決定什麼要立刻修、什麼可以稍後處理，正是優先級分類的核心。

第1階段：自動段——機器能抓到的，交給機器抓

自動段確認可由腳本或自動化工具檢查的完整性項目，不需要人的判斷即可決定通過或失敗。

它類似軟體開發的單元測試。單元測試自動確認一個函式是否如預期運作；測試失敗時，問題點就在眼前，因此比人逐行閱讀程式更快也更準確。

Librarying 的自動段在每一個管線階段都有檢查項目。第1階段完成檢查會確認工作計畫核取方塊是否100%完成、輸入文件是否均勻涵蓋、九個分類是否各至少有一件。若物件分類異常空白，可能是整批漏掉了勺子、鍋子等小道具。第2階段要求代表關鍵字重複0件、英文名缺漏0件、失效 wikilink 0件、版本狀態「未定」不超過5%、世界觀軸「未定」不超過10%、軸值超出允許集合0件。第3階段確認 .md 檔案數與第2階段 CSV 列數相符、frontmatter YAML 解析失敗0件、檔名衝突0件、worldbuilding_axis 缺漏0件。第4階段確認 LLM 敘述完成率95%以上、內容相對格式的比例60%以上、hub 詞條至少四段、leaf 詞條至少一段、每個 category 具有結構化區段、指向自身的連結0件，且 manifest 進度與實際檔案狀態一致。

這些項目幾乎可以立即透過自動化檢查。出現失敗便登錄為 P0 或 P1 並立刻處理。自動段有兩個價值：不必等人讀完才發現，而是機器立刻找出；而且骨架重建或敘述重寫後可重複檢查同一組項目，立即知道是否產生新問題。

第2階段：人工樣本段——需要意義與判斷的檢閱

自動段能抓住結構完整性，卻無法判斷「這組同義名是否真的是同一人物」這類需要意義與判斷的問題。人工樣本段負責的正是這個範圍。

這裡適用抽樣原理。工廠不必檢查全部1,000件產品；隨機抽取一部分仔細檢查，就能以較低成本得到判斷整體狀態的實務訊號。人工樣本段也如此：不讓人讀完全部1,500個詞條，而是仔細檢閱隨機抽取的樣本，找出整體品質的風險訊號。

因此原則不是全面檢查，而是每個分類隨機抽出1到2件直接閱讀。檢查四項內容。

整合判斷是否恰當：查看隨機選出的五個詞條，其異稱與別名是否真的指向同一對象，是否有不同人物被併到同一詞條。這是第2階段整合時 AI 的誤判一路落到 Vault 的情況，自動化無法抓到，必須由人直接閱讀。

第4階段敘述的語氣一致性：比較一個 hub 詞條與同分類五個中間詞條，確認 hub 建立的核心 framing 是否也以同樣方式在其他詞條中運作。不同批次使用不同 AI instance 時，批次邊界的語氣可能突然改變。

世界觀軸分類是否恰當：從每一個世界觀軸隨機選出五個詞條，確認它們真的屬於該軸。例如被歸在「天命」軸的詞條，實際上可能更接近「事件」分類。

結構化區段的正確性：確認裝置詞條的「限制條件」區段是否指向真實來源。若 AI 將沒有來源的推測寫成限制條件，就是 P1。

人工樣本段需時三十分鐘到一小時，發現的議題登錄為 P1 或 P2。若樣本中出現嚴重問題，就更廣泛檢閱其所屬分類；樣本送出警告，便擴大檢查全體。

第3階段：整合建置段——實際使用時是否正常運作

第三階段是最高層次的驗證。自動段檢查各檔案完整性，人工樣本段檢查意義是否正確；整合建置段則檢查這個 Vault 在實際使用時提供什麼樣的體驗。用軟體比喻，它相當於使用者驗收測試（UAT）：即使通過單元與整合測試，真正使用者仍可能發現意料之外的問題。

整合建置段要做三件事。

從頭到尾追隨一個 hub 詞條。 打開一個 hub 詞條，依序查看 frontmatter、定義、詳細說明、LLM 敘述、related、backlinks（指向此詞條的其他詞條）。沿著這條路徑確認資訊是否足夠、連結是否正確、敘述是否回答 IP 的問題。若追隨「宇沙部」的「祈雨祭」詞條時，想知道主持儀禮的人後來如何，卻沒有連到那項資訊的連結，就是 P2；Vault 不會立刻停止，但此處缺少應有的連線。

模擬寫一篇虛構短篇。 只看 Vault 嘗試寫一個短場景，找出哪裡會卡住；卡住的位置就是需要補強資料的位置。若要寫一位人物首次舉行祈雨祭的場景，卻沒有儀禮在哪裡舉行的資訊，就必須在地點相關詞條或祈雨祭敘述補上；此類議題登錄為 P2。

模擬新使用者。 確認第一次看到 Vault 的人能否從索引走到核心詞條，再從核心詞條走到相關詞條，並在三十分鐘內理解 IP 世界觀。長期創作 IP 的製作人已經知道 Vault 內容，即使資訊缺失也會用記憶補上；新使用者不能。新的編輯者或翻譯者加入時，必須只靠 Vault 就能掌握 IP。新使用者模擬檢查的正是這個準備狀態。

整合建置段需要一到兩小時。發現的問題登錄為 P2，並連到索引、hub 詞條與輔助文件的補強計畫。

交接合格核取方塊

三階段驗證結束後，確認交接合格核取方塊。所有必要項目都通過，才能把 Vault 交給下游工作。

必要項目只要一項未通過，便暫緩交接。必要項目包括：自動段全部通過；第4階段委派後的五階段檢閱全部通過；manifest 標示「交接準備完成」；所有 P0 已立即修正；所有 P1 已修正或明確決定延期；已附上 profile、世界觀軸目錄及輔助文件目錄。建議項目最多容許一項未通過：人工樣本段通過、整合建置段判定僅靠資料已足夠、輔助文件依目錄產出、hub 詞條由製作人直接撰寫。

核取方塊完成後，把驗證狀態以一行記在 Vault 索引檔，讓第一次開啟 Vault 的人也能立刻確認其狀態。

合格線體系：為何每一階段的標準不同

管線各階段的合格線不同。第1階段目標是「盡可能多收集」，收集到60%即可進入下一步。第2階段是整合與精煉，絕大多數詞條都必須填齊13欄並達95%，其餘5%可維持「未定」。第3階段是決定性的自動化階段，必須100%：一個檔案也不能錯誤生成。第4階段的 hub 與 leaf 篇幅標準不同，但整個營運用 Vault 的 LLM 敘述完成率必須達95%以上。leaf 詞條可以短，並不表示能大量留白。餘下未寫部分必須低於全體5%，明示為 P2，並列入下一輪補強計畫。

有了這套合格線，便清楚知道何處必須追求完整、何處可以適度前進。第1階段追求100%是浪費時間；第3階段只達99%則是問題。每個階段標準不同，都有其理由。

驗證完成，走向交接

通過三階段的 Vault 已準備好交接給下游工作。但交接之後，Vault 是否就停在那裡？不是。Vault 會與 IP 一起持續存活與變動。

第11章將討論營運循環：新 IP 內容發布時 Vault 如何更新、新詞條如何逆流，以及只要 IP 持續存在，Vault 如何一同持續運作。

第10章 驗證：以三個階段確保交付合格的流程