제3장. 입력에서 Vault까지 - 4단계의 흐름

왜 한 번에 다 처리할 수 없을까요. IP 문서를 펼쳐 두고 곧장 최종 산출물을 만들면 안 되는 걸까요. 그 최종 산출물을 옵시디안에서는 Vault라고 부르는데, 이 장에서 처음 등장하는 호칭이니 정확한 모양은 잠시 뒤 "출력의 풍경"에서 소개하겠습니다. 라이브러링의 4단계가 존재하는 이유가 바로 이 질문에 대한 답입니다.

라이브러링은 입력에서 시작해 1차 추출, 2차 통합, 3차 골격 빌드, 4차 서술 집필을 거쳐 Vault로 마무리됩니다. 각 단계가 무엇을 받아 무엇을 만드는지, 그 사이에 어떤 결정이 개입하는지, 사람과 AI가 어디서 어떻게 일을 나누는지를 차례로 짚어 보겠습니다.

입력의 풍경

작업을 시작하는 책상을 한번 떠올려 봅시다. 룰북 1판부터 3판까지 쌓여 있고, 5년치 단편이 모인 폴더가 있고, 누군가 만들어 두고는 손을 놓은 외부 위키 페이지가 있고, 협업 채팅에 한 번 올라왔다가 사라진 명명 후보가 있습니다. 라이브러링이 받는 입력은 바로 이 흩어진 자료 전부입니다. 한 IP의 모든 문서가 그대로 입력으로 들어옵니다.

이 장에서는 특정 IP 하나를 끝까지 따라가는 대신, 단계마다 가장 잘 들어맞는 사례를 짧게 골라 인용하겠습니다. 사례에 등장하는 인물, 장치, 사건은 어느 독자의 IP와도 직접 겹치지 않도록 익명의 "어느 IP"로 처리합니다. 읽어 나가다 그 책상 풍경이 자기 책상과 포개져 보인다면, 바로 그 포개짐이 이 절차를 자기 IP로 옮기는 통로가 됩니다.

룰북이 있다면 1판, 2판, 3판이 모두 입력이고, 폐기된 0판까지 포함합니다. 폐기된 자료에서 비롯한 명사나 시점이 살아 있는 단편으로 흘러들어 갔을 수 있어서, 그 흔적을 붙잡아 두려면 폐기 판본도 한 번은 통과시켜야 하기 때문입니다. 단편과 소설, 시나리오는 IP가 운영해 온 모든 작품이 입력이며, 외국어 작품이라면 원문도 함께 넣습니다. 기획서와 설계서도 입력으로 들어오는데, 기획서가 한 작품의 큰 그림과 의도를 정리한 문서라면 설계서는 인물의 트라우마, 사건의 인과 사슬, 장치의 작동 원리처럼 작품에는 직접 드러나지 않은 결정까지 담은 문서입니다.

외부 위키도 통과시킵니다. 누군가 5년 전에 만들기 시작했다가 손을 멈춘 페이지들인데, 갱신이 이어지는 페이지든 방치된 페이지든 모두 입력에 포함합니다. 방치된 페이지에도 5년 전의 명사와 시점이 보존되어 있어서, 그 명사가 현행 작품과 어긋나는지 확인하려면 한 번은 통과시켜야 하기 때문입니다.

작품이 영상이거나 게임이라면 씬별 대사 데이터, 컷씬 스크립트, 게임 내 텍스트가 입력입니다. 그리고 책상 옆에 끼워 둔 종이 메모, 임시 파일 폴더의 텍스트, 협업 채팅 로그에 한 번 등장한 명명 후보까지, 정식 자료가 아니어도 일단 통과시킵니다. 1차 추출의 합격선이 너그럽기 때문입니다.

입력의 양은 IP에 따라 다른데, 5년 운영한 중규모 IP라면 본문 텍스트를 합산해 100만 자에서 500만 자 사이입니다. 한국어 단행본 한 권을 평균 30만 자 정도로 잡으면 책 3권에서 17권 분량의 텍스트가 입력으로 들어오는 셈이고, 이 양을 한 사람이 한 번 통독하는 데에만 한 달이 듭니다. 라이브러링은 이 입력에서 키워드를 끌어내는 작업이지만 통독은 사람이 하지 않는데, 사람이 통독으로 끌어내려 하면 작업이 다시 6개월짜리로 늘어나기 때문입니다.

입력 정리에서 가장 먼저 하는 일은 위치 카탈로그를 짜는 일입니다. 어느 디렉토리에 어떤 문서가 있는지, 그 문서가 IP의 어느 시기에 해당하는지, 어떤 영역(룰, 단편, 기획, 외부)에 속하는지를 한 표로 정리합니다. 이 카탈로그가 1차 추출의 출발점이고, 사람의 결정으로 짭니다. AI 작업 동료에게 디렉토리 트리를 건네고 카탈로그를 받아 올 수도 있지만, 어떤 문서가 어떤 영역에 속하는지의 판단은 사람이 합니다. 이 판단이 흐려지면 다음 단계의 추출도 흐려집니다.

출력의 풍경

라이브러링의 출력은 옵시디안 Vault입니다. Vault는 옵시디안에서 한 묶음의 .md 파일을 가리키는 말로, 한 작업 폴더 안에 .md 파일들이 들어 있고 그 파일들 사이에 wikilink가 걸려 있는 자료의 집합입니다. 옵시디안을 처음 쓰는 독자라면 Vault를 한 IP의 도서관 한 채 정도로 떠올리면 됩니다. 도서관 한 채 안에 책 1,500권이 꽂혀 있고, 책끼리 인용으로 서로 연결되어 있다고 보면 됩니다.

한 IP의 Vault를 처음 열어 보면 이렇게 보입니다. 좌측 사이드바에는 1,000개에서 2,000개의 .md 파일이 알파벳순 또는 가나다순으로 늘어서 있고, 그 위에는 검색창이, 옆에는 그래프 뷰를 띄우는 버튼이 있습니다. 파일 하나를 누르면 본문이 나타나는데, 본문은 다섯 부분으로 구성됩니다. 머리에 놓인 frontmatter(YAML 메타 정보), 한두 줄의 정의, 두세 단락의 상세 설명, 다국어 번역 후보, 그리고 AI 작업 동료가 짜낸 200자에서 1,000자 분량의 서술입니다.

frontmatter는 키와 값이 콜론으로 짝지어진 줄들의 모음입니다. 대표키워드, 분류, 세계관축, 영문명, 로마자, 버전상태, 출처, 관련키워드 같은 정보가 줄별로 들어갑니다. 이 가운데 세계관축은 이 책이 쓰는 두 번째 분류 기준의 이름인데, 6장에서 한 장을 들여 다룹니다. frontmatter는 사람이 직접 읽을 일이 거의 없고, 검색이나 자동화가 이를 읽어 일을 처리합니다. 정의는 한두 줄, 상세는 짧으면 한 단락에 길면 두세 단락, 번역 후보는 영어와 로마자 같은 다국어 표기, 서술 블록은 한 표제어의 비중에 따라 200자에서 1,000자 사이의 서술이 들어갑니다. 이 다섯 부분이 한 .md 파일의 모양이고, 1,500개 파일이 모두 같은 형식으로 정리되어 있습니다.

옵시디안의 그래프 뷰 버튼을 누르면 한 화면에 1,500개의 점과 그 사이를 잇는 선이 펼쳐지는데, 점은 표제어 한 개에 선은 wikilink 한 개에 대응합니다. 선이 많이 모여 있는 점이 hub이고 선이 적은 점이 leaf이며, 이렇게 별자리처럼 펼쳐지는 그림이 라이브러링의 최종 산출물입니다.

이 산출물이 한 번 완성되면 Vault가 IP의 진실 공급원이 됩니다. 외국어 작품의 깊이 읽기 작업이 Vault의 인물과 장치 표제어를 인용하고, 캐릭터를 0에서 빚어내는 작업이 Vault의 세계관 키워드를 참조하고, 출판 LOREBOOK 제작이 Vault의 표제어 1,500개를 백과사전 항목으로 변환합니다. 이 출구의 풍경은 12장에서 자세히 다룹니다.

흐름은 선형이 아닙니다. 출구 작업 과정에서 새로 생긴 어휘, 새로 확정된 표기, 새로 추가된 설정이 Vault로 되돌아오는데, 이것을 역류라고 부릅니다. 역류가 들어올 때마다 1차 추출과 2차 통합의 미니 사이클이 반복되고 3차 골격 빌드가 증분 갱신되어서, 한 번 만들면 끝나는 것이 아니라 IP가 살아 있는 동안 Vault도 계속 성장합니다. 역류와 운영 사이클은 11장에서 자세히 다룹니다.

왜 이 순서여야 하는가

4단계를 소개하기 전에 한 가지 질문에 답해 두고 싶습니다. 왜 굳이 4단계일까요. 2단계나 3단계로 줄이면 안 되는 걸까요.

각 단계가 왜 그 순서에 놓이는지를 이해하면, 자기 IP에 라이브러링을 적용할 때 어느 단계를 어떻게 조정할 수 있는지가 보입니다.

각 단계는 서로 다른 층위의 문제를 해결합니다. 1차가 다루는 물음은 "무엇이 있는가"여서, 입력 문서들에서 키워드 자체를 끌어내는 일입니다. 2차는 "같은 것끼리 묶여 있는가"로 넘어가, 같은 의미의 표기들을 한 표제어로 합치고 대표 표기를 정합니다. 3차에 이르면 물음이 "도구가 다룰 수 있는 형식인가"로 바뀌어, CSV의 행을 옵시디안 .md 파일로 변환합니다. 마지막 4차가 묻는 것은 "살아 있는 정보인가"이며, 표제어가 IP 안에서 어떤 위치를 차지하는지를 풀어내는 서술을 채웁니다.

층위가 다르기 때문에 순서를 바꿀 수 없습니다. 2차 통합부터 시작하면 묶을 재료가 없어 일이 출발하지 못합니다. 2차를 건너뛰고 1차의 5,000행을 곧장 3차에 넘기면 같은 대상이 세 개의 .md 파일로 흩어지고, 그 셋이 서로를 인용하지 않습니다. 3차를 건너뛰면 CSV 안에 표제어 2,000개가 줄지어 있을 뿐 .md 파일이 없어 4차의 서술이 들어갈 공간이 없습니다. 4차를 건너뛰면 frontmatter와 정의, 상세는 있지만 IP 안에서의 위치를 풀어낸 서술이 없어, 출구 작업이 정보는 있지만 맥락이 없는 사전을 받게 됩니다.

데이터 공학에는 ETL이라는 뼈대가 있습니다. 추출(Extract), 변환(Transform), 적재(Load)의 머리글자를 딴 이름으로, 데이터를 추출하고 변환해 적재하는 세 단계인데, 데이터 공학이 수십 년 동안 다듬어 온 자산입니다. 라이브러링의 1차 추출은 추출에, 2차 통합은 변환에, 3차 골격 빌드는 적재에 정확히 대응합니다.

여기서 흔히 "그러니 라이브러링의 앞 세 단계는 ETL의 응용일 뿐"이라고 정리하고 싶어집니다. 저는 반대로 봅니다. 데이터 공학은 이 뼈대를 거래 기록, 로그, 센서 수치 같은 정형 및 반정형 데이터에 써 왔지만, IP 서사 자료는 누구도 이 뼈대에 넣어 본 적이 없는 재료입니다. 룰북과 단편과 폐기 판본과 외부 위키처럼 사람의 손맛과 모순과 시기 변화가 뒤섞인 자료를 추출-변환-적재의 틀에 처음으로 벼려 넣은 것이 1차, 2차, 3차입니다. 비슷한 무언가가 아니라, 검증된 뼈대를 새 재료에 빌려와 전용한 결과입니다.

그리고 4차는 ETL에 없습니다. 데이터 공학이 적재에서 끝나는 데 비해, 라이브러링은 정리된 자료 위에 살아 있는 서술을 한 겹 더 얹습니다. 정리에서 멈추지 않고 그 위에 글을 쓰는 이 4차가 라이브러링의 고유함이고, 어느 데이터 파이프라인에도 이에 대응하는 단계가 없습니다.

네 단계가 만드는 것

각 단계가 어떤 입력을 받아 어떤 산출물을 만드는지를 짧게 짚어 두겠습니다. 자세한 내용은 4장부터 9장까지에서 한 단계씩 펼칩니다.

1차 추출은 입력 문서들에서 키워드를 모조리 끌어내 5컬럼 CSV로 정리하는 단계입니다. CSV는 쉼표로 칸을 구분한 표 형식의 텍스트 파일로, 스프레드시트와 자동화 도구 양쪽이 다룰 수 있어 중간 산출물 형식으로 적합한데, 여기서는 IDX, 분류, 키워드, 설명, 출처의 다섯 컬럼을 쓰고 한 IP의 결과가 5,000행에서 15,000행에 이릅니다. 합격선은 너그러워서, 중복도 허용하고 오기도 허용하며 정돈 여부도 따지지 않습니다. 처음부터 정확하게 추출하려 들면 키워드 하나를 끌어내면서 동시에 "이게 기존 표제어와 중복인가", "어느 분류인가", "어떤 대표 표기로 묶어야 하는가"를 매번 따지게 되어, 한 결정이 다음 결정을 기다리는 병목이 1차를 수십 배 느리게 만듭니다. 디지털 사진의 RAW 작업처럼 일단 전부 찍어 두고 선별과 보정은 다음 단계에서 합니다. AI 작업 동료가 핵심을 맡아 여러 동료가 병렬로 9분류 표를 자동 추출하고, 사람은 9분류 가이드 다듬기, 신규 분류 결정, 거시 검수, 그리고 대명사와 시점과 폐기 명사의 흔적 확인을 맡습니다. 자세한 내용은 4장에서 다룹니다.

2차 통합은 1차의 5,000행에서 15,000행을 1,000개에서 2,000개의 표제어로 묶고 13컬럼 CSV로 짜는 단계입니다. 합격선은 까다로워서 95%를 요구하는데, 결정이 잘못되면 위키 전체가 어긋나기 때문입니다. 가장 자주 일어나는 결정은 동의어 묶음으로, 1차의 "흑공", "검은 연기", "어둠의 안개"를 한 표제어로 묶고 대표 표기를 정하는 일입니다. 동음이의어, 시기에 따라 의미가 바뀐 키워드, 같은 이름의 다른 인물 같은 판단은 5년치 작품을 다 읽은 사람의 머릿속에서만 정확히 내려집니다. AI 작업 동료가 동의어 후보, 정의 초고, 관련 링크, 세계관축 후보를 빠르게 짜내고, 사람이 마지막 결정을 내립니다. 13컬럼 CSV가 약 2시간에서 4시간 사이에 정리됩니다. 자세한 내용은 5장과 6장에서 다룹니다.

3차 골격 빌드는 2차 CSV를 옵시디안 .md 파일 1,500개로 변환하는 단계입니다. 거의 자동으로 처리되며, 결정적인 변환이라 사람의 손이 거의 닿지 않습니다.

한 행의 한 표제어가 한 .md 파일이 되고, 행의 컬럼이 frontmatter 필드로 들어가고, 정의와 상세 컬럼이 본문 단락이 되고, 관련 키워드가 wikilink로 자동 주입되고, 본문 끝에 서술이 들어갈 빈 칸이 하나 남습니다. 이 시점에 옵시디안 그래프 뷰를 띄우면 1,500개의 노드와 wikilink로 이어진 연결망이 한 화면에 펼쳐집니다. 다만 집필 공간은 아직 비어 있습니다.

빌드 자체는 약 5분, 사람의 검수가 30분 정도 걸립니다. 검수 대상은 manifest라고 부르는 빌드 결과 요약 파일인데, 파일 수, 분류별 집계, 진행 상태가 담깁니다(7장에서 자세히 다룹니다). 변환 규칙에 결함이 있으면 1,500개 파일이 모두 같은 결함을 안게 되므로, 빌드 후 사람의 검수가 의무입니다. 자세한 내용은 7장과 8장에서 다룹니다.

4차 서술 집필은 라이브러링의 창작 단계입니다. 1차, 2차, 3차가 뼈대를 세우는 일이라면, 4차는 그 뼈대 위에 IP 세계를 살아 있게 만드는 서술을 쓰는 단계입니다. 한 표제어당 200자에서 1,000자를 쓰는데, hub는 500자에서 1,000자, leaf는 200자에서 300자입니다. AI 작업 동료가 1,500개 서술을 약 5시간에서 10시간 사이에 짜내고(사람이 손으로 쓰면 1,000시간 이상), 사람이 형식과 링크와 분량과 톤과 프로젝트 맥락을 검수해 합격선까지 끌어올립니다. leaf는 짧아도 되지만 비어 있어도 된다는 뜻은 아니어서, 운영용 Vault에서는 전체 LLM 완성률 95% 이상을 목표로 삼습니다. 자세한 내용은 9장에서 다룹니다.

1·2·3차의 본질, 4차의 본질

이 네 단계를 한 흐름으로 펼친 다음, 한 가지를 짚어 두고 싶습니다. 1차, 2차, 3차와 4차는 본질이 다릅니다.

1차, 2차, 3차의 본질은 기계적 정리입니다. 입력에서 키워드를 끌어내고 같은 의미를 묶어 옵시디안 형식으로 변환하는 일이어서, 명확한 규칙이 있고 그 규칙대로 처리하면 결과가 정해집니다. 사람이 결정하는 부분도 있지만 그 범위가 좁고 분명합니다.

4차의 본질은 서술형 집필입니다. 한 표제어를 하나의 흐름으로 풀어내는 서술을 쓰는 작업입니다. 명확한 규칙으로 환원되지 않는 영역이고, 한 표제어의 합격선이 다음 표제어의 합격선과 같지 않습니다. 톤과 문맥과 IP 고유의 미묘함이 모두 개입합니다.

이 두 본질의 차이가 협업의 결을 결정합니다. 1차, 2차, 3차에서는 AI 작업 동료에게 입력을 건네고 결과를 받아 거의 그대로 다음 단계로 넘깁니다. 4차에서는 1차 초고를 받아 두세 번 왕복합니다.

시간 예산

1차, 2차, 3차, 4차의 시간을 합산하면 한 IP의 라이브러링이 약 9시간에서 16시간 사이에 끝납니다. 이 숫자가 이 글이 독자에게 보여 주는 시간 단축의 정체입니다.

분배는 이렇습니다. 프로파일링(세계관축, 분류 가이드, 참조 카탈로그)에 30분에서 60분, 1차 추출에 30분에서 2시간(AI 병렬), 2차 통합에 2시간에서 4시간(사람의 결정에 AI 보조), 3차 골격 빌드에 5분에서 10분(결정적 자동화), 스토리 다이제스트 준비에 30분에서 60분이 듭니다. 이 다이제스트는 원고 전체를 매번 읽히지 않기 위한 단순 요약이 아니라, 원고와 스크립트와 룰북을 제작자의 관점으로 해석해 4차 산문의 맥락으로 압축하는 파일입니다. 4차 서술 집필에 5시간에서 10시간(AI 작업 동료가 핵심), 검증에 1시간에서 3시간(사람의 검수에 자동 검사)이 듭니다. 합산하면 9시간에서 16시간이고, 이는 1차 사이클을 기준으로 한 수치입니다.

1차 사이클은 한 IP를 처음 라이브러링할 때의 시간이고, 그 뒤 새 단편 한 편이 들어와 증분 갱신을 할 때는 시간이 훨씬 짧습니다. 한 단편의 신규 표제어가 보통 30개에서 50개이고 1차, 2차, 3차의 미니 사이클이 약 30분, 4차 서술 추가가 약 1시간이면 끝나서, 합산 1.5시간에서 2시간이면 한 단편의 갱신이 마무리됩니다. 이 운영 사이클은 11장에서 자세히 다룹니다.

두 손의 분담을 도면으로

이 도면을 한 흐름으로 정리해 두면, 4장부터 9장까지의 각 장이 어디를 들여다보는지가 한눈에 보입니다.

프로파일링은 사람의 작업으로, 세계관축을 결정하고 분류 가이드를 다듬고 참조 파일 카탈로그를 짭니다. 1차 추출은 AI 작업 동료가 9분류 표 자동 추출을 맡고 사람이 거시 검수와 신규 분류 결정을 맡으며, 합격선은 60%입니다. 2차 통합은 사람이 동의어 묶음, 표제어 명명, 세계관축 확정을 맡고 AI가 동의어 후보, 정의 초고, 세계관축 후보를 짜내며, 합격선은 95%입니다. 3차 골격 빌드는 스크립트 실행 뒤 사람이 manifest와 자동검증 결과를 확인하며, 합격선은 100%입니다. 4차 서술 집필은 AI가 표제어별 1차 초고를 짜고 사람이 톤 가이드, 5단계 검수, 합격선 판단을 맡습니다. hub는 길고 깊게, leaf는 짧고 정확하게 씁니다. 검증은 자동 검사가 위반 리포트를 작성하고 사람이 수동 샘플과 통합 빌드 판단을 맡으며, 합격선은 100%입니다.

이 도면이 14장의 가이드입니다. 4장부터 9장까지가 위 단계의 각 행을 한 장씩 자세히 들여다보고, 10장은 검증, 11장은 운영 사이클, 12장은 출구, 13장은 5년 운영의 회고, 14장은 마무리입니다.

도면 안의 hub와 leaf를 짧게 짚겠습니다. 1,500개 표제어의 비중이 모두 같지는 않은데, 한 IP의 핵심에 놓인 표제어는 다른 표제어들이 자주 인용하기 마련입니다. 그렇게 자주 인용되는 표제어를 hub, 인용이 적은 표제어를 leaf라고 부르며, 1,500개 중 hub가 보통 100개에서 150개입니다. 서술 분량과 검수 합격선이 둘 사이에 다르게 적용되어, hub는 길고 깊게 leaf는 짧고 간단하게 짭니다. 8장에서 hub의 자동 판정과 사람의 결정을 자세히 다룹니다.

도면을 손에 들고

1차는 재료를 모으고, 2차는 재료를 정리하고, 3차는 정리된 재료를 도구가 다룰 수 있는 형식으로 변환하고, 4차는 그 형식 위에 IP의 서술을 채웁니다. 이 순서가 뒤집히면 작업이 무너지고, 순서를 따라가면 9시간에서 16시간이 나옵니다.

다음 장인 4장부터는 첫 단계인 1차 추출에 들어갑니다. 9분류가 무엇을 가르고 무엇을 묶지 않는지, 5컬럼 CSV의 한 행이 어떻게 짜이는지, 정규화된 입력 문서를 AI 작업 동료가 전수 추출할 때 어떤 일이 일어나는지를 한 장 전체에 걸쳐 자세히 들여다보겠습니다.