第4章　すべてのキーワードを引き出す — 1次抽出の姿勢

IP文書を初めて開く瞬間を考えてみましょう。ルールブック一冊と短編数編、企画書の束を前に置き、そこからこのIPの関係網全体を取り出さなければなりません。どこから始め、何を最初につかめばよいのでしょうか。

1次抽出という名前は単純に見えますが、この段階で取る姿勢がライブラリング全体の質感を決めます。最初の段階が曖昧なら後の三段階もすべて曖昧になり、最初の段階が堅ければ後の三段階はずっと軽くなります。

この段階全体を支配する原則は一つです。まず集め、あとで整理する。 科学者が仮説を確かめながらデータを集めると確証バイアスに陥りますが、1次抽出も同じです。キーワードを引き出しながら同時に「これがhubかleafか」「2次統合でどう束ねられるか」を判断し始めれば、肝心のよいキーワードを取り逃がします。だから1次ではまず引き出すことだけに集中し、残りの判断は次の段階に委ねます。

この姿勢は、1860年代にオックスフォード英語辞典（OED）の編纂者が用いた方法そのものでした。彼らは数千人のボランティアに数万冊の本を分け、単語が現れるたびに幅十センチメートルのカード一枚へ、その単語と出典一行を書かせました。約500万枚のカードが集まって初めて、整理と統合が始まりました。一枚一枚のカードが一行になり、整理が始まる前に山のように積まれたカードの束が、1次抽出の成果物です。ライブラリングの1次もこの姿勢をそのまま踏襲します。

これが1次の合格線を60%に置く理由です。重複があっても、同じ人物が別表記で二度入っても、分類が少しずれていても、1次では問題ありません。分類が明確でないものは、最も近い分類にひとまず入れ、決定を次の段階へ先送りします。

要点は取り落とさないことです。一度落としたキーワードは次の段階で再発見されないからです。入ってきたキーワードのうち不要なものは2次統合で整理して外せますが、最初に入れられなかったものは最後まで入ってきません。

一ページにはキーワードがいくつあるか

まず簡単な実験をしてみましょう。読者が運営するIPのルールブックでも短編でも企画書でも一冊を取り出し、一ページを開きます。そのページにはキーワードがいくつ入っているでしょうか。

この問いへの答えは人によって異なります。五つと見る人もいれば、二十個と見る人もいます。答えの差は、キーワードをどこまで拾うかから生じます。

あるルールブックの一ページを例にします。そのページが現代ハンター物世界観「共同」の一場面を一段落で描くとしましょう。「カン・シウは13番ゲートの前で等級カードを取り出した。無特性である彼のカードには、等級欄が空欄のまま残っていた。ハンター協会の審査官ユン・ソギョンが濃度計測器を彼に向けたが、針は空白を指し、測定不能を告げた。ユン・ソギョンは18年前の集団再覚醒事故を思い出した。ゲートの向こうから亀裂の光が漏れるあいだ、シウの視界にはシステムウィンドウの青い光がついに現れなかった。」

普段なら一段落の自然な描写に見えますが、1次抽出の視線で見れば、この一段落には少なくとも十二のキーワードがあります。人物名二つ（カン・シウ、ユン・ソギョン）、役職一つ（審査官）、場所二つ（13番ゲート、ハンター協会）、物二つ（等級カード、濃度計測器）、時点一つ（18年前）、事件一つ（集団再覚醒事故）、固有語彙二つ（無特性、測定不能）、作動原理一つ（システムウィンドウ）です。

さらにあるかもしれません。亀裂の光がそのIPでゲートごとに反復される視覚イメージなら、場所に埋め込まれた描写であると同時にミザンセーヌ分類でもあります。等級カードの空欄が無特性を指す象徴として反復されるなら、物であると同時にミザンセーヌにも入ります。一ページから引き出せるキーワード量は、引き出そうとする姿勢の深さで変わります。ライブラリングの1次抽出は、可能な限り深く引き出す姿勢です。

この十二のキーワードが九分類のどこに入るかを見ます。「無特性」と「測定不能」は、そのIPを知らない人に意味を説明すべき固有語彙なので専門用語です。カン・シウとユン・ソギョンは行為者として機能するので人物であり、「審査官」も本文で実在の人物を指すので人物です。ただし協会の職位体系という抽象として使われていれば概念になります。13番ゲートとハンター協会は背景空間なので場所、等級カードと濃度計測器は手に取れる物なので事物です。「18年前の集団再覚醒事故」は特定時点に起きたことなので事件、「システムウィンドウ」は能力と等級を表示する作動原理なので装置、「亀裂の光」はゲートごとに反復される雰囲気要素なのでミザンセーヌです。

配分で確認すべき点は三つあります。第一に、「審査官」が人物なのは本文で実在の人物を指すからで、協会の職位体系という抽象なら概念です。第二に、等級カードは事物ですが、空欄が無特性を示す象徴として反復されるなら、1次ではミザンセーヌにも重複登録し、2次で決めます。第三に、分類が明確でない場合は合格線が60%なので、1次で最も近い分類にひとまず入れて進みます。一段落のキーワードが5列CSVの一まとまりの行になる最初の練習です。

9分類、叙事的機能による分類

ライブラリングはキーワードを九つの分類へ引き出し、この本ではこれを9分類と呼びます。専門用語、人物、場所、事物、事件、装置、ミザンセーヌ、概念、価値です。一つのIPのどのキーワードも、この九分類の一つ、場合によっては二つに入るよう定めています。

九分類はすべて「このキーワードが物語の中でどのような機能を果たすか」を基準に分かれます。この分け方を叙事的機能分類と呼びます。アルファベット順のような形式的分類、重要度による分類、登場頻度による分類では「なぜこれらのキーワードが同じグループにあるのか」を説明できません。しかし叙事的機能分類では、「このグループのキーワードはすべて物語の中で同じ役割を果たす」という根拠が明確です。人物分類の全キーワードは行為者として、場所分類の全キーワードは背景として機能します。この共通機能は表題語の叙述を書くときにも、出口作業がVaultを使うときにも役立ちます。

第6章で紹介する世界観軸が二つ目の分類基準であり、二つの基準は独立して一つのキーワードを座標化します。9分類が叙事的機能のX軸なら、世界観軸はIP設計のY軸に当たり、一つのキーワードはこの二軸でそれぞれの座標を持ちます。今は9分類が叙事的機能分類であることだけを覚えておきます。

九分類は、三つずつにまとめて一つの流れで説明できます。

固有語彙と人の系統。 専門用語はIPだけに存在する固有語彙です。「黒空」「コフィン」「神器」「インプラント」「次元移動」のように、そのIPを知らない人には意味を説明すべきすべての語彙がここに入ります。1次で最初に飽和状態まで満たすべきで、hubの中核を占めることが多い分類です。人物はIPに登場するすべての人格体です。主人公、脇役、端役、回想の中の人物、名前のない役職呼称まで含み、人だけでなくAI、霊魂、神のように人格体として機能するものも入ります。同じ人物が複数の表記で登場するなら、表記ごとに別に抽出し、まとめる仕事は2次で行います。家門、勢力、教団のような人の集団は、単一人格体のように機能すれば人物、抽象的な体系として機能すれば概念です。二分類にまたがれば二行で登録します。

空間と事物の系統。 場所は都市、地域、次元界、建物、一室まで、あらゆる空間です。直接登場した場所も言及だけの場所もすべて引き出します。国から都市へ、一つの邸宅へ、その中の食堂へと狭まるような階層がある場合、1次では平坦に引き出し、階層は2次で整理します。事物は手に取れるすべての物です。道具、装備、アイテム、食べ物、材料、家具、装身具、標識物がここに入ります。些細に見える物が後に重要な象徴になることがあるので落としません。装置はIPの作動原理と叙事装置です。ゲームメカニクス、魔法規則、システム機能、伏線、反復モチーフ、語り手の介入方式のような叙事運用の原理が含まれます。hub表題語の比重が大きい分類です。魔法の杖のように事物と装置が紛らわしい場合、作動原理が核心なら装置、形や材質、所有履歴が核心なら事物です。両方にまたがれば両方を登録します。

時間と雰囲気、抽象の系統。 事件は作品の中で起きたことです。エピソード、フラッシュバック、発生した出来事であり、時点、結果、関連人物をともなう内容です。事件分類はIPの時間軸を整理する仕事であり、1次で漏れなく引き出せば、2次で事件マスターを並べてIPの時間線を一線で見られます。

ミザンセーヌはIPの雰囲気をつくる要素です。視覚・聴覚の雰囲気、反復する背景イメージ、象徴的に現れる色彩や音がここに入ります。雨の日が人物の転換点ごとに現れるなら、「雨」はミザンセーヌのキーワードです。本文に物理的対象として現れるより雰囲気として溶け込んでいるため、1次抽出でしばしば漏れる分類です。AIの仕事仲間に9分類ガイドを渡すとき、ミザンセーヌの例を十分に一緒に渡せば精度が上がります。

概念は抽象概念です。世界の設定原理、規律、法則、社会体系、制度、本文が前提にする作動原則がここに入ります。「彼女の持参金は五千ポンドだった」という一行には結婚経済学という概念が前提になり、「彼は貴族爵位を受ける資格がなかった」には貴族爵位体系が前提になります。含意キーワードはAIの仕事仲間がしばしば落とすため、人の巨視的検収でもう一度見ます。

価値はIPが伝えるものです。主題意識、感情、関係性、反復モチーフ、そして「復讐」「犠牲」「自由」「家族」のように核心メッセージを成す抽象層位です。概念が「世界がどのように作動するか」なら、価値は「その世界で何が重要で、何が正しいか」です。

分類境界が曖昧な場合、1次では両分類に載せ、2次で決めるという原則は一貫しています。1次の合格線は60%であり、取り落とす側の損失のほうが大きいからです。

5列CSVの一行

九分類で引き出したキーワードは、5列CSVに一行ずつ整理します。一キーワードが一行で、五つの欄に情報が分かれます。

IDXは行の連番で各行を区別する固有番号、分類は九分類のどれかを示します。キーワードは韓国語でも英語でも原文に現れた表記のまま書き、説明は一、二行の定義、出典はどの文書のどの位置で現れたかを記します。

一つのIPの1次抽出結果は、この5列の行が5,000から15,000個集まった表になります。

キーワード欄は原文表記のままなので、同じキーワードが「黒空」と「黒い煙」の両方で現れれば二行にそれぞれの表記を入れ、同じ意味かの決定は2次統合へ先送ります。英語名やローマ字表記などの翻訳候補はこの欄でなく、2次の13列で決めます。説明欄は一、二行の定義で、明確でなければ「○○と推定される」程度にとどめて2次で磨きます。一方、出典欄はどの文書のどの章の何行目かを記す資料なので、1次で最も正確に満たさねばなりません。出典が曖昧なら、次の段階でそのキーワードを原文から再び見つけられないからです。

人が直接引き出すもの

1次抽出はAIの仕事仲間が中核を担いますが、人が直接引き出すべき部分も残ります。第一は細かな分類判断、すなわち事物か装置か、事件か概念かが迷わしい場合の決定です。AIの仕事仲間に9分類ガイドを渡せば大体はよく分類しますが、迷う箇所でどちらがこのIPに適するかは人が知っています。「このIPでは魔法の杖類を装置に」「役職呼称を人物に」といった基準を開始時に一度決め、ガイドに書いて渡せば、1次抽出は一貫した質感を保ちます。

新しい領域を初めて認識することも人の役目です。新登場のキーワードが九分類のどこにもぴたりと合わないとき、新分類を設けるかを人が決めます。ただし実際には、1次では最も近い分類にまず置き、新設の要否は2次統合で選別します。

次に人が担うのは、代名詞や指示語だけで現れるキーワードの追跡です。「彼が入った」の彼、「そこで会った」のそこでのように、固有名なしに指示語としてだけ機能するキーワードです。文脈から分類を推定して取り出し、キーワード欄に「彼（推定：人物）」「そこ（推定：場所）」のように推定であることを示し、2次統合で確認します。

一つの作品で代名詞だけで現れた人物や場所が、別の作品で初めて名を得ることはよくあります。第一作の「彼」が第五作で「カン・シウ」という名を得るのです。1次でこの「彼」を落とせば、第五作のカン・シウは第一作と最後までつながらないままです。

AIの仕事仲間はこの部分をよく見落とすため、1次抽出後に人が同じ文書をもう一度走査し、代名詞・指示語キーワードを印します。一文書あたり約15〜30分です。

最後に、人には巨視的検収が残ります。1次抽出が終わったら結果表を一度見て、九分類の一つが異常に空ならAIがその分類全体を見落とした可能性を、逆に一分類が膨らんでいればその中をさらに細分すべき兆候を読みます。表全体を精読するのでなく、分類別合計数を見て異常値をつかむ仕事なので、およそ30分で終わります。

AIの仕事仲間への委任

ここからAIの仕事仲間が担う部分、すなわち1次抽出の本作業が始まります。以前は大きな原稿を人が適当な行数に分けて読ませましたが、現在の基準は異なります。入力テキストはまず全体を一度正規化し、どのファイルのどの行範囲からキーワードが出たか確認できる形に準備します。AIの仕事仲間は量の上限を心配して前半だけ読んで止まるのでなく、渡された全テキストからの全数抽出に集中します。

ルールブックの一章、短編一作、企画書一枚のいずれも一塊を単位にします。そこへ9分類ガイドと5列CSV形式を一緒に渡せば、AIの仕事仲間はその文書を読み、九分類に沿ってキーワードを引き出し、5列CSVで返します。短編小説なら本文、作品説明、用語集、作者ノートを同じ方法では扱いません。本文は用例中心、作品説明は設定密度の高い源泉、用語集は用語と説明の対、メタコメントは通常抽出対象外です。ルールブックなら規則定義を専門用語・装置として扱い、数値と表からは数字だけでなく単位と文脈も一緒に抽出します。入力種別を先に明らかにする理由はここにあります。

この委任は並列で進みます。入力文書が50個なら複数のAIの仕事仲間が同時に文書を処理します。五人が五文書を同時に処理すれば、一人が一文書を30分で処理するのと同じ30分で五文書が終わり、50個は五つずつ十回の30分で終わります。その間、人は別の仕事をします。この並列処理がライブラリングを9〜16時間で終える大きな理由で、手で50文書を通読すれば一か月かかる仕事が、AIの仕事仲間へ並列委任すればおよそ二時間に縮みます。ただし速く終わっただけでは十分でなく、抽出後には出典が入力文書の前半だけに偏っていないかを確かめます。後半の行範囲から出典がほとんど出なければ、抽出が途中で止まったしるしです。

この委任を協働の四軸で整理すると、入力は一文書の塊と9分類ガイド、すなわち定義と本IPでの細かな決定、5列CSV形式、1次合格線の姿勢です。その姿勢とは重複と誤記を許し、整理に縛られないことです。出力は5列CSV一表、意図は時間短縮です。人が通読して引き出せば一時間かかる仕事が約5〜10分で終わり、50件を並列に回せば人の実投入時間は大きく減ります。期待効果は5,000〜15,000行が約30分〜2時間で出ることであり、1時間に満たないIPもあれば2時間近いIPもあります。

委任の限界は、届かない領域です。本文に明示されず前提に敷かれ、概念・価値分類に多い含意キーワード、代名詞だけで現れる人物・事物・場所、時点と年代表記（「その年の春」がIPの何年を指すかは、1次では表記のまま引き出し2次で決める）、IP固有の冗談と引用（ある作品が別作品を引用する場合、ある人物の一行が他人物と鏡のように呼応する場合）です。この四つは、五年分を読み切った人の頭の中にしかない資料です。1次抽出で人が必ずもう一度通す部分であり、合算時間は一IPにつき約1〜2時間、それでも1次抽出は約一、二時間で終わります。

テキストを知識構造へ移すということ

1次抽出は創作現場の感覚ではキーワードを抜くことですが、より広く見ればテキストを知識構造へ移す仕事です。デジタル人文学で使われるTEIのような体系が長く扱ってきた問題もこれに近いものです。文学テキストに混じる名前、地名、日付、注釈、引用、版情報を文の中に埋めたままにせず、後で再び探し比較できる構造として示すことです。

ライブラリングはTEIのようなXMLマークアップを作りません。代わりに、より低い層位で、作品本文、設定集、作者ノート、用語表を読み、人物、場所、事件、装置、概念のような表題語候補へ変えます。本文は用例を、設定集は定義を、作者ノートは意図を、用語表は既存の命名決定を与えます。入力種類が異なれば、そこから引き出せる知識も異なります。

この観点があれば、1次抽出の態度は明確です。私たちは原文を要約しているのではなく、原文に散らばった知識単位を取り出し、後でつなげられる材料へ変えています。だから出典と行範囲を丁寧に残し、本文・作品説明・用語集・作者ノートを同じ方法でつぶしません。1次の成果物は単純な一覧でなく、テキストから知識構造へ越える最初の変換表です。

1次抽出の成果物

1次が終われば、一つのIPの5列CSV一表が手に入ります。5,000〜15,000行。九分類で並び、一行が一キーワードのこの表は、一万行に達すると人が一度にすべて読めません。幸い1次では全部読まなくてもよく、巨視的検収では分類別合計だけを確かめれば十分で、詳しく見るのは2次統合から始まります。

1次後、九分類から一つを選び、最初の50行ほどを見れば、そのIPの1次抽出がどのような姿勢で進んだかが手に取るように分かります。AIの仕事仲間がどの分類をよく引き出し、どれを不自然に引き出したかが見えます。50行を読むのは約15分で、その時間が2次統合の決定を軽くします。

ここでよく出る心配があります。AIの仕事仲間がキーワードを誤って引き出したらどうするのか。正確でない5列が5,000行入ったらどうするのか。答えは単純です。1次では正確性60%で十分なので、その60%の中で一部が誤分類されても、2次で人がもう一度決めるので問題ありません。実際にはAIの仕事仲間の1次抽出精度は80%を超え、9分類ガイドをよく磨いて一緒に渡せば90%に近づきます。60%で十分な段階に80〜90%が出るので、1次は一貫して通過します。ただし60%という合格線は1次だけに当てはまり、次の2次統合は95%と一段厳しいものです。1次の寛大さが次段階へそのまま流れないよう、段階ごとに合格線を変えてあります。

1次抽出を終えて

まず集め、あとで整理する。 完璧な整理が目標ではありません。何も落とさないことが目標であり、整理は次の段階が行います。

第5章は2次統合です。1次の5,000〜15,000行が1,000〜2,000個の表題語に束ねられる過程です。合格線は95%と厳しく、人の決定が中核になります。

第4章 すべてのキーワードを引き出す — 1次抽出の姿勢