第25章測定と反復

リリースは完成日ではなく、本物の利用者に初めて出会う測定開始日である。

最初の体験を作り終え、リリースボタンを押す日、多くの企画者は心の中で「終わった」と言う。半年間取り組んだ仕事が世に出たのだから無理もない。だが、この「終わった」こそ、最初の体験を壊す最もありふれた考えである。最初の画面は一度建てておく建物ではなく、毎日新しい人が入り、新しい仕方で迷う生きた環境だからだ。リリースは終わりではなく、初めて本物の人を中へ入れる瞬間であり、そのとき初めて、机上で組んだ道と実際に歩かれる道が同じか違うかが明らかになる。ところが、リリースを終わりと考えて手を離せば、本物の人が入り始めたまさにそのとき、測定が止まる。最も多くを学べる日にノートパソコンを閉じ、打ち上げへ行くようなものだ。

本章は、その「終わった」を「いま始まる」へ変えるところから出発する。第24章では何を入れ、何を取り出すかを書いた。ここでは、それが実際に動くかをどう測り、測って動かなければどう直してもう一度測るかを見る。最初の体験はリリース後にこそ多く直されるが、直すには見なければならず、見るには測らなければならない。そして測定には二つの目が要る。人を直接見て聞く目と、行動が集まって生まれた数字を読む目だ。第24章で、定量はどこを指し、定性はなぜを語ると述べた。その二つの目で見たことをもとに変え、変えたものをもう一度測り、また変える。この反復が止まる瞬間、最初の体験は剥製になる。そして本章の最後には、測定論があまり扱わない客がもう一人待っている。アップデートが来た日に再び初心者となる既存利用者、すなわち「もう一度の最初」の最初の体験である。

一人をそばで見れば、数字にはできない話が聞こえる

架空のゲームへ行こう。キャラクターを集めて会話するあのモバイルゲームで、リリース後のログを見ると最初のキャラクター完成率は30パーセントだった。第24章で二人の企画者が受け取った報告と同じ種類のずれだ。十人中七人がキャラクターを完成させる前に去る。数字が語るのはここまでだ。どこで漏れるかは示すが、なぜ漏れるかについては口を閉ざす。

そこで人を呼ぶ。ゲームを一度もしたことのない五人を連れてきて、最初に起動する様子をただ隣で見る。教えず、割り込まず、指がどこで止まるかだけを見る。すると五人中三人が色選択画面で止まった。一人は「色が多すぎて何を選べばいいか分からない」と言い、一人は適当な色を押しながら「これは保存されたのか、されていないのか」と画面を見回し、もう一人はただ退屈そうにスマートフォンを置いた。30パーセントという数字の後ろに、こうして異なる三つの理由があった。これが人を直接見て聞くこと、すなわち定性である。定性は標本が少なく、数字として一般化できない。しかし数字がどうしても語れない「なぜ」を聞かせてくれる。ただし五人の観察にも限界がある。誰もが引っかかる大きな問題は安く見つけられるが、人ごとに分かれる小さな違いや、まれにしか通らない経路は五人では捉えられない。それを次の数字が埋める。

ここでは定性と定量を組み合わせる順序が重要だ。数字が先に「ここ一か所」と絞ってくれれば、そこへ人を連れていき、なぜを聞く。数字なしに手当たり次第に人だけを見れば、どこを見るべきか分からず迷う。人なしに数字だけを見れば、なぜか分からず見当違いの場所を直す。数字が色画面を漏れる場所として指したから、その画面で人が何につまずくかを聞く、という順序だ。どこはログが、なぜは観察とインタビューが答える。

MEJEアイドンワールドでは、この観察はさらに正直だ。ファンもつまずけば、言葉で説明するより先に表情と手が表す。アイドンを着せ替えながら、どこかでためらい、口をとがらせ、そのままアプリを閉じる。そのためらった箇所が、すぐに修正候補になる。ゆっくりした利用者はつまずいても最後まで試すが、合間に立ち寄ったファンはもっと早く去る。そのため、ファンを隣で見ることが最も容赦のない定性テストになる。ファンが止まった箇所をログがもう一度指せば、そこは次に手を入れる可能性が高い。

紙から画面へ、そして本物の人へ

直す仕事をリリース後になって始めるのでは遅すぎる。幸い、最初の体験はすべて作る前にも測れる。粗くても早く測り、しだいに本物へ近づけてもう一度測る順序がある。

最も安くて速いのは紙だ。画面を一枚ずつ紙に描き、「ここで何をしたいですか」と尋ね、手で指してもらう。見当違いの場所を指せば、その画面は意図どおりに読まれていないという意味であり、コードを一行書く前にそれが分かる。紙の上で道筋がある程度定まれば、次は押せる試作品だ。本物のゲームではないが、ボタンが反応し、画面が移るようにまねただけのものだ。ここでは人が実際に指を動かすので、紙より多くのことが現れる。どこでためらい、どこを二度押すかが見える。その次が、本物を出して実際の数字で測ることだ。リリースでも一部の人だけに先に開く形でも、本物の人が本物の環境で残すログを見る。紙は速いが粗く、実測は正確だが遅い。紙で大きな誤解を取り除き、試作品で流れを整え、実測で確認する。一度で完成品を出そうとせず、粗いものを早く出し、早く学ぶ。

測って何かを変えたとき、その変化が本当の効果か偶然かを見分けなければならない場合がある。そのときは二種類の画面を作り、人を分けて見せ、どちらの数字がよいかを比較すればよい。色の選択肢を減らした画面と、そのままの画面に分け、どちらの完成率が高いかを見る。この比較は「感覚的には減らしたほうがよさそうだ」より、はるかに優れた根拠を与える。ただし、十分な人が集まらなければ信じられない。標本が少なすぎたり、期間が短すぎたりすると、偶然が勝ったように見え、間違った側を選んでしまう。だから比較には基準線と十分な観測が要る。変える前の数字を知らなければ、変えたあとの数字がよくなったか悪くなったか分からない。何かに手を入れる前に、いまの数字を書き留める。その数字がすべての比較の出発点になる。

この比較を働き方として固めた会社もある。宿泊予約サービスのBooking.comは、ほぼすべての画面変更を二つに分けて測る場所としてよく挙げられる。知られているところでは、年間およそ2万5千件の比較を回し、その相当数は効果がないか、むしろ悪化して廃棄されるという。興味深いのは、その多くの失敗を損失と数えないことだ。うまくいかない案を早く見分けること自体が、次の一歩を正確にすると考える。頭の中では正しく見えた案が実際の数字の前ではしばしば間違うことを、比較は毎回思い出させる。私たちが一、二回行う比較も、結局は同じ仕事だ。自分の確信を数字に一度尋ねるのである。ただし、数百件を同時に回すことと、一度に一つだけ変えよという勧めは矛盾して聞こえるだろう。その分岐は基盤にある。人を無作為に分け、実験同士が混ざらないようにする基盤があれば、同時に複数を回せる。そうした基盤がない小さなチームなら、一度に一つが正しい。

判定する時点も測る。変えた直後の数字は、まだ数字ではない。D1は昨日入った人が丸一日を満たして初めて読める。改編直後の一、二週間は、珍しさから多く押す人と、見慣れなさに反発する人が混ざり、数字が揺れる。Instagramが慣れた縦スクロールを横スワイプに変える試験を意図より広く公開し、反発を受けてその日のうちに戻した出来事が知られている。最初の数日の悲鳴も歓声も騒々しく、それだけで判定すればほぼ間違う。コホートが満ち、揺れが収まったあとの数字だけを基準線と比較する。

時間がたつと、先に来た人と後に来た人は違うパターンを描く

一度測って終わりではない理由がもう一つある。時間がたつと、入ってくる人の性質が変わるからだ。リリース最初の週に入る人と、半年後に入る人は同じ人ではない。

仮の数字で見よう。リリース最初の週には、広告を見てわざわざ探してきた人、新しいものが好きな人が先に来る。彼らのD1を12ほどとしよう。100人中12人が翌日戻るという意味だ。ところが三か月後、口コミと自然検索で入る人のD1は6へ下がることがある。同じゲーム、同じ最初の画面なのに、数字が半分になった。最初の画面を壊したのではなく、入ってくる人の質感が変わっただけだ。初期に来た人は期待が大きく忍耐が長かった一方、あとから来た人は偶然流れ込み、期待が薄い。だからリリース直後のよい数字に安心してもいけないし、時間とともに数字が下がったからと最初の画面をすべて覆してもいけない。新規利用者が描くパターンを時系列で追い、いつ入った人かによって最初の体験がどれほど違って働くかを見る。

漏れる区間を見つける最も明確な方法は、最初の体験を段階に分け、それぞれ何人残るかを見ることだ。第3章では最初の体験を敷居で分け、第21章では時間で分けた。その区分がここで働く。仮の数字で見よう。最初の画面を開いた人を100とすると、最初の操作まで行った人70、最初の反応を見た人60、最初のキャラクターを完成した人30、翌日戻った人6。このように並べると、60から30へ落ちる区間が最も急だ。そこがボトルネックである。最後の6、すなわち翌日戻った割合を第22章で立てた北極星としたなら、その一つの数字を上げる道は、その上で最も多く漏れる区間を埋めることだと、段階を並べた瞬間に見えてくる。だから次に手を入れる場所は、最も多く漏れるその一区間だ。すべてを同時に直そうとすれば何が効果を生んだか分からない。最も急な区間を一つ選び、そこだけを変えてもう一度測る。

アップデートが来ると、既存利用者も再び初心者になる

ここまで測ったのは、すべて初めて入った人の最初の体験だった。しかし最初の体験は新規利用者にだけ起きるのではない。長く楽しく遊んできた既存利用者も、ある瞬間に再び初心者になる。これを見落とせば、最も忠実な人を失う。

三つの瞬間に、既存利用者は再び最初へ戻る。大きなアップデートで画面構造や操作が変わったとき、しばらく離れて久しぶりに戻ったとき、そしてシーズンが変わり、規則と目標が新しく敷かれたときだ。架空のゲームへ戻ろう。キャラクター収集ゲームに大規模改編が入り、メニューの位置がすべて変わった。毎日一年間遊んだ人が久しぶりに開くと、いつも押していた場所に、いつものボタンがない。彼は新規ではないのに道を失った。ここにはよくある二つの間違いがある。一つは彼を気にしないことだ。「既存利用者なら自分で慣れるだろう」と案内を何も出さなければ、最も長く残った人が最も大きく戸惑う。もう一つは正反対に、彼を新規のように扱うことだ。一年間遊んだ人へ「これがキャラクターです。ここを押せば着せ替えできます」と最初から教え直せば、無視されたと感じる。

既存利用者の「もう一度の最初」は、新規の最初とは違って扱うべきだ。すでに知っていることには触れず、変わったことだけを指す。メニューが移ったなら「お探しのものはこちらへ移りました」の一行でよい。シーズンが変わったなら、新しい規則を一つだけ明確に知らせ、残りはそのままにする。久しぶりに戻った人には、最後に何をしていたかを示し、「そのあいだにこれが新しく加わりました」だけを見せる。核心は、すべてを教えないことだ。彼はこの世界の住民であって観光客ではない。新しく敷いたものだけを案内し、彼が積み上げた慣れを尊重する。そのため測定も分ける。アップデートやシーズン移行の直後に既存利用者の再訪が下がったなら、新しいコンテンツが悪かったのではなく、既存利用者を再び迷わせた可能性を先に見る。新規のD1だけでなく、改編の前後で既存利用者がどれほど戻ったかを並べて見る。

リリースすれば終わりという、作り手の古い習慣

測定と反復を扱う章なので、ゲームを作る側の慣習を一つ検問所に立たせる。「リリースすれば終わり。チュートリアルは一度うまく作れば終わり」という習慣だ。これは画面上の慣習ではなく、作り手の心の中にある慣習である。

この習慣が何を前提とするかを見る。ゲームを一つの完成品として捉え、リリース日までにすべてを作り終え、その日に世へ出せば作業は完了すると考える。この前提は、パッケージで売っていた時代の遺産だ。ディスクへ焼き、箱に入れて売れば、そのゲームはその状態で止まった。チュートリアルも一度作ってディスクへ入れれば、それで終わりだった。当時の作り手にとってリリースは本当の終わりであり、最初の体験はリリース前に完成させる物だった。だからこの慣習がこれほど長く生き残ったのは、怠惰だからではなく、一つの時代を通して正しかったからだ。正しかった期間が長いほど、慣習は深く根を張る。検問する価値のある慣習とは、たいていこのように、かつての正解が時代の変化を知らず残っているものだ。

現在のゲームはこの前提を共有しない。常につながり、毎日新しい人が入り、いつでも直して出せる生きた環境だ。リリースは終止符ではなく、最も多くの情報が入り始める時点である。最初の体験をリリース前に完成したと信じれば、リリース後に押し寄せる本物の利用者の行動を読まなくなる。チュートリアルを一度作ってそのままにすれば、時間とともに入る人の質感が変わっても、大型アップデートで画面が変わっても、その古いチュートリアルが新しく来た人を迎え続ける。パッケージ時代の習慣で作った最初の体験は、リリース日に止まり、現実からしだいにずれていく。

この習慣が課す料金は、機会の喪失だ。リリース後に最も多く学べるのに、終わったと手を離せば、その学びを丸ごと捨てる。どこで漏れるか、なぜ漏れるか、時間とともに誰が入るか、アップデート後に既存利用者がどう迷うか。これらの信号はすべてリリース後に入ってくるのに、「終わった」という習慣が信号を丸ごと見落とさせる。

本質だけを残して変える。リリース日に作品を世へ出すという事実は残すが、その日を終わりではなく測定の始まりとして見る。最初の体験は一度建てておく建物ではなく、絶えず手入れする庭だ。リリース後に測り、人を見てなぜを聞き、最も漏れる一区間を直し、もう一度測る。チュートリアルも一度作って閉じ込めず、入ってくる人が変われば一緒に変える。最初の体験を完成品ではなく成長し続けるものとして見る瞬間、リリース後のすべての数字は負担ではなく、次に手を入れる場所を指す地図になる。

ただし、反対側にも刃を立てておく。測定には中毒がある。測ったものだけを直していると、測れないもの、すなわち第一印象の異質さと作品の個性が先に死ぬ。反復ループが目の前の数字を少しずつ上げる局所最適だけを追えば、角がすべて削られ、どこかで見たような滑らかな最初の体験だけが残る。数字は昨日よりよい画面を選んでくれるが、誰も試したことのない画面は選んでくれない。だから測って直す手とは別に、この最初の体験がいまも私たちのものかと問う目を一つ残す。その問いに計器盤は答えられない。

▶ 自分の画面に当てはめる三つの問い

私はリリースを完成と見るか、測定の始まりと見るか。

一度測って終わらせようとしていないか。

変えてもう一度測る反復はいま回っているか。

リリース日に手を離し、測り直していないなら、最初の体験はその日に剥製になる。まず測り直す輪を回す。

だから、一度に一つだけ変えてもう一度測る

測定と反復を最初の体験へ取り入れると、働き方が変わる。リリース前にすべてを当てようとする代わりに、粗いものを早く出して学ぶ。紙で大きな誤解を取り除き、試作品で流れを整え、実測で確認する。リリース後は段階ごとに何人残るかを見て最も急な区間を探し、そこへ人を連れていってなぜを聞き、取っ手を一つ変える。複数を一度に変えると何が効いたか分からないため、一度に一つだけ変え、基準線と比較する。そして新規だけでなく、時間がたって入る人と、アップデートで再び迷った既存利用者も並べて見る。

このすべての仕事の土台には、第24章の心構えがある。数字は審判ではなく信号だ。低い数字に自尊心を傷つけられれば反復が止まり、反復が止まれば最初の体験はリリース日に剥製になる。数字を地図として読む人だけが、次に手を入れる場所を探し続けられる。最初の体験は作るものではなく、育てるものだ。

育てる仕事にはカレンダーが伴う。流入する人の質感は四半期ごとに変わるため、FTUEには賞味期限がある。だから定期検診をいつ回すか、そのきっかけをあらかじめ決めておく。広告と自然流入の割合が目立って崩れたときが一つ、大型アップデートの直後がもう一つだ。そのたびにファネルを並べ直し、初めて起動する五人をもう一度隣に座らせる。

参考コンテンツ

本章の概念が表れている、ほかのメディアや分野の事例。

現実の業務手順／UXリサーチ

五人のユーザビリティ観察：五人を見るだけでも、誰もが引っかかる大きな問題は安く見つかる。ただし、まれな経路や小さな差は数字が埋める。
基準線を先に書く：変える前の数字を知らなければ、変えたあとがよくなったか分からない。すべての比較は基準線から始まる。

一般アプリ／実験文化

大規模A/Bテストを働き方として固めた企業：画面変更のたびに二つへ分けて測り、うまくいかない案を早く見分けることを損失ではなく次の一歩と考える。Duolingoは「すべてを試験する」を原則に、数百件の実験を同時に回し、新しい通知文も少数へ先に試し、勝ったものだけを全体へ展開するとされる。Googleが広告リンクの青を41色に分けて測り、デザイナーが選んだ色とは違う色を採用した話もよく挙げられる。
慣れた操作を変えてから戻したアプリ改編：Instagramは2018年、縦スクロールを左右タップ・スワイプへ変える試験を意図より広く公開し、激しい反発を招いてすぐ元へ戻した。Snapchatの2018年改編も、チャットとストーリーが混ざって分かりにくいという不満から、100万人を超える元へ戻す請願が集まったとされる。既存利用者の身体になじんだ操作に触れると、忠実な利用者ほど大きく揺れる。

ビデオゲーム／プレイテスト観察

『Journey』で意思疎通を一つのピングに絞ったこと：知られているところでは、文字も音声も使わずピング一つに絞ったのは当初からの設計であり、プレイテストで人々が互いの体験を害そうとする様子が観察されると、害を与えられる相互作用を減らしたという。そのピングだけで、あるテスターが相手の動きから性格を想像し、話しかけることも観察されたとされる。隣で見た観察が、何を減らすべきかを教えた見本だ。

残りの参考コンテンツは本章末尾の「第25章付録」にまとめた（単行本では付録Dに収録）。

設計ノート ▶ 自分で試す

自分たちのゲームの最初の体験を段階に分け、それぞれいま何人残るかを書く。数字がなければ推測でも書く。

最初の画面（　）→ 最初の操作（　）→ 最初の反応（　）→ 最初の完了（　）→ 翌日（　）

最も急に落ちる区間を一つ記し、その横で問う。ここで人々がなぜ去るかを私は知っているのか、それとも推測しているだけか。推測だけなら、その画面を初めて起動する人五人を隣で観察する計画を、何を尋ね、何をただ見るかという形で一行に書く。

最後に再FTUEの一行を加える。次の大型アップデートやシーズン移行が来たとき、自分たちの既存利用者が再び迷う場所はどこか。そこですべてを新規のように教えず、「変わったことだけ」を指す一文を先に書いておく。（定性・定量ツールとテスト方式、反復周期、そして新規・復帰・既存利用者の再FTUE点検表を埋める精密なシートは付録C。）

一行要約：リリースは終わりではなく、本物の人を初めて入れる測定の始まりだ。定量（ログ・ファネル）はどこで漏れるかを、定性（観察・インタビュー）はなぜ漏れるかを答えるので、二つを組み合わせる。紙から試作品、実測へと、粗く始めてしだいに本物へ近づけて測り、基準線を置き、一度に一つだけ変えてもう一度測る。時間がたつと入る人の質感が変わり、アップデート・復帰・シーズン移行では既存利用者も再び初心者になる。新規のようにすべてを教えず、変わったことだけを指す。「リリースすれば終わり、チュートリアルは一度作れば終わり」という習慣は、リリース後の最大の学びを自ら捨てる。最初の体験は作るものではなく、育てるものだ。次章：ここまでが、計器盤を立て、その数字を信号として読みながら最初の体験を育てる仕事だった。ここまでが第5部である。だが、これまで私たちは、設計者が体験を組むと前提してきた。最初の画面も、最初の報酬も、最初の選択肢も私たちが敷いた。ならば、体験の拡張まで利用者へ任せられるだろうか。利用者が選ぶものから好みを読み、その上に次の体験を築けるだろうか。第6部はその問いから始まる。

第25章付録：参考コンテンツ集

本文の参考コンテンツ節には本章の論証へ直接つながる中核だけを残し、残りをここにメディア別にまとめた。UXリサーチの基本手順から始め、アプリの実験文化、ゲームの運営とプレイテスト、映画制作、工場や舞台のようなオフラインを通り、改編案内の事例で終える。本章の四つの論点、すなわちリリースを測定の始まりとして見る姿勢、定性（なぜ）と定量（どこ）を組み合わせ、一度に一つだけ変える測定ループ、アップデート時に既存利用者が再び初心者になる再FTUE、そして測ったものだけを直して測れないものを失う測定中毒の境界を横に置いて読めば、各項目の「見るべき点」がどこに触れるかが分かる。