第25章測量與反覆

上線不是完成之日，而是第一次遇見真實使用者、開始測量之日。

做完初次體驗、按下上線按鈕的那天，許多企劃都會在心裡說：「結束了。」投入半年的作品終於問世，這種心情並不奇怪。然而，正是這句「結束了」，最常毀掉初次體驗。第一個畫面不是建好一次便留在那裡的建築，而是每天都有新人進入、又以新方式迷路的鮮活環境。上線不是終點，而是第一次讓真實的人走進來的時刻；直到這時，我們才會看見在桌前規劃的路，和人們實際行走的路究竟相同還是不同。如果把上線視為終點，從此放手，那麼就在真實的人剛開始進入時，測量停止了。這就像在最能學到東西的那一天合上筆記型電腦，出門參加慶功宴。

本章從把「結束了」改成「現在才開始」出發。第24章已經寫下要投入什麼、產出什麼；這裡要看的是，如何測量它們是否真的變化，如果測量後沒有變化，又如何修正並重新測量。初次體驗在上線後會得到更多修正，而要修正就得先看，要看就得測量。測量需要兩隻眼睛：一隻直接觀察、傾聽使用者，另一隻閱讀行為匯聚而成的數字。第24章說，定量指出哪裡，定性說明為什麼。我們根據這兩隻眼睛看到的結果做出改變，再測量改變後的結果，然後繼續改變。這個反覆循環一停止，初次體驗就成了標本。本章結尾還有一位測量理論很少處理的客人：更新出現之日再次成為新手的現有使用者，也就是「重新開始」的初次體驗。

在旁邊觀察一個人，就能聽見數字說不出的話

回到假想遊戲。檢視那款收集角色、與角色對話的手機遊戲上線後的日誌，第一個角色完成率為30%，這和第24章兩位企劃收到的報告是同一種錯位。十個人中有七個在完成角色前離開。數字只能說到這裡。它指出使用者從哪裡漏走，卻對為什麼漏走閉口不言。

所以，我們把人請來。找五個從沒玩過這款遊戲的人，只在旁邊看他們第一次啟動遊戲。不要教，不要介入，只看手指在哪裡停下。結果，五個人中有三個停在顏色選擇畫面。一個人說：「顏色太多，我不知道該選什麼。」一個人隨便點了一種顏色，一邊四處檢視畫面，一邊問：「這到底儲存了，還是沒有？」另一個人只是覺得無聊，放下了手機。30%這個數字背後，原來有三個不同的理由。這就是直接觀察、傾聽人，也就是定性。定性的樣本少，無法用數字概括所有人，卻能告訴我們數字無論如何都說不出的話——為什麼。不過，觀察五個人也有局限。它能低成本找出誰都會碰到的大問題，卻找不到因人而異的小差異或很少有人走到的路徑。接下來的數字會補上這一點。

把定性和定量配對時，順序很重要。數字先把範圍縮小成「就是這裡」，然後把人帶到這裡，聽取為什麼。沒有數字，只是漫無目的地觀察人，就會不知道該看哪裡；沒有人，只看數字，就會因為不知道原因而修錯地方。數字指出顏色畫面是漏點，於是我們就在這個畫面聽使用者被什麼擋住。哪裡由日誌回答，為什麼由觀察和訪談回答。

在MEJE Aidong World裡，這種觀察更加坦白。粉絲被卡住時，表情和雙手總是先於語言暴露出來。他裝扮Aidong時在某處遲疑、噘起嘴，然後直接關閉應用程式。這個遲疑的位置馬上成為修正候選。悠閒的使用者即使受阻也會試到最後，利用零碎時間來訪的粉絲卻會更快離開，所以坐在粉絲身邊觀察，是最無情的定性測試。如果日誌也再次指出粉絲停下的位置，那裡很可能就是下一處要修的地方。

從紙張到畫面，再到真實的人

等到上線後才開始修正就太晚了。幸好，初次體驗還沒全部做完也能測量。有一種順序：哪怕粗糙也要盡早測量，然後逐步接近真實，再次測量。

最便宜、最快的是紙張。把每個畫面畫在紙上，請人用手指出「在這裡想做什麼」。如果他指向完全不同的位置，就說明畫面沒有被按意圖理解；一行程式碼都沒寫，就能知道這一點。紙上的路徑大致確定後，下一步是可以點選的原型。它不是真正的遊戲，只是模仿按鈕可按、畫面會跳轉，但因為人真的會移動手指，所以比紙張暴露更多問題：在哪裡猶豫，哪裡會點兩次。再下一步，才是推出真實產品，用真實數字測量。無論是正式上線，還是只向一部分人先開放，都要看真實的人在真實環境裡留下的日誌。紙張快卻粗糙，實際測量準確卻晚，所以先用紙張篩掉大的誤解，在原型中整理流程，再透過實際測量確認。不要企圖一次推出完成品；盡早推出粗糙版本，盡早學習。

測量後改變某樣東西時，有時必須區分變化是真正的效果，還是偶然。這時做兩個畫面，把使用者分開，比較哪一邊的數字更好即可。比如，一組看到減少顏色選項的畫面，另一組看到原本畫面，再看哪邊的完成率更高。這樣的比較，比「憑感覺，減少選項似乎更好」可靠得多。但只有聚集了足夠多人，比較才值得相信。樣本太少或時間太短，偶然就可能像勝者一樣出現，讓你選錯一邊。因此，比較需要基準線和充分觀察。不知道改變前的數字，就無法判斷改變後變好還是變壞。動手之前，先寫下當前數字。這個數字就是所有比較的起點。

有些公司把這種比較固定成了工作方式。訂房服務Booking.com經常被提到，因為它幾乎把每一次畫面變化都分成兩組來測量。據稱，它一年進行約2.5萬次比較，其中相當一部分沒有效果、甚至變得更差，最終被捨棄。值得注意的是，它不把這些失敗視為損失。快速篩掉無效方案，本身就會讓下一步更準確。腦中看似正確的方案，面對真實數字時經常出錯；每次比較都會提醒這一點。我們只做一兩次比較，最終也是在做同一件事：讓數字檢驗一次自己的確信。不過，同時進行數百項實驗，似乎與「一次只改一項」的建議矛盾，分界在於基礎架構。如果有能夠隨機分流使用者、避免實驗相互污染的基礎架構，就可以同時進行多項實驗；沒有這種基礎的小團隊，一次只做一項才正確。

連做出判斷的時機也要測量。剛改完後的數字還不能算數字。D1只有等昨天進入的人完整度過一天，才能讀取；改版後一兩週裡，既有因新鮮感而多點幾次的人，也有因陌生而抵觸的人，數字會不斷搖擺。Instagram曾測試把熟悉的垂直捲動改成水平滑動，卻意外將測試擴大至超出預期的範圍，遭遇反彈後當天恢復原狀。最初幾天的尖叫和歡呼都很吵，只憑這些做判斷，幾乎必然出錯。要等同期群樣本累積足夠、波動平息後，再把數字與基準線比較。

時間流逝，先來的人與後來的人會畫出不同圖案

一次測量並非終點，還有另一個理由：隨著時間流逝，進入者的特質會改變。上線第一週進入的人，和半年後進入的人並不是同一種人。

來看假想數字。上線第一週，先到來的是看到廣告後特意尋找遊戲的人，以及喜歡新事物的人。假設他們的D1約為12，也就是100個人中有12個隔日回來。然而三個月後，透過口碑和自然搜尋進入者的D1可能降到6。同一款遊戲、同一個第一個畫面，數字卻減半了。並不是第一個畫面被毀了，只是進入者的特質改變了。早期使用者期待高、耐心長，後來的人則可能偶然流入，期待很淡。因此，我們既不能因上線後的好數字而放心，也不能看到數字隨時間下降，就把整個第一個畫面推倒重來。要按時間追蹤新使用者畫出的圖案，觀察初次體驗會因使用者何時進入而產生多大差異。

尋找漏點最清晰的方法，是把初次體驗拆成階段，檢視每個階段還剩多少人。第3章按門檻劃分初次體驗，第21章按時間劃分，現在這些劃分開始發揮作用。來看假想數字。把打開第一個畫面的人設為100，走到第一次操作的有70人，看見第一次反應的有60人，完成第一個角色的有30人，隔日回來的有6人。這樣排開，60降到30的區間最陡，那裡就是瓶頸。如果把最後的6，也就是隔日回訪率，設為第22章建立的北極星，那麼把階段排開的瞬間就能看見：提高這一個數字的方法，就是填上它前面流失最多的區間。因此，下一處該修的是漏得最多的一個區間。若同時修正所有位置，就無法知道什麼產生了效果，所以只選最陡的一段，只改變那裡，再次測量。

更新出現時，現有使用者也會再次成為新手

到目前為止，測量的都是第一次進入的使用者的初次體驗。但初次體驗不只發生在新使用者身上，玩了很久的現有使用者也會在某個瞬間再次成為新手。忽略這一點，就會失去最忠誠的人。

三個瞬間會讓現有使用者重新回到起點：大型更新改變畫面結構或操作時，停玩一段時間後久違回歸時，以及賽季切換、規則和目標重新鋪設時。回到假想遊戲。一款角色收集遊戲經歷大型改版，選單位置全都改變。一個每天玩了一年的人久違打開遊戲，卻發現一直按的地方沒有了熟悉的按鈕。他不是新使用者，卻迷路了。這裡有兩種常見錯誤。一種是完全不在意他，認為「現有使用者自己會適應吧」，不給任何引導，結果停留最久的人反而最困惑。另一種正好相反：把他當新使用者。對玩了一年的人從頭解釋「這是角色，點這裡可以裝扮」，會讓他覺得自己被輕視。

現有使用者的「重新開始」，必須和新使用者的第一次區別對待。不要碰他已經知道的，只指出發生變化的地方。選單移動了，一句「你在找的內容移到這裡了」就夠；賽季改變了，只需清楚說明一條新規則，其餘保持原樣。對久違回歸的人，指出他離開前最後在做什麼，然後只展示「這段時間新增了這些」。關鍵是不要全部重新教過。他是這個世界的居民，而不是觀光客；只引導新鋪設的部分，並尊重他積累的熟悉感。因此，測量也要分開。若更新或賽季切換後，現有使用者的回訪下降，應先考慮是否改版讓他們再次迷路，而不是直接判斷新內容不好。不要只看新使用者的D1，還要並排比較改版前後現有使用者回來的比例。

「上線就結束」這一創作者的舊習慣

既然本章討論測量與反覆，就把遊戲創作者的一項習慣放上檢查站：「上線就結束，教學做好一次就結束。」這不是畫面上的慣例，而是創作者心裡的慣例。

看看這種習慣預設了什麼。它把遊戲視為一件完成品，認為只要在上線日前做完全部內容，並在那天推向世界，工作就結束了。這個前提是實體包裝銷售時代留下的遺產。遊戲刻進光碟、裝入盒子出售後，就停在那個狀態；教學做好一次、放進光碟，也就結束了。對那個時代的創作者來說，上線確實是終點，初次體驗是在上線前全部完成的東西。因此，這種習慣能存續這麼久，並不是因為懶惰，而是因為它曾在整個時代裡正確。正確的時間越長，習慣扎根越深。值得檢查的慣例通常就是這樣：曾經正確的答案，沒有意識到時代已經改變，仍然留在原地。

今天的遊戲不再共享這一前提。它始終線上，每天都有新人進入，也能隨時修正、重新發布，是一個活環境。上線不是句號，而是最多資訊開始湧入的時點。若相信初次體驗在上線前已經完成，就不會閱讀上線後湧來的真實使用者行為。教學做好一次便原樣放著，那麼即使進入者的特質隨時間改變，或大型更新改變畫面，老舊教學依然會迎接新來的人。按實體包裝時代習慣製作的初次體驗，會停在上線日，逐漸與現實錯位。

這種習慣收取的費用，是錯失機會。上線後明明最能學習，卻因覺得結束了而放手，就會把這些學習全部丟掉。使用者從哪裡漏走，為什麼漏走，隨時間推移誰會進入，更新後現有使用者如何迷路——所有這些訊號都在上線後到來，但「結束了」的習慣讓人把它們全部錯過。

只保留本質，改變做法。作品在上線日走向世界這一事實不變，但要把那天視為測量的開始，而不是終點。初次體驗不是建好一次的建築，而是一座不斷照料的花園。上線後測量，觀察人、傾聽為什麼，修正流失最多的一個區間，然後再次測量。教學也不要做好一次就封存；進入者改變時，教學也要跟著改變。一旦把初次體驗看成持續生長的東西，而非完成品，上線後的所有數字便不再是負擔，而會成為指出下一處該照料哪裡的地圖。

不過，也要對另一面保持警惕。測量也可能讓人上癮。只修能測量的東西，無法測量的東西——第一印象的新奇感與作品的身分——會先死去。若反覆循環只追求讓眼前數字逐步上升的局部最佳化，所有稜角都會被磨平，最後只剩下似曾相識的光滑初次體驗。數字能在兩個畫面中選出比昨天更好的那個，卻無法選擇從沒人嘗試過的畫面。因此，除了測量和修正的手，還要留下一隻眼睛，繼續追問這次初次體驗是否仍然屬於我們。儀表板無法回答這個問題。

▶ 套用到自己畫面上的三個問題

我把上線看作完成，還是測量的開始？

我是否想測量一次就結束？

改變並重新測量的循環，現在是否正在運轉？

如果上線日就放手、沒有再次測量，初次體驗會在那天成為標本。先讓重新測量的循環轉起來。

所以，一次只改一項，然後重新測量

把測量與反覆引入初次體驗，工作方式就會改變。不再努力於上線前一次猜對全部，而是盡早推出粗糙版本來學習。用紙張篩掉大誤解，用原型整理流程，用實際測量確認。上線後，按階段檢視剩餘人數，找到最陡的區間，再把人帶到那裡，傾聽為什麼，只改變一個把手。同時改變多項，就無法知道什麼有效，因此一次只改一項，並與基準線比較。除了新使用者，也要並排觀察後來進入的人，以及因更新再次迷路的現有使用者。

這一切工作，都以第24章的心態為基礎。數字是訊號，不是裁判。低數字傷到自尊，迭代就會停止；迭代停止，初次體驗就會在上線日成為標本。只有把數字當地圖的人，才能不斷找到下一處要照料的地方。初次體驗不是製作出來的，而是培育出來的。

培育需要日曆。流入者的特質每季度都會變化，FTUE也有有效期限，所以要提前確定何時啟動定期檢查。一個啟動條件，是廣告與自然流入的比例明顯失衡；另一個，是大型更新剛結束。每到這些時點，就重新鋪開漏斗，再讓五位第一次啟動的使用者坐到身邊。

參考內容

能體現本章概念的其他媒體與領域案例。

實務流程／UX研究

五人可用性觀察：只看五個人，也能低成本找出誰都會碰到的大問題；少見路徑和細小差異則由數字補上。
先寫下基準線：不知道改變前的數字，就無法判斷改變後是否更好。所有比較都從基準線開始。

一般應用程式／實驗文化

把大規模A/B測試固定為工作方式的公司：每次改變畫面都分成兩組測量，把快速篩掉無效方案視為下一步，而非損失。據稱，Duolingo以「全部都測試」為原則，同時進行數百項實驗，連新的通知文字也先向少數人測試，只把勝出版本推送給所有人。Google把廣告連結的藍色分成41種測量，最後選擇了並非設計師選中的顏色，這件事也經常被提及。
改變熟悉操作後又恢復原狀的應用程式改版：Instagram在2018年測試把垂直捲動改為左右點按與滑動，卻將測試意外暴露給過大範圍，引發強烈反彈後馬上恢復原狀。據稱，Snapchat在2018年的改版把聊天和故事混在一起，使用者抱怨令人困惑，要求恢復原狀的請願超過100萬人。動到現有使用者已形成肌肉記憶的操作，最忠誠的使用者反而受到最大衝擊。

電玩／遊戲測試觀察

《Journey》把溝通縮小為一個鳴聲：據稱，不使用文字與語音、只保留一種鳴聲，本來就是最初的設計；遊戲測試中觀察到人們試圖破壞彼此體驗後，團隊刪掉了能夠傷害他人的互動。也有測試者只靠這一聲鳴聲，從對方動作中想像性格並主動搭話。坐在旁邊觀察，告訴了團隊該刪掉什麼。

其餘參考內容匯集在本章末尾的「第25章附錄」中（單行本收錄於附錄D）。

設計筆記 ▶ 自己動手試試

把我們遊戲的初次體驗拆成階段，寫下每個階段現在還剩多少人。沒有數字，就先憑估計填寫。

第一個畫面（　）→ 第一次操作（　）→ 第一次反應（　）→ 第一次完成（　）→ 隔日（　）

標記下降最陡的一個區間，並在旁邊提問：我知道人們為什麼在這裡離開，還是只在猜測？如果只有猜測，就寫一行計劃，說明要怎樣在這個畫面旁邊觀察五位第一次啟動的使用者：要問什麼，又有哪些事情只觀察、不提問。

最後再加一行「再FTUE」。下一次大型更新或賽季切換出現時，我們的現有使用者會在哪裡再次迷路？提前寫下一句話，不像對待新使用者那樣把所有內容重新教一遍，而只指出「發生變化的部分」。（用於填寫定性與定量工具、測試方式、反覆週期，以及新使用者、回歸使用者、現有使用者再FTUE檢查表的精密工作表，見附錄C。）

一句話總結：上線不是終點，而是第一次讓真實的人進入、開始測量的時刻。定量（日誌、漏斗）回答使用者從哪裡漏走，定性（觀察、訪談）回答為什麼漏走，所以要把兩者配對。從紙張到原型再到實際測量，先粗略開始，再逐步接近真實；設定基準線，一次只改一項，然後重新測量。隨時間流逝，進入者的特質會改變；更新、回歸、賽季切換時，現有使用者也會再次成為新手，所以不要像對待新使用者一樣全部重新教過，只指出變化。「上線就結束，教學做好一次就結束」的習慣，會主動放棄上線後最重要的學習機會。初次體驗不是製作出來的，而是培育出來的。 下一章：到這裡，我們建立儀表板，把數字讀成訊號，並持續培育初次體驗。第5部到此結束。然而，到目前為止，我們一直假設體驗由設計師安排。第一個畫面、第一次獎勵、第一組選項，都是我們鋪好的。那麼，能否連體驗的擴展也交給使用者？能否從使用者的選擇中讀取偏好，並在上面建造下一次體驗？第6部從這個問題開始。

第25章附錄：參考內容匯編

正文參考內容一節只保留了與本章論證直接相關的幾個核心案例，其餘內容按媒體類別匯集於此。從UX研究的基本流程開始，經過應用程式的實驗文化、遊戲營運與遊戲測試、電影製作，以及工廠、舞台等線下場景，最後以改版引導案例收尾。閱讀時，可以把本章的四個論點放在旁邊：把上線視為測量的開始；把定性（為什麼）與定量（哪裡）配對、一次只改一項的測量循環；更新時現有使用者再次成為新手的再FTUE；以及只修可測量之物、從而失去不可測量之物的測量成癮邊界。這樣就能看出每個條目的「觀察點」觸及哪裡。