MEJE BOOKS Knowledge Library

KIM DONG-EUN · FTUE:首次使用者體驗 (30 章)

第22章 結果儀表板的定義

Kim Dong-eun WhtDrgon. · 章 22

第22章 結果儀表板的定義

本章開啟第五部分。第23章負責討論用什麼推動這個數字,第24章負責說明它如何與業務目標相遇。這裡先為初次體驗選擇我們究竟要觀察什麼。


看著營收修改第一個畫面,就像看著體重秤猜該活動哪塊肌肉。

聽說一款遊戲成功時,最先浮現在腦中的通常有兩個數字:營收,以及每天有多少人登入。產業衡量遊戲健康時,幾乎會條件反射地拿起這兩個數字。說某款遊戲做得好,話題便會轉向每月賺了多少、同時線上有多少人。但如果初次體驗設計者把這兩個數字擺在桌上,只盯著它們,就永遠不知道自己碰過的畫面是否真正有效。營收與每日活躍使用者是遊戲整體執行很久以後才出現的、又遠又大的數字。修改第一個畫面的人無法分辨今天看到的數字究竟來自自己的改動、昨天投放的廣告,還是上週推出的新角色。即便如此,營收下跌的日子裡,仍會有人命令他改變第一個畫面按鈕的顏色。這就像體重秤指針不下降便去揉小腿:沒人知道什麼導致營收下降,只有畫面顏色徒勞地打轉。

第21章末尾留下了一個問題:究竟在看什麼數字?想提高什麼?第五部分從這裡開始。本章承擔其中最靠前的工作——在決定提高什麼之前,先決定觀察什麼。觀察對象選錯了,無論多努力修改畫面,付出都可能不反映在數字中;也可能看見無關的數字發生變化,便誤以為成功。因此,第一步是建立儀表板。正如汽車駕駛座前嵌著速度表與燃油表,駕駛初次體驗的人眼前,也應有一塊預先決定好要顯示什麼的儀表板。

留存結果逆轉的兩個畫面

回到一款假想遊戲。這是一款收集角色並與之對話的手機遊戲,直到第五部分結束,我們每章都會再次遇見它。假設我們為同一款遊戲製作兩種初次體驗,各分配一半使用者。畫面A一開始就長時間展示華麗的戰鬥演出,用壓倒性的視覺內容填滿前五分鐘。畫面B減少演出,卻讓使用者在前三分鐘內親自挑選一個角色、取名並完成建立。

只看第一次工作階段,A獲勝。來看一組假設數字。因為華麗、可看的東西多,畫面A的使用者在前30分鐘比B停留得更久;如果30分鐘後A留下的人更多,會議室就會得出A是更好初次體驗的結論。但到了第二天,故事逆轉了。昨天親手建立並命名角色的B組使用者,比昨天只觀看的A組使用者回來得多得多。A取悅了眼睛,卻沒有種下回來的理由;B的前30分鐘稍顯平淡,卻留下了「我昨天建立的角色」這個藉口。若只看前30分鐘停留時長,我們會選擇A,而這項選擇會在第二天失去更多人。觀察什麼,決定了保留哪個畫面。

MEJE Aidong World也潛伏著同樣的陷阱。影片播放得越長,人自然看得越久;粉絲長時間觀看Aidong影片,不等於喜歡上了這個應用程式。真正該看的是,粉絲是否把Aidong帶回身邊作為自己的最愛併為它取名,以及第二天是否為了看它再次開啟應用程式。「看得久」和「又回來」講的是不同故事。

作為結果出現的數字與手能觸碰的數字

建立儀表板前,先把數字分成兩類:作為結果出現的數字,以及手能觸碰的數字。混在一起,儀表板就會模糊。

作為結果出現的數字,如營收、每日活躍使用者、隔日回訪,無法由我直接操縱,而是使用者行為總和形成的結果。我無法用手指把營收數字提起來;那是許多人各自決定後匯聚出的結果。手能觸碰的數字則是首次獎勵出現前的時長、要求登入的時點、第一個按鈕的大小與位置等可以直接在畫面上改變的東西。我今天做出決定,明天就能讓它不同。

我們給兩者命名。只放置結果數字的盤,就是本章要建立的「結果儀表板」;我們用手直接觸碰的輸入則叫「契機」。以駕駛座為例,速度表指針屬於儀表板,讓指標移動的油門踏板就是契機。這裡要說明一點:韓語中,本書所說的「契機」與「計器」同音。前者是使事情發生的事件或觸發點,不是測量工具。日常聽到這個詞容易先想到儀表板上的計器,但本書的契機始終指推動儀表板指針、能用手觸碰的一側。第五部分圍繞這一對概念展開。

本章建立的儀表板只放作為結果出現的數字。既然任務是決定觀察什麼,就選擇想照亮的結果。如何連線手能觸碰的數字,也就是推動結果的輸入,屬於下一章。現在只選擇儀表板上顯示什麼。

值得放在初次體驗儀表板上的結果數字大致如下:開啟第一個畫面的人中進入下一階段的比例,也就是每個階段有多少人通過、多少人漏走;到達第一份核心樂趣的比例,產業稱為活化率,直白地說,就是「身體上明白這是什麼遊戲的人所佔的比例」。這個數字真正困難之處在於,哪種行為算作到達,該問題將在附錄C單獨討論。還要看完成第一個核心任務的比例;第二天再次啟動的比例,通常稱作D1,即「隔一天回來的人所佔的比例」;一週後再次啟動的比例,稱作D7,即「七天後仍留下的人所佔的比例」。距離不按天數,而按因果鏈中介入變數的數量衡量時,七天內介入的事情更多,因此D7位於這份清單最遠的一端。也可以測量單次停留時長,但單獨閱讀這個數字,正會落入前面選擇畫面A的陷阱,所以只能把它放在回訪旁邊閱讀。還應檢視第一次把某樣東西展示或分享給他人的比例。這些數字比營收和每日活躍使用者更小、更近,修改第一個畫面的人能從中辨認自己親手做出的效果。

選好數字後,再分一次。即使位於同一塊儀表板,有些數字一亮紅燈就要立刻停下手頭工作趕去處理;另一些則要按數天、數週的走勢閱讀。第一個畫面完全無法顯示的比例,或在前30秒內關閉的比例,屬於前者,即使只突增一天也要視為警報。D1與D7屬於後者,不應為單日波動一喜一憂,而要看趨勢。汽車把燃油警示燈和速度表指針放在同一塊盤上,卻讓我們用不同方式解讀。若不預先規定哪個數字表示「停下」、哪個表示「觀察」,所有數字都會以同樣音量鳴響,真正緊急的訊號反而會被錯過。

此時可以想起控制台層級。第6章把使用者分為八層,其中第六層是俯瞰並營運整體的人,也就是坐在儀表板前的控制台操作者。建立儀表板,就是讓製作初次體驗的我們自己坐到那個控制台位置。第6章的任務是在畫面內繪製儀表板,讓使用者獲得營運感;本章則為製作那塊儀表板的人另備一塊握在自己手中的儀表板。

把數字都放上儀表板後,將其中一個放得最大。同時追逐多個數字會分散雙手,因此要選出初次體驗最重要的一個,讓其他數字圍繞它提供支撐。這個數字通常稱為北極星指標:如同夜空迷路時靠一顆北極星辨別方向,它是在判斷模糊時回頭檢視的唯一數字。

談論這個數字該選什麼時,知名產品的選擇常被當作增長案例。它們更像產業傳聞而非官方資料,但共同點始終是:都不是營收。據說外語學習應用程式Duolingo選擇的是每天進入並學習的人數,因為每天到訪的人最終會學得更久、留下更久。提供住宿的Airbnb據說選擇預訂住宿夜數,提供音樂的Spotify則選擇人們聆聽音樂的時長。三者都不直接數錢,而是計算人們從產品獲得真實價值時隨之變化的行為,並認為營收會像影子一樣跟在這些行為後面。

這裡可能有讀者疑惑:每天進入並學習的人數,不就是每日活躍使用者嗎?剛才不是說這個數字太遠了嗎?層級不同。公司整體的北極星可以是每日活躍使用者,因為公司處於可以看那麼遠的位置。但初次體驗儀表板上放的,不應是公司北極星本身,而應是通向它的因果鏈最前一格。以Duolingo為例,第一天完成第一節課的人所佔比例,可能才是初次體驗團隊負責的部分;這個比例不斷積累,支撐「每日學習者人數」這顆公司北極星。初次體驗的北極星也應按同樣原則選擇:到達第一份核心樂趣的比例,或第二天回來的人所佔比例等,最直接反映初次體驗是否完成職責的數字。營收是很久以後的事情。

「成功就是營收與每日活躍使用者」這條產業常識

這裡要把遊戲產業一條根深蒂固的常識送上檢查站:「遊戲的成功用營收與每日活躍使用者衡量。」

先看這條常識把什麼視為理所當然。製作遊戲需要花錢,要生存就必須盈利。於是,想一眼判斷遊戲健康的人自然會拿起營收與每日活躍使用者。這兩個數字在公司外部也通用,投資者能理解,也便於和其他遊戲比較。長年製作、營運遊戲的人一直這樣學習,其中自有道理。遠距離衡量整個遊戲的健康時,很少有數字比這兩個壓縮的資訊更多。

問題發生在把這條常識原封不動搬進初次體驗設計時。對觸碰初次體驗的人而言,營收與每日活躍使用者太遠、太大。第一個畫面的修改要反映到營收,必須等通過該畫面的人再停留數日、喜歡上遊戲,並在很久以後產生付費意願,走完整條長鏈。鏈條任何位置都可能插入別的事件:期間可能增加了廣告,可能推出了新角色,也可能有競品帶走使用者。因此,修改第一個畫面的人一個月後看著營收說「我做對了」或「我搞砸了」,幾乎等於占卜。他把手夠不到的遠方數字當成了自己的成績單。

把這條常識原樣帶入初次體驗設計,代價是徒勞與誤判。只看遠方數字,就不知道親手修改的畫面是否有效,也不知道接下來該改什麼。更危險的是,為儘快提高營收與每日活躍使用者,強行把裝置塞進初次體驗。從第一天就推銷付費,為拉高使用者數而在第一個畫面鋪滿簽到與每日任務,營收與使用者這些遠方數字也許短暫變化,初次體驗的信任卻會先破裂。第一個畫面負責讓人喜歡上它,而不是把遠方的大數字強行拉近。

保留本質,改變做法。保留營收與每日活躍使用者反映整個遊戲健康這一事實,丟掉把它們當作初次體驗成績單的慣性。為初次體驗單獨建立合適的儀表板,不放遙遠龐大的結果,而放它直接負責的、近而小的結果:每階段漏走多少人,多少人到達第一份核心樂趣,多少人完成第一項任務,多少人第二天回來。營收與每日活躍使用者應放在這塊儀表板很遠的後方,在第五部分其他位置作為輸出指標處理。擺在駕駛第一個畫面的人眼前的儀器,必須位於這個畫面能夠觸及的距離內。

▶ 套到自己畫面上的三件事

  1. 我現在看的是結果儀表板,還是第一個畫面的直接契機?
  2. 是否正試圖用營收、DAU等遠方數字修改第一個畫面?
  3. 北極星與第一個畫面之間的因果能否用一個步驟連線?

只要其中一項把遠方數字握作第一個畫面的成績單,就應先重選儀表板。

因此,先決定觀察對象

先建立儀表板,初次體驗設計就會改變。思考改什麼之前,先決定看什麼:選擇幾項初次體驗直接負責的、近而小的結果,再從中選一個作為北極星。營收與每日活躍使用者等遙遠龐大的數字,移到儀表板邊緣或第五部分其他位置。觀察對象選錯,後續一切判斷都會錯位。華麗的第一個畫面提高前30分鐘停留時長,團隊為此欣喜,卻在第二天失去更多人;這樣的錯位正從觀察對象開始。

選錯儀表板的危害不止徒勞。把營收掛成初次體驗成績單的一瞬間,立刻推動這個數字的最快方式,就是從第一天開始強塞付費。儀表板不再照亮初次體驗,反而拉著手去破壞它。觀察什麼決定會做什麼,因此選擇儀表板首先是行動問題,其次才是觀察問題。

達成共識的儀表板還是一面盾牌。營收下降那天,從上方傳來「改掉第一個畫面的按鈕顏色」這種指示幾乎不可避免。面對它,第一個畫面負責人能拿出的少數武器之一是:「我們共同確認的初次體驗儀表板是這個,而這個數字沒有變化。」事先建立儀表板並廣泛達成共識,不只是在為測量做準備,也是用組織內部的政治保護初次體驗免受錯誤指示。

本章只決定觀察什麼。究竟用什麼推動這個數字,也就是哪項手能觸碰的輸入會搖動儀表板,仍是空白。即使在儀表板上放置「隔日回訪」這根指標,如何推動指針也是另一個故事。我們無法直接用手推它,那由使用者決定。那麼我決定的是什麼?這條分岔屬於下一章。

參考內容

能體現本章概念的其他媒介案例。

機械裝置/家電UX

  • 汽車儀表板:只把駕駛者此刻該看的結果彙集到眼前,如速度表和燃油表,是儀表板的原型。
  • 汽車訊號警示燈與儀表:訊號燈只是表示開關的二元訊號,故障已經發生後才亮紅,要求立即處理;油溫表、燃油表等儀表則用指針即時顯示變化,使人提前準備。想照亮的結果究竟是「現在必須停下的事」,還是「應按趨勢觀察的事」,決定儀表板上放什麼。
  • 三哩島核事故時的控制室:事故最初幾分鐘,數百個警報以幾乎相同的形狀和聲音同時鳴響,操作者無法區分危及生命的警報與細微偏差。有人回憶控制板亮得像聖誕樹,一名操作者還向調查委員會作證說警報板沒有提供有用資訊。這個反例說明,不預先決定何者緊急便全部顯示,儀表板反而會矇住人的眼睛。

現實工作流程

  • 虛榮指標與有效指標的區分:把總註冊使用者、累計下載等看上去漂亮卻不告訴我們該做什麼的數字,與轉化率、活化率等因果清晰、親手修改的效果能立刻反映出來的數字分開。選擇儀表板內容時,應先區分只讓心情愉快的數字與能改變行動的數字。

真人電視/播送

  • 《紐約時報》選舉計票「指針」:把大量計票數字壓縮成一個勝選機率儀表,突出最直接反映選情的單一指標。據傳,為表達不確定性而刻意加入的指針抖動給觀眾帶來過度焦慮,受到強烈批評;後來允許關閉抖動,再後來又改為只在資料變化時讓指針移動。它說明,突出一個數字與如何同時展示該數字的不確定性,是兩個不同問題。

其餘參考內容收錄於本文末尾的「第22章附錄」(單行本中歸入附錄D)。


設計筆記 ▶ 親手試一試

只選擇五個結果數字,放到照亮我們遊戲初次體驗的儀表板上。暫時排除營收與每日活躍使用者。

候選項包括:每階段通過比例、到達第一份核心樂趣的比例、完成第一項任務的比例、第二天再次啟動的比例、一週後再次啟動的比例、單次停留時長(單獨閱讀會落入正文選擇畫面A的陷阱,因此若選擇,只能放在回訪旁邊閱讀),以及第一次分享的比例。從中選五個,用一行準確寫出每個數字計算什麼。例如:「隔日再次啟動比例,是昨天首次啟動的100人中今天再次啟動的人數。」

選擇五個數字的標準,是遊戲核心樂趣到來的速度。若核心樂趣在第一次工作階段內爆發,就優先選擇第一天內可讀的項目,如到達第一份核心樂趣、完成第一項任務;若樂趣經過數日逐漸增長,就加重隔日與一週後回訪等「回來」項目的分量。無論哪種情況,最好都不要排除分階段通過率,因為不知道人從哪裡漏走,就算讀懂其他數字也找不到修改位置。

全部選好後,只圈出其中一個。它是最直接反映初次體驗是否完成職責的數字,也就是我們的北極星。最後自問:如果剛圈出的數字是營收或每日活躍使用者,它是否遠得超出初次體驗能觸及的範圍?(記錄每項指標定義與測量位置的詳細儀表板定義表見附錄C。)

一句話總結:初次體驗設計者決定修改什麼之前,先決定觀察什麼。營收與每日活躍使用者照亮整個遊戲的健康,卻大而遙遠,不能由第一個畫面直接負責。初次體驗儀表板應放分階段通過、到達第一份核心樂趣、完成第一項任務、隔日與一週後回訪等近而小的結果,並選一個作為北極星。「成功就是營收與每日活躍使用者」這條產業常識,會在初次體驗設計中引發徒勞與誤判。 下一章:儀表板上放什麼已經決定。但指針無法由手直接推動。我們無法用手指提起「隔日回訪」這個數字,那由使用者決定。那麼我決定什麼?正在觀察的結果與手能觸碰的輸入如何相連?第23章將編織這段因果。

第22章附錄:參考內容合集

這裡收集了其他領域如何選擇照亮初次體驗的數字:不用遙遠龐大的營收,而把初次體驗直接負責的近而小的結果放上儀表板;從中放大一個作為北極星;預先區分作為警報處理的數字與按趨勢閱讀的數字。案例不只來自遊戲營運,也涵蓋航空、醫療、播報、電影、音樂,以及閱讀指標與資料的方法。可以逐項對照正文結論閱讀:觀察什麼,決定會做什麼。

現實工作流程

  • Apple Watch活動圓環與「閉合圓環」:用活動、鍛鍊、站立三個圓環一眼顯示一天的結果,不羅列所有數字,而壓縮成一個明確目標:「今天三個圓環都閉合了嗎?」觀察點:這是從多項結果中突出一個待完成項目的北極星設計。我們的儀表板上,哪一格應該最大?
  • Strava每週總結:彙集距離、時間等結果,但使用者不是直接推動數字,而是讓它們作為跑步、騎行行為的總和跟隨而來。觀察點:它原樣展示結果數字如影子般跟隨行為的關係。顯示的數字在哪條界線上是動力,越過哪條線又會成為壓力?
  • 只看營收與使用者數的營運會議:這是只盯遙遠大數字,無法分辨親手修改畫面效果的反例。觀察點:擺上會議桌的數字,會成為組織認為自己能夠修改的事項清單。寫下我們會議中經常出現的數字。
  • 急診室的病情分級(分診):湧入的患者不按掛號順序,而按嚴重程度劃分,先區別危及生命的訊號與可以等待的訊號。觀察點:它不讓所有訊號以同樣音量鳴響,是正文區分警報型與趨勢型的原型。我們的儀表板是否單獨規定了「只突增一天也要趕去處理的數字」?

電子遊戲

  • 遊戲分析工具的教學漏斗報告:用表格展示每階段留存人數、相對上一階段的流失率、階段間平均耗時,指出人在哪一步離開最多。當最陡區間顯現,例如「教學完成30%,到達第5階段5%」,修改第一個畫面的人就能在那一格直接識別自己工作的效果,並找到下一處要改的位置。觀察點:這是近到足以讓第一個畫面設計者認出自己工作效果的數字樣本。我們的漏斗是否按階段切開?
  • 教學完成率、D1、D7儀表板:不放遙遠龐大的營收,而照亮初次體驗直接負責的近而小的結果。觀察點:即便在同一塊盤上,完成率單獨閱讀也會變成虛假數字。我們是否連哪個數字該放在哪個數字旁邊一起閱讀都已規定?
  • 只炫耀同時線上人數的營運:大數字很醒目,卻無法分辨第一個畫面的成敗。觀察點:對外炫耀的數字可能不同於內部工作的數字。我們是否把新聞稿數字放到了儀表板上?

移動端/應用程式/服務

  • YouTube從播放量轉向觀看時長:2012年10月,YouTube把推薦與搜尋的核心訊號從播放量改為觀看時長。播放量容易被誘導點選的標題和縮圖放大,因此平台決定照亮的不是「點了嗎」,而是「繼續看了嗎」。據說改動後播放量一度大幅下降,但YouTube認為這對觀眾更好,仍保留了該選擇。觀察點:這是儀表板數字甚至改變創作者行為的產業級案例,直接呈現「照亮什麼,就會讓人做什麼」。

航空/運輸

  • 飛機六大儀表與主飛行顯示器(PFD):把空速表、姿態儀、高度表、轉彎協調儀、航向儀、升降速度表六項定義為飛行必需結果,集中在一處;姿態儀位於中央,左側是速度,右側是高度與升降。觀察點:這是先決定看什麼,再把最重要的一項放大置於中央的標準佈局。我們的儀表板中央「姿態儀」是什麼?
  • 玻璃座艙:把分散的儀器集中到一個畫面,但前提是先決定照亮什麼。觀察點:彙集不等於全部可見,只有被選擇的內容才會顯現。合併儀表板之前必須先篩選。

真人電視/播送

  • 體育轉播的比分與資料圖:從整場比賽中只選此刻該看的結果,顯示在畫面一側。觀察點:這是有人為坐在控制台前的觀眾預先選好的結果數字。決定排除什麼,與決定放入什麼同樣重要。

真人電影

  • 電影《阿波羅13》(1995)的重返大氣層前電力場景:角色們緊盯一個數字,確保電流表黑色指針不超過20安培的紅線,由此製造緊張。觀察點:這是把觀察對象縮到一個就能加快判斷的極端圖景。危機時我們要看的唯一數字是否已提前確定?
  • 電影《魔球》(2011):經理與分析師不看打擊率等傳統指標,而把上壘率作為核心數字,招募被低估的球員。觀察點:改變觀察數字後,選人的整套判斷也隨之改變。替換北極星會怎樣改變組織行為?

音樂

  • Spotify for Artists儀表板:把分曲目播放次數、獨立聽眾數、收藏率、加入播放列表次數、分城市聽眾等行為數字放在前面,卻不顯示收入。收益要延遲兩三個月、經發行商另行結算,因此藝術家眼前觀察的儀表板放置的是直接反映價值的行為。觀察點:這個選擇移除金錢這一遙遠輸出,只留下接近的行為數字,與正文把營收移到邊緣的處方一致。

指標/資料

  • 新冠儀表板的確診數與陽性率:疫情期間,各國儀表板的確診數會隨檢測量波動。公共衛生統計反覆指出,必須把檢測陽性率、住院與重症人數並排閱讀,才能理解趨勢。觀察點:一個數字可能是另一項輸入——檢測量——的影子。借用這種懷疑,看看我們的D1是否只是廣告投放量的影子。
  • 體重的每日波動與趨勢閱讀:體重會因水分和進食時間在一天內變化一兩公斤,因此一般建議不要為單日數字一喜一憂,而要閱讀周趨勢。觀察點:這個日常案例展示把趨勢指標當成警報讀取的消耗。會議是否正被D1、D7一天的波動左右?
  • 經濟的領先指標與滯後指標:經濟統計把新增訂單、消費者預期等先於經濟變化的指標,與失業率等在經濟改變很久後才變化的指標分開閱讀。觀察點:這與正文按因果鏈長度而非天數衡量遠近的標準一致,讓我們用統計語言重新理解「營收是初次體驗的滯後指標」。