KIM DONG-EUN · FTUE:首次使用者體驗 (30 章)
第23章 契機與儀表板的因果關係
第23章 契機與儀表板的因果關係
平均數,是掩蓋問題最嚴重使用者的最有禮貌的謊言。
「本季度把營收提高20%。」會議上下達這種目標時,大家點頭散去;但回到桌前,人們很快就會卡住,因為沒人知道該在哪裡、怎樣觸碰營收這個數字。營收不是畫面某處安裝的旋鈕,無法抓住它轉動20%。營收是無數人分別決定是否開啟錢包後形成的總和,不是我決定,而是他們決定。
第22章把隔日回訪、到達第一份核心樂趣、分階段通過等結果數字放上了儀表板。但那裡仍有一處空白:用什麼推動指針?即使儀表板上放著「隔日回訪」這根指針,再次啟動也是使用者做的事,不能用手指直接推它。我能做的,只是在第一次工作階段裡種下某樣讓他想再次啟動的東西。本章討論的正是這道分岔。第22章決定儀表板上放什麼;這裡則區分手能觸碰的輸入與該輸入所撼動的結果,把兩者連成鏈條,再學習按群體閱讀這條鏈。這個數字如何與作品價值和解,留給第24章。
營收是他人的決定,我的決定是輸入
把核心壓縮成一句話:營收是他人的決定,我的決定是輸入。所謂輸入,就是我能在畫面上直接改變的東西。
先看營收為什麼是他人的決定。營收上升,需要有人啟動遊戲、停留、喜歡上它,最後產生花錢意願。最後那項決定——開啟錢包——屬於那個人。我不能抓住他的手讓他按下付款按鈕,那是強迫,而強迫會破壞信任。因此,營收不是我直接製造的數字,而是人們回應我所創造體驗後隨之出現的結果,也就是輸出。
那麼,我決定什麼?真正握在手裡的,是通向結果之路上的輸入:把登入要求從第一個畫面推遲到很久以後;更快送回第一次獎勵;為經歷第一次失敗的人鋪出立刻重試的路;提高第一個畫面的速度;在第一次工作階段種下回來的藉口;給使用者可以選擇的東西;解除初來者的戒備。這些都是我今天決定、明天便能改變的東西,也就是契機。儀表板是作為結果出現的輸出,契機則是我直接觸碰的輸入。看儀表板,調整契機;反過來直接推儀表板,手只會徒勞打轉。
錯過這道區分,工作就會荒唐地纏在一起。接到「提高隔日回訪」目標的人,如果只盯著回訪數字本身,什麼也不會發生。回訪是使用者明天決定的事,他能做的只有改變今天的輸入:在第一次工作階段中讓使用者依戀親手建立的角色,使他想念昨天的角色;或留下一個未閉合的環,使他好奇昨天沒完成的事。改變輸入,隔日回訪的指針才會跟著移動。手始終放在輸入上,眼睛放在輸出上。
放到MEJE Aidong World中,區分更加清晰。「讓粉絲明天再來看Aidong」是輸出,明天再次開啟應用程式是粉絲的決定。我能做的輸入,是今天讓粉絲給Aidong取名、把它變成自己的最愛;讓Aidong揮手說「明天再見」;留下一項粉絲尚未完成的小裝飾。明天的回訪摸不到,今天的告別卻摸得到。
名為平均數的謊言
即使分開契機與儀表板,讀錯儀表板仍會觸碰錯誤的契機。最常見的錯誤,只是用一個平均數判斷。
平均數很方便。報告中印著「平均停留3分鐘」這一行,大家便放心地認為初次體驗運轉得還算正常。但這3分鐘背後,藏著許多30秒就離開的人與少數停留很久的人,兩者被壓成同一行。最該修復的30秒使用者,消失在最有禮貌的平均數背後。「隔日回訪率10%」這一個數字彷彿講完了初次體驗的健康,實際卻把完全不同的人混在一起。用第22章劃分畫面A、B的假想遊戲來看:廣告進入者回訪率5%,經朋友推薦或搜尋主動找來的使用者回訪率25%;若廣告進入者佔四分之三,合併平均便約為10%。人數更多的一方牽動平均,所以廣告量越大的遊戲,平均回訪越接近廣告導流的成績單。只看10%,會以為初次體驗普普通通;分開後,故事不同。它對主動找來的人很有效,對廣告拉來的人幾乎無效。該修的是廣告進入者的第一個畫面,而不是整個遊戲。
入口不同,期待也不同。看廣告進入的人,會在第一個畫面確認廣告承諾;承諾與畫面不符,便立刻離開。主動搜尋來的人已經知道一些東西,對同一個第一個畫面更寬容。因此,同一畫面對兩人產生不同作用。僅憑平均回訪決定是否修改第一個畫面,會有連原本有效的那一半也一起撼動的風險。
拆開平均的方法叫分群,也就是把使用者分為相似群體,分別觀察。按入口劃分、按來源劃分、按首次啟動時段劃分。回想第9章的來源媒介期待:看網路漫畫進入的人與刷短影音進入的人,在第一個畫面上感到礙眼的東西不同,回訪結果也不同;混成一團的平均會遮蔽差異。分群之後,哪裡漏得最多便會顯現,也會看見該觸碰該群第一個畫面的哪個輸入。不要試圖觸碰平均數,找到流失群體,觸碰它的契機。
按入口劃分的差異,在應用程式產業一直被較為一致地觀察到。主動搜尋找來的使用者,回訪通常高於被廣告拉來的使用者;兩個群體首日再次啟動的比例也常被認為存在差距。主動來的人本來就想要某樣東西,對第一個畫面更寬容;廣告帶來的人則在廣告承諾與畫面不符的一刻馬上離開。因此,一個平均回訪數字裡混著有效群體與無效群體。Duolingo等產品甚至每天把使用者分為新使用者、迴歸、流失等狀態,分別觀察群體間的轉移比例。混成一團看不見的流失,只有分開才會顯現。
不過,分群也有成本。群體分得越細,每格樣本越少;遊戲越小,分開的數字越快變成雜訊。一款每天只有100名新使用者的遊戲,先分廣告與自然流入,再分時段,每格就剩不了幾個人;格中的波動不是差異,只是偶然。因此要分,但不能無限分。只分到每格仍留有可讀人數為止;若還需細分,就等樣本填滿,或重新合併群體。樣本要積累到什麼程度才算數字,第25章測量時再討論。
沿著鏈條定位流失
契機與儀表板之間有一條鏈。改變輸入,輸入會改變使用者體驗;變化的體驗再撼動輸出數字。從輸入到體驗,從體驗到輸出。把鏈條按階段切開,便能看見人從哪裡漏走。
第21章按時間切開初次體驗查詢流失,這裡按行為切開:從開啟第一個畫面到第一次操作,從第一次操作到第一次回饋,從第一次回饋到第一次失敗,從第一次失敗到重試,再到第一次完成。若像我們的假想遊戲一樣,以收集角色、對話為主,第一次工作階段沒有設計可稱為失敗的事件,那麼手第一次停住的猶豫便代替失敗。檢視每階段多少人通過、多少人漏走;漏斗中若某格下降異常陡峭,與該格相連的輸入就是嫌疑人。
只看鏈條兩端,輸入改變而輸出沒動時,就不知道哪一環斷了。因此,要單獨讀取中間格,也就是體驗確實改變的行為證據。若新增告別,檢視把告別看到最後的比例;若想培養角色依戀,檢視改過名字的比例,或離開前最後停在哪個畫面。改變輸入後,中間訊號都沒動,說明輸入沒觸達體驗;中間動了而輸出不動,說明關於體驗與輸出關係的猜測錯了。在輸入與輸出之間放置一組這樣的中間契機,就能指出鏈條斷在哪一環。
尤其關注兩個時刻:第一次失敗之後與第一次獎勵之後。第一次失敗後人群成批離開,說明失敗奪走了控制感,與第17章所見相同。該觸碰的輸入,是把失敗從懲罰改為節拍:在卡住處立即重新開始,或鋪出返回的道路。反過來,第一次獎勵後人們又做了一次行動,說明獎勵召喚了下一步。檢視那是什麼獎勵,把它的質感借到其他階段。第一次失敗後的離開與第一次獎勵後的再次行動,這兩處照出初次體驗是在驅趕人,還是擁抱人。
這裡把遊戲產業兩條慣例送上檢查站:一條把結果數字錯當把手,另一條只憑一個平均數判斷。
先看試圖把結果數字當作把手拉動的慣例。它預設營收、轉換率等結果數字是可以直接旋轉的旋鈕,目標下達後,便盯著數字本身,把能快速抬升它的裝置硬塞進第一個畫面。從第一天就推銷付款,為提高轉換率在第一個畫面彈出折扣。普通人不會把這種拉把手視為歡迎。他在第一個畫面問深度之前先問安全;付款與折扣先撲來,安全感便破裂。這條慣例收取的費用,是信任崩塌。試圖直接拉動結果的手,反而切斷通向結果的道路。保留本質,改變做法:保留提高結果的願望,丟掉直接拉動結果的慣性。手放在輸入上,讓結果作為輸入的影子跟隨;付款推遲到使用者充分喜歡這個世界之後。
再看只憑一個平均數判斷的慣例。它預設一款遊戲只有一種初次體驗,一個平均數便能講完健康。但第9章已說明,使用者不是從同一扇門、帶著同一份期待而來的一個群體。這條慣例收取的費用是誤診:把有效與無效群體碾成一個數字,修改健康處,錯過流失處。保留想一眼看清的願望,丟掉一個平均便知全部的慣性。分開群體,確定哪個群在漏,再分別觸碰該群的輸入。
平均數能在每份報告裡存活,不只因為方便。平均數不會傷害任何人。分群的一瞬間,「廣告導流的第一個畫面已經死了」這句話就會出現,後面還會跟著負責人的名字。因此組織愛平均。平均是最有禮貌的謊言,不只是數字的性質,也是組織不願讓任何人受傷的禮貌。
完成教學,也可能沒有樂趣
編織鏈條時還要注意:輸出數字上升,不一定意味著初次體驗變好。回想第21章教學完成率80%與隔日回訪率5%錯位的場景。把道路縮成一條、封住其他按鈕、只允許做指示事項,也能提高完成率;但被一路拖到終點的人未必獲得樂趣。完成率只測量「聽完我的全部說明了嗎」,無法測量「喜歡上我的遊戲了嗎」。
這是構建因果時最常見的陷阱。我們沉迷於提高一個數字,後來才發現它與真正想要的結果錯位。因此,一個數字上升時,總要把另一個數字並排放在旁邊。教學完成率提高,就並排放上第一樂趣到達率與隔日回訪,看三者同向還是分岔。只有完成率上升,回訪卻不動,那麼完成率就是把人趕進狹窄道路換來的虛假數字。
▶ 套到自己畫面上的三件事
- 眼前的平均數是否掩蓋了處境最差的使用者?
- 是否分開了我的手觸碰的輸入與使用者決定的輸出?
- 這個數字是按分佈檢視,還只是看一個平均?
若正用一行平均數判斷第一個畫面的成敗,就拆開群體,從漏得最多的群體重新看。
因此,手放在輸入上,眼睛放在輸出上
分開契機與儀表板,修復初次體驗的手就會回到正確位置。輸出數字是用眼睛看的,不是用手推的。隔日回訪低時,不要盯著回訪,而要尋找通向它的輸入:第一次工作階段是否有回來的藉口,第一次獎勵是否及時到達,第一次失敗是否趕走了使用者?改變一項輸入,再看輸出指針是否跟著移動。
而且,不要用一個平均數閱讀輸出。拆開群體,指出哪個群體在漏,分別觸碰該群體的輸入。手始終放在我決定的輸入上,眼睛放在他人決定的輸出上,面對低數字便不會無力。低數字不是摸不到的牆,而是告訴我們該修哪個輸入的訊號;也不必把它當作作品評價,傷害自尊。不過仍剩下一道問題:數字低時,該把它當訊號還是判決?那是下一章的工作。
參考內容
能體現本章概念的其他媒介與領域案例。
汽車/機械儀表板
- 汽車速度表與油門踏板:速度表指針是結果,手腳推動的是踏板與方向盤。不能用手轉動指標。
現實工作流程
- 加州大學伯克利分校研究生錄取統計中的辛普森悖論:只看整體平均,男性錄取率較高,彷彿存在歧視;按院系拆分後,多數院系女性錄取率反而更高。拆開群體會讓一個平均數得出的結論逆轉,因此行動前必須先分群。
- 測量成為目標後失效的案例:英國醫院等待時間上限成為目標後,常被提到的做法包括延遲轉診以避免啟動計時,或先處理容易的患者只為滿足數字。把結果數字當把手拉,通向數字的道路就會斷。
電玩營運
- 教學完成率與首日回訪錯位:產業一直指出,強制使用者走完直線教學,完成率可以上升,首日回訪卻可能不變。即使一個數字上升,也要與旁邊的回訪數字一起讀,才能辨認虛假數字。
一般應用程式程式
- Duolingo成長模型:每天把使用者分為新使用者、現有使用者、再活化、回流等狀態,分別觀察狀態間轉換率。據介紹,它發現現有使用者留存率(CURR)對每日活躍影響最大,於是集中力量修改這項輸入。這是不用一行平均,而按群體閱讀轉移的案例。
其餘參考內容收錄於本文末尾的「第23章附錄」(單行本中歸入附錄D)。
設計筆記 ▶ 親手試一試
從第22章選擇的儀表板數字中取一個,例如隔日回訪。把它寫在紙張中央,畫一個圓。這是輸出,也就是他人的決定。
接著在圓周圍寫下五項可能撼動數字的輸入。只寫今天能在畫面上直接改變的東西:第一次獎勵到來的時點、要求登入的時點、埋下回來藉口的位置、第一次失敗後的重啟方式、告別的形態等。從五項輸入向中央輸出畫箭頭,這就是契機與儀表板的因果圖。不過箭頭仍是假設,是否真為因果,要到第25章測量。
畫完後再做一件事:按群體重新寫出中央輸出數字,分成兩行——廣告進入者與主動找來者。若兩行差異很大,就應觸碰較低那一行群體的輸入。把原本準備觸碰平均數的手,移到流失群體的輸入。(連線五項契機與目標儀表板指標的詳細因果圖空白模板見附錄C。)
一句話總結:營收是他人的決定,我的決定是輸入。儀表板上的輸出數字不能用手直接推,因此要觸碰通向它的輸入,也就是契機。手放在輸入上,眼睛放在輸出上。用一個平均數判斷,會把有效與無效群體碾在一起造成誤診;要拆開群體,指出流失處。第一次失敗後的離開與第一次獎勵後的再次行動,照出初次體驗是在驅趕人還是擁抱人。把結果數字當把手的慣例與只憑平均判斷的慣例,會破壞信任、造成誤診。完成整個教學也可能沒有樂趣,因此一個數字上升時,要與旁邊數字並排閱讀。 下一章:輸入與輸出已經分開,也有了定位流失的方法。但數字很低時,內心會成為問題。看到第一核心樂趣到達率低的報告,會像自己的作品被否定。數字低,是否說明作品不足?業務目標與創作者的自尊如何和解?第24章討論這個問題。
第23章附錄:參考內容合集
這裡收集了其他領域如何區分契機(手能觸碰的輸入)與儀表板(結果輸出),沿輸入—體驗—輸出的鏈條定位流失,並用分群代替一個平均數閱讀。案例包括汽車與航空儀表板、健康與製造現場、電影與經典統計。可逐項對照正文的兩句話閱讀:手放在輸入上,眼睛放在輸出上;把結果數字當把手拉,會切斷通向它的道路。
汽車/機械儀表板
- 發動機警示燈與跛行模式:警示燈只是照出症狀的輸出,該觸碰的是使它亮起的感測器或燃油系統。觀察點:順序不是遮住輸出,而是尋找輸出所指的輸入。面對低數字時,練習尋找原因而不是數字。
- OBD診斷碼:維修人員從程式碼判斷故障位置,真正動手處理的是原因部件。觀察點:指出問題的輸出與被觸碰的輸入相分離,這項正文區分在修理廠已成為職業常識。
- 恆溫器與室溫:觸碰的是設定旋鈕,不是溫度本身;溫度隨設定而來。觀察點:日常生活中人人都會區分輸入與輸出。為什麼只有面對指標時才忘記?
航空儀表板
- 飛行員的儀表交叉檢查:掃視多項儀表讀取飛行狀態,雙手仍放在操縱桿與油門上。儀表用於觀察,操縱面用於推動。觀察點:這個職業透過訓練分開眼睛與手的位置,「手在輸入、眼在輸出」已成為技能。
- 主儀表與輔助儀表:某階段主要觀察最重要的一項儀表,再以旁邊儀表交叉確認數值。觀察點:這是不只信一個數字,而與鄰近數字並排閱讀的原型。
- 「動力+姿態=效能」原則:用直接觸碰的輸入(油門、操縱桿)產生速度、高度等結果,是輸入輸出思維的教材。觀察點:想改變結果時,公式教人調整兩項輸入,而不是結果。選出相當於我們的「動力與姿態」的兩三項輸入。
健康/自我測量應用程式
- 活動圓環與步數儀表板:畫面圓環只是結果顯示,要填滿它必須真正行走,手指無法填滿圓環。觀察點:輸出不能直接推動這一事實在畫面上完全顯露。有人正試圖用手指推動我們儀表板上的哪個數字?
- 體重數字與飲食、運動:觀察的是體重輸出,觸碰的是進食與活動輸入。盯著數字不會改變數字。觀察點:找到輸入的一瞬間,面對輸出的無力感如何變成行動清單?
現實工作流程
- 銷售管道分階段轉換率:不只看營收總和,而檢視交易在哪個階段流失,改變該階段活動。觀察點:這是把鏈條按階段切開、尋找最陡格的銷售版本。
- 依導流管道區分成效(廣告與自然流入):同一平均內混有不同群體,只有拆開才看見該修哪裡。觀察點:這就是正文中5%與25%被壓成10%平均的場景。拆開看看我們的平均背後藏著哪兩個群體。
- 亞馬遜的可控輸入指標:據亞馬遜前高管所著《Working Backwards》介紹,亞馬遜不先看股價、營收等輸出,而選擇商品種類、價格、配送速度等能直接推動的輸入指標,在每週業務檢討中優先檢查。觀察點:這是把「手在輸入、眼在輸出」固定進會議體系的案例。數一數我們週會的議題中,多少是輸出,多少是輸入。
- 富國銀行交叉銷售目標:把每名客戶帳戶數這一輸出數字強壓為銷售目標後,為完成配額,員工在客戶不知情下建立數百萬個假帳戶。2016年事件曝光,引發巨額罰款與大規模解僱。觀察點:這是代價最昂貴的反例:把輸出當把手,數字會升,現實卻崩塌。預先問問我們的目標數字會鼓勵什麼作弊。
指標/資料
- 腎結石治療中的辛普森悖論:1986年英國醫學期刊的一項比較中,新術式整體成功率看似更高;按結石大小拆分後,無論小結石還是大結石,開放手術成功率都更高。困難的大結石患者集中到手術組,使平均結果逆轉。觀察點:這是分群后結論反轉的教科書案例。與伯克利錄取統計並排,養成懷疑一行平均的習慣。
- 沃爾德與轟炸機加固:二戰期間,據傳統計學家亞伯拉罕·沃爾德建議加固返航轟炸機上沒有彈孔的發動機區域,而不是彈孔最多的位置。彈孔分佈只記錄活著返航的飛機;發動機中彈的飛機根本沒進入資料。觀察點:它精確指出儀表板只照亮留下使用者的侷限。離開者留下的空白,應在漏斗哪裡讀取?
- 眼鏡蛇賞金故事:相傳殖民時期印度為減少眼鏡蛇,按屍體發賞金,結果人們飼養眼鏡蛇領取獎勵;制度取消後,飼養者把蛇放走,數量反而增加。史實記錄並未得到清晰證實,但故事已成為「眼鏡蛇效應」的別名,說明直接獎勵結果數字會扭曲通向結果的道路。觀察點:這是把輸出當把手的寓言版。想象一下,我們KPI上的獎勵會催生何種養殖。
電玩營運
- 調整《糖果傳奇》的單個關卡:用分階段通過與流失資料找到人群成批離開的關卡,再A/B測試該關卡的難度輸入。觀察點:完全遵循正文讀法——找到最陡的一格,觸碰其輸入。我們的漏斗中那一格在哪裡?
- 《糖果傳奇》單關轉化與流失的交換:提高難度直接拉動付費轉化輸出,據稱會提高短期數字,卻讓人從該關離開,削弱長期留存。觀察點:拉高一個輸出的手會削減另一個輸出,所以觸碰一個數字時要同時檢視旁邊數字。
一般應用程式程式
- 產品分析工具的漏斗與同期群畫面:把轉化結果按階段、群體拆開,照亮一個平均看不見的流失。觀察點:工具本來就把分群閱讀作為基本功能,平均報告是習慣問題,不是工具限制。
- 信用分與信用使用率:分數本身是無法用手推動的輸出,能觸碰的輸入是降低信用卡使用率、按時還款。評分表還會拆開各因素權重,指出修改位置,正像契機與儀表板的因果。觀察點:這是在輸出旁附上輸入明細的模範儀表板。我們的儀表板只顯示數字,還是也指出修改處?
製造/現場營運
- 豐田生產方式的安燈繩:工人發現缺陷拉繩後,訊號燈指出哪個工序有問題;燈只指位置,真正修復的是原因工序。觀察點:訊號指位置,手走向原因。用現場語言表現了正文把低數字當訊號、而非判決的態度。
電影/非虛構
- 電影《阿波羅13》:爆炸後氧氣外洩,太空人看著儀表指針下降,卻無法直接阻止;控制團隊不碰指針,而處理原因——燃料電池與洩漏系統。觀察點:這是「觀察下降輸出,手放在原因輸入上」最戲劇性的畫面。
- 《魔球》轉向上壘率:記分板勝場數是無法直接推動的輸出,因此團隊不選打擊率,而選擇上壘率作為可觸碰輸入,用它產生得分結果。觀察點:重新選擇輸入本身就是戰略。我們選的輸入真的抓得住嗎?
文學/哲學
- 射箭命中與姿勢:射術教導人們,與其直接試圖命中靶心,不如專注站姿、拉弓、呼吸等姿勢輸入,命中會作為結果隨之而來。觀察點:這與本章收回拉結果的手、放到輸入上的態度相通。面對數字目標時,借用先檢查姿勢的次序。