MEJE BOOKS Knowledge Library

KIM DONG-EUN · FTUE:首次用户体验 (30 章)

第22章 结果仪表盘的定义

Kim Dong-eun WhtDrgon. · 章 22

第22章 结果仪表盘的定义

本章开启第五部分。第23章负责讨论用什么推动这个数字,第24章负责说明它如何与业务目标相遇。这里先为初次体验选择我们究竟要观察什么。


看着营收修改第一个画面,就像看着体重秤猜该活动哪块肌肉。

听说一款游戏成功时,最先浮现在脑中的通常有两个数字:营收,以及每天有多少人登录。行业衡量游戏健康时,几乎会条件反射地拿起这两个数字。说某款游戏做得好,话题便会转向每月赚了多少、同时在线有多少人。但如果初次体验设计者把这两个数字摆在桌上,只盯着它们,就永远不知道自己碰过的画面是否真正有效。营收与日活用户是游戏整体运行很久以后才出现的、又远又大的数字。修改第一个画面的人无法分辨今天看到的数字究竟来自自己的改动、昨天投放的广告,还是上周推出的新角色。即便如此,营收下跌的日子里,仍会有人命令他改变第一个画面按钮的颜色。这就像体重秤指针不下降便去揉小腿:没人知道什么导致营收下降,只有画面颜色徒劳地打转。

第21章末尾留下了一个问题:究竟在看什么数字?想提高什么?第五部分从这里开始。本章承担其中最靠前的工作——在决定提高什么之前,先决定观察什么。观察对象选错了,无论多努力修改画面,付出都可能不反映在数字中;也可能看见无关的数字发生变化,便误以为成功。因此,第一步是建立仪表盘。正如汽车驾驶座前嵌着速度表与燃油表,驾驶初次体验的人眼前,也应有一块预先决定好要显示什么的仪表盘。

留存结果逆转的两个画面

回到一款假想游戏。这是一款收集角色并与之对话的手机游戏,直到第五部分结束,我们每章都会再次遇见它。假设我们为同一款游戏制作两种初次体验,各分配一半用户。画面A一开始就长时间展示华丽的战斗演出,用压倒性的视觉内容填满前五分钟。画面B减少演出,却让用户在前三分钟内亲自挑选一个角色、取名并完成创建。

只看第一次会话,A获胜。来看一组假设数字。因为华丽、可看的东西多,画面A的用户在前30分钟比B停留得更久;如果30分钟后A留下的人更多,会议室就会得出A是更好初次体验的结论。但到了第二天,故事逆转了。昨天亲手创建并命名角色的B组用户,比昨天只观看的A组用户回来得多得多。A取悦了眼睛,却没有种下回来的理由;B的前30分钟稍显平淡,却留下了“我昨天创建的角色”这个借口。若只看前30分钟停留时长,我们会选择A,而这项选择会在第二天失去更多人。观察什么,决定了保留哪个画面。

MEJE Aidong World也潜伏着同样的陷阱。视频播放得越长,人自然看得越久;粉丝长时间观看Aidong视频,不等于喜欢上了这个应用。真正该看的是,粉丝是否把Aidong带回身边作为自己的本命并为它取名,以及第二天是否为了看它再次打开应用。“看得久”和“又回来”讲的是不同故事。

作为结果出现的数字与手能触碰的数字

建立仪表盘前,先把数字分成两类:作为结果出现的数字,以及手能触碰的数字。混在一起,仪表盘就会模糊。

作为结果出现的数字,如营收、日活用户、次日回访,无法由我直接操纵,而是用户行为总和形成的结果。我无法用手指把营收数字提起来;那是许多人各自决定后汇聚出的结果。手能触碰的数字则是首次奖励出现前的时长、要求登录的时点、第一个按钮的大小与位置等可以直接在画面上改变的东西。我今天做出决定,明天就能让它不同。

我们给两者命名。只放置结果数字的盘,就是本章要建立的“结果仪表盘”;我们用手直接触碰的输入则叫“契机”。以驾驶座为例,速度表指针属于仪表盘,让指针移动的油门踏板就是契机。这里要说明一点:韩语中,本书所说的“契机”与“计器”同音。前者是使事情发生的事件或触发点,不是测量工具。日常听到这个词容易先想到仪表盘上的计器,但本书的契机始终指推动仪表盘指针、能用手触碰的一侧。第五部分围绕这一对概念展开。

本章建立的仪表盘只放作为结果出现的数字。既然任务是决定观察什么,就选择想照亮的结果。如何连接手能触碰的数字,也就是推动结果的输入,属于下一章。现在只选择仪表盘上显示什么。

值得放在初次体验仪表盘上的结果数字大致如下:打开第一个画面的人中进入下一阶段的比例,也就是每个阶段有多少人通过、多少人漏走;到达第一份核心乐趣的比例,行业称为激活率,直白地说,就是“身体上明白这是什么游戏的人所占的比例”。这个数字真正困难之处在于,哪种行为算作到达,该问题将在附录C单独讨论。还要看完成第一个核心任务的比例;第二天再次启动的比例,通常称作D1,即“隔一天回来的人所占的比例”;一周后再次启动的比例,称作D7,即“七天后仍留下的人所占的比例”。距离不按天数,而按因果链中介入变量的数量衡量时,七天内介入的事情更多,因此D7位于这份清单最远的一端。也可以测量单次停留时长,但单独阅读这个数字,正会落入前面选择画面A的陷阱,所以只能把它放在回访旁边阅读。还应查看第一次把某样东西展示或分享给他人的比例。这些数字比营收和日活用户更小、更近,修改第一个画面的人能从中辨认自己亲手做出的效果。

选好数字后,再分一次。即使位于同一块仪表盘,有些数字一亮红灯就要立刻停下手头工作赶去处理;另一些则要按数天、数周的走势阅读。第一个画面完全无法显示的比例,或在前30秒内关闭的比例,属于前者,即使只突增一天也要视为警报。D1与D7属于后者,不应为单日波动一喜一忧,而要看趋势。汽车把燃油警示灯和速度表指针放在同一块盘上,却让我们用不同方式解读。若不预先规定哪个数字表示“停下”、哪个表示“观察”,所有数字都会以同样音量鸣响,真正紧急的信号反而会被错过。

此时可以想起控制台层级。第6章把用户分为八层,其中第六层是俯瞰并运营整体的人,也就是坐在仪表盘前的控制台操作者。建立仪表盘,就是让制作初次体验的我们自己坐到那个控制台位置。第6章的任务是在画面内绘制仪表盘,让用户获得运营感;本章则为制作那块仪表盘的人另备一块握在自己手中的仪表盘。

把数字都放上仪表盘后,将其中一个放得最大。同时追逐多个数字会分散双手,因此要选出初次体验最重要的一个,让其他数字围绕它提供支撑。这个数字通常称为北极星指标:如同夜空迷路时靠一颗北极星辨别方向,它是在判断模糊时回头查看的唯一数字。

谈论这个数字该选什么时,知名产品的选择常被当作增长案例。它们更像行业传闻而非官方数据,但共同点始终是:都不是营收。据说外语学习应用Duolingo选择的是每天进入并学习的人数,因为每天到访的人最终会学得更久、留下更久。提供住宿的Airbnb据说选择预订住宿夜数,提供音乐的Spotify则选择人们聆听音乐的时长。三者都不直接数钱,而是计算人们从产品获得真实价值时随之变化的行为,并认为营收会像影子一样跟在这些行为后面。

这里可能有读者疑惑:每天进入并学习的人数,不就是日活用户吗?刚才不是说这个数字太远了吗?层级不同。公司整体的北极星可以是日活用户,因为公司处于可以看那么远的位置。但初次体验仪表盘上放的,不应是公司北极星本身,而应是通向它的因果链最前一格。以Duolingo为例,第一天完成第一节课的人所占比例,可能才是初次体验团队负责的部分;这个比例不断积累,支撑“每日学习者人数”这颗公司北极星。初次体验的北极星也应按同样原则选择:到达第一份核心乐趣的比例,或第二天回来的人所占比例等,最直接反映初次体验是否完成职责的数字。营收是很久以后的事情。

“成功就是营收与日活用户”这条行业常识

这里要把游戏行业一条根深蒂固的常识送上检查站:“游戏的成功用营收与日活用户衡量。”

先看这条常识把什么视为理所当然。制作游戏需要花钱,要生存就必须盈利。于是,想一眼判断游戏健康的人自然会拿起营收与日活用户。这两个数字在公司外部也通用,投资者能理解,也便于和其他游戏比较。长年制作、运营游戏的人一直这样学习,其中自有道理。远距离衡量整个游戏的健康时,很少有数字比这两个压缩的信息更多。

问题发生在把这条常识原封不动搬进初次体验设计时。对触碰初次体验的人而言,营收与日活用户太远、太大。第一个画面的修改要反映到营收,必须等通过该画面的人再停留数日、喜欢上游戏,并在很久以后产生付费意愿,走完整条长链。链条任何位置都可能插入别的事件:期间可能增加了广告,可能推出了新角色,也可能有竞品带走用户。因此,修改第一个画面的人一个月后看着营收说“我做对了”或“我搞砸了”,几乎等于占卜。他把手够不到的远方数字当成了自己的成绩单。

把这条常识原样带入初次体验设计,代价是徒劳与误判。只看远方数字,就不知道亲手修改的画面是否有效,也不知道接下来该改什么。更危险的是,为尽快提高营收与日活用户,强行把装置塞进初次体验。从第一天就推销付费,为拉高用户数而在第一个画面铺满签到与每日任务,营收与用户这些远方数字也许短暂变化,初次体验的信任却会先破裂。第一个画面负责让人喜欢上它,而不是把远方的大数字强行拉近。

保留本质,改变做法。保留营收与日活用户反映整个游戏健康这一事实,丢掉把它们当作初次体验成绩单的惯性。为初次体验单独建立合适的仪表盘,不放遥远庞大的结果,而放它直接负责的、近而小的结果:每阶段漏走多少人,多少人到达第一份核心乐趣,多少人完成第一项任务,多少人第二天回来。营收与日活用户应放在这块仪表盘很远的后方,在第五部分其他位置作为输出指标处理。摆在驾驶第一个画面的人眼前的仪器,必须位于这个画面能够触及的距离内。

▶ 套到自己画面上的三件事

  1. 我现在看的是结果仪表盘,还是第一个画面的直接契机?
  2. 是否正试图用营收、DAU等远方数字修改第一个画面?
  3. 北极星与第一个画面之间的因果能否用一个步骤连接?

只要其中一项把远方数字握作第一个画面的成绩单,就应先重选仪表盘。

因此,先决定观察对象

先建立仪表盘,初次体验设计就会改变。思考改什么之前,先决定看什么:选择几项初次体验直接负责的、近而小的结果,再从中选一个作为北极星。营收与日活用户等遥远庞大的数字,移到仪表盘边缘或第五部分其他位置。观察对象选错,后续一切判断都会错位。华丽的第一个画面提高前30分钟停留时长,团队为此欣喜,却在第二天失去更多人;这样的错位正从观察对象开始。

选错仪表盘的危害不止徒劳。把营收挂成初次体验成绩单的一瞬间,立刻推动这个数字的最快方式,就是从第一天开始强塞付费。仪表盘不再照亮初次体验,反而拉着手去破坏它。观察什么决定会做什么,因此选择仪表盘首先是行动问题,其次才是观察问题。

达成共识的仪表盘还是一面盾牌。营收下降那天,从上方传来“改掉第一个画面的按钮颜色”这种指示几乎不可避免。面对它,第一个画面负责人能拿出的少数武器之一是:“我们共同确认的初次体验仪表盘是这个,而这个数字没有变化。”事先建立仪表盘并广泛达成共识,不只是在为测量做准备,也是用组织内部的政治保护初次体验免受错误指示。

本章只决定观察什么。究竟用什么推动这个数字,也就是哪项手能触碰的输入会摇动仪表盘,仍是空白。即使在仪表盘上放置“次日回访”这根指针,如何推动指针也是另一个故事。我们无法直接用手推它,那由用户决定。那么我决定的是什么?这条分岔属于下一章。

参考内容

能体现本章概念的其他媒介案例。

机械装置/家电UX

  • 汽车仪表盘:只把驾驶者此刻该看的结果汇集到眼前,如速度表和燃油表,是仪表盘的原型。
  • 汽车信号警示灯与仪表:信号灯是只表示开关的二元信号,故障已经发生后才亮红,要求立即处理;油温表、燃油表等仪表则用指针实时显示变化,使人提前准备。想照亮的结果究竟是“现在必须停下的事”,还是“应按趋势观察的事”,决定仪表盘上放什么。
  • 三里岛核事故时的控制室:事故最初几分钟,数百个警报以几乎相同的形状和声音同时鸣响,操作者无法区分危及生命的警报与细微偏差。有人回忆控制板亮得像圣诞树,一名操作者还向调查委员会作证说警报板没有提供有用信息。这个反例说明,不预先决定何者紧急便全部显示,仪表盘反而会蒙住人的眼睛。

现实工作流程

  • 虚荣指标与有效指标的区分:把总注册用户、累计下载等看上去漂亮却不告诉我们该做什么的数字,与转化率、激活率等因果清晰、亲手修改的效果能立刻反映出来的数字分开。选择仪表盘内容时,应先区分只让心情愉快的数字与能改变行动的数字。

真人电视/播报

  • 《纽约时报》选举计票“指针”:把大量计票数字压缩成一个胜选概率仪表,突出最直接反映选情的单一指标。据传,为表达不确定性而刻意加入的指针抖动给观众带来过度焦虑,受到强烈批评;后来允许关闭抖动,再后来又改为只在数据变化时移动。它说明,突出一个数字与如何同时展示该数字的不确定性,是两个不同问题。

其余参考内容收录于本文末尾的“第22章附录”(单行本中归入附录D)。


设计笔记 ▶ 亲手试一试

只选择五个结果数字,放到照亮我们游戏初次体验的仪表盘上。暂时排除营收与日活用户。

候选项包括:每阶段通过比例、到达第一份核心乐趣的比例、完成第一项任务的比例、第二天再次启动的比例、一周后再次启动的比例、单次停留时长(单独阅读会落入正文选择画面A的陷阱,因此若选择,只能放在回访旁边阅读),以及第一次分享的比例。从中选五个,用一行准确写出每个数字计算什么。例如:“次日再次启动比例,是昨天首次启动的100人中今天再次启动的人数。”

选择五个数字的标准,是游戏核心乐趣到来的速度。若核心乐趣在第一次会话内爆发,就优先选择第一天内可读的项目,如到达第一份核心乐趣、完成第一项任务;若乐趣经过数日逐渐增长,就加重次日与一周后回访等“回来”项目的分量。无论哪种情况,最好都不要排除分阶段通过率,因为不知道人从哪里漏走,就算读懂其他数字也找不到修改位置。

全部选好后,只圈出其中一个。它是最直接反映初次体验是否完成职责的数字,也就是我们的北极星。最后自问:如果刚圈出的数字是营收或日活用户,它是否远得超出初次体验能触及的范围?(记录每项指标定义与测量位置的详细仪表盘定义表见附录C。)

一句话总结:初次体验设计者决定修改什么之前,先决定观察什么。营收与日活用户照亮整个游戏的健康,却大而遥远,不能由第一个画面直接负责。初次体验仪表盘应放分阶段通过、到达第一份核心乐趣、完成第一项任务、次日与一周后回访等近而小的结果,并选一个作为北极星。“成功就是营收与日活用户”这条行业常识,会在初次体验设计中引发徒劳与误判。 下一章:仪表盘上放什么已经决定。但指针无法由手直接推动。我们无法用手指提起“次日回访”这个数字,那由用户决定。那么我决定什么?正在观察的结果与手能触碰的输入如何相连?第23章将编织这段因果。

第22章附录:参考内容合集

这里收集了其他领域如何选择照亮初次体验的数字:不用遥远庞大的营收,而把初次体验直接负责的近而小的结果放上仪表盘;从中放大一个作为北极星;预先区分作为警报处理的数字与按趋势阅读的数字。案例不只来自游戏运营,也涵盖航空、医疗、播报、电影、音乐,以及阅读指标与数据的方法。可以逐项对照正文结论阅读:观察什么,决定会做什么。

现实工作流程

  • Apple Watch活动圆环与“闭合圆环”:用活动、锻炼、站立三个圆环一眼显示一天的结果,不罗列所有数字,而压缩成一个明确目标:“今天三个圆环都闭合了吗?”观察点:这是从多项结果中突出一个待完成项目的北极星设计。我们的仪表盘上,哪一格应该最大?
  • Strava每周总结:汇集距离、时间等结果,但用户不是直接推动数字,而是让它们作为跑步、骑行行为的总和跟随而来。观察点:它原样展示结果数字如影子般跟随行为的关系。显示的数字在哪条界线上是动力,越过哪条线又会成为压力?
  • 只看营收与用户数的运营会议:这是只盯遥远大数字,无法分辨亲手修改画面效果的反例。观察点:摆上会议桌的数字,会成为组织认为自己能够修改的事项清单。写下我们会议中经常出现的数字。
  • 急诊室的病情分级(分诊):涌入的患者不按挂号顺序,而按严重程度划分,先区别危及生命的信号与可以等待的信号。观察点:它不让所有信号以同样音量鸣响,是正文区分警报型与趋势型的原型。我们的仪表盘是否单独规定了“只突增一天也要赶去处理的数字”?

电子游戏

  • 游戏分析工具的教程漏斗报告:用表格展示每阶段留存人数、相对上一阶段的流失率、阶段间平均耗时,指出人在哪一步离开最多。当最陡区间显现,例如“教程完成30%,到达第5阶段5%”,修改第一个画面的人就能在那一格直接识别自己工作的效果,并找到下一处要改的位置。观察点:这是近到足以让第一个画面设计者认出自己工作效果的数字样本。我们的漏斗是否按阶段切开?
  • 教程完成率、D1、D7仪表盘:不放遥远庞大的营收,而照亮初次体验直接负责的近而小的结果。观察点:即便在同一块盘上,完成率单独阅读也会变成虚假数字。我们是否连哪个数字该放在哪个数字旁边一起阅读都已规定?
  • 只炫耀同时在线人数的运营:大数字很醒目,却无法分辨第一个画面的成败。观察点:对外炫耀的数字可能不同于内部工作的数字。我们是否把新闻稿数字放到了仪表盘上?

移动端/应用/服务

  • YouTube从播放量转向观看时长:2012年10月,YouTube把推荐与搜索的核心信号从播放量改为观看时长。播放量容易被诱导点击的标题和缩略图放大,因此平台决定照亮的不是“点了吗”,而是“继续看了吗”。据说改动后播放量一度大幅下降,但YouTube认为这对观众更好,仍保留了该选择。观察点:这是仪表盘数字甚至改变创作者行为的行业级案例,直接呈现“照亮什么,就会让人做什么”。

航空/运输

  • 飞机六大仪表与主飞行显示器(PFD):把空速表、姿态仪、高度表、转弯协调仪、航向仪、升降速度表六项定义为飞行必需结果,集中在一处;姿态仪位于中央,左侧是速度,右侧是高度与升降。观察点:这是先决定看什么,再把最重要的一项放大置于中央的标准布局。我们的仪表盘中央“姿态仪”是什么?
  • 玻璃座舱:把分散的仪器集中到一个画面,但前提是先决定照亮什么。观察点:汇集不等于全部可见,只有被选择的内容才会显现。合并仪表盘之前必须先筛选。

真人电视/播报

  • 体育转播的比分与数据图:从整场比赛中只选此刻该看的结果,显示在画面一侧。观察点:这是有人为坐在控制台前的观众预先选好的结果数字。决定排除什么,与决定放入什么同样重要。

真人电影

  • 电影《阿波罗13号》(1995)的重返大气层前电力场景:角色们紧盯一个数字,确保电流表黑色指针不超过20安培的红线,由此制造紧张。观察点:这是把观察对象缩到一个就能加快判断的极端图景。危机时我们要看的唯一数字是否已提前确定?
  • 电影《点球成金》(2011):经理与分析师不看打击率等传统指标,而把上垒率作为核心数字,招募被低估的球员。观察点:改变观察数字后,选人的整套判断也随之改变。替换北极星会怎样改变组织行为?

音乐

  • Spotify for Artists仪表盘:把分曲目播放次数、独立听众数、收藏率、加入播放列表次数、分城市听众等行为数字放在前面,却不显示收入。收益要延迟两三个月、经发行商另行结算,因此艺术家眼前观察的仪表盘放置的是直接反映价值的行为。观察点:这个选择移除金钱这一遥远输出,只留下接近的行为数字,与正文把营收移到边缘的处方一致。

指标/数据

  • 新冠仪表盘的确诊数与阳性率:疫情期间,各国仪表盘的确诊数会随检测量波动。公共卫生统计反复指出,必须把检测阳性率、住院与重症人数并排阅读,才能理解趋势。观察点:一个数字可能是另一项输入——检测量——的影子。借用这种怀疑,看看我们的D1是否只是广告投放量的影子。
  • 体重的每日波动与趋势阅读:体重会因水分和进食时间在一天内变化一两公斤,因此一般建议不要为单日数字一喜一忧,而要阅读周趋势。观察点:这个日常案例展示把趋势指标当成警报读取的消耗。会议是否正被D1、D7一天的波动左右?
  • 经济的领先指标与滞后指标:经济统计把新增订单、消费者预期等先于经济变化的指标,与失业率等在经济改变很久后才变化的指标分开阅读。观察点:这与正文按因果链长度而非天数衡量远近的标准一致,让我们用统计语言重新理解“营收是初次体验的滞后指标”。