MEJE BOOKS Knowledge Library

KIM DONG-EUN · FTUE:首次用户体验 (30 章)

第23章 契机与仪表盘的因果关系

Kim Dong-eun WhtDrgon. · 章 23

第23章 契机与仪表盘的因果关系

平均数,是掩盖问题最严重用户的最有礼貌的谎言。

“本季度把营收提高20%。”会议上下达这种目标时,大家点头散去;但回到桌前,人们很快就会卡住,因为没人知道该在哪里、怎样触碰营收这个数字。营收不是画面某处安装的旋钮,无法抓住它转动20%。营收是无数人分别决定是否打开钱包后形成的总和,不是我决定,而是他们决定。

第22章把次日回访、到达第一份核心乐趣、分阶段通过等结果数字放上了仪表盘。但那里仍有一处空白:用什么推动指针?即使仪表盘上放着“次日回访”这根指针,再次启动也是用户做的事,不能用手指直接推它。我能做的,只是在第一次会话里种下某样让他想再次启动的东西。本章讨论的正是这道分岔。第22章决定仪表盘上放什么;这里则区分手能触碰的输入与该输入所撼动的结果,把两者连成链条,再学习按群体阅读这条链。这个数字如何与作品价值和解,留给第24章。

营收是他人的决定,我的决定是输入

把核心压缩成一句话:营收是他人的决定,我的决定是输入。所谓输入,就是我能在画面上直接改变的东西。

先看营收为什么是他人的决定。营收上升,需要有人启动游戏、停留、喜欢上它,最后产生花钱意愿。最后那项决定——打开钱包——属于那个人。我不能抓住他的手让他按下付款按钮,那是强迫,而强迫会破坏信任。因此,营收不是我直接制造的数字,而是人们回应我所创造体验后随之出现的结果,也就是输出。

那么,我决定什么?真正握在手里的,是通向结果之路上的输入:把登录要求从第一个画面推迟到很久以后;更快送回第一次奖励;为经历第一次失败的人铺出立刻重试的路;提高第一个画面的速度;在第一次会话种下回来的借口;给用户可以选择的东西;解除初来者的戒备。这些都是我今天决定、明天便能改变的东西,也就是契机。仪表盘是作为结果出现的输出,契机则是我直接触碰的输入。看仪表盘,调整契机;反过来直接推仪表盘,手只会徒劳打转。

错过这道区分,工作就会荒唐地缠在一起。接到“提高次日回访”目标的人,如果只盯着回访数字本身,什么也不会发生。回访是用户明天决定的事,他能做的只有改变今天的输入:在第一次会话中让用户依恋亲手创建的角色,使他想念昨天的角色;或留下一个未闭合的环,使他好奇昨天没完成的事。改变输入,次日回访的指针才会跟着移动。手始终放在输入上,眼睛放在输出上。

放到MEJE Aidong World中,区分更加清晰。“让粉丝明天再来看Aidong”是输出,明天再次打开应用是粉丝的决定。我能做的输入,是今天让粉丝给Aidong取名、把它变成自己的本命;让Aidong挥手说“明天再见”;留下一项粉丝尚未完成的小装饰。明天的回访摸不到,今天的告别却摸得到。

名为平均数的谎言

即使分开契机与仪表盘,读错仪表盘仍会触碰错误的契机。最常见的错误,是只用一个平均数判断。

平均数很方便。报告中印着“平均停留3分钟”这一行,大家便放心地认为初次体验运转得还算正常。但这3分钟背后,藏着许多30秒就离开的人与少数停留很久的人,两者被压成同一行。最该修复的30秒用户,消失在最有礼貌的平均数背后。“次日回访率10%”这一个数字仿佛讲完了初次体验的健康,实际却把完全不同的人混在一起。用第22章划分画面A、B的假想游戏来看:广告进入者回访率5%,经朋友推荐或搜索主动找来的用户回访率25%;若广告进入者占四分之三,合并平均便约为10%。人数更多的一方牵动平均,所以广告量越大的游戏,平均回访越接近广告获客的成绩单。只看10%,会以为初次体验普普通通;分开后,故事不同。它对主动找来的人很有效,对广告拉来的人几乎无效。该修的是广告进入者的第一个画面,而不是整个游戏。

入口不同,期待也不同。看广告进入的人,会在第一个画面确认广告承诺;承诺与画面不符,便立刻离开。主动搜索来的人已经知道一些东西,对同一个第一个画面更宽容。因此,同一画面对两人产生不同作用。仅凭平均回访决定是否修改第一个画面,会有连原本有效的那一半也一起撼动的风险。

拆开平均的方法叫分群,也就是把用户分为相似群体,分别观察。按入口划分、按来源划分、按首次启动时段划分。回想第9章的来源媒介期待:看网漫进入的人与刷短视频进入的人,在第一个画面上感到碍眼的东西不同,回访结果也不同;混成一团的平均会遮蔽差异。分群之后,哪里漏得最多便会显现,也会看见该触碰该群第一个画面的哪个输入。不要试图触碰平均数,找到漏损群体,触碰它的契机。

按入口划分的差异,在应用行业一直被较为一致地观察到。主动搜索找来的用户,回访通常高于被广告拉来的用户;两个群体首日再次启动的比例也常被认为存在差距。主动来的人本来就想要某样东西,对第一个画面更宽容;广告带来的人则在广告承诺与画面不符的一刻马上离开。因此,一个平均回访数字里混着有效群体与无效群体。Duolingo等产品甚至每天把用户分为新用户、回归、流失等状态,分别观察群体间的转移比例。混成一团看不见的漏损,只有分开才会显现。

不过,分群也有成本。群体分得越细,每格样本越少;游戏越小,分开的数字越快变成噪声。一款每天只有100名新用户的游戏,先分广告与自然流入,再分时段,每格就剩不了几个人;格中的波动不是差异,只是偶然。因此要分,但不能无限分。只分到每格仍留有可读人数为止;若还需细分,就等样本填满,或重新合并群体。样本要积累到什么程度才算数字,第25章测量时再讨论。

沿着链条定位漏损

契机与仪表盘之间有一条链。改变输入,输入会改变用户体验;变化的体验再撼动输出数字。从输入到体验,从体验到输出。把链条按阶段切开,便能看见人从哪里漏走。

第21章按时间切开初次体验查找漏损,这里按行为切开:从打开第一个画面到第一次操作,从第一次操作到第一次反馈,从第一次反馈到第一次失败,从第一次失败到重试,再到第一次完成。若像我们的假想游戏一样,以收集角色、对话为主,第一次会话没有设计可称为失败的事件,那么手第一次停住的犹豫便代替失败。查看每阶段多少人通过、多少人漏走;漏斗中若某格下降异常陡峭,与该格相连的输入就是嫌疑人。

只看链条两端,输入改变而输出没动时,就不知道哪一环断了。因此,要单独读取中间格,也就是体验确实改变的行为证据。若新增告别,查看把告别看到最后的比例;若想培养角色依恋,查看改过名字的比例,或离开前最后停在哪个画面。改变输入后,中间信号都没动,说明输入没触达体验;中间动了而输出不动,说明关于体验与输出关系的猜测错了。在输入与输出之间放置一组这样的中间契机,就能指出链条断在哪一环。

尤其关注两个时刻:第一次失败之后与第一次奖励之后。第一次失败后人群成批离开,说明失败夺走了控制感,与第17章所见相同。该触碰的输入,是把失败从惩罚改为节拍:在卡住处立即重新开始,或铺出返回的道路。反过来,第一次奖励后人们又做了一次行动,说明奖励召唤了下一步。查看那是什么奖励,把它的质感借到其他阶段。第一次失败后的离开与第一次奖励后的再次行动,这两处照出初次体验是在驱赶人,还是拥抱人。

这里把游戏行业两条惯例送上检查站:一条把结果数字错当把手,另一条只凭一个平均数判断。

先看试图把结果数字当作把手拉动的惯例。它预设营收、转化率等结果数字是可以直接旋转的旋钮,目标下达后,便盯着数字本身,把能快速抬升它的装置硬塞进第一个画面。从第一天就推销付款,为提高转化率在第一个画面弹出折扣。普通人不会把这种拉把手视为欢迎。他在第一个画面问深度之前先问安全;付款与折扣先扑来,安全感便破裂。这条惯例收取的费用,是信任崩塌。试图直接拉动结果的手,反而切断通向结果的道路。保留本质,改变做法:保留提高结果的愿望,丢掉直接拉动结果的惯性。手放在输入上,让结果作为输入的影子跟随;付款推迟到用户充分喜欢这个世界之后。

再看只凭一个平均数判断的惯例。它预设一款游戏只有一种初次体验,一个平均数便能讲完健康。但第9章已说明,用户不是从同一扇门、带着同一份期待而来的一个群体。这条惯例收取的费用是误诊:把有效与无效群体碾成一个数字,修改健康处,错过漏损处。保留想一眼看清的愿望,丢掉一个平均便知全部的惯性。分开群体,确定哪个群在漏,再分别触碰该群的输入。

平均数能在每份报告里存活,不只因为方便。平均数不会伤害任何人。分群的一瞬间,“广告获客的第一个画面已经死了”这句话就会出现,后面还会跟着负责人的名字。因此组织爱平均。平均是最有礼貌的谎言,不只是数字的性质,也是组织不愿让任何人受伤的礼貌。

完成教程,也可能没有乐趣

编织链条时还要注意:输出数字上升,不一定意味着初次体验变好。回想第21章教程完成率80%与次日回访率5%错位的场景。把道路缩成一条、封住其他按钮、只允许做指示事项,也能提高完成率;但被一路拖到终点的人未必获得乐趣。完成率只测量“听完我的全部说明了吗”,无法测量“喜欢上我的游戏了吗”。

这是构建因果时最常见的陷阱。我们沉迷于提高一个数字,后来才发现它与真正想要的结果错位。因此,一个数字上升时,总要把另一个数字并排放在旁边。教程完成率提高,就并排放上第一乐趣到达率与次日回访,看三者同向还是分岔。只有完成率上升,回访却不动,那么完成率就是把人赶进狭窄道路换来的虚假数字。

▶ 套到自己画面上的三件事

  1. 眼前的平均数是否掩盖了处境最差的用户?
  2. 是否分开了我的手触碰的输入与用户决定的输出?
  3. 这个数字是按分布查看,还是只看一个平均?

若正用一行平均数判断第一个画面的成败,就拆开群体,从漏得最多的群体重新看。

因此,手放在输入上,眼睛放在输出上

分开契机与仪表盘,修复初次体验的手就会回到正确位置。输出数字是用眼睛看的,不是用手推的。次日回访低时,不要盯着回访,而要寻找通向它的输入:第一次会话是否有回来的借口,第一次奖励是否及时到达,第一次失败是否赶走了用户?改变一项输入,再看输出指针是否跟着移动。

而且,不要用一个平均数阅读输出。拆开群体,指出哪个群体在漏,分别触碰该群体的输入。手始终放在我决定的输入上,眼睛放在他人决定的输出上,面对低数字便不会无力。低数字不是摸不到的墙,而是告诉我们该修哪个输入的信号;也不必把它当作作品评价,伤害自尊。不过仍剩下一道问题:数字低时,该把它当信号还是判决?那是下一章的工作。

参考内容

能体现本章概念的其他媒介与领域案例。

汽车/机械仪表盘

  • 汽车速度表与油门踏板:速度表指针是结果,手脚推动的是踏板与方向盘。不能用手转动指针。

现实工作流程

  • 加州大学伯克利分校研究生录取统计中的辛普森悖论:只看整体平均,男性录取率较高,仿佛存在歧视;按院系拆分后,多数院系女性录取率反而更高。拆开群体会让一个平均数得出的结论逆转,因此行动前必须先分群。
  • 测量成为目标后失效的案例:英国医院等待时间上限成为目标后,常被提到的做法包括延迟转诊以避免启动计时,或先处理容易的患者只为满足数字。把结果数字当把手拉,通向数字的道路就会断。

电子游戏运营

  • 教程完成率与首日回访错位:行业一直指出,强制用户走完直线教程,完成率可以上升,首日回访却可能不变。即使一个数字上升,也要与旁边的回访数字一起读,才能辨认虚假数字。

普通应用

  • Duolingo增长模型:每天把用户分为新用户、当前用户、重新激活、复活等状态,分别观察状态间转化率。据介绍,它发现当前用户留存率(CURR)对日活影响最大,于是集中力量修改这项输入。这是不用一行平均,而按群体阅读转移的案例。

其余参考内容收录于本文末尾的“第23章附录”(单行本中归入附录D)。


设计笔记 ▶ 亲手试一试

从第22章选择的仪表盘数字中取一个,例如次日回访。把它写在纸张中央,画一个圆。这是输出,也就是他人的决定。

接着在圆周围写下五项可能撼动数字的输入。只写今天能在画面上直接改变的东西:第一次奖励到来的时点、要求登录的时点、埋下回来借口的位置、第一次失败后的重启方式、告别的形态等。从五项输入向中央输出画箭头,这就是契机与仪表盘的因果图。不过箭头仍是假设,是否真为因果,要到第25章测量。

画完后再做一件事:按群体重新写出中央输出数字,分成两行——广告进入者与主动找来者。若两行差异很大,就应触碰较低那一行群体的输入。把原本准备触碰平均数的手,移到漏损群体的输入。(连接五项契机与目标仪表盘指标的详细因果图空白模板见附录C。)

一句话总结:营收是他人的决定,我的决定是输入。仪表盘上的输出数字不能用手直接推,因此要触碰通向它的输入,也就是契机。手放在输入上,眼睛放在输出上。用一个平均数判断,会把有效与无效群体碾在一起造成误诊;要拆开群体,指出漏损处。第一次失败后的离开与第一次奖励后的再次行动,照出初次体验是在驱赶人还是拥抱人。把结果数字当把手的惯例与只凭平均判断的惯例,会破坏信任、造成误诊。完成整个教程也可能没有乐趣,因此一个数字上升时,要与旁边数字并排阅读。 下一章:输入与输出已经分开,也有了定位漏损的方法。但数字很低时,内心会成为问题。看到第一核心乐趣到达率低的报告,会像自己的作品被否定。数字低,是否说明作品不足?业务目标与创作者的自尊如何和解?第24章讨论这个问题。

第23章附录:参考内容合集

这里收集了其他领域如何区分契机(手能触碰的输入)与仪表盘(结果输出),沿输入—体验—输出的链条定位漏损,并用分群代替一个平均数阅读。案例包括汽车与航空仪表盘、健康与制造现场、电影与经典统计。可逐项对照正文的两句话阅读:手放在输入上,眼睛放在输出上;把结果数字当把手拉,会切断通向它的道路。

汽车/机械仪表盘

  • 发动机警示灯与跛行模式:警示灯只是照出症状的输出,该触碰的是使它亮起的传感器或燃油系统。观察点:顺序不是遮住输出,而是寻找输出所指的输入。面对低数字时,练习寻找原因而不是数字。
  • OBD诊断码:维修人员从代码判断故障位置,真正动手处理的是原因部件。观察点:指出问题的输出与被触碰的输入相分离,这项正文区分在修理厂已成为职业常识。
  • 恒温器与室温:触碰的是设定旋钮,不是温度本身;温度随设定而来。观察点:日常生活中人人都会区分输入与输出。为什么只有面对指标时才忘记?

航空仪表盘

  • 飞行员的仪表交叉检查:扫视多项仪表读取飞行状态,双手仍放在操纵杆与油门上。仪表用于观察,操纵面用于推动。观察点:这个职业通过训练分开眼睛与手的位置,“手在输入、眼在输出”已成为技能。
  • 主仪表与辅助仪表:某阶段主要观察最重要的一项仪表,再以旁边仪表交叉确认数值。观察点:这是不只信一个数字,而与邻近数字并排阅读的原型。
  • “动力+姿态=性能”原则:用直接触碰的输入(油门、操纵杆)产生速度、高度等结果,是输入输出思维的教材。观察点:想改变结果时,公式教人调整两项输入,而不是结果。选出相当于我们的“动力与姿态”的两三项输入。

健康/自我测量应用

  • 活动圆环与步数仪表盘:画面圆环只是结果显示,要填满它必须真正行走,手指无法填满圆环。观察点:输出不能直接推动这一事实在画面上完全显露。有人正试图用手指推动我们仪表盘上的哪个数字?
  • 体重数字与饮食、运动:观察的是体重输出,触碰的是进食与活动输入。盯着数字不会改变数字。观察点:找到输入的一瞬间,面对输出的无力感如何变成行动清单?

现实工作流程

  • 销售管道分阶段转化率:不只看营收总和,而查看交易在哪个阶段漏损,改变该阶段活动。观察点:这是把链条按阶段切开、寻找最陡格的销售版本。
  • 按获客渠道分离表现(广告与自然流入):同一平均内混有不同群体,只有拆开才看见该修哪里。观察点:这就是正文中5%与25%被压成10%平均的场景。拆开看看我们的平均背后藏着哪两个群体。
  • 亚马逊的可控输入指标:据亚马逊前高管所著《Working Backwards》介绍,亚马逊不先看股价、营收等输出,而选择商品种类、价格、配送速度等能直接推动的输入指标,在每周业务复盘中优先检查。观察点:这是把“手在输入、眼在输出”固定进会议体系的案例。数一数我们周会的议题中,多少是输出,多少是输入。
  • 富国银行交叉销售目标:把每名客户账户数这一输出数字强压为销售目标后,为完成配额,员工在客户不知情下创建数百万个假账户。2016年事件曝光,引发巨额罚款与大规模解雇。观察点:这是代价最昂贵的反例:把输出当把手,数字会升,现实却崩塌。预先问问我们的目标数字会鼓励什么作弊。

指标/数据

  • 肾结石治疗中的辛普森悖论:1986年英国医学期刊的一项比较中,新术式整体成功率看似更高;按结石大小拆分后,无论小结石还是大结石,开放手术成功率都更高。困难的大结石患者集中到手术组,使平均结果逆转。观察点:这是分群后结论反转的教科书案例。与伯克利录取统计并排,养成怀疑一行平均的习惯。
  • 沃尔德与轰炸机加固:二战期间,据传统计学家亚伯拉罕·沃尔德建议加固返航轰炸机上没有弹孔的发动机区域,而不是弹孔最多的位置。弹孔分布只记录活着返航的飞机;发动机中弹的飞机根本没进入数据。观察点:它精确指出仪表盘只照亮留下用户的局限。离开者留下的空白,应在漏斗哪里读取?
  • 眼镜蛇赏金故事:相传殖民时期印度为减少眼镜蛇,按尸体发赏金,结果人们饲养眼镜蛇领取奖励;制度取消后,饲养者把蛇放走,数量反而增加。史实记录并未得到清晰证实,但故事已成为“眼镜蛇效应”的别名,说明直接奖励结果数字会扭曲通向结果的道路。观察点:这是把输出当把手的寓言版。想象一下,我们KPI上的奖励会催生何种养殖。

电子游戏运营

  • 调整《糖果传奇》的单个关卡:用分阶段通过与流失数据找到人群成批离开的关卡,再A/B测试该关卡的难度输入。观察点:完全遵循正文读法——找到最陡的一格,触碰其输入。我们的漏斗中那一格在哪里?
  • 《糖果传奇》单关转化与流失的交换:提高难度直接拉动付费转化输出,据称会提高短期数字,却让人从该关离开,削弱长期留存。观察点:拉高一个输出的手会削减另一个输出,所以触碰一个数字时要同时查看旁边数字。

普通应用

  • 产品分析工具的漏斗与同期群画面:把转化结果按阶段、群体拆开,照亮一个平均看不见的漏损。观察点:工具本来就把分群阅读作为基本功能,平均报告是习惯问题,不是工具限制。
  • 信用分与信用使用率:分数本身是无法用手推动的输出,能触碰的输入是降低信用卡使用率、按时还款。评分表还会拆开各因素权重,指出修改位置,正像契机与仪表盘的因果。观察点:这是在输出旁附上输入明细的模范仪表盘。我们的仪表盘只显示数字,还是也指出修改处?

制造/现场运营

  • 丰田生产方式的安灯绳:工人发现缺陷拉绳后,信号灯指出哪个工序有问题;灯只指位置,真正修复的是原因工序。观察点:信号指位置,手走向原因。用现场语言表现了正文把低数字当信号、而非判决的态度。

电影/非虚构

  • 电影《阿波罗13》:爆炸后氧气外泄,宇航员看着仪表指针下降,却无法直接阻止;控制团队不碰指针,而处理原因——燃料电池与泄漏系统。观察点:这是“观察下降输出,手放在原因输入上”最戏剧性的画面。
  • 《点球成金》转向上垒率:记分板胜场数是无法直接推动的输出,因此团队不选打击率,而选择上垒率作为可触碰输入,用它产生得分结果。观察点:重新选择输入本身就是战略。我们选的输入真的抓得住吗?

文学/哲学

  • 射箭命中与姿势:射术教导人们,与其直接试图命中靶心,不如专注站姿、拉弓、呼吸等姿势输入,命中会作为结果随之而来。观察点:这与本章收回拉结果的手、放到输入上的态度相通。面对数字目标时,借用先检查姿势的次序。