第25章测量与迭代

上线不是完成之日，而是第一次遇见真实用户、开始测量之日。

做完首次体验、按下上线按钮的那天，许多策划都会在心里说：“结束了。”投入半年的工作终于走向世界，这种心情并不奇怪。然而，正是这句“结束了”，最常毁掉首次体验。第一个页面不是建好一次便留在那里的建筑，而是每天都有新人进入、又以新方式迷路的活环境。上线不是终点，而是第一次让真实的人走进来的时刻；直到这时，我们才会看见在桌前规划的路，和人们实际行走的路究竟相同还是不同。如果把上线视为终点，从此放手，那么就在真实的人刚开始进入时，测量停止了。这就像在最能学到东西的那一天合上笔记本电脑，出门参加庆功宴。

本章从把“结束了”改成“现在才开始”出发。第24章已经写下要投入什么、产出什么；这里要看的是，如何测量它们是否真的变化，如果测量后没有变化，又如何修正并重新测量。首次体验在上线后会得到更多修正，而要修正就得先看，要看就得测量。测量需要两只眼睛：一只直接观察、倾听用户，另一只阅读行为汇聚而成的数字。第24章说，定量指出哪里，定性说明为什么。我们根据这两只眼睛看到的结果做出改变，再测量改变后的结果，然后继续改变。这个迭代一停止，首次体验就成了标本。本章结尾还有一位测量理论很少处理的客人：更新出现之日再次成为新手的现有用户，也就是“重新开始”的首次体验。

在旁边观察一个人，就能听见数字说不出的话

回到假想游戏。查看那款收集角色、与角色对话的手机游戏上线后的日志，首个角色完成率为30%，这和第24章两位策划收到的报告是同一种错位。十个人中有七个在完成角色前离开。数字只能说到这里。它指出用户从哪里漏走，却对为什么漏走闭口不言。

所以，我们把人请来。找五个从没玩过这款游戏的人，只在旁边看他们第一次启动游戏。不要教，不要介入，只看手指在哪里停下。结果，五个人中有三个停在颜色选择页面。一个人说：“颜色太多，我不知道该选什么。”一个人随便点了一种颜色，一边四处查看页面，一边问：“这到底保存了还是没保存？”另一个人只是觉得无聊，放下了手机。30%这个数字背后，原来有三个不同的理由。这就是直接观察、倾听人，也就是定性。定性的样本少，无法用数字概括所有人，却能告诉我们数字无论如何都说不出的话——为什么。不过，观察五个人也有局限。它能低成本找出谁都会碰到的大问题，却找不到因人而异的小差异或很少有人走到的路径。接下来的数字会补上这一点。

把定性和定量配对时，顺序很重要。数字先把范围缩小成“就是这里”，然后把人带到这里，听取为什么。没有数字，只是漫无目的地观察人，就会不知道该看哪里；没有人，只看数字，就会因为不知道原因而修错地方。数字指出颜色页面是漏点，于是我们就在这个页面听用户被什么挡住。哪里由日志回答，为什么由观察和访谈回答。

在MEJE Aidong World里，这种观察更加坦白。粉丝被卡住时，表情和双手总是先于语言暴露出来。他装扮Aidong时在某处迟疑、噘起嘴，然后直接关闭应用。这个迟疑的位置马上成为修正候选。悠闲的用户即使受阻也会试到最后，利用零碎时间来访的粉丝却会更快离开，所以坐在粉丝身边观察，是最无情的定性测试。如果日志也再次指出粉丝停下的位置，那里很可能就是下一处要修的地方。

从纸张到页面，再到真实的人

等到上线后才开始修正就太晚了。幸好，首次体验还没全部做完也能测量。有一种顺序：哪怕粗糙也要尽早测量，然后逐步接近真实，再次测量。

最便宜、最快的是纸张。把每个页面画在纸上，请人用手指出“在这里想做什么”。如果他指向完全不同的位置，就说明页面没有被按意图理解；一行代码都没写，就能知道这一点。纸上的路径大致确定后，下一步是可以点击的原型。它不是真正的游戏，只是模仿按钮可按、页面会跳转，但因为人真的会移动手指，所以比纸张暴露更多问题：在哪里犹豫，哪里会点两次。再下一步，才是推出真实产品，用真实数字测量。无论是正式上线，还是只向一部分人先开放，都要看真实的人在真实环境里留下的日志。纸张快却粗糙，实际测量准确却晚，所以先用纸张筛掉大的误解，在原型中整理流程，再通过实际测量确认。不要企图一次推出完成品；尽早推出粗糙版本，尽早学习。

测量后改变某样东西时，有时必须区分变化是真正的效果，还是偶然。这时做两个页面，把用户分开，比较哪一边的数字更好即可。比如，一组看到减少颜色选项的页面，另一组看到原页面，再看哪边的完成率更高。这样的比较，比“凭感觉，减少选项似乎更好”可靠得多。但只有聚集了足够多人，比较才值得相信。样本太少或时间太短，偶然就可能像赢家一样出现，让你选错一边。因此，比较需要基准线和充分观察。不知道改变前的数字，就无法判断改变后变好还是变坏。动手之前，先写下当前数字。这个数字就是所有比较的起点。

有些公司把这种比较固化成了工作方式。住宿预订服务Booking.com经常被提到，因为它几乎把每一次页面变化都分成两组来测量。据称，它一年进行约2.5万次比较，其中相当一部分没有效果、甚至变得更差，最终被废弃。有意思的是，它不把这些失败视为损失。快速筛掉无效方案，本身就会让下一步更准确。头脑里看似正确的方案，面对真实数字时经常出错；每次比较都会提醒这一点。我们只做一两次比较，最终也是在做同一件事：让数字回答一次自己的确信。不过，同时进行数百项实验，似乎与“一次只改一项”的建议矛盾，分界在于基础设施。如果有能够随机分流用户、避免实验相互污染的基础设施，就可以同时进行多项实验；没有这种基础的小团队，一次只做一项才正确。

连做出判断的时机也要测量。刚改完后的数字还不能算数字。D1只有等昨天进入的人完整度过一天，才能读取；改版后一两周里，既有因新鲜感而多点几次的人，也有因陌生而抵触的人，数字会不断摇摆。Instagram曾测试把熟悉的纵向滚动改成横向翻页，却意外将测试发布到比预期更大的范围，遭遇反弹后当天恢复原状。最初几天的尖叫和欢呼都很吵，只凭这些做判断，几乎必然出错。要等同期群填满、波动平息后，再把数字与基准线比较。

时间流逝，先来的人与后来的人会画出不同图案

一次测量并非终点，还有另一个理由：随着时间流逝，进入者的性质会改变。上线第一周进入的人，和半年后进入的人并不是同一种人。

来看假想数字。上线第一周，先到来的是看到广告后特意寻找游戏的人，以及喜欢新事物的人。假设他们的D1约为12，也就是100个人中有12个第二天回来。然而三个月后，通过口碑和自然搜索进入者的D1可能降到6。同一款游戏、同一个首屏，数字却减半了。并不是首屏被毁了，只是进入者的质地改变了。早期用户期待高、耐心长，后来的人则可能偶然流入，期待很淡。因此，我们既不能因上线后的好数字而放心，也不能看到数字随时间下降，就把整个首屏推倒重来。要按时间追踪新用户画出的图案，观察首次体验会因用户何时进入而产生多大差异。

寻找漏点最清晰的方法，是把首次体验拆成阶段，查看每个阶段还剩多少人。第3章按门槛划分首次体验，第21章按时间划分，现在这些划分开始发挥作用。来看假想数字。把打开首屏的人设为100，走到首次操作的有70人，看见第一次反应的有60人，完成首个角色的有30人，第二天回来的有6人。这样排开，60降到30的区间最陡，那里就是瓶颈。如果把最后的6，也就是次日回访率，设为第22章建立的北极星，那么把阶段排开的瞬间就能看见：提高这一个数字的方法，就是填上它前面流失最多的区间。因此，下一处该修的是漏得最多的一个区间。若同时修正所有位置，就无法知道什么产生了效果，所以只选最陡的一段，只改变那里，再次测量。

更新出现时，现有用户也会再次成为新手

到目前为止，测量的都是首次进入者的首次体验。但首次体验不只发生在新用户身上，玩了很久的现有用户也会在某个瞬间再次成为新手。忽略这一点，就会失去最忠诚的人。

三个瞬间会让现有用户重新回到起点：大型更新改变页面结构或操作时，停玩一段时间后久违回归时，以及赛季切换、规则和目标重新铺设时。回到假想游戏。一款角色收集游戏经历大型改版，菜单位置全都改变。一个每天玩了一年的人久违打开游戏，却发现一直按的地方没有了熟悉的按钮。他不是新用户，却迷路了。这里有两种常见错误。一种是完全不在意他，认为“现有用户自己会适应吧”，不给任何引导，结果停留最久的人反而最困惑。另一种正好相反：把他当新用户。对玩了一年的人从头解释“这是角色，点这里可以装扮”，会让他觉得自己被轻视。

现有用户的“重新开始”，必须和新用户的第一次区别对待。不要碰他已经知道的，只指出发生变化的地方。菜单移动了，一句“你在找的内容移到这里了”就够；赛季改变了，只需清楚说明一条新规则，其余保持原样。对久违回归的人，指出他离开前最后在做什么，然后只展示“这段时间新增了这些”。关键是不要全部重教。他是这个世界的居民，不是游客；只引导新铺设的部分，并尊重他积累的熟悉感。因此，测量也要分开。若更新或赛季切换后，现有用户的回访下降，应先考虑是否改版让他们再次迷路，而不是直接判断新内容不好。不要只看新用户的D1，还要并排比较改版前后现有用户回来的比例。

“上线就结束”这一创作者的旧习惯

既然本章讨论测量与迭代，就把游戏创作者的一项习惯放上检查站：“上线就结束，教程做好一次就结束。”这不是页面上的惯例，而是创作者心里的惯例。

看看这种习惯预设了什么。它把游戏视为一件完成品，认为只要在上线日前做完全部内容，并在那天推向世界，工作就结束了。这个前提是实体包装销售时代留下的遗产。游戏刻进光盘、装入盒子出售后，就停在那个状态；教程做好一次、放进光盘，也就结束了。对那个时代的创作者来说，上线确实是终点，首次体验是在上线前全部完成的东西。因此，这种习惯能存续这么久，并不是因为懒惰，而是因为它曾在整个时代里正确。正确的时间越长，习惯扎根越深。值得检查的惯例通常就是这样：曾经正确的答案，没有意识到时代已经改变，仍然留在原地。

今天的游戏不再共享这一前提。它始终在线，每天都有新人进入，也能随时修正、重新发布，是一个活环境。上线不是句号，而是最多信息开始涌入的时点。若相信首次体验在上线前已经完成，就不会阅读上线后涌来的真实用户行为。教程做好一次便原样放着，那么即使进入者的质地随时间改变，或大型更新改变页面，老旧教程依然会迎接新来的人。按实体包装时代习惯制作的首次体验，会停在上线日，逐渐与现实错位。

这种习惯收取的费用，是机会损失。上线后明明最能学习，却因觉得结束了而放手，就会把这些学习全部丢掉。用户从哪里漏走，为什么漏走，随时间推移谁会进入，更新后现有用户如何迷路——所有这些信号都在上线后到来，但“结束了”的习惯让人把它们全部错过。

只保留本质，改变做法。作品在上线日走向世界这一事实不变，但要把那天视为测量的开始，而不是终点。首次体验不是建好一次的建筑，而是一座不断照料的花园。上线后测量，观察人、倾听为什么，修正流失最多的一个区间，然后再次测量。教程也不要做好一次就封存；进入者改变时，教程也要跟着改变。一旦把首次体验看成持续生长的东西，而非完成品，上线后的所有数字便不再是负担，而会成为指出下一处该照料哪里的地图。

不过，也要对另一面保持警惕。测量会令人上瘾。只修能测量的东西，无法测量的东西——第一印象的陌生感与作品的身份——会先死去。若迭代循环只追求让眼前数字逐步上升的局部最优，所有棱角都会被磨平，最后只剩下似曾相识的光滑首次体验。数字能在两个页面中选出比昨天更好的那个，却无法选择从没人尝试过的页面。因此，除了测量和修正的手，还要留下一只眼睛，继续追问这次首次体验是否仍然属于我们。仪表盘无法回答这个问题。

▶ 套用到自己页面上的三个问题

我把上线看作完成，还是测量的开始？

我是否想测量一次就结束？

改变并重新测量的循环，现在是否正在运转？

如果上线日就放手、没有再次测量，首次体验会在那天成为标本。先让重新测量的循环转起来。

所以，一次只改一项，然后重新测量

把测量与迭代引入首次体验，工作方式就会改变。不再努力于上线前一次猜对全部，而是尽早推出粗糙版本来学习。用纸张筛掉大误解，用原型整理流程，用实际测量确认。上线后，按阶段查看剩余人数，找到最陡的区间，再把人带到那里，倾听为什么，只改变一个把手。同时改变多项，就无法知道什么有效，因此一次只改一项，并与基准线比较。除了新用户，也要并排观察后来进入的人，以及因更新再次迷路的现有用户。

这一切工作，都以第24章的心态为基础。数字是信号，不是裁判。低数字伤到自尊，迭代就会停止；迭代停止，首次体验就会在上线日成为标本。只有把数字当地图的人，才能不断找到下一处要照料的地方。首次体验不是制作出来的，而是培育出来的。

培育需要日历。流入者的质地每季度都会变化，FTUE也有保质期，所以要提前确定何时启动定期检查。一个触发点，是广告与自然流入的比例明显失衡；另一个，是大型更新刚结束。每到这些时点，就重新铺开漏斗，再让五位第一次启动的用户坐到身边。

参考内容

能体现本章概念的其他媒体与领域案例。

现实工作流程／UX研究

五人可用性观察：只看五个人，也能低成本找出谁都会碰到的大问题；少见路径和细小差异则由数字补上。
先写下基准线：不知道改变前的数字，就无法判断改变后是否更好。所有比较都从基准线开始。

普通应用／实验文化

把大规模A/B测试固化为工作方式的公司：每次改变页面都分成两组测量，把快速筛掉无效方案视为下一步，而非损失。据称，Duolingo以“全部测试”为原则，同时运行数百项实验，连新的通知文案也先向少数人测试，只把获胜版本铺向所有人。Google把广告链接的蓝色分成41种测量，最后选择了并非设计师选中的颜色，这件事也经常被提及。
改变熟悉操作后又恢复原状的应用改版：Instagram在2018年测试把纵向滚动改为左右点击、滑动，却将测试意外暴露给过大范围，引发强烈反弹后马上恢复原状。据称，Snapchat在2018年的改版把聊天和故事混在一起，用户抱怨令人困惑，要求恢复原状的请愿超过100万人。动到现有用户身体已经习惯的操作，最忠诚的用户反而摇晃得最厉害。

电子游戏／游戏测试观察

《风之旅人》把沟通缩小为一个鸣叫：据称，不使用文字与语音、只保留一个鸣叫，本来就是最初的设计；游戏测试中观察到人们试图破坏彼此体验后，团队删掉了能够伤害他人的交互。也有测试者只靠这一声鸣叫，从对方动作中想象性格并主动搭话。坐在旁边观察，告诉了团队该删掉什么。

其余参考内容汇集在本章末尾的“第25章附录”中（单行本收录于附录D）。

设计笔记 ▶ 自己动手试试

把我们游戏的首次体验拆成阶段，写下每个阶段现在还剩多少人。没有数字，就先凭估计填写。

第一个页面（　）→ 第一次操作（　）→ 第一次反应（　）→ 第一次完成（　）→ 第二天（　）

标记下降最陡的一个区间，并在旁边提问：我知道人们为什么在这里离开，还是只在猜测？如果只有猜测，就写一行计划，说明要怎样在这个页面旁边观察五位第一次启动的用户：要问什么，又有哪些事情只观察、不提问。

最后再加一行“再FTUE”。下一次大型更新或赛季切换出现时，我们的现有用户会在哪里再次迷路？提前写下一句话，不像对待新用户那样把所有内容重新教一遍，而只指出“发生变化的部分”。（用于填写定性与定量工具、测试方式、迭代周期，以及新用户、回归用户、现有用户再FTUE检查表的精细工作表，见附录C。）

一句话总结：上线不是终点，而是第一次让真实的人进入、开始测量的时刻。定量（日志、漏斗）回答用户从哪里漏走，定性（观察、访谈）回答为什么漏走，所以要把两者配对。从纸张到原型再到实际测量，先粗略开始，再逐步接近真实；设定基准线，一次只改一项，然后重新测量。随时间流逝，进入者的质地会改变；更新、回归、赛季切换时，现有用户也会再次成为新手，所以不要像对待新用户一样全部重教，只指出变化。“上线就结束，教程做好一次就结束”的习惯，会主动放弃上线后最大的学习机会。首次体验不是制作出来的，而是培育出来的。 下一章：到这里，我们建立仪表盘，把数字读成信号，并持续培育首次体验。第5部到此结束。然而，到目前为止，我们一直假设体验由设计师安排。第一个页面、第一次奖励、第一组选项，都是我们铺好的。那么，能否连体验的扩展也交给用户？能否从用户的选择中读取偏好，并在上面建造下一次体验？第6部从这个问题开始。

第25章附录：参考内容汇编

正文参考内容一节只保留了与本章论证直接相关的几个核心案例，其余内容按媒体类别汇集于此。从UX研究的基本流程开始，经过应用的实验文化、游戏运营与游戏测试、电影制作，以及工厂、舞台等线下场景，最后以改版引导案例收尾。阅读时，可以把本章的四个论点放在旁边：把上线视为测量的开始；把定性（为什么）与定量（哪里）配对、一次只改一项的测量循环；更新时现有用户再次成为新手的再FTUE；以及只修可测量之物、从而失去不可测量之物的测量成瘾边界。这样就能看出每个条目的“观察点”触及哪里。