25장. 측정과 반복

출시는 완성일이 아니라, 처음으로 진짜 사용자를 만나는 측정 시작일이다.

첫 경험을 다 만들고 출시 버튼을 누르는 날, 많은 기획자가 마음속으로 "끝났다"고 말한다. 반년을 매달린 작업이 세상에 나갔으니 그럴 만하다. 그러나 이 "끝났다"가 첫 경험을 망치는 가장 흔한 생각이다. 첫 화면은 한 번 만들어 박아 두는 건물이 아니라, 매일 새로운 사람이 들어와 새로운 방식으로 헤매는 살아 있는 환경이기 때문이다. 출시는 끝이 아니라 처음으로 진짜 사람을 들여보내는 순간이고, 그제야 우리가 책상에서 짠 길이 실제로 걷는 길과 같은지 다른지가 드러난다. 그런데 출시를 끝으로 보고 손을 떼면, 진짜 사람이 막 들어오기 시작한 바로 그때 측정이 멈춘다. 가장 많이 배울 수 있는 날 노트북을 덮고 회식하러 가는 셈이다.

이 장은 그 "끝났다"를 "이제 시작이다"로 바꾸는 데서 출발한다. 24장에서 무엇을 넣어 무엇을 꺼낼지는 적었으니, 여기서는 그것이 실제로 움직이는지 어떻게 재고, 재서 안 움직이면 어떻게 고쳐 다시 재는지를 본다. 첫 경험은 출시 후에 더 많이 고쳐지는데, 고치려면 봐야 하고 보려면 재야 한다. 그리고 재는 데는 두 개의 눈이 필요하다. 사람을 직접 보고 듣는 눈과, 행동이 모여 만든 숫자를 읽는 눈이다. 24장에서 정량은 어디를 가리키고 정성은 왜를 말한다고 했으니, 그 두 눈으로 본 것을 바탕으로 바꾸고, 바꾼 걸 다시 재고, 또 바꾼다. 이 반복이 멈추는 순간 첫 경험은 박제가 된다. 그리고 이 장의 끝에는 측정론이 잘 다루지 않는 손님이 한 명 더 기다린다. 업데이트가 뜬 날 다시 초보자가 되는 기존 유저, 곧 다시-처음의 첫 경험이다.

한 사람을 옆에서 지켜보면 숫자가 못 하는 말을 듣는다

가상의 게임으로 가 보자. 캐릭터를 모으고 대화하는 그 모바일 게임의 출시 후 로그를 보니 첫 캐릭터 완성률이 30퍼센트, 24장에서 두 기획자가 받아 들었던 바로 그 보고서의 숫자다. 열에 일곱이 캐릭터를 완성하기 전에 떠난다. 숫자는 여기까지만 말한다. 어디서 새는지는 가리키지만, 왜 새는지는 입을 다문다.

그래서 사람을 부른다. 게임을 한 번도 안 해 본 다섯 명을 데려와, 옆에서 처음 켜는 걸 그냥 지켜본다. 가르치지 않고, 끼어들지 않고, 손가락이 어디서 멈추는지만 본다. 그랬더니 다섯 중 셋이 색을 고르는 화면에서 멈췄다. 한 명은 "색이 너무 많아서 뭘 골라야 할지 모르겠다"고 했고, 한 명은 아무 색이나 누르다가 "이게 저장이 되는 건가 안 되는 건가" 하고 화면을 두리번거렸으며, 한 명은 그냥 지루해하며 폰을 내려놨다. 30퍼센트라는 숫자 뒤에 이렇게 다른 세 개의 이유가 있었다. 이게 사람을 직접 보고 듣는 일, 곧 정성이다. 정성은 표본이 적어 숫자로 일반화할 수 없지만, 숫자가 죽어도 못 하는 말, 곧 왜를 들려준다. 다만 다섯 명 관찰에도 한계가 있어서, 누구나 걸리는 큰 문제는 싸게 잡아내지만 사람마다 갈리는 작은 차이나 드물게만 밟는 경로는 다섯 명으로 잡히지 않는다. 그건 다음의 숫자가 채운다.

여기서 정성과 정량을 짝짓는 순서가 중요하다. 숫자가 먼저 "여기 한 곳"이라고 좁혀 주면, 거기에 사람을 데려가 왜를 듣는다. 숫자 없이 무작정 사람만 보면 어디를 봐야 할지 몰라 헤매고, 사람 없이 숫자만 보면 왜를 몰라 엉뚱한 데를 고친다. 색 화면이 새는 곳이라고 숫자가 짚어 줬으니, 그 화면에서 사람이 무엇에 막히는지를 듣는 식이다. 어디는 로그가, 왜는 관찰과 인터뷰가 답한다.

MEJE 아이동월드에서는 이 관찰이 더 솔직하다. 팬도 막히면 말로 설명하기 전에 표정과 손이 먼저 드러나는데, 아이동을 꾸미다 어딘가에서 멈칫하고 입을 삐죽이다가 그대로 앱을 닫아 버린다. 그 멈칫하는 대목이 곧 고칠 후보가 된다. 느긋한 사용자는 막혀도 끝까지 해 보지만, 짬을 내 들른 팬은 더 빨리 떠나기 때문에, 팬을 옆에서 지켜보는 일은 가장 가차 없는 정성 테스트가 된다. 팬이 멈춘 대목을 로그가 다시 짚어 주면, 그곳은 다음에 손볼 가능성이 크다.

종이에서 시작해 화면으로, 그리고 진짜 사람에게로

고치는 일을 출시 후에야 시작하면 너무 늦다. 다행히 첫 경험은 다 만들기 전에도 잴 수 있다. 거칠게라도 일찍 재고, 점점 진짜에 가깝게 다시 재는 순서가 있다.

가장 싸고 빠른 건 종이다. 화면 하나하나를 종이에 그려 놓고, 사람에게 "여기서 뭘 하고 싶어요" 하고 손으로 짚게 한다. 그가 엉뚱한 데를 짚으면 그 화면은 의도대로 안 읽힌다는 뜻이고, 코드 한 줄 짜기 전에 이걸 안다. 종이에서 길이 어느 정도 잡히면 다음은 눌리는 시제품이다. 진짜 게임은 아니지만 버튼이 눌리고 화면이 넘어가게 흉내만 낸 물건인데, 여기서는 사람이 실제로 손가락을 움직이니 종이보다 많은 게 드러난다. 어디서 머뭇거리는지, 어디를 두 번 누르는지가 보인다. 그다음이 진짜를 내보내 실제 숫자로 재는 일이다. 출시든 일부에게만 먼저 여는 형태든, 진짜 사람이 진짜 환경에서 남기는 로그를 본다. 종이는 빠르지만 거칠고 실측은 정확하지만 늦으니, 종이에서 큰 오해를 거르고 시제품에서 흐름을 다듬고 실측에서 확인한다. 한 번에 완성된 것을 내보내려 하지 말고, 거친 것을 일찍 내보내 일찍 배운다.

재서 무언가를 바꿀 때, 그 변화가 진짜 효과인지 우연인지를 가려야 할 때가 있다. 이럴 때는 두 가지 화면을 만들어 사람을 나눠 보여주고 어느 쪽 숫자가 나은지 비교하면 된다. 색 선택지를 줄인 화면과 그대로인 화면을 나눠 보여주고 완성률이 어디서 높은지 보는 식인데, 이렇게 비교하면 "내 느낌상 줄인 게 나은 것 같다"보다 훨씬 나은 근거가 생긴다. 다만 이 비교는 사람이 충분히 모여야 믿을 수 있어서, 표본이 너무 적거나 기간이 짧으면 우연이 이긴 것처럼 보여 엉뚱한 쪽을 고르게 된다. 그래서 비교에는 기준선과 충분한 관측이 필요하다. 바꾸기 전의 숫자를 모르면 바꾼 뒤의 숫자가 좋아진 건지 나빠진 건지 알 수 없으니, 무언가를 손대기 전에 지금 숫자를 적어 둔다. 그 적어 둔 숫자가 모든 비교의 출발점이다.

이 비교를 일하는 방식으로 굳힌 회사들이 있다. 숙박 예약 서비스 부킹닷컴은 거의 모든 화면 변경을 두 갈래로 나눠 재 보는 곳으로 자주 거론된다. 알려진 바로는 한 해에 수만 건의 비교를 돌리고, 그중 상당수는 효과가 없거나 오히려 나빠 폐기된다고 한다. 흥미로운 건 그 많은 실패를 손해로 치지 않는다는 점이다. 안 되는 안을 빨리 가려내는 것 자체가 다음 한 걸음을 정확하게 만든다고 본다. 머릿속에서 옳아 보이던 안이 실제 숫자 앞에서 자주 틀린다는 걸, 비교는 매번 일깨운다. 우리가 한두 번 돌릴 비교도 결국 같은 일을 한다. 내 확신을 숫자에 한 번 물어보는 것이다. 다만 수백 건을 동시에 돌리는 일과 한 번에 하나만 바꾸라는 권고가 모순처럼 들릴 텐데, 갈림은 기반에 있다. 사람을 무작위로 갈라 실험끼리 섞이지 않게 하는 기반이 있으면 동시에 여럿을 돌려도 되고, 그런 기반이 없는 작은 팀이라면 한 번에 하나씩이 맞다.

판정하는 시점도 잰다. 바꾼 직후의 숫자는 아직 숫자가 아니다. D1은 어제 들어온 사람들이 하루를 꽉 채워야 비로소 읽히고, 개편 직후 한두 주는 신기해서 더 눌러 보는 사람과 낯설어서 반발하는 사람이 섞여 숫자가 출렁인다. 인스타그램이 익숙한 세로 스크롤을 가로 넘김으로 바꿔 내보냈다가 반발이 일자 그날로 되돌린 일이 알려져 있듯 첫 며칠의 비명과 환호는 둘 다 요란해서, 그것만 보고 판정하면 거의 틀린다. 코호트가 차고 출렁임이 가라앉은 뒤의 숫자만 기준선과 비교한다.

시간이 흐르면 먼저 온 사람과 나중에 온 사람이 다른 패턴을 그린다

한 번 재서 끝이 아닌 또 다른 이유가 있다. 시간이 흐르면 들어오는 사람의 성질이 변하기 때문이다. 출시 첫 주에 들어오는 사람과 반년 뒤에 들어오는 사람은 같은 사람이 아니다.

가상의 숫자로 보자. 출시 첫 주에는 광고를 보고 일부러 찾아온 사람, 새로운 걸 좋아하는 사람이 먼저 오는데, 이들의 D1이 12쯤이라고 하자. 100명 중 12명이 다음 날 돌아온다는 뜻이다. 그런데 석 달이 지나 입소문과 자연 검색으로 들어오는 사람의 D1은 6으로 떨어질 수 있다. 같은 게임, 같은 첫 화면인데 숫자가 반으로 줄었다. 첫 화면을 망친 게 아니라 들어오는 사람의 결이 달라졌을 뿐이다. 초기에 온 사람은 기대가 크고 인내가 길었던 반면, 나중에 온 사람은 우연히 흘러들어 기대가 옅다. 그래서 출시 직후의 좋은 숫자에 안심해서도 안 되고, 시간이 지나 숫자가 내려갔다고 첫 화면을 다 뒤엎어서도 안 된다. 신규가 그리는 패턴을 시간 순으로 따라가며, 언제 들어온 사람이냐에 따라 첫 경험이 얼마나 다르게 작동하는지를 살핀다.

새는 구간을 찾는 가장 또렷한 방법은 첫 경험을 단계로 쪼개 단계마다 몇 명이 남는지를 보는 것이다. 3장에서 첫 경험을 문턱으로 나눴고 21장에서 시간으로 나눴는데, 그 나눔이 여기서 일한다. 가상의 숫자로 보자. 첫 화면을 연 사람을 100이라 하면, 첫 조작까지 간 사람 70, 첫 반응을 본 사람 60, 첫 캐릭터를 완성한 사람 30, 다음 날 돌아온 사람 6. 이렇게 늘어놓으면 60에서 30으로 꺼지는 구간이 가장 가파르다. 거기가 병목이다. 맨 끝의 6, 곧 다음 날 돌아온 비율을 22장에서 세운 북극성으로 삼았다면, 그 한 숫자를 끌어올리는 길은 그 위에서 가장 많이 새는 구간을 메우는 일이라는 게 단계로 늘어놓는 순간 눈에 들어온다. 그러니 다음에 손볼 곳은 가장 많이 새는 그 한 구간이다. 모든 곳을 한꺼번에 고치려 들면 무엇이 효과였는지 알 수 없으니, 가장 가파른 구간 하나를 골라 거기만 바꾸고 다시 잰다.

업데이트가 떴을 때, 기존 유저도 다시 초보자가 된다

지금까지 잰 것은 모두 처음 들어온 사람의 첫 경험이었다. 그런데 첫 경험은 신규에게만 일어나는 일이 아니어서, 한참을 잘 놀던 기존 유저도 어느 순간 다시 초보자가 된다. 이걸 놓치면 가장 충성스러운 사람을 잃는다.

세 가지 순간에 기존 유저가 다시 처음으로 돌아간다. 큰 업데이트가 떠서 화면 구조나 조작이 바뀐 때, 한동안 안 하다가 오랜만에 돌아온 때, 그리고 시즌이 바뀌어 규칙과 목표가 새로 깔린 때다. 가상의 게임으로 돌아가 보자. 캐릭터 수집 게임에 큰 개편이 와서 메뉴 위치가 다 바뀌었는데, 1년을 매일 한 사람이 오랜만에 열어 보니 늘 누르던 자리에 늘 있던 버튼이 없다. 그는 신규가 아닌데 길을 잃었다. 여기서 흔한 실수가 두 가지다. 하나는 그를 신경 쓰지 않는 것으로, "기존 유저는 알아서 적응하겠지" 하고 아무 안내도 안 하면 가장 오래 머문 사람이 가장 크게 당황한다. 다른 하나는 정반대로 그를 신규처럼 대하는 것인데, 1년을 한 사람에게 "이게 캐릭터예요, 여기를 누르면 꾸밀 수 있어요"를 처음부터 다시 가르치면 그는 무시당했다고 느낀다.

기존 유저의 다시-처음은 신규의 처음과 다르게 다뤄야 한다. 그가 이미 아는 것은 건드리지 말고 바뀐 것만 짚는다. 메뉴가 옮겨졌으면 "찾으시던 건 여기로 옮겼어요" 한 줄이면 되고, 시즌이 바뀌었으면 새 규칙 하나만 또렷이 알리고 나머지는 그대로 둔다. 오랜만에 돌아온 사람에게는 그가 마지막으로 무얼 하다 떠났는지를 짚어 주고 "그동안 이게 새로 생겼어요"만 보여 준다. 핵심은 다 가르치지 않는 것이다. 그는 이 세계의 주민이지 관광객이 아니니, 새로 깐 것만 안내하고 그가 쌓아 온 익숙함은 존중한다. 그래서 측정도 따로 한다. 업데이트나 시즌 전환 직후에 기존 유저의 재방문이 떨어졌다면, 새 콘텐츠가 별로여서가 아니라 기존 유저를 다시 길 잃게 만들었을 가능성을 먼저 본다. 신규의 D1만 보지 말고, 개편 전후로 기존 유저가 얼마나 돌아오는지를 나란히 본다.

출시하면 끝이라는, 만드는 사람의 오래된 습관

측정과 반복을 다루는 장이니, 게임을 만드는 쪽의 관습 하나를 검문소에 세운다. "출시하면 끝이다, 튜토리얼은 한 번 잘 만들면 끝이다"라는 습관이다. 이건 화면 위의 관습이 아니라 만드는 사람 마음속의 관습이다.

이 습관이 무엇을 전제하는지 본다. 게임을 하나의 완성품으로 보고, 출시일까지 모든 걸 다 만들어 둔 뒤 그날 세상에 내놓으면 작업이 끝난다고 여긴다. 이 전제는 패키지로 팔던 시절의 유산이다. 디스크에 구워 상자에 담아 팔면 그 게임은 그 상태로 멈췄고, 튜토리얼도 한 번 만들어 디스크에 담으면 그걸로 끝이었다. 그 시절의 만드는 사람에게 출시는 진짜 끝이었고, 첫 경험은 출시 전에 다 완성해 두는 물건이었다. 그러니 이 관습이 이토록 오래 살아남은 건 게으름 때문이 아니라 한 시절 내내 옳았기 때문이고, 옳았던 기간이 길수록 관습은 깊이 박힌다. 검문할 가치가 있는 관습은 대개 이렇게, 한때의 정답이 시절이 바뀐 줄 모르고 남아 있는 것들이다.

지금의 게임은 이 전제를 공유하지 않는다. 늘 연결되어 있고, 매일 새 사람이 들어오며, 수시로 고쳐 내보낼 수 있는 살아 있는 환경이다. 출시는 마침표가 아니라 가장 많은 정보가 들어오기 시작하는 시점이다. 첫 경험을 출시 전에 완성했다고 믿으면 출시 후에 쏟아지는 진짜 사용자의 행동을 읽지 않게 된다. 튜토리얼을 한 번 만들고 그대로 두면, 시간이 지나 들어오는 사람의 결이 바뀌어도 큰 업데이트로 화면이 바뀌어도 그 낡은 튜토리얼이 새로 온 사람을 그대로 맞이한다. 패키지 시절의 습관으로 만든 첫 경험은 출시일에 멈춰 점점 현실과 어긋난다.

이 습관이 물리는 요금은 기회의 상실이다. 출시 후에 가장 많이 배울 수 있는데, 끝났다고 손을 떼면 그 배움을 통째로 버린다. 어디서 새는지, 왜 새는지, 시간이 지나 누가 들어오는지, 업데이트 뒤에 기존 유저가 어떻게 헤매는지. 이 모든 신호가 출시 후에 들어오는데도, "끝났다"는 습관이 그 신호를 통째로 놓치게 만든다.

본질만 남기고 바꾼다. 출시일에 작품을 세상에 내놓는다는 사실은 그대로 두되, 그날을 끝이 아니라 측정의 시작으로 본다. 첫 경험은 한 번 박아 두는 건물이 아니라 계속 손보는 정원이다. 출시 후에 재고, 사람을 보고 왜를 듣고, 가장 새는 한 구간을 고치고, 다시 잰다. 튜토리얼도 한 번 만들고 닫아 두지 말고 들어오는 사람이 바뀌면 같이 바꾼다. 첫 경험을 완성품이 아니라 계속 자라는 것으로 보는 순간, 출시 후의 모든 숫자가 부담이 아니라 다음에 손볼 곳을 가리키는 지도가 된다.

다만 반대쪽에도 날을 세워 둔다. 측정에는 중독이 있다. 잰 것만 고치다 보면 잴 수 없는 것, 곧 첫인상의 낯섦과 작품의 정체성이 먼저 죽는다. 반복 루프가 눈앞의 숫자를 조금씩 올리는 국소 최적만 좇으면 모난 데가 다 갈려 나가, 어디서 본 듯한 매끈한 첫 경험만 남는다. 숫자는 어제보다 나은 화면을 골라 주지만, 아무도 시도한 적 없는 화면을 골라 주지는 못한다. 그래서 재고 고치는 손과 별개로, 이 첫 경험이 여전히 우리 것인가를 묻는 눈을 하나 남겨 둔다. 그 물음에는 계기판이 답하지 못한다.

▶ 내 화면에 대입하는 세 가지

나는 출시를 완성으로 보나, 측정의 시작으로 보나.

한 번 재고 끝내려 하고 있지 않나.

바꾸고 다시 재는 반복이 지금 돌고 있나.

출시일에 손을 떼고 다시 재지 않고 있다면, 첫 경험은 그날 박제된다. 다시 재는 고리부터 돌린다.

그래서, 한 번에 하나만 바꾸고 다시 잰다

측정과 반복을 첫 경험에 들이고 나면 일하는 방식이 바뀐다. 출시 전에 다 맞히려 애쓰는 대신 거친 것을 일찍 내보내 배운다. 종이로 큰 오해를 거르고, 시제품으로 흐름을 다듬고, 실측으로 확인한다. 출시 후에는 단계별로 몇 명이 남는지를 보고 가장 가파른 구간을 찾은 뒤, 거기에 사람을 데려가 왜를 듣고 손잡이 하나를 바꾼다. 여러 개를 한꺼번에 바꾸면 무엇이 효과였는지 알 수 없으니, 한 번에 하나만 바꾸고 기준선과 비교한다. 그리고 신규만이 아니라 시간이 지나 들어오는 사람과, 업데이트로 다시 길 잃은 기존 유저까지 나란히 본다.

이 모든 일의 바탕에 24장의 마음가짐이 깔린다. 숫자는 심판이 아니라 신호다. 낮은 숫자에 자존심이 상하면 반복이 멈추고, 반복이 멈추면 첫 경험은 출시일에 박제된다. 숫자를 지도로 읽는 사람만이 다음에 손볼 곳을 계속 찾아낸다. 첫 경험은 만드는 게 아니라 기르는 일이다.

기르는 일에는 달력이 따른다. 유입의 결은 분기마다 바뀌니 FTUE에는 유통기한이 있고, 그래서 정기검진을 언제 돌릴지 트리거를 미리 정해 둔다. 광고와 자연 유입의 비중이 눈에 띄게 무너졌을 때가 하나, 대형 업데이트 직후가 다른 하나다. 그때마다 깔때기를 다시 늘어놓고, 처음 켜는 다섯 명을 다시 옆에 앉힌다.

참고 콘텐츠

이 장의 개념이 드러나는 다른 매체·분야의 사례.

현실 업무 절차 / UX 리서치

5명 사용성 관찰 : 다섯 명만 봐도 누구나 걸리는 큰 문제는 싸게 잡힌다. 다만 드문 경로나 작은 차이는 숫자가 채운다.
기준선을 먼저 적어 두기 : 바꾸기 전 숫자를 모르면 바꾼 뒤가 나아진 건지 알 수 없다. 모든 비교는 기준선에서 출발한다.

일반 앱 / 실험 문화

대규모 A/B 테스트를 일하는 방식으로 굳힌 회사들 : 화면 변경마다 두 갈래로 나눠 재 보고, 안 되는 안을 빨리 가려내는 것을 손해가 아닌 다음 한 걸음으로 본다. 듀오링고는 '전부 시험한다'를 원칙으로 동시에 수백 건의 실험을 돌리고 새 알림 문구도 소수에게 먼저 시험해 이긴 것만 전체에 깐다고 알려져 있다. 구글이 광고 링크 파란색 41가지를 나눠 재 디자이너가 고른 색이 아닌 다른 색을 택한 일도 자주 거론된다.
익숙한 조작을 바꿨다가 되돌린 앱 개편 : 인스타그램은 2018년 세로 스크롤을 좌우 탭·스와이프로 바꾸는 시험을 의도보다 넓게 노출해 거센 반발을 부른 뒤 곧바로 원래대로 되돌렸고, 스냅챗의 2018년 개편은 채팅과 스토리를 섞어 헷갈린다는 불만에 100만 명 넘는 되돌리기 청원이 모인 것으로 알려져 있다. 기존 유저가 몸에 익힌 조작을 건드리면 충성 사용자가 가장 크게 흔들린다.

비디오게임 / 플레이테스트 관찰

저니의 핑 하나로 좁힌 소통 : 알려진 바로는 소통을 문자·음성 없이 핑 한 번으로 좁힌 건 애초의 설계였고, 플레이테스트에서 사람들이 서로의 경험을 해치려 드는 모습이 관찰되자 해칠 수 있는 상호작용 쪽을 덜어 냈다고 전해진다. 그 핑만으로 한 테스터가 상대의 움직임에서 성격을 상상하며 말을 거는 일도 관찰됐다고 한다. 옆에서 지켜본 관찰이 무엇을 빼야 하는지를 알려 준 본보기다.

나머지 참고 콘텐츠는 이 글 끝의 '25장 부록'에 모아 두었다(단행본에서는 부록 D로 묶인다).

설계 노트 ▶ 직접 해보기

우리 게임의 첫 경험을 단계로 쪼개, 단계마다 지금 몇 명이 남는지를 적는다. 숫자가 없으면 짐작으로라도 적는다.

첫 화면 (　) → 첫 조작 (　) → 첫 반응 (　) → 첫 완료 (　) → 다음 날 (　)

가장 가파르게 꺼지는 구간 하나에 표시하고, 그 옆에 묻는다. 여기서 사람들이 왜 떠나는지 나는 아는가, 짐작만 하는가. 짐작뿐이라면 그 화면에서 처음 켜는 사람 다섯 명을 옆에서 지켜볼 계획을, 무엇을 묻고 무엇을 보고만 있을지를 한 줄로 적는다.

마지막으로 재-FTUE 한 줄을 더 단다. 다음 큰 업데이트나 시즌 전환이 떴을 때, 우리 기존 유저가 다시 길을 잃을 곳은 어디인가. 그곳에 신규처럼 다 가르치지 않고 "바뀐 것만" 짚어 줄 한 문장을 미리 적어 둔다. (정성·정량 도구와 테스트 방식, 반복 주기, 그리고 신규·복귀·기존 유저의 재-FTUE 점검표를 채우는 정밀한 시트는 부록 C.)

한 줄 요약: 출시는 끝이 아니라 진짜 사람을 처음 들여보내는 측정의 시작이다. 정량(로그·퍼널)은 어디서 새는지를, 정성(관찰·인터뷰)은 왜 새는지를 답하니 둘을 짝짓는다. 종이에서 시제품으로 실측으로 거칠게 시작해 점점 진짜에 가깝게 재고, 기준선을 두고 한 번에 하나만 바꿔 다시 잰다. 시간이 지나면 들어오는 사람의 결이 바뀌고, 업데이트·복귀·시즌 전환 때 기존 유저도 다시 초보자가 되니 신규처럼 다 가르치지 말고 바뀐 것만 짚는다. "출시하면 끝, 튜토리얼은 한 번 만들면 끝"이라는 습관은 출시 후 가장 큰 배움을 스스로 흘려보낸다. 첫 경험은 만드는 게 아니라 기르는 일이다. 다음 장: 여기까지가 계기판을 세우고 그 숫자를 신호로 읽으며 첫 경험을 길러 가는 일이었다. 여기까지가 5부다. 그런데 지금까지 우리는 경험을 설계자가 짠다고 전제해 왔다. 첫 화면도, 첫 보상도, 첫 선택지도 우리가 깔았다. 그렇다면 경험의 확장조차 사용자에게 맡길 수 있을까. 사용자가 고르는 것으로 그의 취향을 읽고, 그 위에 다음 경험을 지을 수 있을까. 6부는 그 물음에서 시작한다.

25장 부록: 참고 콘텐츠 모음

본문의 참고 콘텐츠 절에는 이 장의 논증에 직결되는 핵심 몇 개만 남기고, 나머지를 여기에 매체별로 모았다. UX 리서치의 기본 절차에서 시작해 앱의 실험 문화, 게임의 운영과 플레이테스트, 영화 제작, 공장과 무대 같은 오프라인을 지나 개편 안내의 사례들로 끝난다. 이 장의 네 논점, 곧 출시를 측정의 시작으로 보는 태도, 정성(왜)과 정량(어디)을 짝지어 한 번에 하나만 바꾸는 측정 루프, 업데이트 때 기존 유저가 다시 초보자가 되는 재-FTUE, 그리고 잰 것만 고치다 잴 수 없는 것을 잃는 측정 중독의 경계를 옆에 두고 읽으면, 항목마다 붙인 "살펴볼 점"이 어디에 닿는지 보인다.

현실 업무 절차 / UX 리서치

종이 프로토타입 사용성 테스트 : 코드 한 줄 짜기 전에 손으로 그린 화면을 짚게 해 큰 오해부터 거른다. 거친 것을 일찍 내보내 일찍 배운다. 살펴볼 점: 측정 루프의 가장 싼 첫 바퀴라, 우리 팀은 어느 단계에서 처음 사람에게 보여 주는지를 여기에 대 본다.
오즈의 마법사(Wizard of Oz) 시험 : 만들기 전에 뒤에서 사람이 응답을 흉내 내 자동화된 척하며 흐름을 싸게 검증한다. 1971년 셀프 항공권 발권기 실험과 1983년 '받아쓰는 타자기' 음성 인식 실험이 그 원형으로 꼽히는데, 둘 다 자동화가 없는데도 사람이 뒤에서 답을 채워 진짜인 듯 흐름만 먼저 시험했다. 살펴볼 점: 만들기 전에 흐름부터 검증하는 순서라, 27장의 말로 안내하는 화면을 들이기 전에도 같은 방식으로 싸게 시험할 수 있다.

일반 앱 / 실험 문화

통제 실험에서 표본과 기간의 함정 : 사람이 충분히 모이기 전에 판정하면 우연이 이긴 것처럼 보여 엉뚱한 쪽을 고른다. 살펴볼 점: 판정을 내리기 전에 기준선이 적혀 있고 관측이 충분히 쌓였는지부터 본다.
한 번에 하나만 바꾸기 : 여러 개를 동시에 바꾸면 무엇이 효과였는지 알 수 없다. 가장 가파른 한 구간만 바꾸고 다시 잰다. 살펴볼 점: 실험을 가르는 기반이 없는 작은 팀일수록 이 규칙이 거의 유일한 안전장치가 된다.
구글 디자이너의 "파란색 41종" 일화 : 2009년 구글을 떠난 디자이너 더글러스 보먼이 작별 글에서, 팀이 두 파랑 사이에서 결정을 못 해 41가지 파랑을 시험하고 테두리 굵기가 3픽셀이냐 4픽셀이냐를 두고도 데이터를 요구받았다고 토로한 일이 회자된다. 살펴볼 점: 측정이 모든 결정을 대신하기 시작하면 잴 수 없는 감각이 먼저 떠난다는, 본문이 세워 둔 측정 중독의 경고와 닿는다.

비디오게임 운영

라이브 서비스의 출시 후 운영 : 출시는 끝이 아니라 진짜 사람이 처음 들어오는 측정의 시작이다. 파이널 판타지 14는 2010년의 첫 판이 혹평으로 무너진 뒤 2013년 '신생 에오르제아'로 통째로 다시 만들어 재출시해 살아났고, 노 맨즈 스카이도 빈약한 출시 후 무료 업데이트를 거듭해 평가가 부정에서 긍정으로 뒤집힌 것으로 알려져 있다. 살펴볼 점: 출시 뒤에도 작품이 고쳐질 수 있다는 가장 큰 규모의 증거라, "출시하면 끝"이라는 습관의 반례로 본다.
소프트 론칭 / 한정 지역 선출시 : 일부에게만 먼저 열어 진짜 환경의 로그로 재 보고, 넓히기 전에 고친다. 클래시 로얄은 2016년 초 전 세계 출시 전에 캐나다·호주·뉴질랜드 등 몇 나라에만 먼저 열어 두 달 가까이 진짜 사용자의 숫자로 다듬은 뒤 글로벌로 넓혔다. 살펴볼 점: 거친 것을 일부에게 먼저 내보내 배우고 나서 넓히는 순서가, 종이에서 시제품을 거쳐 실측으로 가는 본문의 사다리와 같은 모양이다.
시즌·대형 업데이트 후 기존 유저의 재적응 : 메뉴가 바뀌면 오래 머문 사람이 가장 크게 길을 잃는다. 다 가르치지 말고 바뀐 것만 짚는다. 살펴볼 점: 재-FTUE의 기본 처방이라, 우리 개편 공지에 "바뀐 것만" 짚는 문장이 들어 있는지 본다.
코호트별 잔존이 시간에 따라 갈리는 현상 : 초기 유입과 나중 유입은 결이 달라 같은 화면에서도 숫자가 다르게 나온다. 살펴볼 점: 숫자가 내려간 것이 화면 탓인지 들어오는 사람의 결이 바뀐 탓인지를 가르는 눈이 된다.
얼리 액세스로 거칠게 먼저 내보내 다듬은 게임 : 발더스 게이트 3는 2020년 1막을 먼저 열어 수천 명의 플레이로 받은 반응을 반영해 일부 능력 판정과 한 동료의 성우·서사를 고쳤고, 하데스도 얼리 액세스 동안 받은 의견으로 형태를 다듬어 완성됐다고 알려져 있다. 살펴볼 점: 완성품을 한 번에 내놓는 대신 거친 것을 일찍 내보내 진짜 사용자에게 배우는 원칙이, 게임 유통의 형식으로 굳은 모습이다.
헤일로 3의 죽음·처치 위치 히트맵 : 멀티플레이 맵에서 사람들이 어디서 죽고 어디서 처치하는지를 로그로 모아 지도 위 열 분포로 그렸고, 출시 전후의 대규모 플레이테스트에 활용한 것으로 소개되었다. 살펴볼 점: 숫자를 그림으로 펴면 '어디가 새는지'가 한눈에 들어온다는, 정량 시각화의 본보기다.

비디오게임 / 플레이테스트 관찰

밸브의 신선한 테스터 관찰 : 한 번도 안 해 본 사람을 데려와 옆에서 처음 켜는 걸 지켜보는데, 포털에서는 처음에 지저분하던 환경을 테스터가 어디를 풀어야 할지 못 알아봐 벽과 바닥을 하얗게 비운 지금의 모습으로 바꿨다고 알려져 있다. 살펴볼 점: 손가락이 멈추는 곳을 지켜보는 정성 관찰이 미술 방향까지 바꾼 사례라, 관찰이 고칠 수 있는 범위를 화면 배치 너머로 넓혀 잡게 한다.

영화 / 제작 절차

시사 시험 상영 후 결말을 다시 찍은 영화들 : '치명적인 매력'(1987)은 시험 관객이 원래 결말을 싫어해 3주간 재촬영으로 결말을 바꿨고, '나는 전설이다'(2007)도 시험 관객이 원래 결말에 거부 반응을 보여 다른 결말로 다시 찍었다고 알려져 있다. 살펴볼 점: 내보내기 전에 진짜 관객에게 한 번 보여 주는 절차가 영화 산업에는 제도로 깔려 있다는 것, 게임 밖의 정성 측정이 어떻게 운영되는지 본다.
픽사의 미완성 시사와 브레인트러스트 : 제작 중인 영화를 몇 달마다 거친 상태로 내부 상영하고, 감독과 이야기꾼 들이 모여 솔직한 지적을 주고받는 관행으로 알려져 있다. "우리 영화도 처음에는 다 형편없다"는 에드 캣멀의 말이 함께 전해진다. 살펴볼 점: 완성 전에 보여 주는 용기를 제도로 굳힌 모습이되, 지적을 반영할지 결정할 권한은 감독에게 남겨 작품의 정체성을 지킨다는 경계까지 본다.

오프라인 / 일상

토요타 생산 방식의 안돈 코드 : 라인의 어느 작업자든 이상을 발견하면 줄을 당겨 라인을 세울 수 있게 하고, 문제를 그 자리에서 드러내 원인을 찾는 문화로 알려져 있다. 살펴볼 점: 측정과 수정을 공정의 끝이 아니라 한가운데에 둔 원형이라, 출시 후에야 고치기 시작하는 습관과 대비된다.
스탠드업 코미디언의 클럽 다듬기 : 큰 무대나 스페셜 촬영 전에 작은 클럽을 돌며 같은 농담을 수십 번 시험하고, 웃음이 터지지 않은 대목을 버리거나 고쳐 가는 방식이 널리 알려져 있다. 살펴볼 점: 관객의 웃음을 로그 삼아 거친 초고를 반복으로 다듬는, 가장 몸에 가까운 측정 루프다.

현실 업무 절차 / 교육

리뉴얼 매장의 "옮겼어요" 안내판 : 단골이 늘 찾던 곳에 물건이 없을 때, 다시 가르치지 않고 바뀐 위치만 짚는다. 살펴볼 점: 다 가르치지 않고 바뀐 것만 짚는 재-FTUE 처방의 가장 작은 견본이다.
익숙한 자리를 통째로 바꿔 단골을 길 잃게 한 개편 : 윈도우 8이 시작 메뉴를 없애자 오래 쓰던 사용자가 늘 누르던 버튼을 못 찾아 거센 반발이 일었고, 결국 윈도우 10에서 시작 메뉴를 되살린 일이 자주 거론된다. 살펴볼 점: 가장 오래 머문 사람이 가장 크게 당황한다는 본문의 경고가 운영체제 규모에서 벌어진 모습이다.
마이크로소프트 오피스 2007의 리본 개편 : 메뉴와 도구 막대를 리본 방식으로 통째로 바꾸자, 오래 쓴 사용자들이 늘 있던 명령을 못 찾아 한동안 불만이 쏟아지고 옛 메뉴 위치를 찾아 주는 도구까지 나돈 것으로 회자된다. 살펴볼 점: 개편 자체의 잘잘못보다, 몸에 익은 길을 잃은 기존 유저에게 바뀐 것을 짚어 주는 다리가 충분했는지를 본다.
소프트웨어 버전 업데이트의 변경점 안내(What's New) : 전체 재교육 대신 새로 생긴 것만 또렷이 알린다. 살펴볼 점: 기존 유저에게 차이만 알리는 형식이 업계 표준이 된 이유를, 재-FTUE의 비용 셈으로 본다.