“측정할 수 없으면 관리할 수 없다”
- 피터 드러커(?)
흔히 알려진 바와는 다르게 피터 드러커가 직접 이 말을 했다는 증거는 없다고 합니다.1 그래도 이만큼 지표의 중요성을 잘 함축한 말이 없기에 이런 명성(?)도 얻지 않았나 싶습니다.
물론 지표가 중요하다는 흔한 말을 하려 이 글을 쓰는 것은 아닙니다. 오히려 ‘지표를 보지 않는 것’의 중요성에 대한 글이죠.
뮤턴트 레터는 돌연변이의 길을 택한 창업가들을 위한 영감을 전합니다.
최신 글을 가장 먼저 받아보고 싶으시다면 아래 버튼을 눌러 무료로 구독해 주세요!
metric that matters
요즘과 같은 시대에 지표를 추적하여 무언가를 관리한다는 것은 분야를 막론하고 상식이 되었습니다. 그 중요성과 효과는 물론이고, 요즘은 누구나 양질의 지표를 얻고 관리할 수 있는 시대이기 때문이죠.
그래서 더더욱 ‘지표를 보지 않는 것’은 중요해졌습니다. 정확히는 ‘중요성이 떨어지는 대다수의’ 지표를 보지 않는 것이죠. 지표를 보고 그것이 대변하는 문제와 현상을 해결하기 위해서는 중요한 소수의 지표에 집중해야 합니다.
저 또한 인스타그램 계정과 이 뉴스레터를 운영하며 다양한 지표들을 추적해 보았습니다.
대부분의 중요한 지표들은 인스타그램과 Substack 자체적으로도 잘 제공해 주었죠. 오히려 이걸 받아 적기만 하다보니 어느 지표가 나에게 중요한지, 어떤 것을 집중적으로 관리해야 될지에 대한 고민은 점점 뒷전이 되었습니다.
지표를 추적하는 것은 중요하지만 그 행위 자체에 의미를 두기보다는 ‘좋은’ 지표를 선별하고 능동적으로 관리하는 것의 중요성을 깨닫게 되었죠.
그래서 ‘좋은’ 지표란 무엇인지 어떤 지표를 추적해야 하는지 알아보기로 했습니다.
좋은 지표의 자질
‘린 스타트업’의 저자 에릭 리스가 기획한 책인 ‘린 분석’에서는 좋은 지표의 특징을 다음과 같이 말합니다.
좋은 지표는..
상대적이다
특정 지표에 대해 시간, 대상 별로 비교를 한다면 상황을 이해하는 데에 더 도움이 될 것입니다. ‘전환율이 2%이다’보다는 ‘전환율이 지난주에 비해 증가했다’가 더 좋은 정보죠.
이해하기 쉽다
사람들이 이 지표를 이해하고, 얘기하고, 활용할 수 없다면 아무런 의미가 없겠죠.
비율로 표현된다
비율로 표현된 지표는 그 자체로 비교의 속성을 가집니다. 유저 수 ‘변화율’을 추적한다면 특정한 두 시점의 유저 수를 비교하는 것이죠. ‘전환율’을 추적한다면 특정한 단계에 온보딩 된 유저와 이탈된 유저를 비교하게 될 것이고요.
행동 방식을 바꾼다
그 지표가 개선되거나, 악화된다면 여러분은 어떤 변화를 취할 것인가요? 예를 들어 버튼의 색을 바꿨더니 클릭율이 절반이 되었다면 색을 원래대로 바꾸어야 겠죠. 이 질문에 명확하게 답할 수 있는지가 중요합니다.
지표의 종류
숫자로 표현된다고 다 같은 지표가 아닙니다. 그 종류와 특성을 알아야 적재적소에 활용할 수 있겠죠.
‘린 분석’에서 알려주는 5가지 구분과 이해를 돕기 위해 이를 제가 이 뉴스레터에 직접 적용하는 과정을 공유하려 합니다.
정성적 지표와 정량적 지표
우리가 흔히 ‘지표’라고 말할 때는 정량적 지표를 생각할 겁니다. 정량적 지표는 명확하고 과학적으로 관리할 수 있기에 많은 이들이 선호하죠. 하지만 정량적 지표가 모든 것을 말해 주지는 않습니다. 숫자 뒤에 있는 ‘왜’에 대한 대답을 해주지 않죠.
제가 쓰고 있는 이 뉴스레터의 경우 각 콘텐츠의 좋아요 수는 정량적 지표입니다. 좋아요 수를 비교하면 어느 글이 얼마나 더 반응이 좋았는지를 알 수 있죠. 그러나 어떤 부분이 좋았고 어떤 부분은 별로였는지 알기 위해서는 주관식 설문 같은 정성적 지표가 필요합니다.
사실 이 뉴스레터에 정성적 지표를 수집할 창구가 없는 것은 아니지만(틈새 홍보: 글 마지막에 설문 링크로 이어지는 버튼에 있습니다!), 말 그대로 ‘있다’ 수준입니다. 제가 생각해도 실제로 답변을 받기 위해서는 많은 부분에서 개선이 필요해 보입니다.
허상지표와 실질지표
‘이 지표로 내가 무엇을 할 수 있을까?’
이 질문에 답할 수 없다면 그것이 바로 허상지표입니다. 여러분에게 방향성과 개선 방안을 제시하는 것이 실질지표이죠.
뷰 수, 다운로드 수, 가입자 수, 팔로워 수 등은 대표적인 허상지표입니다. 이들은 시간이 지남에 따라 대체로 우상향하며 우리의 기분을 좋게 하죠. 그러나 이런 지표는 사용자들이 충분한 가치를 느끼고 있는지에 대해 아무것도 알려주지 않습니다. 반면 활동 사용자 비율 같은 지표는 고객들이 제픔의 가치에 만족하는지에 따라 변화할 것이므로 실질지표라 할 수 있겠죠.
뉴스레터의 경우 구독자수, 조회수 등이 대표적인 허상지표일 것입니다. 오픈율(메일함에 있는 뉴스레터를 확인한 사람의 비율)의 경우 활동 사용자 비율에 대응되는 지표라고 할 수 있을 것 같습니다. 글을 전주 읽은 사람의 비율을 측정할 수 있다면 완독율도 좋은 지표가 될 것 같고요.
탐색지표와 보고지표
도널드 럼즈펠드 전 미국 국방부 장관은(이 사람이 누군지는 별로 안 중요합니다) 다음과 같은 말을 했다고 합니다.
‘우리가 안다는 것을 아는 것이 있다. 또 우리가 모른다는 것을 아는 것이 있다. 그런게 안다는 것을 모르는 것도 있고, 모른다는 것을 모르는 것이 있다.’
‘모른다는 것을 아는 것’이 보고에 해당합니다. 사용자 수를 집계하거나 남은 현금을 계산하는 일 등이 여기에 해당되죠. 이 경우 우리는 어떠한 지표를 구해야 하는지 명확히 알고 있죠.
반면 ‘모른다는 것을 모르는 것’은 탐색해야 하는 새로운 것입니다. 이 경우 우리는 중요한 지표가 무엇인지, 무엇을 수집해야 하는지 모르죠. 어느 집단, 유형의 지표에 집중해야 하는지 알기 위해서는 탐색이 필요합니다. 이 과정에서 새로운 기회가 발견되는 것이죠.
선행지표와 후행지표
선행지표는 미래를 내다보기 위해, 후행지표는 문제가 발생했다는 것을 파악하기 위해 사용합니다. 예를 들어 회원 탈퇴율이 후행지표라고 한다면, 고객센터 불만 건수 등을 선행 지표라고 생각할 수 있겠죠.
뉴스레터의 신규 구독자 수가 후행지표라면 선행지표는 랜딩 페이지 방문자수, 공유 수, 구독자가 아니지만 글을 읽은 사람의 수 등을 추적할 수 있을 것 같습니다.
물론 이 상관관계조차 초기 단계에서는 가설에 불과하겠죠. 어떤 지표가 다른 지표의 선행지표임을 밝히는 과정이 필요합니다.
상관지표와 인과지표
아이스크림의 판매량이 증가하면 전국적으로 익사 사고의 수가 증가한다는 통계가 있다고 합니다. 그렇다면 불의의 익사 사고를 막기 위해 아이스크림 판매를 규제해야 할까요?
상관관계와 인과관계의 차이를 설명하기 위해 흔히들 차용하는 예시입니다. 아이스크림의 판매가 증가하는 여름에는 물놀이를 가는 사람이 많아지죠.
두 지표간의 상관관계를 발견했다는 것은 좋은 소식이지만, 인과관계를 발견한다는 것은 그 이상이 필요합니다. 어떤 일의 원인을 밝혔다는 것은 그 결과에 영향을 미칠 수 있다는 뜻이죠.
상관관계를 찾는 것이 인과관계를 찾는 것의 시작일 수는 있지만 인과관계를 입증하는 것은 더 복잡한 일입니다.
다시 한번 언급하지만 요즘 지표를 추적하는 것의 중요성을 모르는 사람은 없습니다. 그 중요성을 너무나도 잘 알고 있기에 어떤 지표를 추적하는지가 더 중요해졌죠. 자칫하면 잘못된 방향에 에너지를 낭비할 수 있으니까요.
저도 이 글을 정리하면서 그저 구독자수만 바라보던 과거의 모습을 반성하고 더욱 다양한 지표를 적재적소에 활용해야 겠다는 생각을 해봅니다 :)
오늘의 뮤턴트 레터는 어떠셨나요?
여러분의 피드백은 더 나은 뮤턴트 레터를 만드는 데에 큰 도움이 됩니다 :)
https://drucker.institute/thedx/measurement-myopia/