7.4 KiB
7.4 KiB
wf-churn-01 — DATA-ANALYST 계측·분석 설계 노트 (LENS-CUSTOMER, 정량)
정직성 제약: 실제 제품 로그/행동 데이터 없음. 아래는 "무엇을 계측·분석해야 하는가"의 설계이며, 근거는 방법론 + 업계 벤치마크(E1~E2)로만 제시한다. 실측치가 없으므로 E4/E5 주장·수치 확언은 하지 않는다. 모든 임계값(예: activation 기준, PQL threshold)은 **가정(placeholder)**이며 실데이터로 보정해야 한다.
0. 문제 프레이밍 (정량 관점)
- 대상 구간: 온보딩(가입/첫 진입) → 첫 결제(Pro 전환).
- 관측 대상: free → Pro 전환율(conversion rate) 이 낮다 → 이 구간의 단계별 이탈(drop-off) 을 계량해 병목 단계를 특정한다.
- 이 lens는 정량 계측/분석 설계만 다룬다. 정성 UX 원인·제품 의사결정·타 역할 종합은 범위 밖.
1. 정의할 지표 (metric definitions)
1.1 Activation metric (활성화 = "가치를 처음 경험한 상태")
- 정의 원칙: activation은 "리텐션/전환과 상관이 가장 높은 초기 행동"으로 데이터로 역산해 정의한다(선험적 추측 금지).
- 후보 activation event (가정, 검증 대상):
- A1: 첫 핵심 액션 완료(제품의 aha-action 1회) — 예: 첫 산출물/처리 1건 완료.
- A2: 첫 세션 내 핵심 액션 N회(예: 3회) 도달.
- A3: 가입 후 X일(예: 7일) 내 재방문(Day-1/Day-7 return).
- 채택 방법: 각 후보에 대해 "activated 코호트 vs non-activated 코호트의 D30 유지·Pro 전환율 격차"를 비교해 격차가 가장 큰 정의를 activation으로 확정.
- 핵심 파생지표: Activation Rate = activated 신규 / 전체 신규(코호트 기준).
1.2 PQL (Product-Qualified Lead) — 전환 임박 시그널
- 정의: 무료 사용 중 "Pro 가치를 이미 체감했고 유료 한도/기능에 부딪힌" 사용자 = 결제 확률 높은 리드.
- 후보 시그널(복합, 가정): 무료 한도 70~80% 소진 + 재방문(주 2회+) + 팀/공유 액션 + 유료 전용 기능 시도(paywall 히트).
- 파생지표: PQL 생성률, PQL→결제 전환율, PQL 생성까지 소요시간(TTV proxy).
1.3 Funnel step conversion (단계별 전환율)
표준 온보딩→결제 퍼널을 단계로 쪼개 각 단계 전환율·이탈률을 계측:
| # | 단계(step) | 진입 정의 | 완료 정의(다음 단계 진입) | 계측 지표 |
|---|---|---|---|---|
| S0 | Signup | 가입 시작 | 계정 생성 완료 | signup completion rate |
| S1 | Onboarding start | 계정 생성 | 온보딩 플로우 진입 | onboarding entry rate |
| S2 | Setup/First-value | 온보딩 진입 | activation event 도달 | activation rate (핵심) |
| S3 | Habit/Return | activation | Day-7 재방문 | early retention |
| S4 | Paywall exposure | 재방문 | 유료 한도/기능 접촉(PQL) | paywall hit rate |
| S5 | Checkout start | paywall 접촉 | 결제 화면 진입 | intent rate |
| S6 | First payment | checkout 진입 | 결제 성공(Pro) | checkout completion / free→Pro |
- 전환율 계산: 각 단계
Cn = 완료수 / 진입수. 전체 free→Pro = ∏(S0..S6) 근사. - 관례: window(예: 가입 후 30일) 고정한 cohort-based conversion으로 계산(단순 누적비율 금지 — 최근 코호트 미성숙 편향).
1.4 보조 지표
- Time-to-Value(TTV): signup → activation 소요시간(중앙값/분포).
- Time-to-Convert: signup → first payment 소요시간(전환 latency 분포, 리드타임 설계용).
- Drop-off rate per step:
1 - Cn, 절대 이탈수 = 진입수 × (1-Cn).
2. 코호트 / 리텐션 분석 계획
- 코호트 기준축: (a) signup week(가입 주차), (b) acquisition channel/source, (c) activation 여부, (d) plan intent(무료 진입 경로).
- 리텐션 커브: D1/D7/D14/D30 return retention을 코호트별로. activated vs non-activated 분리 → activation의 리텐션 리프트 정량화.
- 전환 코호트 분석: 가입 주차별 30/60/90일 누적 free→Pro 전환율(코호트 성숙도 보정). 최근 코호트는 censored 표기.
- Survival 분석(권장): 전환까지 시간을 event로 본 Kaplan-Meier 곡선 — "언제 전환/이탈이 집중되는가" 구간 특정. 단계 간 이탈이 특정 일자에 몰리면 그 지점을 우선 조사.
- Funnel segmentation: 위 퍼널을 채널·디바이스·온보딩 variant별로 분해해 가장 이탈이 큰 (단계 × 세그먼트) 셀을 탐지.
3. Drop-off 계측 이벤트 (instrumentation event map)
각 단계 경계마다 이벤트를 심어 진입/완료/이탈을 관측한다. (이벤트명은 제안, 스키마는 설계)
signup_started,signup_completedonboarding_step_viewed {step_id, index}/onboarding_step_completed {step_id}/onboarding_abandoned {last_step}activation_event {type}(1.1 확정 후 단일 표준 이벤트로)session_started/session_ended {duration, actions}(재방문·retention 계산)paywall_viewed {trigger, feature, usage_pct}(PQL·S4)checkout_started/checkout_completed {plan, amount}/checkout_failed {reason}(결제 실패=이탈 vs 미의도 구분)- 공통 프로퍼티:
user_id(pseudonymous),cohort_week,channel,timestamp,device. - 이탈 정의: 단계 진입 이벤트는 있으나 window 내 다음 단계 완료 이벤트 없음 = drop-off. 각 단계 마지막 이벤트를 abandonment point로 집계.
- PII/보안: raw PII·이메일·결제 원문 미수집(pseudonymous id + 마스킹). tool-permission/redaction 정책 준수.
4. 원인을 좁히는 분석 (어떤 분석으로 좁힐지)
- Funnel 병목 랭킹: 단계별 절대 이탈수(진입수 × drop-off%) 내림차순 → 가장 큰 leak 단계 우선. (전환율%만 보면 트래픽 작은 단계 과대평가 위험 → 절대수 병행.)
- Cohort × step heatmap: 세그먼트별 이탈 편차 → 특정 채널/디바이스/온보딩 variant에 이탈 집중 여부.
- Activation ↔ 전환 상관: activated vs non-activated의 free→Pro 격차로 activation이 전환의 leading indicator인지 확인.
- Time-to-event 분포: 전환 latency로 넛지/트라이얼 타이밍 창(window) 도출.
- (데이터 충분 시) 실험 설계: 병목 단계에 A/B 테스트 프레임(온보딩 variant, paywall 타이밍) — 지금은 설계만, 결과 해석은 데이터 확보 후.
5. 가정 (assumptions) — 명시
- (G1) 이벤트 트래킹 인프라가 아직 없거나 부분적 → 계측 스펙 신설이 선행 과제.
- (G2) free→Pro는 셀프서브 self-serve 결제 흐름을 가정(세일즈 주도 시 퍼널 단계 상이).
- (G3) 사용자 식별이 로그인 기반으로 코호트 추적 가능하다고 가정(익명 세션만이면 pre-signup 단계 계측 제한).
- (G4) 위 임계값(activation N회, 한도 70~80%, 30일 window)은 placeholder — 실데이터로 재보정 필수.
6. 근거 (evidence basis)
- E1 (방법론): funnel/cohort/activation/retention·survival 분석은 표준 product analytics 방법론.
- E2 (업계 벤치마크·관례): activation을 리텐션 상관으로 역산해 정의하는 관행, PQL 복합 시그널링, cohort-based conversion(누적비율 편향 회피)은 널리 통용되는 practice.
- 실측 로그가 없어 E3+ 주장·구체 전환 수치는 제시하지 않음. 결론 confidence = Med 이하.