100 lines
7.4 KiB
Markdown
100 lines
7.4 KiB
Markdown
# wf-churn-01 — DATA-ANALYST 계측·분석 설계 노트 (LENS-CUSTOMER, 정량)
|
||
|
||
> 정직성 제약: **실제 제품 로그/행동 데이터 없음.** 아래는 "무엇을 계측·분석해야 하는가"의 설계이며,
|
||
> 근거는 방법론 + 업계 벤치마크(E1~E2)로만 제시한다. 실측치가 없으므로 E4/E5 주장·수치 확언은 하지 않는다.
|
||
> 모든 임계값(예: activation 기준, PQL threshold)은 **가정(placeholder)**이며 실데이터로 보정해야 한다.
|
||
|
||
---
|
||
|
||
## 0. 문제 프레이밍 (정량 관점)
|
||
- 대상 구간: **온보딩(가입/첫 진입) → 첫 결제(Pro 전환)**.
|
||
- 관측 대상: free → Pro **전환율(conversion rate)** 이 낮다 → 이 구간의 **단계별 이탈(drop-off)** 을 계량해 병목 단계를 특정한다.
|
||
- 이 lens는 **정량 계측/분석 설계만** 다룬다. 정성 UX 원인·제품 의사결정·타 역할 종합은 범위 밖.
|
||
|
||
---
|
||
|
||
## 1. 정의할 지표 (metric definitions)
|
||
|
||
### 1.1 Activation metric (활성화 = "가치를 처음 경험한 상태")
|
||
- **정의 원칙**: activation은 "리텐션/전환과 상관이 가장 높은 초기 행동"으로 **데이터로 역산**해 정의한다(선험적 추측 금지).
|
||
- **후보 activation event (가정, 검증 대상)**:
|
||
- A1: 첫 핵심 액션 완료(제품의 aha-action 1회) — 예: 첫 산출물/처리 1건 완료.
|
||
- A2: 첫 세션 내 핵심 액션 N회(예: 3회) 도달.
|
||
- A3: 가입 후 X일(예: 7일) 내 재방문(Day-1/Day-7 return).
|
||
- **채택 방법**: 각 후보에 대해 "activated 코호트 vs non-activated 코호트의 D30 유지·Pro 전환율 격차"를 비교해 **격차가 가장 큰 정의**를 activation으로 확정.
|
||
- **핵심 파생지표**: Activation Rate = activated 신규 / 전체 신규(코호트 기준).
|
||
|
||
### 1.2 PQL (Product-Qualified Lead) — 전환 임박 시그널
|
||
- **정의**: 무료 사용 중 "Pro 가치를 이미 체감했고 유료 한도/기능에 부딪힌" 사용자 = 결제 확률 높은 리드.
|
||
- **후보 시그널(복합, 가정)**: 무료 한도 70~80% 소진 + 재방문(주 2회+) + 팀/공유 액션 + 유료 전용 기능 시도(paywall 히트).
|
||
- **파생지표**: PQL 생성률, PQL→결제 전환율, PQL 생성까지 소요시간(TTV proxy).
|
||
|
||
### 1.3 Funnel step conversion (단계별 전환율)
|
||
표준 온보딩→결제 퍼널을 단계로 쪼개 **각 단계 전환율·이탈률**을 계측:
|
||
|
||
| # | 단계(step) | 진입 정의 | 완료 정의(다음 단계 진입) | 계측 지표 |
|
||
|---|---|---|---|---|
|
||
| S0 | Signup | 가입 시작 | 계정 생성 완료 | signup completion rate |
|
||
| S1 | Onboarding start | 계정 생성 | 온보딩 플로우 진입 | onboarding entry rate |
|
||
| S2 | Setup/First-value | 온보딩 진입 | **activation event 도달** | activation rate (핵심) |
|
||
| S3 | Habit/Return | activation | Day-7 재방문 | early retention |
|
||
| S4 | Paywall exposure | 재방문 | 유료 한도/기능 접촉(PQL) | paywall hit rate |
|
||
| S5 | Checkout start | paywall 접촉 | 결제 화면 진입 | intent rate |
|
||
| S6 | First payment | checkout 진입 | 결제 성공(Pro) | checkout completion / free→Pro |
|
||
|
||
- **전환율 계산**: 각 단계 `Cn = 완료수 / 진입수`. 전체 free→Pro = ∏(S0..S6) 근사.
|
||
- **관례**: window(예: 가입 후 30일) 고정한 **cohort-based conversion**으로 계산(단순 누적비율 금지 — 최근 코호트 미성숙 편향).
|
||
|
||
### 1.4 보조 지표
|
||
- **Time-to-Value(TTV)**: signup → activation 소요시간(중앙값/분포).
|
||
- **Time-to-Convert**: signup → first payment 소요시간(전환 latency 분포, 리드타임 설계용).
|
||
- **Drop-off rate per step**: `1 - Cn`, 절대 이탈수 = 진입수 × (1-Cn).
|
||
|
||
---
|
||
|
||
## 2. 코호트 / 리텐션 분석 계획
|
||
- **코호트 기준축**: (a) signup week(가입 주차), (b) acquisition channel/source, (c) activation 여부, (d) plan intent(무료 진입 경로).
|
||
- **리텐션 커브**: D1/D7/D14/D30 return retention을 코호트별로. activated vs non-activated 분리 → activation의 리텐션 리프트 정량화.
|
||
- **전환 코호트 분석**: 가입 주차별 30/60/90일 누적 free→Pro 전환율(코호트 성숙도 보정). 최근 코호트는 censored 표기.
|
||
- **Survival 분석(권장)**: 전환까지 시간을 event로 본 Kaplan-Meier 곡선 — "언제 전환/이탈이 집중되는가" 구간 특정. 단계 간 이탈이 특정 일자에 몰리면 그 지점을 우선 조사.
|
||
- **Funnel segmentation**: 위 퍼널을 채널·디바이스·온보딩 variant별로 분해해 **가장 이탈이 큰 (단계 × 세그먼트) 셀**을 탐지.
|
||
|
||
---
|
||
|
||
## 3. Drop-off 계측 이벤트 (instrumentation event map)
|
||
각 단계 경계마다 이벤트를 심어 진입/완료/이탈을 관측한다. (이벤트명은 제안, 스키마는 설계)
|
||
|
||
- `signup_started`, `signup_completed`
|
||
- `onboarding_step_viewed {step_id, index}` / `onboarding_step_completed {step_id}` / `onboarding_abandoned {last_step}`
|
||
- `activation_event {type}` (1.1 확정 후 단일 표준 이벤트로)
|
||
- `session_started` / `session_ended {duration, actions}` (재방문·retention 계산)
|
||
- `paywall_viewed {trigger, feature, usage_pct}` (PQL·S4)
|
||
- `checkout_started` / `checkout_completed {plan, amount}` / `checkout_failed {reason}` (결제 실패=이탈 vs 미의도 구분)
|
||
- 공통 프로퍼티: `user_id(pseudonymous)`, `cohort_week`, `channel`, `timestamp`, `device`.
|
||
- **이탈 정의**: 단계 진입 이벤트는 있으나 window 내 다음 단계 완료 이벤트 없음 = drop-off. 각 단계 마지막 이벤트를 **abandonment point**로 집계.
|
||
- **PII/보안**: raw PII·이메일·결제 원문 미수집(pseudonymous id + 마스킹). tool-permission/redaction 정책 준수.
|
||
|
||
---
|
||
|
||
## 4. 원인을 좁히는 분석 (어떤 분석으로 좁힐지)
|
||
1. **Funnel 병목 랭킹**: 단계별 절대 이탈수(진입수 × drop-off%) 내림차순 → 가장 큰 leak 단계 우선. (전환율%만 보면 트래픽 작은 단계 과대평가 위험 → 절대수 병행.)
|
||
2. **Cohort × step heatmap**: 세그먼트별 이탈 편차 → 특정 채널/디바이스/온보딩 variant에 이탈 집중 여부.
|
||
3. **Activation ↔ 전환 상관**: activated vs non-activated의 free→Pro 격차로 activation이 전환의 leading indicator인지 확인.
|
||
4. **Time-to-event 분포**: 전환 latency로 넛지/트라이얼 타이밍 창(window) 도출.
|
||
5. **(데이터 충분 시) 실험 설계**: 병목 단계에 A/B 테스트 프레임(온보딩 variant, paywall 타이밍) — 지금은 **설계만**, 결과 해석은 데이터 확보 후.
|
||
|
||
---
|
||
|
||
## 5. 가정 (assumptions) — 명시
|
||
- (G1) 이벤트 트래킹 인프라가 아직 없거나 부분적 → **계측 스펙 신설**이 선행 과제.
|
||
- (G2) free→Pro는 **셀프서브 self-serve** 결제 흐름을 가정(세일즈 주도 시 퍼널 단계 상이).
|
||
- (G3) 사용자 식별이 로그인 기반으로 코호트 추적 가능하다고 가정(익명 세션만이면 pre-signup 단계 계측 제한).
|
||
- (G4) 위 임계값(activation N회, 한도 70~80%, 30일 window)은 placeholder — 실데이터로 재보정 필수.
|
||
|
||
---
|
||
|
||
## 6. 근거 (evidence basis)
|
||
- **E1 (방법론)**: funnel/cohort/activation/retention·survival 분석은 표준 product analytics 방법론.
|
||
- **E2 (업계 벤치마크·관례)**: activation을 리텐션 상관으로 역산해 정의하는 관행, PQL 복합 시그널링, cohort-based conversion(누적비율 편향 회피)은 널리 통용되는 practice.
|
||
- 실측 로그가 없어 **E3+ 주장·구체 전환 수치는 제시하지 않음**. 결론 confidence = **Med 이하**.
|