init: company-haness 설계
This commit is contained in:
DongHyeonka
@@ -0,0 +1,99 @@
|
||||
# wf-churn-01 — DATA-ANALYST 계측·분석 설계 노트 (LENS-CUSTOMER, 정량)
|
||||
|
||||
> 정직성 제약: **실제 제품 로그/행동 데이터 없음.** 아래는 "무엇을 계측·분석해야 하는가"의 설계이며,
|
||||
> 근거는 방법론 + 업계 벤치마크(E1~E2)로만 제시한다. 실측치가 없으므로 E4/E5 주장·수치 확언은 하지 않는다.
|
||||
> 모든 임계값(예: activation 기준, PQL threshold)은 **가정(placeholder)**이며 실데이터로 보정해야 한다.
|
||||
|
||||
---
|
||||
|
||||
## 0. 문제 프레이밍 (정량 관점)
|
||||
- 대상 구간: **온보딩(가입/첫 진입) → 첫 결제(Pro 전환)**.
|
||||
- 관측 대상: free → Pro **전환율(conversion rate)** 이 낮다 → 이 구간의 **단계별 이탈(drop-off)** 을 계량해 병목 단계를 특정한다.
|
||||
- 이 lens는 **정량 계측/분석 설계만** 다룬다. 정성 UX 원인·제품 의사결정·타 역할 종합은 범위 밖.
|
||||
|
||||
---
|
||||
|
||||
## 1. 정의할 지표 (metric definitions)
|
||||
|
||||
### 1.1 Activation metric (활성화 = "가치를 처음 경험한 상태")
|
||||
- **정의 원칙**: activation은 "리텐션/전환과 상관이 가장 높은 초기 행동"으로 **데이터로 역산**해 정의한다(선험적 추측 금지).
|
||||
- **후보 activation event (가정, 검증 대상)**:
|
||||
- A1: 첫 핵심 액션 완료(제품의 aha-action 1회) — 예: 첫 산출물/처리 1건 완료.
|
||||
- A2: 첫 세션 내 핵심 액션 N회(예: 3회) 도달.
|
||||
- A3: 가입 후 X일(예: 7일) 내 재방문(Day-1/Day-7 return).
|
||||
- **채택 방법**: 각 후보에 대해 "activated 코호트 vs non-activated 코호트의 D30 유지·Pro 전환율 격차"를 비교해 **격차가 가장 큰 정의**를 activation으로 확정.
|
||||
- **핵심 파생지표**: Activation Rate = activated 신규 / 전체 신규(코호트 기준).
|
||||
|
||||
### 1.2 PQL (Product-Qualified Lead) — 전환 임박 시그널
|
||||
- **정의**: 무료 사용 중 "Pro 가치를 이미 체감했고 유료 한도/기능에 부딪힌" 사용자 = 결제 확률 높은 리드.
|
||||
- **후보 시그널(복합, 가정)**: 무료 한도 70~80% 소진 + 재방문(주 2회+) + 팀/공유 액션 + 유료 전용 기능 시도(paywall 히트).
|
||||
- **파생지표**: PQL 생성률, PQL→결제 전환율, PQL 생성까지 소요시간(TTV proxy).
|
||||
|
||||
### 1.3 Funnel step conversion (단계별 전환율)
|
||||
표준 온보딩→결제 퍼널을 단계로 쪼개 **각 단계 전환율·이탈률**을 계측:
|
||||
|
||||
| # | 단계(step) | 진입 정의 | 완료 정의(다음 단계 진입) | 계측 지표 |
|
||||
|---|---|---|---|---|
|
||||
| S0 | Signup | 가입 시작 | 계정 생성 완료 | signup completion rate |
|
||||
| S1 | Onboarding start | 계정 생성 | 온보딩 플로우 진입 | onboarding entry rate |
|
||||
| S2 | Setup/First-value | 온보딩 진입 | **activation event 도달** | activation rate (핵심) |
|
||||
| S3 | Habit/Return | activation | Day-7 재방문 | early retention |
|
||||
| S4 | Paywall exposure | 재방문 | 유료 한도/기능 접촉(PQL) | paywall hit rate |
|
||||
| S5 | Checkout start | paywall 접촉 | 결제 화면 진입 | intent rate |
|
||||
| S6 | First payment | checkout 진입 | 결제 성공(Pro) | checkout completion / free→Pro |
|
||||
|
||||
- **전환율 계산**: 각 단계 `Cn = 완료수 / 진입수`. 전체 free→Pro = ∏(S0..S6) 근사.
|
||||
- **관례**: window(예: 가입 후 30일) 고정한 **cohort-based conversion**으로 계산(단순 누적비율 금지 — 최근 코호트 미성숙 편향).
|
||||
|
||||
### 1.4 보조 지표
|
||||
- **Time-to-Value(TTV)**: signup → activation 소요시간(중앙값/분포).
|
||||
- **Time-to-Convert**: signup → first payment 소요시간(전환 latency 분포, 리드타임 설계용).
|
||||
- **Drop-off rate per step**: `1 - Cn`, 절대 이탈수 = 진입수 × (1-Cn).
|
||||
|
||||
---
|
||||
|
||||
## 2. 코호트 / 리텐션 분석 계획
|
||||
- **코호트 기준축**: (a) signup week(가입 주차), (b) acquisition channel/source, (c) activation 여부, (d) plan intent(무료 진입 경로).
|
||||
- **리텐션 커브**: D1/D7/D14/D30 return retention을 코호트별로. activated vs non-activated 분리 → activation의 리텐션 리프트 정량화.
|
||||
- **전환 코호트 분석**: 가입 주차별 30/60/90일 누적 free→Pro 전환율(코호트 성숙도 보정). 최근 코호트는 censored 표기.
|
||||
- **Survival 분석(권장)**: 전환까지 시간을 event로 본 Kaplan-Meier 곡선 — "언제 전환/이탈이 집중되는가" 구간 특정. 단계 간 이탈이 특정 일자에 몰리면 그 지점을 우선 조사.
|
||||
- **Funnel segmentation**: 위 퍼널을 채널·디바이스·온보딩 variant별로 분해해 **가장 이탈이 큰 (단계 × 세그먼트) 셀**을 탐지.
|
||||
|
||||
---
|
||||
|
||||
## 3. Drop-off 계측 이벤트 (instrumentation event map)
|
||||
각 단계 경계마다 이벤트를 심어 진입/완료/이탈을 관측한다. (이벤트명은 제안, 스키마는 설계)
|
||||
|
||||
- `signup_started`, `signup_completed`
|
||||
- `onboarding_step_viewed {step_id, index}` / `onboarding_step_completed {step_id}` / `onboarding_abandoned {last_step}`
|
||||
- `activation_event {type}` (1.1 확정 후 단일 표준 이벤트로)
|
||||
- `session_started` / `session_ended {duration, actions}` (재방문·retention 계산)
|
||||
- `paywall_viewed {trigger, feature, usage_pct}` (PQL·S4)
|
||||
- `checkout_started` / `checkout_completed {plan, amount}` / `checkout_failed {reason}` (결제 실패=이탈 vs 미의도 구분)
|
||||
- 공통 프로퍼티: `user_id(pseudonymous)`, `cohort_week`, `channel`, `timestamp`, `device`.
|
||||
- **이탈 정의**: 단계 진입 이벤트는 있으나 window 내 다음 단계 완료 이벤트 없음 = drop-off. 각 단계 마지막 이벤트를 **abandonment point**로 집계.
|
||||
- **PII/보안**: raw PII·이메일·결제 원문 미수집(pseudonymous id + 마스킹). tool-permission/redaction 정책 준수.
|
||||
|
||||
---
|
||||
|
||||
## 4. 원인을 좁히는 분석 (어떤 분석으로 좁힐지)
|
||||
1. **Funnel 병목 랭킹**: 단계별 절대 이탈수(진입수 × drop-off%) 내림차순 → 가장 큰 leak 단계 우선. (전환율%만 보면 트래픽 작은 단계 과대평가 위험 → 절대수 병행.)
|
||||
2. **Cohort × step heatmap**: 세그먼트별 이탈 편차 → 특정 채널/디바이스/온보딩 variant에 이탈 집중 여부.
|
||||
3. **Activation ↔ 전환 상관**: activated vs non-activated의 free→Pro 격차로 activation이 전환의 leading indicator인지 확인.
|
||||
4. **Time-to-event 분포**: 전환 latency로 넛지/트라이얼 타이밍 창(window) 도출.
|
||||
5. **(데이터 충분 시) 실험 설계**: 병목 단계에 A/B 테스트 프레임(온보딩 variant, paywall 타이밍) — 지금은 **설계만**, 결과 해석은 데이터 확보 후.
|
||||
|
||||
---
|
||||
|
||||
## 5. 가정 (assumptions) — 명시
|
||||
- (G1) 이벤트 트래킹 인프라가 아직 없거나 부분적 → **계측 스펙 신설**이 선행 과제.
|
||||
- (G2) free→Pro는 **셀프서브 self-serve** 결제 흐름을 가정(세일즈 주도 시 퍼널 단계 상이).
|
||||
- (G3) 사용자 식별이 로그인 기반으로 코호트 추적 가능하다고 가정(익명 세션만이면 pre-signup 단계 계측 제한).
|
||||
- (G4) 위 임계값(activation N회, 한도 70~80%, 30일 window)은 placeholder — 실데이터로 재보정 필수.
|
||||
|
||||
---
|
||||
|
||||
## 6. 근거 (evidence basis)
|
||||
- **E1 (방법론)**: funnel/cohort/activation/retention·survival 분석은 표준 product analytics 방법론.
|
||||
- **E2 (업계 벤치마크·관례)**: activation을 리텐션 상관으로 역산해 정의하는 관행, PQL 복합 시그널링, cohort-based conversion(누적비율 편향 회피)은 널리 통용되는 practice.
|
||||
- 실측 로그가 없어 **E3+ 주장·구체 전환 수치는 제시하지 않음**. 결론 confidence = **Med 이하**.
|
||||
@@ -0,0 +1,70 @@
|
||||
# wf-churn-01 — UX 리서처 정성 리서치 노트 (LENS-CUSTOMER)
|
||||
|
||||
역할: UX-RESEARCHER (UX 리서처 AI) · lens: LENS-CUSTOMER
|
||||
workflow: wf-churn-01 — 무료→Pro 전환율 저조, 온보딩→첫 결제 구간 이탈 원인 규명(정성 관점)
|
||||
작성일: 2026-07-07
|
||||
|
||||
> **정직성 경계(HONESTY)**: 실제 제품 이벤트 로그·유저 인터뷰 원본·세션리플레이는 **아직 없음**.
|
||||
> 아래 가설·매핑은 **방법론·UX 휴리스틱·공개 SaaS 시장자료 수준(E1~E2)** 이며, 검증 전 가설이다.
|
||||
> 정량 funnel 수치, 가격탄력성, 제품 결정, 타 역할 종합은 **본 역할 범위 밖**(각각 FAM-DATA / FAM-REVOPS / FAM-CPO).
|
||||
> confidence는 Med 이하로만 제시한다.
|
||||
|
||||
---
|
||||
|
||||
## 1. 정성 리서치 방법 (설계 원칙)
|
||||
|
||||
이탈 원인은 "왜"를 물어야 하므로 정량 funnel(어디서 빠지나)만으로는 부족하다. 정성 3-트랙으로 원인을 규명한다.
|
||||
|
||||
### Track A — 이탈자/전환자 심층 인터뷰 (Depth Interview)
|
||||
- **대상 세그먼트(3그룹, 각 6~8명, 포화까지)**:
|
||||
1. 온보딩 완주 후 결제 미도달 무료 유저(핵심 이탈군)
|
||||
2. 활성화 이전 이탈(온보딩 중도 포기)
|
||||
3. 최근 Pro 전환 성공 유저(대조군 — aha-moment/전환 트리거 확인)
|
||||
- **기법**: 반구조화 인터뷰 + Critical Incident Technique(마지막으로 이탈을 결심한 순간 재구성) + Jobs-to-be-Done "Switch" 인터뷰(밀어낸 힘/끌어당긴 힘/불안/관성 4force).
|
||||
- **핵심 질문축**: 기대가치 vs 체감가치 gap, 결제 결심 직전의 불안(가격·해지·데이터), 대안(경쟁/무료 유지) 비교.
|
||||
|
||||
### Track B — 결제 구간 사용성 테스트 (Moderated Usability Test)
|
||||
- **대상**: 프록시 참가자 8~10명, think-aloud.
|
||||
- **과업**: "무료로 가입 → 첫 핵심 가치 경험 → Pro 업그레이드 및 결제 완료"까지 end-to-end.
|
||||
- **측정**: task success/시간, 에러·주저(hesitation) 지점, SEQ(Single Ease Question), 이탈 발화 코딩.
|
||||
- **집중 관찰**: paywall 등장 타이밍/맥락, 결제폼 마찰, 플랜 비교 인지부하.
|
||||
|
||||
### Track C — 경험 저니 분석 (Journey/Heuristic + 세션 관찰)
|
||||
- **산출**: 온보딩→aha→paywall→결제 완료의 경험 저니맵 + 감정 곡선 + friction 히트포인트.
|
||||
- **기법**: Nielsen 10 휴리스틱 워크스루, 인지부하/전환 마찰 휴리스틱, (데이터 가용 시)세션 리플레이·rage-click 관찰과 삼각측량.
|
||||
- **주의**: 세션 데이터/이벤트 로그는 FAM-DATA 소관 — 본 트랙은 정성 해석만, 수치 산출은 이관.
|
||||
|
||||
---
|
||||
|
||||
## 2. 이탈 friction 가설 (온보딩→첫 결제, 정성)
|
||||
|
||||
TTV(Time-to-Value) 관점에서 "가치를 체감하기 전에 결제를 요구"당하면 이탈한다는 것이 중심 가설.
|
||||
|
||||
| # | Friction 가설 | 저니 위치 | 근거등급 | 검증 트랙 |
|
||||
|---|---|---|---|---|
|
||||
| H1 | **가치 체감 前 paywall** — aha-moment 도달 전에 결제벽이 등장해 "왜 돈을 내야 하는지" 납득 안 됨 | onboarding→paywall | E1(휴리스틱) | A,B,C |
|
||||
| H2 | **온보딩 TTV 과대** — 첫 핵심가치까지 단계·설정이 많아 활성화 전 이탈(activation gap) | onboarding | E2(SaaS 벤치마크) | B,C |
|
||||
| H3 | **가치 불명확** — 무료 기능이 Pro 가치를 미리 보여주지 못해 업그레이드 동기 부재(value gap) | activation→paywall | E1 | A |
|
||||
| H4 | **결제 마찰·불안** — 카드 선입력/해지 불안/환불 정책 불투명이 결제 직전 주저 유발 | checkout | E1(휴리스틱) | B |
|
||||
| H5 | **플랜 인지부하** — 플랜/가격 비교가 복잡해 결정 회피(decision paralysis) | paywall | E1 | B |
|
||||
| H6 | **넛지 부재/오타이밍** — 한도 근접·가치 순간에 맞춘 컨텍스트 넛지가 없어 전환 창(window) 상실 | activation→paywall | E1 | A,C |
|
||||
| H7 | **신뢰·기대 gap** — 마케팅 약속과 첫 경험 불일치로 신뢰 하락, 지불의사 하락 | onboarding | E1 | A |
|
||||
|
||||
## 3. Aha-moment 매핑 (가설)
|
||||
|
||||
- **정의**: 유저가 제품의 핵심 약속을 처음으로 체감하는 순간(첫 성공적 산출/결과). 전환은 aha 이후에 붙어야 한다.
|
||||
- **가설 매핑**: 현재 퍼널은 aha-moment와 paywall의 **순서/거리**가 어긋나 있을 가능성 — paywall이 aha보다 앞서거나, aha 후 전환 넛지까지의 공백이 큼.
|
||||
- **검증 포인트**: 전환 성공군(Track A 그룹3) 인터뷰로 "결제를 결심하게 만든 바로 그 경험(트리거 이벤트)"을 역추적 → aha 정의를 데이터화(FAM-DATA와 협업해 이벤트로 계량)할 후보 시그널 도출.
|
||||
- **활성화 지표 후보(정성→정량 번역 입력)**: 첫 핵심산출 완료, N회 재방문, 팀 초대, 한도 X% 소진 등 — 수치 확정은 FAM-DATA/FAM-REVOPS로 이관.
|
||||
|
||||
## 4. 가정 (Assumptions)
|
||||
|
||||
- A1: 제품은 free→Pro 셀프서브 SaaS이며 온보딩→paywall→checkout 퍼널이 존재한다(과업 서술 기반 가정).
|
||||
- A2: 이탈은 단일 원인이 아니라 activation gap + value gap + checkout friction의 복합이다.
|
||||
- A3: 정량 funnel 드롭 지점은 별도 역할(FAM-DATA)이 제공하며, 본 노트는 그 "왜"를 정성으로 채운다.
|
||||
- A4: 인터뷰/UT 참가자 리크루팅과 인센티브 예산은 후속 승인 필요(리서치옵스).
|
||||
|
||||
## 5. 산출물 경계
|
||||
|
||||
- 본 역할 = 정성 이탈원인 가설 + 검증 리서치 설계 + 다음 액션 제안까지.
|
||||
- **결정/종합/우선순위 확정은 Orchestrator·EXEC-CPO** 소관(fan-out 워커 계약).
|
||||
Reference in New Issue
Block a user