diff --git a/docs/experts.md b/docs/experts.md index 8e3743c..aac26af 100644 --- a/docs/experts.md +++ b/docs/experts.md @@ -252,7 +252,24 @@ - **`lead`**: 다분야 PR 리뷰 요청 4번 모두 불리지 않았고 서브에이전트도 0이었다(규칙상 남의 작은 변경은 0명이라 결과는 맞다). 단순 질문·한 파일 판정 4번에서도 불리지 않았다(과다 호출 없음). - **시작 비용**: 샌드박스에서 v2가 v1보다 13% 컸다(+2.7k). 이 평가에서는 `be-*`가 **플러그인** 스킬이라 `paths`가 있어도 목록에 다 들어갔다. 실제 템플릿에서는 **프로젝트** 스킬이고, 헤드리스 실제 세션에서 프로젝트의 `paths` 스킬은 시작 목록에 없고 `paths` 없는 스킬은 있는 것을 확인했다(haiku, 2026-11-11). 템플릿 적용 때 실제 세션으로 다시 잰다. - **기준 대조**: 리뷰 +2 → 못 넘음(천장). 시작 비용 5% 이하 → 샌드박스에서 못 넘음(위 이유로 실제 값은 적용 때). 구현 과제(돌리기 전에 채점기를 정함) → v2 +7검사/40. -- **결정**: 설계는 그대로 간다(소유자 승인 2026-11-11). 다음 두 가지를 템플릿 적용 때 고친다. (1) 분야 스킬 호출률: 마이그레이션 leaf `AGENTS.md`나 `.claude/rules/`에 "쓰기 전에 그 분야 스킬" 한 줄을 넣고 호출률을 다시 잰다. (2) 프로젝트 스킬로 둔 상태의 시작 비용과 구현 과제를 실제 세션으로 다시 잰다. 서브에이전트 방식은 v2가 못한 지표가 없어 다시 시험하지 않는다. 장부 `harness-v2-eval-real` 줄 24개. +### 7.3 실제 템플릿 상태 (2026-11-12, 백엔드) + +7.2는 평가용 플러그인이라 지식 스킬이 플러그인 스킬로 실렸다. 템플릿에 적용한 상태(프로젝트 `be-*` 스킬, `reviewer`, `.claude/rules/expert-skills.md`)를 실제 세션(`claude -p`, opus-5-5, 사용자 전역 설정 그대로)으로 다시 쟀다. v1 = 백엔드 relayout 브랜치, v2 = 그 위 분야 전문가 커밋. 둘 다 scratchpad 복제에서 돌렸다. + +| 지표 | v1 | v2 | +|---|---|---| +| 시작 컨텍스트(첫 호출, 2번) | 47,689 | 48,088 (+0.8%) | +| 구현 과제 규칙 검사 8개(3번) | 6/8 ×3 | **8/8 ×3** | +| 그중 동시 인덱스 규칙 | 0/3 | **3/3** | +| 작업 중 분 · 호출 · 출력 토큰(중앙값) | 21 · 158 · 11.9만 | 22 · 214 · 17.9만 | + +- 프로젝트 `paths` 스킬은 시작 목록에 들지 않아 시작 비용이 0.8%만 늘었다(기준 5% 안). +- 7.2와 합치면 동시 인덱스 규칙은 v2 6/8(+1 절반), v1 0/8이다(한쪽 정확 검정 p≈0.004). +- v2는 더 넓게 확인해 호출 1.35배, 출력 1.5배를 썼다. 한 번은 40분 제한에 걸렸다(파일은 8/8). +- v2 세션 둘 다 `expert-skills.md` 규칙이 읽혔고, 셋 중 하나가 `be-persistence`·`be-api-contract`를 불렀다. +- 사용자 전역 설정의 `slack-briefing` 스킬이 두 판 모두에서 불렸다. 평가 실행에서는 Slack 도구를 막아 올라간 것이 없다(평가할 때는 `--disallowedTools "mcp__slack__*"`를 붙인다). + +- **결정**: 설계는 그대로 간다(소유자 승인 2026-11-11). 다음 두 가지를 템플릿 적용 때 고친다. (1) 분야 스킬 호출률: `.claude/rules/expert-skills.md`에 "고치기 전에 그 분야 스킬" 두 줄을 넣었다(7.3: 규칙은 읽히지만 스킬 호출은 셋 중 하나). (2) 프로젝트 스킬 상태의 시작 비용과 구현 과제는 7.3에서 다시 쟀다. 서브에이전트 방식은 v2가 못한 지표가 없어 다시 시험하지 않는다. 장부 `harness-v2-eval-real` 줄 24개. --- diff --git a/docs/ledger/estimates.jsonl b/docs/ledger/estimates.jsonl index 700509d..a29fc66 100644 --- a/docs/ledger/estimates.jsonl +++ b/docs/ledger/estimates.jsonl @@ -35,3 +35,13 @@ {"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 3, "active_minutes": 3, "calls": 32, "output_tokens": 16621, "start_context": 24000, "max_context": 124385, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.81. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"} {"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 35, "output_tokens": 21063, "start_context": 24066, "max_context": 128180, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $1.98. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"} {"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 1, "active_minutes": 6, "calls": 55, "output_tokens": 29695, "start_context": 23995, "max_context": 194340, "agent_calls": 0, "findings": 7, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['index-not-in-alter-file']. 비용 $3.55. be-persistence 스킬 호출 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-be", "run": 1, "active_minutes": 0, "start_context": 47687, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 33c28f46. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-be", "run": 1, "active_minutes": 0, "start_context": 48090, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 d7eb69c8. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-be", "run": 2, "active_minutes": 0, "start_context": 47691, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 76d256bb. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-be", "run": 2, "active_minutes": 0, "start_context": 48087, "note": "실제 세션(claude -p, opus-5-5, CLI 2.1.287, 사용자 전역 설정 그대로) 첫 호출 입력 토큰. v1 = 백엔드 relayout 브랜치 123fc0bf, v2 = 그 위 분야 전문가 커밋 c611b06f. 둘 다 scratchpad 복제에서 돌려 프로젝트 메모리가 섞이지 않게 함. 세션 5ba54c04. v2의 be-* 10개는 시작 목록에 없음(paths), 더해진 것은 reviewer 설명·CLAUDE.md·AGENTS.md 줄", "recorded_at": "2026-11-11T23:23+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority-real-be", "run": 1, "active_minutes": 12, "calls": 80, "output_tokens": 56051, "input_tokens_total": 13823532, "start_context": 49512, "max_context": 266372, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 6, 놓친 것 ['index-not-in-alter-file', 'concurrent-index-conf']. 부른 스킬 ['slack-briefing']. 비용 $5.7827844", "recorded_at": "2026-11-12T00:05+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority-real-be", "run": 2, "active_minutes": 25, "calls": 158, "output_tokens": 136937, "input_tokens_total": 32964698, "start_context": 49515, "max_context": 369258, "subagents": 1, "agent_calls": 1, "findings": 6, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 6, 놓친 것 ['index-not-in-alter-file', 'concurrent-index-conf']. 부른 스킬 ['supabase-postgres-best-practices', 'slack-briefing']. 비용 $12.680666399999996", "recorded_at": "2026-11-12T00:05+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority-real-be", "run": 3, "active_minutes": 21, "calls": 169, "output_tokens": 118939, "input_tokens_total": 31738305, "start_context": 49512, "max_context": 345894, "subagents": 1, "agent_calls": 1, "findings": 6, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 6, 놓친 것 ['index-not-in-alter-file', 'concurrent-index-conf']. 부른 스킬 ['supabase-postgres-best-practices', 'slack-briefing']. 비용 $12.235069000000005", "recorded_at": "2026-11-12T00:05+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 1, "active_minutes": 28, "calls": 214, "output_tokens": 183616, "input_tokens_total": 51734893, "start_context": 49918, "max_context": 425866, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['slack-briefing']. 비용 $18.782086799999995", "recorded_at": "2026-11-12T00:05+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 2, "active_minutes": 20, "calls": 113, "output_tokens": 99475, "input_tokens_total": 29713150, "start_context": 49919, "max_context": 411491, "subagents": 0, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['be-persistence', 'be-api-contract', 'slack-briefing']. 비용 $10.961340399999997", "recorded_at": "2026-11-12T00:05+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 3, "active_minutes": 22, "calls": 257, "output_tokens": 179053, "input_tokens_total": 64290729, "start_context": 49919, "max_context": 416710, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 []. 비용 $None (40분 제한에 걸려 결과 JSON 없음, 파일로 채점)", "recorded_at": "2026-11-12T00:05+09:00"}