docs(experts): claude plugin eval로 v1·v2를 실제 세션에서 비교한 결과를 남긴다
문제: 첫 평가(7.1)는 헤드리스 인증이 없어 이 세션의 서브에이전트로 판을 흉내 냈다. 실제 세션의 스킬 목록·paths 발동·도구 제한과 다를 수 있다. 소유자가 노트북 CLI에 로그인해 claude plugin eval을 쓸 수 있게 됐다. 고른 방법: - 판마다 평가용 플러그인을 만들었다(평가는 대상 플러그인만 싣고 프로젝트 .claude/·CLAUDE.md를 읽지 않는다). CLAUDE.md·AGENTS.md는 append_system_prompt로, 작업 폴더는 scaffold로 백엔드 로컬 복제를 깔았다. opus-5-5 고정, 판정 sonnet. - 과제 셋: A 리뷰(결함 6), A2 리뷰(repo 고유 규칙 결함 6), 구현(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로, 정규식 채점 8개). 판 셋: none(플러그인 없음), v1, v2. 리뷰는 판마다 2번, 구현은 v1·v2 5번, none 2번. - 결과: 리뷰는 none도 12/12로 천장. 구현은 v2 37/40(92.5%), v1 30/40(75%), none 12/16. 동시 인덱스 규칙은 v2 3/5, v1 0/5. lead는 다분야 리뷰 4번과 단순 질문 4번 모두 불리지 않았다. 시작 컨텍스트는 샌드박스에서 v2가 13% 컸다(플러그인 스킬은 paths가 있어도 목록에 든다. 프로젝트 스킬은 안 든다는 것을 실제 세션으로 따로 확인했다). - harness-eval 스킬에 실제 세션으로 돌리는 법(판을 플러그인으로, 리뷰보다 구현 과제, 5번씩, 기록 뽑는 곳)을 더한다. 장부에 eval 줄 24개. 버린 대안: claude -p로 각 복제 폴더에서 돌리기. 사용자 전역 설정·훅·스킬이 섞여 판 차이를 가린다. 위험: 표본이 작다(구현 한쪽 검정 p≈0.08). v2가 be-persistence를 부른 것은 다섯 번 중 둘이라 효과를 그 스킬 하나로 설명하지 못한다. 평가용 판은 지식 스킬을 플러그인으로 실었고 실제 템플릿은 프로젝트 스킬이라 발동 조건이 다르다. 검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval-real.
This commit is contained in:
+28
-4
@@ -24,7 +24,7 @@
|
||||
4. **리드는 메인 세션이다.** 플러그인 `lead` 스킬이 절차를 준다: 렌즈 고르기 → brief(고정 칸) → 병렬 → 합치기·High 반증 → 넘김 한 번 → 충돌 순서 → 리뷰-수정 세 번까지. 리뷰어끼리 직접 주고받지 않는다.
|
||||
5. **agent teams는 기본으로 쓰지 않는다.** 실험 기능, 대화형만, 팀원에게 `skills` 미적용, 계획 모드에서 토큰 약 7배(S3·S4).
|
||||
6. **공용과 고유를 나눈다.** 플러그인은 협업 장치(`lead`·`new-expert`·`harness-eval`, 장부 `eval`)만 싣는다. 지식 스킬과 `reviewer` 정의는 스택마다 달라 각 템플릿 `.claude/`에 둔다.
|
||||
7. **평가는 정답을 아는 과제로 v1·v2를 견준다.** 심은 결함 리뷰(찾은 수·틀린 수)와 시작 컨텍스트, 시간·토큰을 장부 `eval` 줄로 남긴다. 통과 기준은 돌리기 전에 적는다(7절).
|
||||
7. **평가는 정답을 아는 과제로 v1·v2를 견준다.** 심은 결함 리뷰(찾은 수·틀린 수)와 시작 컨텍스트, 시간·토큰을 장부 `eval` 줄로 남긴다. 통과 기준은 돌리기 전에 적는다(7절). 실제 세션 평가(7.2절): 작은 diff 리뷰는 하네스가 없어도 천장(심은 12개를 모두 찾음)이었고, repo 규칙대로 구현하는 과제에서 v2가 규칙 검사 92.5%, v1이 75%였다.
|
||||
|
||||
**소유자 요청과 다른 곳**: 요청은 "분야별 전문가급 서브에이전트와 스킬"이었다. 이 설계는 분야마다 **스킬**은 두지만 **서브에이전트 정의**는 두지 않고, 같은 `reviewer`를 분야 렌즈로 띄운다. 2번의 1차 근거 때문이다 **[내 판단]**. 리뷰할 때 분야마다 새 눈 서브에이전트가 뜨는 효과는 같다. 평가(7절)에서 렌즈 리뷰어가 v1보다 못하면 분야 정의를 다시 시험한다.
|
||||
|
||||
@@ -229,7 +229,30 @@
|
||||
- **기준 대조**: 심은 결함 +2 이상 → **못 넘음**(둘 다 6/6, 과제가 쉬워 천장). 틀린 발견 v1 이하 → 넘음(0 = 0). 출력 토큰 3배 이하 → 넘음(2.08배). 시작 비용(과제 C)은 서브에이전트로는 잴 수 없어 이번에 하지 않았다.
|
||||
- **보인 차이**: v2는 리드 창이 0.75배로 작았다. 심각도를 더 맞게 매겼다(v1은 적용된 마이그레이션 수정·인증 범위·개인 정보 로그를 Important로, v2는 Critical·High로). v2가 repo 고유 사실(적용된 V9가 `MigrationLockWaitTest` 예외 목록에 있어 잠금 검사를 피함, 그 결함은 persistence-jpa 시험만 잡아 leaf 게이트만 돌리면 통과로 보임)을 더 짚었다. 이것들은 점수에 넣지 않았다.
|
||||
- **결정(retro `lens-small-diff`)**: 남의 작은 변경은 리뷰어 0명(리드가 렌즈 스킬을 직접 읽음), 자기 작은 변경은 1명, 큰 변경만 2~4명으로 `lead` ①을 바꿨다. 뒤 평가 2건으로 판정한다.
|
||||
- **다음 평가**: 과제 A는 변별력이 없다. 과제 A2(repo 고유 함정을 알아야 잡히는 결함: 잠금 상한 없는 새 마이그레이션, `existsBy` 사전 조회로 막는 중복, 레지스트리에 없는 오류 코드·env 키, id를 metric tag로)와 프론트 과제 B를 템플릿 적용 PR에서 돌린다.
|
||||
- **다음 평가**: 과제 A는 변별력이 없다. 7.2절에서 실제 세션으로 다시 쟀다.
|
||||
|
||||
### 7.2 실제 세션 평가 (2026-11-11, `claude plugin eval`)
|
||||
|
||||
노트북 CLI 로그인 뒤 `claude plugin eval`(CLI 2.1.287)로 다시 쟀다. 7.1의 흉내 내기 대신 실제 헤드리스 세션이다.
|
||||
|
||||
- **판 만들기**: 평가는 실행마다 임시 홈에서 **대상 플러그인만** 싣고 프로젝트 `.claude/`·`CLAUDE.md`를 읽지 않는다. 그래서 판마다 평가용 플러그인을 만들었다. harness-v1 = 플러그인 0.2.0 스킬 + 백엔드 main의 에이전트 셋·스킬 둘. harness-v2 = 0.3.0 스킬 + `be-*` 10 + `reviewer`·v2 `arch-reviewer`. none = 플러그인 없음(v1 묶음의 기준선 팔). `CLAUDE.md`·`AGENTS.md`는 `append_system_prompt`로 넣었다. 작업 폴더는 scaffold가 백엔드 로컬 복제를 깔고, v2는 하네스 파일을 main에 커밋한 뒤 그 위에 과제 브랜치를 올렸다.
|
||||
- **고정**: 모델 opus-5-5, 판정 sonnet(3표 중 2표), 도구 Read·Grep·Glob·Skill·Agent·`Bash(git *)`·`Bash(sha256sum *)`, 구현 과제는 Write·Edit 더함.
|
||||
|
||||
| 과제 | 무엇 | none | v1 | v2 |
|
||||
|---|---|---|---|---|
|
||||
| A 리뷰 | 기능 커밋 하나에 결함 6개(7.1과 같음) | 6/6 ×2 | 6/6 ×2 | 6/6 ×2 |
|
||||
| A2 리뷰 | repo 고유 규칙 결함 6개(잠금 상한 없는 ALTER, 같은 파일의 일반 인덱스, 등록 안 된 env 키, 시도 id metric tag, 사전 조회 중복 막기, store가 여는 `REQUIRES_NEW`) | 6/6 ×2 | 6/6 ×2 | 6/6 ×2 |
|
||||
| 구현 | 우선순위 컬럼·인덱스·설정 키를 repo 규칙대로(정규식 채점 8개) | 12/16 | 30/40(75%) | **37/40(92.5%)** |
|
||||
| 구현 중 동시 인덱스 규칙(`CONCURRENTLY`를 따로 한 파일 + `.sql.conf`) | | 0/2 | 0/5 | **3/5**(+1 절반) |
|
||||
| 비용(중앙값, 리뷰 A·A2·구현) | 출력 토큰 | 5.8k·12.3k·22.5k | 7.1k·10.7k·17.3k | 5.9k·11.6k·20.3k |
|
||||
| 시작 컨텍스트(첫 호출) | | 18.5k | 20.5k | 23.2k |
|
||||
|
||||
- **리뷰는 하네스와 상관없이 천장이다.** 플러그인이 없어도 12개를 다 찾았다. 작은 diff 리뷰로는 판을 가를 수 없다.
|
||||
- **구현에서 차이가 났다.** v1·none은 매번 인덱스를 ALTER와 같은 트랜잭션 파일에 일반 `CREATE INDEX`로 넣었다(이 repo 규칙 위반, `docs/jpa/migration-guide.md` 「동시 인덱스 빌드」). v2는 다섯 번 중 셋을 규칙대로 했다. 표본이 작다(한쪽 검정 p≈0.08). v2가 `be-persistence`를 부른 것은 다섯 번 중 둘이고, 부르지 않고 맞힌 실행도 있어 효과를 스킬 하나에 돌리기는 어렵다(목록에 보이는 분야 설명과 지침의 한 줄이 문서를 더 찾게 했을 수 있다).
|
||||
- **`lead`**: 다분야 PR 리뷰 요청 4번 모두 불리지 않았고 서브에이전트도 0이었다(규칙상 남의 작은 변경은 0명이라 결과는 맞다). 단순 질문·한 파일 판정 4번에서도 불리지 않았다(과다 호출 없음).
|
||||
- **시작 비용**: 샌드박스에서 v2가 v1보다 13% 컸다(+2.7k). 이 평가에서는 `be-*`가 **플러그인** 스킬이라 `paths`가 있어도 목록에 다 들어갔다. 실제 템플릿에서는 **프로젝트** 스킬이고, 헤드리스 실제 세션에서 프로젝트의 `paths` 스킬은 시작 목록에 없고 `paths` 없는 스킬은 있는 것을 확인했다(haiku, 2026-11-11). 템플릿 적용 때 실제 세션으로 다시 잰다.
|
||||
- **기준 대조**: 리뷰 +2 → 못 넘음(천장). 시작 비용 5% 이하 → 샌드박스에서 못 넘음(위 이유로 실제 값은 적용 때). 구현 과제(돌리기 전에 채점기를 정함) → v2 +7검사/40.
|
||||
- **결정**: 설계는 그대로 간다(소유자 승인 2026-11-11). 다음 두 가지를 템플릿 적용 때 고친다. (1) 분야 스킬 호출률: 마이그레이션 leaf `AGENTS.md`나 `.claude/rules/`에 "쓰기 전에 그 분야 스킬" 한 줄을 넣고 호출률을 다시 잰다. (2) 프로젝트 스킬로 둔 상태의 시작 비용과 구현 과제를 실제 세션으로 다시 잰다. 서브에이전트 방식은 v2가 못한 지표가 없어 다시 시험하지 않는다. 장부 `harness-v2-eval-real` 줄 24개.
|
||||
|
||||
---
|
||||
|
||||
@@ -261,7 +284,8 @@
|
||||
|
||||
## 10. 확인 못 한 것
|
||||
|
||||
- `paths` 스킬이 목록에서 빠지는 것은 CLI 2.1.287 바이너리 문자열("conditional skills stored (activated when matching files are touched)")로 봤다. 새 세션에서 직접 보지 못했다(헤드리스 인증 없음).
|
||||
- ~~`paths` 스킬이 목록에서 빠지는지~~ → 확인함(7.2절): 프로젝트 스킬은 빠지고, 플러그인 스킬은 `paths`가 있어도 목록에 든다(CLI 2.1.287).
|
||||
- 서브에이전트 `skills:`가 `paths`가 걸린 스킬도 싣는지(`arch-reviewer`·`verify-app`에 쓴다).
|
||||
- 데스크톱 앱(2.1.321)과 노트북 CLI(2.1.287)의 동작 차이.
|
||||
- `claude plugin eval`의 실제 실행(인증 없음).
|
||||
- 프론트 과제 B와 프론트 지식 스킬(초안 없음).
|
||||
- 실제 템플릿(프로젝트 스킬) 상태의 시작 비용과 스킬 호출률.
|
||||
|
||||
@@ -11,3 +11,27 @@
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a8011c2d297e5b3a0", "active_minutes": 12, "calls": 147, "output_tokens": 123000, "input_tokens_total": 17424562, "start_context": 53258, "max_context": 147420, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 17021, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(smoke 스크립트, 목적을 못 이루는 로그, 평문 주소 컬럼, 커밋 묶음). 리드 보고 칸 채움: 렌즈 6·리뷰어 3·물결 2·라운드 1, High 이상 4건 직접 반증해 버린 것 0. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"}
|
||||
{"schema": 1, "kind": "retro", "task": "harness-v2-eval", "cause": "아키텍처 경직", "level": "architecture", "note": "과제 A(48줄, 분야 넷)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 결함 6/6을 찾고 토큰 2.08배. 렌즈 수로 리뷰어 수를 정하던 규칙을 변경 크기·작성자로 정하게 바꿈(남의 작은 변경 0명, 자기 작은 변경 1명, 큰 변경 2~4명)", "ref": "plugins/harness/skills/lead/SKILL.md ①, docs/experts.md 7.1절", "fix": "lens-small-diff", "recorded_at": "2026-11-11T22:34+09:00", "applied_at": "2026-11-11T22:34+09:00"}
|
||||
{"schema": 1, "kind": "actual", "task": "w3-harness-v2", "transcript": "71b3718c-3f9d-44c5-abd9-d4d42407a77c", "minutes": 65, "active_minutes": 64, "calls": 956, "output_tokens": 1029649, "cache_read_tokens": 192547558, "max_context": 635581, "within": "p80", "result": "partial", "commits": ["cdde857", "2b3660d", "3bc3647", "bd6cbf0", "ce68d24", "7676093", "9735c33", "b2e6a5e"], "why": "시간은 p80 안(작업 중 63분). 호출 954·출력 103만은 서브에이전트 16개(조사 4, 초안 1, cold-read 1, 평가 4와 그 자식 리뷰어 6)를 더한 값이라 예측과 어긋났다. 예측 근거에 \"서브에이전트 토큰은 이 세션 기록에 안 잡힌다\"고 적었는데 ledger.py usage는 subagents/를 더한다(착수 전 조사 부족). 메인만 보면 호출 184·출력 약 24.7만으로 p50 근처. result partial: 1·2단계와 claude-harness PR까지 끝, 템플릿 적용(7)과 과제 A2·B 평가는 진행 중 PR 병합 뒤", "recorded_at": "2026-11-11T22:35+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a", "active_minutes": 1, "calls": 8, "output_tokens": 6253, "start_context": 20540, "max_context": 48465, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.67. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a", "active_minutes": 2, "calls": 11, "output_tokens": 8007, "start_context": 20470, "max_context": 57575, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.82. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a", "active_minutes": 1, "calls": 8, "output_tokens": 5809, "start_context": 18469, "max_context": 45071, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.6. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a", "active_minutes": 1, "calls": 6, "output_tokens": 5785, "start_context": 18536, "max_context": 43537, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.58. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a2", "active_minutes": 2, "calls": 11, "output_tokens": 10300, "start_context": 20534, "max_context": 68526, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.94. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "review-seeded-a2", "active_minutes": 2, "calls": 11, "output_tokens": 11054, "start_context": 20467, "max_context": 74059, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.03. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a2", "active_minutes": 2, "calls": 13, "output_tokens": 12456, "start_context": 18530, "max_context": 79169, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.1. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "review-seeded-a2", "active_minutes": 2, "calls": 12, "output_tokens": 12060, "start_context": 18462, "max_context": 75253, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.05. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a", "active_minutes": 1, "calls": 8, "output_tokens": 5099, "start_context": 23227, "max_context": 45632, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.6. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a", "active_minutes": 1, "calls": 11, "output_tokens": 6652, "start_context": 23222, "max_context": 48270, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.72. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a2", "active_minutes": 2, "calls": 16, "output_tokens": 11603, "start_context": 23149, "max_context": 65865, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $0.96. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 1, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "review-seeded-a2", "active_minutes": 2, "calls": 15, "output_tokens": 11673, "start_context": 23217, "max_context": 69329, "subagents": 0, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "claude plugin eval(CLI 2.1.287, opus-5-5, 판정 sonnet 3표) 실제 헤드리스 세션. 판 = 평가용 플러그인(harness-v1: 0.2.0 스킬+템플릿 main 에이전트·스킬 / harness-v2: 0.3.0 스킬+be-* 10+reviewer), none = 플러그인 없음. CLAUDE.md·AGENTS.md는 append_system_prompt로. 심은 결함 6/6(llm 채점기 6개 모두 PASS). 틀린 발견은 채점하지 않음. 실행 비용 $1.0. v2는 lead·be-* 스킬 호출 0, 서브에이전트 0", "run": 2, "recorded_at": "2026-11-11T22:54+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 2, "active_minutes": 3, "calls": 30, "output_tokens": 13888, "start_context": 21318, "max_context": 89866, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.38. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 1, "active_minutes": 3, "calls": 36, "output_tokens": 17321, "start_context": 21251, "max_context": 121019, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.9. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 39, "output_tokens": 19881, "start_context": 19176, "max_context": 121371, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.96. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "none", "case": "impl-priority", "run": 1, "active_minutes": 5, "calls": 42, "output_tokens": 25169, "start_context": 19244, "max_context": 134665, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $2.28. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 1, "active_minutes": 4, "calls": 34, "output_tokens": 18846, "start_context": 24067, "max_context": 119715, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $1.89. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 38, "output_tokens": 20320, "start_context": 23930, "max_context": 127121, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $2.05. be-persistence 스킬 호출 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 2, "active_minutes": 3, "calls": 30, "output_tokens": 17697, "start_context": 21246, "max_context": 130828, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.89. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 1, "active_minutes": 4, "calls": 32, "output_tokens": 16646, "start_context": 21181, "max_context": 117381, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.7. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "impl-priority", "run": 3, "active_minutes": 5, "calls": 42, "output_tokens": 20669, "start_context": 21178, "max_context": 141552, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $2.28. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 3, "active_minutes": 3, "calls": 32, "output_tokens": 16621, "start_context": 24000, "max_context": 124385, "agent_calls": 0, "findings": 6, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['concurrent-index-conf', 'index-not-in-alter-file']. 비용 $1.81. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 2, "active_minutes": 4, "calls": 35, "output_tokens": 21063, "start_context": 24066, "max_context": 128180, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 []. 비용 $1.98. be-persistence 스킬 호출 안 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority", "run": 1, "active_minutes": 6, "calls": 55, "output_tokens": 29695, "start_context": 23995, "max_context": 194340, "agent_calls": 0, "findings": 7, "false_findings": null, "note": "구현 과제(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로). findings = repo 규칙 검사 8개 중 통과 수(정규식 채점: 잠금 상한, 인덱스를 ALTER 파일 밖에, .sql.conf 동시 빌드 파일, 적용 해시 줄, env 레지스트리, .env.example, 설정 키, V9 그대로). 놓친 검사 ['index-not-in-alter-file']. 비용 $3.55. be-persistence 스킬 호출 함. 같은 묶음 안의 실행 번호와 기록 짝은 동시 실행이라 바뀌었을 수 있다(판별 합계는 맞다)", "recorded_at": "2026-11-11T23:09+09:00"}
|
||||
|
||||
@@ -43,6 +43,20 @@ python3 "${CLAUDE_PLUGIN_ROOT}/scripts/ledger.py" compare --task <평가 이름>
|
||||
- 서브에이전트로 흉내 낸 실행은 세션 기록이 따로 없다. 그때는 알림의 `subagent_tokens`·`duration_ms`를 `output_tokens`·`active_minutes` 칸에 손으로 옮기고 `note`에 출처를 쓴다.
|
||||
- `compare`는 과제·판마다 중앙값과 마지막 판/첫 판 비율을 보인다. `start_context`·`agent_return_chars`(서브에이전트가 메인에 돌려준 글자)는 컨텍스트 비용이다.
|
||||
|
||||
## 3.1 실제 세션으로 돌리기 — `claude plugin eval`
|
||||
|
||||
CLI가 로그인되어 있으면 흉내 내지 말고 이것으로 돈다. 걸리는 것과 푸는 법:
|
||||
|
||||
- 실행마다 임시 홈에서 **대상 플러그인만** 싣는다. 사용자 설정·프로젝트 `.claude/`·`CLAUDE.md`는 scaffold가 써도 읽지 않는다. 그래서 판마다 평가용 플러그인을 만든다(그 판의 스킬·에이전트를 플러그인 `skills/`·`agents/`에 복사). 플러그인 에이전트는 `<플러그인>:<이름>`으로 불리니 `skills:` 칸도 그 이름으로 고친다.
|
||||
- 세션 시작 지침은 케이스 `append_system_prompt`에 그 판의 `CLAUDE.md`·`AGENTS.md` 내용을 넣는다.
|
||||
- 작업 폴더는 `case.yaml`의 `scaffold_script`로 깐다(로컬 복제 + 과제 브랜치, 판의 하네스 파일은 main에 커밋해 diff에 섞이지 않게). `--scaffold`가 있어야 돈다. 원격을 지워 정답 위치가 보이지 않게 한다.
|
||||
- 품질은 결과로 채점한다: 리뷰는 심은 결함마다 `llm` 채점기(`--judge-model sonnet`), 구현은 만든 파일을 보는 `regex` 채점기(비용 0). 스킬·Agent 호출은 `tool_used`로 따로 본다.
|
||||
- **작은 diff 리뷰는 판을 가르지 못한다.** 2026-11-11 백엔드 평가에서 플러그인이 없어도 심은 결함을 모두 찾았다. repo 규칙대로 **구현**하게 하는 과제가 차이를 냈다.
|
||||
- 판마다 5번은 돌린다. 2번으로는 우연을 못 가린다.
|
||||
- `--keep-temp`로 남긴 폴더의 `config/projects/*/*.jsonl`이 그 실행의 세션 기록이다. `ledger.py usage <그 파일>`로 시간·호출·토큰·시작 컨텍스트를 뽑아 `eval` 줄에 쓴다.
|
||||
- 플러그인 스킬은 `paths`가 있어도 시작 목록에 든다(프로젝트 스킬은 안 든다). 그래서 평가 샌드박스의 시작 컨텍스트는 프로젝트 스킬로 둘 때보다 크게 나온다.
|
||||
- 기준선(플러그인 없음)이 필요하면 한 판에만 `--ablation with-without`, 나머지는 `--ablation none`으로 비용을 줄인다.
|
||||
|
||||
## 4. 결정
|
||||
|
||||
- 기준을 넘었으면 유지하고, 못 넘었으면 되돌리거나 범위를 좁혀 다시 시험한다. 결정은 장부 `retro` 줄(`level: architecture` 등, `fix` id)로 남겨 뒤 작업 2건으로 효과를 다시 본다(`retro` 스킬).
|
||||
|
||||
Reference in New Issue
Block a user