문제: 첫 평가(7.1)는 헤드리스 인증이 없어 이 세션의 서브에이전트로 판을 흉내 냈다. 실제 세션의 스킬 목록·paths 발동·도구 제한과 다를 수 있다. 소유자가 노트북 CLI에 로그인해 claude plugin eval을 쓸 수 있게 됐다. 고른 방법: - 판마다 평가용 플러그인을 만들었다(평가는 대상 플러그인만 싣고 프로젝트 .claude/·CLAUDE.md를 읽지 않는다). CLAUDE.md·AGENTS.md는 append_system_prompt로, 작업 폴더는 scaffold로 백엔드 로컬 복제를 깔았다. opus-5-5 고정, 판정 sonnet. - 과제 셋: A 리뷰(결함 6), A2 리뷰(repo 고유 규칙 결함 6), 구현(우선순위 컬럼·인덱스·설정 키를 repo 규칙대로, 정규식 채점 8개). 판 셋: none(플러그인 없음), v1, v2. 리뷰는 판마다 2번, 구현은 v1·v2 5번, none 2번. - 결과: 리뷰는 none도 12/12로 천장. 구현은 v2 37/40(92.5%), v1 30/40(75%), none 12/16. 동시 인덱스 규칙은 v2 3/5, v1 0/5. lead는 다분야 리뷰 4번과 단순 질문 4번 모두 불리지 않았다. 시작 컨텍스트는 샌드박스에서 v2가 13% 컸다(플러그인 스킬은 paths가 있어도 목록에 든다. 프로젝트 스킬은 안 든다는 것을 실제 세션으로 따로 확인했다). - harness-eval 스킬에 실제 세션으로 돌리는 법(판을 플러그인으로, 리뷰보다 구현 과제, 5번씩, 기록 뽑는 곳)을 더한다. 장부에 eval 줄 24개. 버린 대안: claude -p로 각 복제 폴더에서 돌리기. 사용자 전역 설정·훅·스킬이 섞여 판 차이를 가린다. 위험: 표본이 작다(구현 한쪽 검정 p≈0.08). v2가 be-persistence를 부른 것은 다섯 번 중 둘이라 효과를 그 스킬 하나로 설명하지 못한다. 평가용 판은 지식 스킬을 플러그인으로 실었고 실제 템플릿은 프로젝트 스킬이라 발동 조건이 다르다. 검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval-real.
6.3 KiB
6.3 KiB
name, description
| name | description |
|---|---|
| harness-eval | Use only when the user explicitly asks to evaluate or compare harness versions ("하네스 평가", "v1 v2 비교", "전문가 넣기 전과 비교해", "/harness-eval") — to run the same known-answer task on each version, record every run as an eval line in docs/ledger/estimates.jsonl, and compare quality (seeded defects found, false findings), time, tokens, and context cost. Do not start it on your own; runs cost many model calls. 같은 과제로 하네스 두 판을 돌려 품질·시간·토큰·컨텍스트를 장부로 비교한다. |
harness-eval — 같은 과제로 두 판을 비교한다
하네스를 바꿨으면(전문가 추가, 스킬 설명 변경, 훅 추가) 바꾸기 전 판과 같은 과제로 견준다. 느낌이 아니라 장부 숫자로 정한다. 모델 호출을 많이 쓰니 사람이 시킬 때만 돈다.
과제 고르기 ─> 통과 기준을 먼저 적기 ─> 판마다 새 세션(또는 새 서브에이전트)으로 실행 ─> 실행마다 eval 줄
─> compare 표 ─> 기준과 대조 ─> 결정(유지·되돌림·더 시험) ─> 보고
1. 과제 — 정답을 아는 것으로
| 종류 | 만드는 법 | 품질 숫자 |
|---|---|---|
| 심은 결함 리뷰 | 기준 커밋에서 브랜치를 따고, 분야마다 결함을 하나씩 심는다(예: N+1 조회, 잠금 없는 마이그레이션, 빠진 권한 검사, 이름이 바뀐 공개 필드, 단언 없는 테스트, 개인 정보를 찍는 로그). 심은 목록은 실행하는 쪽에 주지 않는다 | 찾은 심은 결함 수(findings), 틀린 발견 수(false_findings) |
| 작은 기능 | 경계를 둘 이상 넘는 기능 하나(예: 저장소가 있는 endpoint) | 게이트 첫 실행 통과 여부, 끝난 뒤 독립 리뷰의 발견 수(적을수록 좋다) |
| 시작 비용 | 아무 일도 시키지 않은 첫 호출 | start_context |
- 같은 과제 글을 두 판에 그대로 준다. 판의 차이(어떤 전문가가 있나)만 다르게 한다.
- 실행하는 쪽이 정답을 보지 못하게 한다: 심은 목록·채점은 평가를 맡은 리드만 갖는다. 리드가 실행에 끼면(합치기 등) 그 일도 정답을 모르는 서브에이전트에게 맡긴다.
2. 통과 기준 — 돌리기 전에 적는다
예: "v2가 심은 결함을 v1보다 2개 이상 더 찾고, 틀린 발견이 v1보다 많지 않고, 출력 토큰이 v1의 3배 이하, 시작 컨텍스트 증가가 5% 이하". 돌린 뒤에 기준을 바꾸지 않는다.
3. 실행과 기록
- 판마다 과제당 2번 이상 돌린다. 한 번은 우연이 크다(한 번만 돌렸으면 보고에 그렇게 쓴다).
- 같은 모델·effort로 돈다. 새 세션이 가장 깨끗하다. 헤드리스(
claude -p)를 못 쓰면 이 세션의 서브에이전트로 판을 흉내 내고, 흉내 낸 방식(무엇을 프롬프트로 넣었나)을note에 쓴다. - 실행이 끝날 때마다 초안을 만들고 품질 숫자를 채워 더한다:
python3 "${CLAUDE_PLUGIN_ROOT}/scripts/ledger.py" eval --task <평가 이름> --arm v2 --case <과제> [<세션 기록>] > /tmp/row.json
# findings, false_findings, note를 채운 뒤
python3 "${CLAUDE_PLUGIN_ROOT}/scripts/ledger.py" append < /tmp/row.json
python3 "${CLAUDE_PLUGIN_ROOT}/scripts/ledger.py" compare --task <평가 이름>
- 서브에이전트로 흉내 낸 실행은 세션 기록이 따로 없다. 그때는 알림의
subagent_tokens·duration_ms를output_tokens·active_minutes칸에 손으로 옮기고note에 출처를 쓴다. compare는 과제·판마다 중앙값과 마지막 판/첫 판 비율을 보인다.start_context·agent_return_chars(서브에이전트가 메인에 돌려준 글자)는 컨텍스트 비용이다.
3.1 실제 세션으로 돌리기 — claude plugin eval
CLI가 로그인되어 있으면 흉내 내지 말고 이것으로 돈다. 걸리는 것과 푸는 법:
- 실행마다 임시 홈에서 대상 플러그인만 싣는다. 사용자 설정·프로젝트
.claude/·CLAUDE.md는 scaffold가 써도 읽지 않는다. 그래서 판마다 평가용 플러그인을 만든다(그 판의 스킬·에이전트를 플러그인skills/·agents/에 복사). 플러그인 에이전트는<플러그인>:<이름>으로 불리니skills:칸도 그 이름으로 고친다. - 세션 시작 지침은 케이스
append_system_prompt에 그 판의CLAUDE.md·AGENTS.md내용을 넣는다. - 작업 폴더는
case.yaml의scaffold_script로 깐다(로컬 복제 + 과제 브랜치, 판의 하네스 파일은 main에 커밋해 diff에 섞이지 않게).--scaffold가 있어야 돈다. 원격을 지워 정답 위치가 보이지 않게 한다. - 품질은 결과로 채점한다: 리뷰는 심은 결함마다
llm채점기(--judge-model sonnet), 구현은 만든 파일을 보는regex채점기(비용 0). 스킬·Agent 호출은tool_used로 따로 본다. - 작은 diff 리뷰는 판을 가르지 못한다. 2026-11-11 백엔드 평가에서 플러그인이 없어도 심은 결함을 모두 찾았다. repo 규칙대로 구현하게 하는 과제가 차이를 냈다.
- 판마다 5번은 돌린다. 2번으로는 우연을 못 가린다.
--keep-temp로 남긴 폴더의config/projects/*/*.jsonl이 그 실행의 세션 기록이다.ledger.py usage <그 파일>로 시간·호출·토큰·시작 컨텍스트를 뽑아eval줄에 쓴다.- 플러그인 스킬은
paths가 있어도 시작 목록에 든다(프로젝트 스킬은 안 든다). 그래서 평가 샌드박스의 시작 컨텍스트는 프로젝트 스킬로 둘 때보다 크게 나온다. - 기준선(플러그인 없음)이 필요하면 한 판에만
--ablation with-without, 나머지는--ablation none으로 비용을 줄인다.
4. 결정
- 기준을 넘었으면 유지하고, 못 넘었으면 되돌리거나 범위를 좁혀 다시 시험한다. 결정은 장부
retro줄(level: architecture등,fixid)로 남겨 뒤 작업 2건으로 효과를 다시 본다(retro스킬). - 보고에는 표, 기준, 결정, 흉내 낸 방식과 한계(실행 수, 모델)를 쓴다.
하지 않는 것
- 결과를 보고 통과 기준을 고치지 않는다.
- 한 판만 결함 목록을 알게 하지 않는다.
- 평가용으로 심은 결함 브랜치를 push하지 않는다.