Commit Graph
2 Commits
Author SHA1 Message Date
DongHyeonka 468b26e35e docs(experts): claude plugin eval로 v1·v2를 실제 세션에서 비교한 결과를 남긴다
문제: 첫 평가(7.1)는 헤드리스 인증이 없어 이 세션의 서브에이전트로 판을
흉내 냈다. 실제 세션의 스킬 목록·paths 발동·도구 제한과 다를 수 있다.
소유자가 노트북 CLI에 로그인해 claude plugin eval을 쓸 수 있게 됐다.

고른 방법:
- 판마다 평가용 플러그인을 만들었다(평가는 대상 플러그인만 싣고 프로젝트
  .claude/·CLAUDE.md를 읽지 않는다). CLAUDE.md·AGENTS.md는
  append_system_prompt로, 작업 폴더는 scaffold로 백엔드 로컬 복제를 깔았다.
  opus-5-5 고정, 판정 sonnet.
- 과제 셋: A 리뷰(결함 6), A2 리뷰(repo 고유 규칙 결함 6), 구현(우선순위
  컬럼·인덱스·설정 키를 repo 규칙대로, 정규식 채점 8개). 판 셋: none(플러그인
  없음), v1, v2. 리뷰는 판마다 2번, 구현은 v1·v2 5번, none 2번.
- 결과: 리뷰는 none도 12/12로 천장. 구현은 v2 37/40(92.5%), v1 30/40(75%),
  none 12/16. 동시 인덱스 규칙은 v2 3/5, v1 0/5. lead는 다분야 리뷰 4번과
  단순 질문 4번 모두 불리지 않았다. 시작 컨텍스트는 샌드박스에서 v2가
  13% 컸다(플러그인 스킬은 paths가 있어도 목록에 든다. 프로젝트 스킬은
  안 든다는 것을 실제 세션으로 따로 확인했다).
- harness-eval 스킬에 실제 세션으로 돌리는 법(판을 플러그인으로, 리뷰보다
  구현 과제, 5번씩, 기록 뽑는 곳)을 더한다. 장부에 eval 줄 24개.
버린 대안: claude -p로 각 복제 폴더에서 돌리기. 사용자 전역 설정·훅·스킬이
섞여 판 차이를 가린다.

위험: 표본이 작다(구현 한쪽 검정 p≈0.08). v2가 be-persistence를 부른 것은
다섯 번 중 둘이라 효과를 그 스킬 하나로 설명하지 못한다. 평가용 판은
지식 스킬을 플러그인으로 실었고 실제 템플릿은 프로젝트 스킬이라 발동
조건이 다르다.

검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval-real.
2026-11-11 23:10:50 +09:00
DongHyeonka 3bc36479d6 feat(plugin): 분야 전문가 협업 스킬 lead·new-expert·harness-eval을 더하고 0.3.0으로 올린다
문제: 여러 분야에 걸친 변경을 리뷰할 때 누구에게 무엇을 맡기고, 결과를
어떻게 합치고, 의견이 부딪치면 누가 정하는지 정한 절차가 없다. 전문가를
더하는 모양과 하네스 판을 비교하는 절차도 없다.

고른 방법:
- lead: 바뀐 경로·위험으로 분야 지식 스킬(렌즈)을 고르고, 고정 칸 brief로
  새 눈 reviewer를 병렬로 띄우고, High는 반증해 살아남은 것만 남기고,
  넘김은 한 번만 더, 충돌은 정한 일곱 순서로, 리뷰-수정은 세 번까지
  (두 번째부터 고친 diff만). 근거: Anthropic 위임 4요소, 공식 code-review의
  반증 필터, Claude Code 팀의 리뷰 라운드 상한.
- new-expert: 전문가 = paths 지식 스킬(함정이 맨 앞). 서브에이전트는 세
  조건(긴 출력, 버려도 되는 병렬, 지시 충돌·자기 리뷰) 중 하나를 보일 때만.
- harness-eval: 정답을 아는 과제를 판마다 돌려 장부 eval 줄로 비교.
  시킬 때만 돈다는 것을 설명에 쓴다.
- 13절 Q9(새 스킬은 모두 모델 호출, 발동 조건을 설명에)를 지킨다.
- 시험: 플러그인 스킬 목록을 고정하고, 설명이 1,024자 안이며
  PROACTIVELY·MUST·CRITICAL·IMPORTANT·<example>이 없는지 본다.
- 버린 대안: 분야 에이전트·범용 리뷰어를 플러그인에 싣기. 플러그인
  에이전트는 harness: 아래 이름이라 템플릿 것과 둘 다 목록에 뜬다.

위험: 세 스킬 설명(약 400~500자)이 모든 세션의 스킬 목록에 더해진다.
스킬 목록이 예산 근처인 기계에서는 덜 쓰는 스킬 설명이 먼저 잘린다.

검증: python3 -m unittest discover -s tests → 10건 통과,
claude plugin validate --strict plugins/harness → 통과.
2026-11-11 22:05:03 +09:00