feat(lead): 첫 평가 결과로 리뷰어 수를 변경 크기와 작성자로 정한다

문제: 첫 판 비교(과제 A: 48줄짜리 기능 커밋에 분야마다 결함 하나씩 6개를
심은 백엔드 리뷰, 판마다 2번)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본
v1과 같은 6/6을 찾고, 틀린 발견은 둘 다 0, 출력 토큰은 2.08배를 썼다.
리드 창 최대는 0.75배로 작았다. 미리 정한 기준(심은 결함 +2 이상)을
못 넘었다. 렌즈 수로 리뷰어 수를 정하던 규칙이 작은 변경에 과하다.

고른 방법: lead ①에서 리뷰어 수를 변경 크기와 누가 고쳤나로 정한다.
남이 쓴 300줄 아래 변경은 0명(리드가 이미 새 눈, 렌즈 스킬을 직접 읽음),
리드가 고친 300줄 아래 변경은 1명(렌즈가 셋 넘으면 2명), 300줄 이상이나
파일 10개 이상은 2~4명. 크기(작음·중간·큼)는 일의 무게로만 쓴다.
설계 7.1절에 결과 표와 기준 대조를, 장부에 이 작업의 estimate 줄,
eval 줄 넷(v1·v2 각 둘), retro 줄(fix lens-small-diff)을 더한다.
버린 대안: v2 되돌리기. 품질은 같았고 과제가 천장이라 렌즈 리뷰의
이득을 잴 수 없었다. 변별력 있는 과제 A2·B로 다시 본다.

위험: 서브에이전트로 판을 흉내 냈다(헤드리스 인증 없음). 실제 세션의
스킬 목록·paths 발동과 다를 수 있다. 실행 수가 판마다 2번뿐이다.

검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval로
표를 다시 뽑았다.
This commit is contained in:
DongHyeonka
2026-11-11 22:34:50 +09:00
parent 9735c3366c
commit b2e6a5ea7f
3 changed files with 33 additions and 4 deletions
+10 -3
View File
@@ -21,9 +21,16 @@ description: Use when a change, review, or design spans more than one expert are
## ① 쓸지 정하기
- 서브에이전트 하나는 별도 컨텍스트이고 토큰을 몇 배 쓴다. 역할(계획·구현·시험·리뷰)이나 분야마다 나누지 않는다. 쓸 때는 셋뿐이다: 새 눈이 필요한 리뷰·검증, 파일 10개 넘게 읽어야 하는 조사, 출력이 긴 실행(앱·브라우저·게이트).
- 크기는 brief가 정한 것을 쓴다. 없으면: 분야 하나·파일 몇 개는 작음, 분야 둘은 중간, 분야 셋 이상이거나 공개 계약·마이그레이션·인증이 걸리면 큼.
- 크기별 리뷰어 수: 작음 0명(그 분야 스킬만) · 중간 1~2명 · 큼 2~4명. 한 물결에 4명을 넘기지 않는다.
- 남이 쓴 브랜치를 리뷰할 때 리드는 이미 새 눈이다. 그래도 렌즈가 셋을 넘으면 넓은 읽기라서 리뷰어로 나눈다.
- 크기(작음·중간·큼)는 일의 무게다. brief가 정한 것을 쓴다. 없으면: 분야 하나·파일 몇 개는 작음, 분야 둘은 중간, 분야 셋 이상이거나 공개 계약·마이그레이션·인증이 걸리면 큼. 큼은 소유자 검토가 먼저다. 리뷰어 수는 아래 표로 따로 정한다.
- 리뷰어 수는 변경 크기와 누가 고쳤나로 정한다. 렌즈 수로 정하지 않는다.
| 경우 | 리뷰어 |
|---|---|
| 남이 쓴 변경, 바뀐 줄 300 아래 | 0명. 리드가 이미 새 눈이다. 렌즈 스킬을 직접 읽고 리뷰한다 |
| 리드(이 세션)가 고친 변경, 바뀐 줄 300 아래 | 1명. 렌즈를 모아 준다(셋 넘으면 2명) |
| 바뀐 줄 300 이상이거나 파일 10개 이상 | 렌즈를 1~3개씩 묶어 2~4명 |
한 물결에 4명을 넘기지 않는다. 근거: 2026-11-11 평가에서 48줄 변경을 리드 혼자 본 판(v1)과 리뷰어 셋에 나눈 판(v2)이 심은 결함을 똑같이 6/6 찾았고, 나눈 판이 토큰을 약 2.1배 썼다(claude-harness `docs/experts.md` 7절).
- 기능을 고치는 사람이 그 시험도 고친다. 시험만 따로 맡기지 않는다.
## ② 렌즈 고르기