feat(lead): 첫 평가 결과로 리뷰어 수를 변경 크기와 작성자로 정한다
문제: 첫 판 비교(과제 A: 48줄짜리 기능 커밋에 분야마다 결함 하나씩 6개를 심은 백엔드 리뷰, 판마다 2번)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 6/6을 찾고, 틀린 발견은 둘 다 0, 출력 토큰은 2.08배를 썼다. 리드 창 최대는 0.75배로 작았다. 미리 정한 기준(심은 결함 +2 이상)을 못 넘었다. 렌즈 수로 리뷰어 수를 정하던 규칙이 작은 변경에 과하다. 고른 방법: lead ①에서 리뷰어 수를 변경 크기와 누가 고쳤나로 정한다. 남이 쓴 300줄 아래 변경은 0명(리드가 이미 새 눈, 렌즈 스킬을 직접 읽음), 리드가 고친 300줄 아래 변경은 1명(렌즈가 셋 넘으면 2명), 300줄 이상이나 파일 10개 이상은 2~4명. 크기(작음·중간·큼)는 일의 무게로만 쓴다. 설계 7.1절에 결과 표와 기준 대조를, 장부에 이 작업의 estimate 줄, eval 줄 넷(v1·v2 각 둘), retro 줄(fix lens-small-diff)을 더한다. 버린 대안: v2 되돌리기. 품질은 같았고 과제가 천장이라 렌즈 리뷰의 이득을 잴 수 없었다. 변별력 있는 과제 A2·B로 다시 본다. 위험: 서브에이전트로 판을 흉내 냈다(헤드리스 인증 없음). 실제 세션의 스킬 목록·paths 발동과 다를 수 있다. 실행 수가 판마다 2번뿐이다. 검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval로 표를 다시 뽑았다.
This commit is contained in:
@@ -21,9 +21,16 @@ description: Use when a change, review, or design spans more than one expert are
|
||||
## ① 쓸지 정하기
|
||||
|
||||
- 서브에이전트 하나는 별도 컨텍스트이고 토큰을 몇 배 쓴다. 역할(계획·구현·시험·리뷰)이나 분야마다 나누지 않는다. 쓸 때는 셋뿐이다: 새 눈이 필요한 리뷰·검증, 파일 10개 넘게 읽어야 하는 조사, 출력이 긴 실행(앱·브라우저·게이트).
|
||||
- 크기는 brief가 정한 것을 쓴다. 없으면: 분야 하나·파일 몇 개는 작음, 분야 둘은 중간, 분야 셋 이상이거나 공개 계약·마이그레이션·인증이 걸리면 큼.
|
||||
- 크기별 리뷰어 수: 작음 0명(그 분야 스킬만) · 중간 1~2명 · 큼 2~4명. 한 물결에 4명을 넘기지 않는다.
|
||||
- 남이 쓴 브랜치를 리뷰할 때 리드는 이미 새 눈이다. 그래도 렌즈가 셋을 넘으면 넓은 읽기라서 리뷰어로 나눈다.
|
||||
- 크기(작음·중간·큼)는 일의 무게다. brief가 정한 것을 쓴다. 없으면: 분야 하나·파일 몇 개는 작음, 분야 둘은 중간, 분야 셋 이상이거나 공개 계약·마이그레이션·인증이 걸리면 큼. 큼은 소유자 검토가 먼저다. 리뷰어 수는 아래 표로 따로 정한다.
|
||||
- 리뷰어 수는 변경 크기와 누가 고쳤나로 정한다. 렌즈 수로 정하지 않는다.
|
||||
|
||||
| 경우 | 리뷰어 |
|
||||
|---|---|
|
||||
| 남이 쓴 변경, 바뀐 줄 300 아래 | 0명. 리드가 이미 새 눈이다. 렌즈 스킬을 직접 읽고 리뷰한다 |
|
||||
| 리드(이 세션)가 고친 변경, 바뀐 줄 300 아래 | 1명. 렌즈를 모아 준다(셋 넘으면 2명) |
|
||||
| 바뀐 줄 300 이상이거나 파일 10개 이상 | 렌즈를 1~3개씩 묶어 2~4명 |
|
||||
|
||||
한 물결에 4명을 넘기지 않는다. 근거: 2026-11-11 평가에서 48줄 변경을 리드 혼자 본 판(v1)과 리뷰어 셋에 나눈 판(v2)이 심은 결함을 똑같이 6/6 찾았고, 나눈 판이 토큰을 약 2.1배 썼다(claude-harness `docs/experts.md` 7절).
|
||||
- 기능을 고치는 사람이 그 시험도 고친다. 시험만 따로 맡기지 않는다.
|
||||
|
||||
## ② 렌즈 고르기
|
||||
|
||||
Reference in New Issue
Block a user