From b2e6a5ea7f8956ea6754673651582bd47a4fef4b Mon Sep 17 00:00:00 2001 From: DongHyeonka Date: Wed, 11 Nov 2026 22:34:40 +0900 Subject: [PATCH] =?UTF-8?q?feat(lead):=20=EC=B2=AB=20=ED=8F=89=EA=B0=80=20?= =?UTF-8?q?=EA=B2=B0=EA=B3=BC=EB=A1=9C=20=EB=A6=AC=EB=B7=B0=EC=96=B4=20?= =?UTF-8?q?=EC=88=98=EB=A5=BC=20=EB=B3=80=EA=B2=BD=20=ED=81=AC=EA=B8=B0?= =?UTF-8?q?=EC=99=80=20=EC=9E=91=EC=84=B1=EC=9E=90=EB=A1=9C=20=EC=A0=95?= =?UTF-8?q?=ED=95=9C=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 문제: 첫 판 비교(과제 A: 48줄짜리 기능 커밋에 분야마다 결함 하나씩 6개를 심은 백엔드 리뷰, 판마다 2번)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 6/6을 찾고, 틀린 발견은 둘 다 0, 출력 토큰은 2.08배를 썼다. 리드 창 최대는 0.75배로 작았다. 미리 정한 기준(심은 결함 +2 이상)을 못 넘었다. 렌즈 수로 리뷰어 수를 정하던 규칙이 작은 변경에 과하다. 고른 방법: lead ①에서 리뷰어 수를 변경 크기와 누가 고쳤나로 정한다. 남이 쓴 300줄 아래 변경은 0명(리드가 이미 새 눈, 렌즈 스킬을 직접 읽음), 리드가 고친 300줄 아래 변경은 1명(렌즈가 셋 넘으면 2명), 300줄 이상이나 파일 10개 이상은 2~4명. 크기(작음·중간·큼)는 일의 무게로만 쓴다. 설계 7.1절에 결과 표와 기준 대조를, 장부에 이 작업의 estimate 줄, eval 줄 넷(v1·v2 각 둘), retro 줄(fix lens-small-diff)을 더한다. 버린 대안: v2 되돌리기. 품질은 같았고 과제가 천장이라 렌즈 리뷰의 이득을 잴 수 없었다. 변별력 있는 과제 A2·B로 다시 본다. 위험: 서브에이전트로 판을 흉내 냈다(헤드리스 인증 없음). 실제 세션의 스킬 목록·paths 발동과 다를 수 있다. 실행 수가 판마다 2번뿐이다. 검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval로 표를 다시 뽑았다. --- docs/experts.md | 18 +++++++++++++++++- docs/ledger/estimates.jsonl | 6 ++++++ plugins/harness/skills/lead/SKILL.md | 13 ++++++++++--- 3 files changed, 33 insertions(+), 4 deletions(-) diff --git a/docs/experts.md b/docs/experts.md index ee0cb51..3afd65e 100644 --- a/docs/experts.md +++ b/docs/experts.md @@ -108,7 +108,7 @@ | 규칙 | 내용 | 이유 | |---|---|---| -| 발동 | 둘 이상 분야, PR 전, 의견 충돌. 작음 0 · 중간 1~2 · 큼 2~4명, 한 물결 4 이하 | 멀티 에이전트는 같은 과제에 3~10배 토큰(S28). 2~4개가 적당(S22, S24의 노력 규모 규칙) | +| 발동 | 둘 이상 분야, PR 전, 의견 충돌. 리뷰어 수는 렌즈 수가 아니라 변경 크기와 누가 고쳤나로: 남의 작은 변경(300줄 아래)은 0명(리드가 렌즈 스킬을 직접 읽음), 자기 작은 변경은 1명, 큰 변경은 2~4명. 한 물결 4 이하 | 멀티 에이전트는 같은 과제에 3~10배 토큰(S28). 2~4개가 적당(S22, S24). 7절 평가: 48줄 변경에서 리뷰어 셋에 나눈 판이 혼자 본 판과 같은 결함을 찾고 토큰을 약 2.1배 썼다 | | 입력 | brief 고정 칸: 목표 · 렌즈 · 큰 그림 3줄과 관련 결정(내용으로) · 범위(기준 커밋·diff 명령, 안 볼 것) · 제약 · 출력 양식 | 위임에는 목표·출력 형식·도구와 출처·경계 넷이 있어야 중복·누락이 없다(S24) | | 붙여 넣지 않기 | 파일 내용·이력·긴 보고 대신 경로, diff 명령, 발견 한 줄 | superpowers 실측: 디스패치 하나가 42k자, 99%가 붙여 넣은 이력(S16) | | 출력 | 판정 · 발견(심각도, 파일:줄, 근거, 고칠 방향) · 넘길 것 · 확인 못 한 것, 60줄 이하 | 요약은 1~2k 토큰이면 된다(S35). 합치기를 기계적으로 | @@ -215,6 +215,22 @@ - **이 기계의 제약** [실측 2026-11-11]: 노트북 CLI는 로그인되어 있지 않고(`claude auth status` → `loggedIn: false`), desktop에는 claude CLI가 없다. 그래서 `claude -p`와 `claude plugin eval`(스킬 발동 with/without 비교, S7)을 지금 못 돈다. 그전에는 데스크톱 앱 세션의 서브에이전트로 판을 흉내 낸다(세션 시작 때 읽히는 지침과 스킬 목록을 프롬프트로 준다). 소유자가 `claude auth login`을 하면 발동 시험(`lead`가 여러 분야 프롬프트에서 불리고 한 파일 오타 수정에서는 안 불리나, 지식 스킬이 그 파일을 고칠 때 불리나)을 `claude plugin eval`로 더한다. - **결정**: 기준을 넘으면 유지, 못 넘으면 렌즈 수를 줄이거나 되돌린다. 결정은 장부 `retro` 줄(개선 id)로 남기고 뒤 작업 2건으로 다시 본다. +### 7.1 첫 실행 결과 (2026-11-11, 과제 A) + +판마다 2번, 데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 판을 흉내 냈다(세션 시작 지침·스킬 목록·에이전트 정의를 프롬프트로). v2의 지식 스킬 10개는 심은 목록을 모르는 서브에이전트가 백엔드 문서만 보고 썼다. 심은 결함 목록은 실행하는 동안 읽기 권한을 막아 두었다. 장부 `docs/ledger/estimates.jsonl`의 `harness-v2-eval` 줄 넷, `ledger.py compare --task harness-v2-eval`. + +| 판 | 실행 | 작업 중 분 | 호출 | 출력 토큰 | 리드 창 최대 | 심은 결함 | 틀린 발견 | 띄운 리뷰어 | +|---|---|---|---|---|---|---|---|---| +| v1 | 2 | 11 | 64 | 52,419 | 198,911 | 6/6 | 0 | 0 | +| v2 | 2 | 10.5 | 133.5 | 108,912 | 148,979 | 6/6 | 0 | 3 | + +(중앙값. v2의 호출·토큰은 자식 리뷰어 기록을 더한 값.) + +- **기준 대조**: 심은 결함 +2 이상 → **못 넘음**(둘 다 6/6, 과제가 쉬워 천장). 틀린 발견 v1 이하 → 넘음(0 = 0). 출력 토큰 3배 이하 → 넘음(2.08배). 시작 비용(과제 C)은 서브에이전트로는 잴 수 없어 이번에 하지 않았다. +- **보인 차이**: v2는 리드 창이 0.75배로 작았다. 심각도를 더 맞게 매겼다(v1은 적용된 마이그레이션 수정·인증 범위·개인 정보 로그를 Important로, v2는 Critical·High로). v2가 repo 고유 사실(적용된 V9가 `MigrationLockWaitTest` 예외 목록에 있어 잠금 검사를 피함, 그 결함은 persistence-jpa 시험만 잡아 leaf 게이트만 돌리면 통과로 보임)을 더 짚었다. 이것들은 점수에 넣지 않았다. +- **결정(retro `lens-small-diff`)**: 남의 작은 변경은 리뷰어 0명(리드가 렌즈 스킬을 직접 읽음), 자기 작은 변경은 1명, 큰 변경만 2~4명으로 `lead` ①을 바꿨다. 뒤 평가 2건으로 판정한다. +- **다음 평가**: 과제 A는 변별력이 없다. 과제 A2(repo 고유 함정을 알아야 잡히는 결함: 잠금 상한 없는 새 마이그레이션, `existsBy` 사전 조회로 막는 중복, 레지스트리에 없는 오류 코드·env 키, id를 metric tag로)와 프론트 과제 B를 템플릿 적용 PR에서 돌린다. + --- ## 8. 버린 대안 diff --git a/docs/ledger/estimates.jsonl b/docs/ledger/estimates.jsonl index 25ab15e..0fd70bc 100644 --- a/docs/ledger/estimates.jsonl +++ b/docs/ledger/estimates.jsonl @@ -4,3 +4,9 @@ {"schema": 1, "kind": "retro", "task": "h2-harness-repo", "cause": "예측 근거 없음", "level": "architecture", "note": "선례(h3)의 desktop 실행 3회를 빼지 않았다. 4건 모두 p30 아래(실측/p50 시간 0.43)라 precedents 보정 줄과 estimate 보정 규칙을 더했다", "ref": "docs/retro/2026-11-08.md", "fix": "calib-median", "recorded_at": "2026-11-08T23:07+09:00", "applied_at": "2026-11-08T23:07+09:00"} {"schema": 1, "kind": "actual", "task": "harness-retro-loop", "recorded_at": "2026-11-08T23:10+09:00", "transcript": "a6f550c2-1dc2-442d-9597-e07b82d2ac4d", "minutes": 16, "active_minutes": 16, "calls": 43, "output_tokens": 87654, "cache_read_tokens": 7032431, "max_context": 226136, "within": "p30", "result": "done", "commits": ["cf8c8c9", "f7e235b", "403716f"], "why": "작업 중 16분·호출 43·출력 87654로 모두 p30 아래. 선례(h2 38분) 실측을 배수 없이 p50 가까이에 뒀는데도 컸다: 위임 장부 빗나간 38줄 분류를 lessons 한 줄씩 스크립트로 뽑아 한 번에 했고, ledger.py 수정을 패치 스크립트 한 번으로 묶었다. 이번에 넣은 보정(시간 x0.43)을 썼다면 p30~p50 사이였다. 이 작업은 보정 규칙 전에 예측해 calib-median 판정에는 세지 않는다. 실측은 PR 직전까지"} {"schema": 1, "kind": "retro", "task": "harness-retro-loop", "cause": "예측 근거 없음", "level": "architecture", "note": "선례 실측을 배수 없이 써도 p30 아래였다. 같은 치우침이라 calib-median(보정 줄과 estimate 보정 규칙)으로 묶는다", "ref": "docs/retro/2026-11-08.md", "recorded_at": "2026-11-08T23:10+09:00"} +{"schema": 1, "kind": "estimate", "task": "w3-harness-v2", "transcript": "71b3718c-3f9d-44c5-abd9-d4d42407a77c", "started_at": "2026-11-11T21:30+09:00", "base": "ce240d6", "task_kind": "harness", "size": "large", "minutes": {"p30": 40, "p50": 55, "p80": 85}, "calls": {"p30": 100, "p50": 150, "p80": 230}, "output_tokens": {"p30": 170000, "p50": 250000, "p80": 360000}, "basis": "선례 h2-harness-repo 38분·호출 126·출력 19.4만, h1 설계 22분. 이번은 조사 출처 약 30(서브에이전트), 손 판단 결정 약 30, 새 파일 약 25. 근거 값 90/130/200분·200/300/450·30만/45만/65만에 보정(0.43·0.51·0.56)을 곱함. 범위는 1·2단계와 claude-harness PR까지, 템플릿 적용 제외", "recorded_at": "2026-11-11T21:32+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v1", "case": "review-seeded-be", "transcript": "agent-a756f7273361edcbf", "active_minutes": 11, "calls": 55, "output_tokens": 53568, "input_tokens_total": 7309567, "start_context": 54213, "max_context": 190716, "subagents": 0, "subagent_calls": 0, "agent_calls": 0, "agent_return_chars": 0, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v1 세션을 흉내 냄: 세션 시작 지침·스킬 목록·에이전트 목록을 프롬프트로. 서브에이전트를 더 띄우지 않음. 심은 6/6. 덤 4건(smoke 스크립트가 옛 requestId를 읽음, 평문 주소 컬럼, 커밋에 논리 변경 다섯, repository가 JpaRepository를 상속—이전부터), 모두 코드로 참 확인. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:20+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v1", "case": "review-seeded-be", "transcript": "agent-a3645ed2d3bbf1927", "active_minutes": 11, "calls": 73, "output_tokens": 51270, "input_tokens_total": 10896101, "start_context": 54213, "max_context": 207106, "subagents": 0, "subagent_calls": 0, "agent_calls": 0, "agent_return_chars": 0, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v1 세션을 흉내 냄: 세션 시작 지침·스킬 목록·에이전트 목록을 프롬프트로. 서브에이전트를 더 띄우지 않음. 심은 6/6. 덤 3건(smoke 스크립트, 평문 주소 컬럼, 커밋 묶음). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:20+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a865722a582a8f498", "active_minutes": 9, "calls": 120, "output_tokens": 94823, "input_tokens_total": 12686524, "start_context": 53258, "max_context": 150538, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 22963, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(검증 전에 찍히는 로그, 안 쓰이는 finder와 FQN, 평문 주소 컬럼, 커밋 묶음)과 smoke 스크립트(이전부터로 분류). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a8011c2d297e5b3a0", "active_minutes": 12, "calls": 147, "output_tokens": 123000, "input_tokens_total": 17424562, "start_context": 53258, "max_context": 147420, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 17021, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(smoke 스크립트, 목적을 못 이루는 로그, 평문 주소 컬럼, 커밋 묶음). 리드 보고 칸 채움: 렌즈 6·리뷰어 3·물결 2·라운드 1, High 이상 4건 직접 반증해 버린 것 0. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"} +{"schema": 1, "kind": "retro", "task": "harness-v2-eval", "cause": "아키텍처 경직", "level": "architecture", "note": "과제 A(48줄, 분야 넷)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 결함 6/6을 찾고 토큰 2.08배. 렌즈 수로 리뷰어 수를 정하던 규칙을 변경 크기·작성자로 정하게 바꿈(남의 작은 변경 0명, 자기 작은 변경 1명, 큰 변경 2~4명)", "ref": "plugins/harness/skills/lead/SKILL.md ①, docs/experts.md 7.1절", "fix": "lens-small-diff", "recorded_at": "2026-11-11T22:34+09:00", "applied_at": "2026-11-11T22:34+09:00"} diff --git a/plugins/harness/skills/lead/SKILL.md b/plugins/harness/skills/lead/SKILL.md index f13b147..fc7307d 100644 --- a/plugins/harness/skills/lead/SKILL.md +++ b/plugins/harness/skills/lead/SKILL.md @@ -21,9 +21,16 @@ description: Use when a change, review, or design spans more than one expert are ## ① 쓸지 정하기 - 서브에이전트 하나는 별도 컨텍스트이고 토큰을 몇 배 쓴다. 역할(계획·구현·시험·리뷰)이나 분야마다 나누지 않는다. 쓸 때는 셋뿐이다: 새 눈이 필요한 리뷰·검증, 파일 10개 넘게 읽어야 하는 조사, 출력이 긴 실행(앱·브라우저·게이트). -- 크기는 brief가 정한 것을 쓴다. 없으면: 분야 하나·파일 몇 개는 작음, 분야 둘은 중간, 분야 셋 이상이거나 공개 계약·마이그레이션·인증이 걸리면 큼. -- 크기별 리뷰어 수: 작음 0명(그 분야 스킬만) · 중간 1~2명 · 큼 2~4명. 한 물결에 4명을 넘기지 않는다. -- 남이 쓴 브랜치를 리뷰할 때 리드는 이미 새 눈이다. 그래도 렌즈가 셋을 넘으면 넓은 읽기라서 리뷰어로 나눈다. +- 크기(작음·중간·큼)는 일의 무게다. brief가 정한 것을 쓴다. 없으면: 분야 하나·파일 몇 개는 작음, 분야 둘은 중간, 분야 셋 이상이거나 공개 계약·마이그레이션·인증이 걸리면 큼. 큼은 소유자 검토가 먼저다. 리뷰어 수는 아래 표로 따로 정한다. +- 리뷰어 수는 변경 크기와 누가 고쳤나로 정한다. 렌즈 수로 정하지 않는다. + + | 경우 | 리뷰어 | + |---|---| + | 남이 쓴 변경, 바뀐 줄 300 아래 | 0명. 리드가 이미 새 눈이다. 렌즈 스킬을 직접 읽고 리뷰한다 | + | 리드(이 세션)가 고친 변경, 바뀐 줄 300 아래 | 1명. 렌즈를 모아 준다(셋 넘으면 2명) | + | 바뀐 줄 300 이상이거나 파일 10개 이상 | 렌즈를 1~3개씩 묶어 2~4명 | + + 한 물결에 4명을 넘기지 않는다. 근거: 2026-11-11 평가에서 48줄 변경을 리드 혼자 본 판(v1)과 리뷰어 셋에 나눈 판(v2)이 심은 결함을 똑같이 6/6 찾았고, 나눈 판이 토큰을 약 2.1배 썼다(claude-harness `docs/experts.md` 7절). - 기능을 고치는 사람이 그 시험도 고친다. 시험만 따로 맡기지 않는다. ## ② 렌즈 고르기