문제: 첫 판 비교(과제 A: 48줄짜리 기능 커밋에 분야마다 결함 하나씩 6개를 심은 백엔드 리뷰, 판마다 2번)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 6/6을 찾고, 틀린 발견은 둘 다 0, 출력 토큰은 2.08배를 썼다. 리드 창 최대는 0.75배로 작았다. 미리 정한 기준(심은 결함 +2 이상)을 못 넘었다. 렌즈 수로 리뷰어 수를 정하던 규칙이 작은 변경에 과하다. 고른 방법: lead ①에서 리뷰어 수를 변경 크기와 누가 고쳤나로 정한다. 남이 쓴 300줄 아래 변경은 0명(리드가 이미 새 눈, 렌즈 스킬을 직접 읽음), 리드가 고친 300줄 아래 변경은 1명(렌즈가 셋 넘으면 2명), 300줄 이상이나 파일 10개 이상은 2~4명. 크기(작음·중간·큼)는 일의 무게로만 쓴다. 설계 7.1절에 결과 표와 기준 대조를, 장부에 이 작업의 estimate 줄, eval 줄 넷(v1·v2 각 둘), retro 줄(fix lens-small-diff)을 더한다. 버린 대안: v2 되돌리기. 품질은 같았고 과제가 천장이라 렌즈 리뷰의 이득을 잴 수 없었다. 변별력 있는 과제 A2·B로 다시 본다. 위험: 서브에이전트로 판을 흉내 냈다(헤드리스 인증 없음). 실제 세션의 스킬 목록·paths 발동과 다를 수 있다. 실행 수가 판마다 2번뿐이다. 검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval로 표를 다시 뽑았다.
13 lines
9.8 KiB
JSON
13 lines
9.8 KiB
JSON
{"schema": 1, "kind": "estimate", "task": "h2-harness-repo", "recorded_at": "2026-11-07T23:39+09:00", "transcript": "6c7e7c6f-76a6-4279-b283-32b5bb7e0153", "started_at": "2026-11-07T23:35:08+09:00", "base": "design-docs 34cf74e, 백엔드 22df3525, claude-harness 새 repo", "task_kind": "harness", "size": "large", "minutes": {"p30": 70, "p50": 95, "p80": 140}, "calls": {"p30": 200, "p50": 280, "p80": 400}, "output_tokens": {"p30": 250000, "p50": 350000, "p80": 500000}, "basis": "선례 h3-backend-harness 작업 중 68분·호출 270·출력 34.6만(손으로 판단한 결정 약 25, desktop 실행 3회). 이번은 결정 약 20(H12 경계, 두 번 막기, 끌 스킬, 전역 문서 줄이기, 템플릿 양식, 장부 훅 형식), desktop 실행 0, 대신 새 코드가 많다(훅 스크립트 3개와 시험 약 800줄, 템플릿 10여 파일, design-docs 문서 4곳). 그래서 h3와 비슷하게 봤다"}
|
|
{"schema": 1, "kind": "actual", "task": "h2-harness-repo", "recorded_at": "2026-11-08T10:42+09:00", "transcript": "6c7e7c6f-76a6-4279-b283-32b5bb7e0153", "minutes": 667, "active_minutes": 38, "calls": 126, "output_tokens": 193781, "cache_read_tokens": 38207413, "max_context": 465584, "within": "p30", "result": "done", "commits": ["claude-harness ddbfc3d", "claude-harness 73da706", "claude-harness e762248", "design-docs 1ac6a79", "design-docs 0c9116c", "design-docs b307eba"], "why": "작업 중 시간·호출·출력이 모두 p30보다 작다. 근거로 삼은 h3(68분)에는 desktop 게이트 실행 3회와 파일 190여 개 이동이 있었는데 이번은 desktop 실행 0이고, 큰 파일을 한 번에 쓰고 한 메시지에 도구를 여럿 불러 호출이 적었다. 벽시계가 긴 것은 공개 repo 생성이 auto mode 분류기에 막혀 소유자 확인을 약 10시간 기다렸기 때문이다(작업 중 시간에는 5분만 들어감). 다음 예측은 desktop 실행 횟수를 따로 세고, desktop이 없는 하네스·문서 일은 h1(23분)과 이번(38분)을 선례로 쓴다. 실측은 장부 커밋 직전까지이고 뒤의 커밋·보고는 들어 있지 않다"}
|
|
{"schema": 1, "kind": "estimate", "task": "harness-retro-loop", "transcript": "a6f550c2-1dc2-442d-9597-e07b82d2ac4d", "started_at": "2026-11-08T22:54:05+09:00", "base": "72078ca", "task_kind": "harness", "size": "medium", "minutes": {"p30": 30, "p50": 45, "p80": 70}, "calls": {"p30": 70, "p50": 100, "p80": 150}, "output_tokens": {"p30": 90000, "p50": 130000, "p80": 200000}, "basis": "선례 h2-harness-repo 작업 중 38분·호출 126·출력 19.4만(새 코드 약 800줄, desktop 0). 이번은 새 코드 약 200줄(ledger.py 명령, 시험), 손 판단은 위임 장부 빗나간 줄 분류 20~30줄과 형식 결정 약 5, desktop 0. 지난 4건이 모두 p30 아래라 선례 실측을 배수 없이 p50 가까이에 뒀다", "recorded_at": "2026-11-08T22:55+09:00"}
|
|
{"schema": 1, "kind": "retro", "task": "h2-harness-repo", "cause": "예측 근거 없음", "level": "architecture", "note": "선례(h3)의 desktop 실행 3회를 빼지 않았다. 4건 모두 p30 아래(실측/p50 시간 0.43)라 precedents 보정 줄과 estimate 보정 규칙을 더했다", "ref": "docs/retro/2026-11-08.md", "fix": "calib-median", "recorded_at": "2026-11-08T23:07+09:00", "applied_at": "2026-11-08T23:07+09:00"}
|
|
{"schema": 1, "kind": "actual", "task": "harness-retro-loop", "recorded_at": "2026-11-08T23:10+09:00", "transcript": "a6f550c2-1dc2-442d-9597-e07b82d2ac4d", "minutes": 16, "active_minutes": 16, "calls": 43, "output_tokens": 87654, "cache_read_tokens": 7032431, "max_context": 226136, "within": "p30", "result": "done", "commits": ["cf8c8c9", "f7e235b", "403716f"], "why": "작업 중 16분·호출 43·출력 87654로 모두 p30 아래. 선례(h2 38분) 실측을 배수 없이 p50 가까이에 뒀는데도 컸다: 위임 장부 빗나간 38줄 분류를 lessons 한 줄씩 스크립트로 뽑아 한 번에 했고, ledger.py 수정을 패치 스크립트 한 번으로 묶었다. 이번에 넣은 보정(시간 x0.43)을 썼다면 p30~p50 사이였다. 이 작업은 보정 규칙 전에 예측해 calib-median 판정에는 세지 않는다. 실측은 PR 직전까지"}
|
|
{"schema": 1, "kind": "retro", "task": "harness-retro-loop", "cause": "예측 근거 없음", "level": "architecture", "note": "선례 실측을 배수 없이 써도 p30 아래였다. 같은 치우침이라 calib-median(보정 줄과 estimate 보정 규칙)으로 묶는다", "ref": "docs/retro/2026-11-08.md", "recorded_at": "2026-11-08T23:10+09:00"}
|
|
{"schema": 1, "kind": "estimate", "task": "w3-harness-v2", "transcript": "71b3718c-3f9d-44c5-abd9-d4d42407a77c", "started_at": "2026-11-11T21:30+09:00", "base": "ce240d6", "task_kind": "harness", "size": "large", "minutes": {"p30": 40, "p50": 55, "p80": 85}, "calls": {"p30": 100, "p50": 150, "p80": 230}, "output_tokens": {"p30": 170000, "p50": 250000, "p80": 360000}, "basis": "선례 h2-harness-repo 38분·호출 126·출력 19.4만, h1 설계 22분. 이번은 조사 출처 약 30(서브에이전트), 손 판단 결정 약 30, 새 파일 약 25. 근거 값 90/130/200분·200/300/450·30만/45만/65만에 보정(0.43·0.51·0.56)을 곱함. 범위는 1·2단계와 claude-harness PR까지, 템플릿 적용 제외", "recorded_at": "2026-11-11T21:32+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v1", "case": "review-seeded-be", "transcript": "agent-a756f7273361edcbf", "active_minutes": 11, "calls": 55, "output_tokens": 53568, "input_tokens_total": 7309567, "start_context": 54213, "max_context": 190716, "subagents": 0, "subagent_calls": 0, "agent_calls": 0, "agent_return_chars": 0, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v1 세션을 흉내 냄: 세션 시작 지침·스킬 목록·에이전트 목록을 프롬프트로. 서브에이전트를 더 띄우지 않음. 심은 6/6. 덤 4건(smoke 스크립트가 옛 requestId를 읽음, 평문 주소 컬럼, 커밋에 논리 변경 다섯, repository가 JpaRepository를 상속—이전부터), 모두 코드로 참 확인. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:20+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v1", "case": "review-seeded-be", "transcript": "agent-a3645ed2d3bbf1927", "active_minutes": 11, "calls": 73, "output_tokens": 51270, "input_tokens_total": 10896101, "start_context": 54213, "max_context": 207106, "subagents": 0, "subagent_calls": 0, "agent_calls": 0, "agent_return_chars": 0, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v1 세션을 흉내 냄: 세션 시작 지침·스킬 목록·에이전트 목록을 프롬프트로. 서브에이전트를 더 띄우지 않음. 심은 6/6. 덤 3건(smoke 스크립트, 평문 주소 컬럼, 커밋 묶음). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:20+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a865722a582a8f498", "active_minutes": 9, "calls": 120, "output_tokens": 94823, "input_tokens_total": 12686524, "start_context": 53258, "max_context": 150538, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 22963, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(검증 전에 찍히는 로그, 안 쓰이는 finder와 FQN, 평문 주소 컬럼, 커밋 묶음)과 smoke 스크립트(이전부터로 분류). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"}
|
|
{"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a8011c2d297e5b3a0", "active_minutes": 12, "calls": 147, "output_tokens": 123000, "input_tokens_total": 17424562, "start_context": 53258, "max_context": 147420, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 17021, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(smoke 스크립트, 목적을 못 이루는 로그, 평문 주소 컬럼, 커밋 묶음). 리드 보고 칸 채움: 렌즈 6·리뷰어 3·물결 2·라운드 1, High 이상 4건 직접 반증해 버린 것 0. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"}
|
|
{"schema": 1, "kind": "retro", "task": "harness-v2-eval", "cause": "아키텍처 경직", "level": "architecture", "note": "과제 A(48줄, 분야 넷)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 결함 6/6을 찾고 토큰 2.08배. 렌즈 수로 리뷰어 수를 정하던 규칙을 변경 크기·작성자로 정하게 바꿈(남의 작은 변경 0명, 자기 작은 변경 1명, 큰 변경 2~4명)", "ref": "plugins/harness/skills/lead/SKILL.md ①, docs/experts.md 7.1절", "fix": "lens-small-diff", "recorded_at": "2026-11-11T22:34+09:00", "applied_at": "2026-11-11T22:34+09:00"}
|