From 69bf158aa8b1d423454f25e58627c7aac1ddcbd0 Mon Sep 17 00:00:00 2001 From: DongHyeonka Date: Wed, 11 Nov 2026 22:35:32 +0900 Subject: [PATCH] =?UTF-8?q?chore(ledger):=20=ED=95=98=EB=84=A4=EC=8A=A4=20?= =?UTF-8?q?v2=20=EC=9E=91=EC=97=85=EC=9D=98=20=EC=8B=A4=EC=B8=A1=EC=9D=84?= =?UTF-8?q?=20=EB=82=A8=EA=B8=B4=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 문제: 착수 때 예측(작업 중 40/55/85분, 호출 100/150/230, 출력 17만/25만/36만)과 견줄 실측 줄이 없다. 고른 방법: ledger.py actual 초안에 커밋과 이유를 채운다. 시간은 p80 안 (63분). 호출·출력은 서브에이전트 16개를 더해 크게 넘었다. 예측 근거가 "서브에이전트는 세션 기록에 안 잡힌다"고 잘못 봤다(usage는 subagents/를 더한다). 메인만 보면 p50 근처다. 결과는 partial(템플릿 적용 전). 위험: 없음(장부 한 줄). 이 줄은 회고 대기로 잡힌다(why가 있다). 검증: ledger.py pending에 이 작업이 회고 대기로 보인다. --- docs/ledger/estimates.jsonl | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/ledger/estimates.jsonl b/docs/ledger/estimates.jsonl index 0fd70bc..264389d 100644 --- a/docs/ledger/estimates.jsonl +++ b/docs/ledger/estimates.jsonl @@ -10,3 +10,4 @@ {"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a865722a582a8f498", "active_minutes": 9, "calls": 120, "output_tokens": 94823, "input_tokens_total": 12686524, "start_context": 53258, "max_context": 150538, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 22963, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(검증 전에 찍히는 로그, 안 쓰이는 finder와 FQN, 평문 주소 컬럼, 커밋 묶음)과 smoke 스크립트(이전부터로 분류). start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"} {"schema": 1, "kind": "eval", "task": "harness-v2-eval", "arm": "v2", "case": "review-seeded-be", "transcript": "agent-a8011c2d297e5b3a0", "active_minutes": 12, "calls": 147, "output_tokens": 123000, "input_tokens_total": 17424562, "start_context": 53258, "max_context": 147420, "subagents": 0, "subagent_calls": 0, "agent_calls": 3, "agent_return_chars": 17021, "findings": 6, "false_findings": 0, "result": "done", "note": "데스크톱 앱 세션의 general-purpose 서브에이전트(opus-5-5)로 v2 세션을 흉내 냄: v1 지시 + lead 스킬 본문 + 지식 스킬 10개 목록(paths) + reviewer 정의. 실행이 렌즈 리뷰어 3개를 띄움(영속성+성능, 보안+관측, 계약+시험). calls·output_tokens·input_tokens_total은 자식 리뷰어 3개 기록을 더한 값, max_context는 리드(메인) 창. 심은 6/6. 덤 4건(smoke 스크립트, 목적을 못 이루는 로그, 평문 주소 컬럼, 커밋 묶음). 리드 보고 칸 채움: 렌즈 6·리뷰어 3·물결 2·라운드 1, High 이상 4건 직접 반증해 버린 것 0. start_context는 서브에이전트 창이라 실제 세션 시작 비용이 아니다", "recorded_at": "2026-11-11T22:33+09:00"} {"schema": 1, "kind": "retro", "task": "harness-v2-eval", "cause": "아키텍처 경직", "level": "architecture", "note": "과제 A(48줄, 분야 넷)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본 v1과 같은 결함 6/6을 찾고 토큰 2.08배. 렌즈 수로 리뷰어 수를 정하던 규칙을 변경 크기·작성자로 정하게 바꿈(남의 작은 변경 0명, 자기 작은 변경 1명, 큰 변경 2~4명)", "ref": "plugins/harness/skills/lead/SKILL.md ①, docs/experts.md 7.1절", "fix": "lens-small-diff", "recorded_at": "2026-11-11T22:34+09:00", "applied_at": "2026-11-11T22:34+09:00"} +{"schema": 1, "kind": "actual", "task": "w3-harness-v2", "transcript": "71b3718c-3f9d-44c5-abd9-d4d42407a77c", "minutes": 65, "active_minutes": 64, "calls": 956, "output_tokens": 1029649, "cache_read_tokens": 192547558, "max_context": 635581, "within": "p80", "result": "partial", "commits": ["cdde857", "2b3660d", "3bc3647", "bd6cbf0", "ce68d24", "7676093", "9735c33", "b2e6a5e"], "why": "시간은 p80 안(작업 중 63분). 호출 954·출력 103만은 서브에이전트 16개(조사 4, 초안 1, cold-read 1, 평가 4와 그 자식 리뷰어 6)를 더한 값이라 예측과 어긋났다. 예측 근거에 \"서브에이전트 토큰은 이 세션 기록에 안 잡힌다\"고 적었는데 ledger.py usage는 subagents/를 더한다(착수 전 조사 부족). 메인만 보면 호출 184·출력 약 24.7만으로 p50 근처. result partial: 1·2단계와 claude-harness PR까지 끝, 템플릿 적용(7)과 과제 A2·B 평가는 진행 중 PR 병합 뒤", "recorded_at": "2026-11-11T22:35+09:00"}