From b67d5343c4f53a3720f4ca8ecf8f55a62f02c575 Mon Sep 17 00:00:00 2001 From: DongHyeonka Date: Thu, 12 Nov 2026 04:24:02 +0900 Subject: [PATCH] =?UTF-8?q?chore(ledger):=20=ED=94=84=EB=A1=A0=ED=8A=B8=20?= =?UTF-8?q?=ED=85=9C=ED=94=8C=EB=A6=BF=20=EC=83=81=ED=83=9C=EC=9D=98=20?= =?UTF-8?q?=EC=8B=A4=EC=A0=9C=20=EC=84=B8=EC=85=98=20=EC=8B=9C=EC=9E=91=20?= =?UTF-8?q?=EB=B9=84=EC=9A=A9=EC=9D=84=20=EB=82=A8=EA=B8=B4=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 문제: 백엔드만 실제 세션 시작 비용을 쟀다. 프론트에 지식 스킬 9개와 reviewer를 넣은 뒤의 값이 장부에 없다. 고른 방법: 프론트 main 38c0dc7d와 그 위 분야 전문가 커밋 b5e7f54b를 scratchpad에 복제해 같은 짧은 질문으로 opus-5-5 세션을 두 번씩 열고 첫 호출 입력 토큰을 eval 줄 4개로 남긴다. 47,424 → 47,891(+1.0%). 위험: 없음(장부만). 첫 측정은 v1 복제가 로컬의 낡은 main(d1b9c087)에서 떠져 버렸다. 검증: ledger.py compare --task harness-v2-eval-real에 start-context-fe 줄이 보인다. --- docs/ledger/estimates.jsonl | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/docs/ledger/estimates.jsonl b/docs/ledger/estimates.jsonl index a29fc66..4117fcd 100644 --- a/docs/ledger/estimates.jsonl +++ b/docs/ledger/estimates.jsonl @@ -45,3 +45,7 @@ {"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 1, "active_minutes": 28, "calls": 214, "output_tokens": 183616, "input_tokens_total": 51734893, "start_context": 49918, "max_context": 425866, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['slack-briefing']. 비용 $18.782086799999995", "recorded_at": "2026-11-12T00:05+09:00"} {"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 2, "active_minutes": 20, "calls": 113, "output_tokens": 99475, "input_tokens_total": 29713150, "start_context": 49919, "max_context": 411491, "subagents": 0, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['be-persistence', 'be-api-contract', 'slack-briefing']. 비용 $10.961340399999997", "recorded_at": "2026-11-12T00:05+09:00"} {"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 3, "active_minutes": 22, "calls": 257, "output_tokens": 179053, "input_tokens_total": 64290729, "start_context": 49919, "max_context": 416710, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 []. 비용 $None (40분 제한에 걸려 결과 JSON 없음, 파일로 채점)", "recorded_at": "2026-11-12T00:05+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-fe", "run": 1, "active_minutes": 0, "start_context": 47425, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 12e7113f. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-fe", "run": 1, "active_minutes": 0, "start_context": 47891, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 19891dbb. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-fe", "run": 2, "active_minutes": 0, "start_context": 47424, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 04328a44. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"} +{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-fe", "run": 2, "active_minutes": 0, "start_context": 47891, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 1d028a6d. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"}