chore(ledger): 프론트 템플릿 상태의 실제 세션 시작 비용을 남긴다
문제: 백엔드만 실제 세션 시작 비용을 쟀다. 프론트에 지식 스킬 9개와 reviewer를 넣은 뒤의 값이 장부에 없다. 고른 방법: 프론트 main 38c0dc7d와 그 위 분야 전문가 커밋 b5e7f54b를 scratchpad에 복제해 같은 짧은 질문으로 opus-5-5 세션을 두 번씩 열고 첫 호출 입력 토큰을 eval 줄 4개로 남긴다. 47,424 → 47,891(+1.0%). 위험: 없음(장부만). 첫 측정은 v1 복제가 로컬의 낡은 main(d1b9c087)에서 떠져 버렸다. 검증: ledger.py compare --task harness-v2-eval-real에 start-context-fe 줄이 보인다.
This commit is contained in:
@@ -45,3 +45,7 @@
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 1, "active_minutes": 28, "calls": 214, "output_tokens": 183616, "input_tokens_total": 51734893, "start_context": 49918, "max_context": 425866, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['slack-briefing']. 비용 $18.782086799999995", "recorded_at": "2026-11-12T00:05+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 2, "active_minutes": 20, "calls": 113, "output_tokens": 99475, "input_tokens_total": 29713150, "start_context": 49919, "max_context": 411491, "subagents": 0, "agent_calls": 0, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 ['be-persistence', 'be-api-contract', 'slack-briefing']. 비용 $10.961340399999997", "recorded_at": "2026-11-12T00:05+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "impl-priority-real-be", "run": 3, "active_minutes": 22, "calls": 257, "output_tokens": 179053, "input_tokens_total": 64290729, "start_context": 49919, "max_context": 416710, "subagents": 1, "agent_calls": 1, "findings": 8, "false_findings": null, "note": "실제 템플릿 상태 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로, Slack 도구 막음). v1 = relayout 123fc0bf, v2 = c611b06f(프로젝트 be-* 스킬·reviewer·expert-skills 규칙). repo 규칙 검사 8개 중 통과 8, 놓친 것 []. 부른 스킬 []. 비용 $None (40분 제한에 걸려 결과 JSON 없음, 파일로 채점)", "recorded_at": "2026-11-12T00:05+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-fe", "run": 1, "active_minutes": 0, "start_context": 47425, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 12e7113f. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-fe", "run": 1, "active_minutes": 0, "start_context": 47891, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 19891dbb. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v1", "case": "start-context-fe", "run": 2, "active_minutes": 0, "start_context": 47424, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 04328a44. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"}
|
||||
{"schema": 1, "kind": "eval", "task": "harness-v2-eval-real", "arm": "v2", "case": "start-context-fe", "run": 2, "active_minutes": 0, "start_context": 47891, "note": "실제 세션(claude -p, opus-5-5) 첫 호출 입력 토큰. v1 = 프론트 main 38c0dc7d, v2 = 그 위 b5e7f54b. 둘 다 scratchpad 복제. 세션 1d028a6d. fe-* 9개는 시작 목록에 없음", "recorded_at": "2026-11-12T00:08+09:00"}
|
||||
|
||||
Reference in New Issue
Block a user