chore(ledger): 프론트 템플릿 상태의 실제 세션 시작 비용을 남긴다 #7

Merged
donghyeon.kang merged 2 commits from donghyeon.kang/harness-v2-experts AGit into main 2026-11-11 21:52:25 +00:00
Owner

문제: 백엔드만 실제 세션 시작 비용을 쟀다. 프론트에 지식 스킬 9개와
reviewer를 넣은 뒤의 값이 장부에 없다.

고른 방법: 프론트 main 38c0dc7d와 그 위 분야 전문가 커밋 b5e7f54b를
scratchpad에 복제해 같은 짧은 질문으로 opus-5-5 세션을 두 번씩 열고 첫 호출
입력 토큰을 eval 줄 4개로 남긴다. 47,424 → 47,891(+1.0%).

위험: 없음(장부만). 첫 측정은 v1 복제가 로컬의 낡은 main(d1b9c087)에서
떠져 버렸다.

검증: ledger.py compare --task harness-v2-eval-real에 start-context-fe 줄이 보인다.

문제: 백엔드만 실제 세션 시작 비용을 쟀다. 프론트에 지식 스킬 9개와 reviewer를 넣은 뒤의 값이 장부에 없다. 고른 방법: 프론트 main 38c0dc7d와 그 위 분야 전문가 커밋 b5e7f54b를 scratchpad에 복제해 같은 짧은 질문으로 opus-5-5 세션을 두 번씩 열고 첫 호출 입력 토큰을 eval 줄 4개로 남긴다. 47,424 → 47,891(+1.0%). 위험: 없음(장부만). 첫 측정은 v1 복제가 로컬의 낡은 main(d1b9c087)에서 떠져 버렸다. 검증: ledger.py compare --task harness-v2-eval-real에 start-context-fe 줄이 보인다.
donghyeon.kang added 1 commit 2026-11-11 19:24:02 +00:00
문제: 백엔드만 실제 세션 시작 비용을 쟀다. 프론트에 지식 스킬 9개와
reviewer를 넣은 뒤의 값이 장부에 없다.

고른 방법: 프론트 main 38c0dc7d와 그 위 분야 전문가 커밋 b5e7f54b를
scratchpad에 복제해 같은 짧은 질문으로 opus-5-5 세션을 두 번씩 열고 첫 호출
입력 토큰을 eval 줄 4개로 남긴다. 47,424 → 47,891(+1.0%).

위험: 없음(장부만). 첫 측정은 v1 복제가 로컬의 낡은 main(d1b9c087)에서
떠져 버렸다.

검증: ledger.py compare --task harness-v2-eval-real에 start-context-fe 줄이 보인다.
donghyeon.kang added 1 commit 2026-11-11 20:34:13 +00:00
문제: 템플릿 상태 실측(7.3)에서 분야 스킬이 목록에 떠도 부른 세션은 셋 중
하나였다. 설계 9절 F1의 "절반 아래"에 걸렸다. 프론트 구현 과제(B)는 아직
돌리지 않았다.

고른 방법: 두 템플릿 규칙에 "처음 Edit·Write 전에 Skill 도구로, 문서를 읽었어도"와
고칠 것 → 스킬 짝을 적고(백엔드 5feb5a1b, 프론트 6805ed62) 실제 세션으로 다시
쟀다. 7.4절에 결과를, 9절에 과다 호출을 볼 F7을 더했다. 장부에 eval 12줄.
버린 대안: leaf AGENTS.md마다 한 줄(파일 수십 개), 강조어(과다 호출).

위험: 프론트 과제 B는 세 판 모두 9/9라 정답률 차이를 보여 주지 못한다. 프론트
채점 검사 둘은 첫 결과를 본 뒤 넓혔다(세 판에 같게 적용).

검증: scripts/check.sh 통과, ledger.py compare --task harness-v2-eval-real로 표 값 대조.
donghyeon.kang merged commit 3683839a13 into main 2026-11-11 21:52:25 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/claude-harness#7