문제: 백엔드만 실제 세션 시작 비용을 쟀다. 프론트에 지식 스킬 9개와 reviewer를 넣은 뒤의 값이 장부에 없다. 고른 방법: 프론트 main 38c0dc7d와 그 위 분야 전문가 커밋 b5e7f54b를 scratchpad에 복제해 같은 짧은 질문으로 opus-5-5 세션을 두 번씩 열고 첫 호출 입력 토큰을 eval 줄 4개로 남긴다. 47,424 → 47,891(+1.0%). 위험: 없음(장부만). 첫 측정은 v1 복제가 로컬의 낡은 main(d1b9c087)에서 떠져 버렸다. 검증: ledger.py compare --task harness-v2-eval-real에 start-context-fe 줄이 보인다.
이 repo에서 정한 것
설계 정본은 design-docs harness/01-harness-design.md다(11절 하네스 템플릿 repo, 13절 소유자 결정 2026-11-07). 이 문서는 만들면서 설계와 다르게 정했거나 설계에 없던 것만 적는다.
| # | 정한 것 | 설계와 다른 점 | 근거 |
|---|---|---|---|
| 1 | H12는 force push, 범위 밖 rm -r, DB·볼륨·migration 삭제만 막는다 |
설계 5.1절의 git reset --hard·git clean -fdx·git checkout -- . 줄은 넣지 않았다 |
소유자 기계 세션 기록의 Bash 명령 43,078개에서 정당하게 쓴 경우가 각 61·32·31건이었다. 막으면 거짓 양성이 크다. 자기 작업 폴더 안에서만 효과가 있고, auto mode 분류기가 따로 본다 |
| 2 | 다른 기계 작업 사본 경로(host:/abs/path)로 보내는 force push는 통과(보호 브랜치를 덮거나 ref가 없으면 막음) |
설계는 force push를 모두 막는다 | 같은 기록의 force push 25건이 모두 desktop 작업 사본으로 시험 브랜치를 옮기는 운반이었다. 공유 원격(Gitea)으로 보낸 것은 0건 |
| 3 | -p <이름>을 준 compose down -v는 통과 |
설계는 down -v를 모두 막는다 |
시험 lane은 고유 -p로 띄우고 같은 -p로 볼륨까지 지우는 것이 정해진 절차다(백엔드 scripts/run-compose-runtime-smoke.sh). 막을 것은 -p 없는 기본 프로젝트(개발 데이터)다 |
| 4 | kubectl delete는 pvc·pv·namespace만 |
설계는 kubectl delete 전부 |
pod 지우기는 컨트롤러가 다시 만든다(되돌릴 수 있다). 기록에 정당한 pod 재시작이 있었다 |
| 5 | rm -r은 /tmp 아래를 허용, /tmp/claude-<uid> 자체는 막음 |
설계는 scratchpad와 /tmp/claude-<uid>만 |
빌드 도구가 /tmp에 만든 임시 폴더를 지우는 정당한 경우가 있었다. /tmp는 원래 버려도 되는 곳이다 |
| 6 | 원격(ssh '…') rm -r은 너무 넓은 대상만 막는다(~, ~/workspace/<이름> 통째, /와 그 바로 아래) |
설계에 없음 | 원격 작업 폴더를 알 수 없다. desktop 작업 폴더 통째 지우기 2건은 막힘으로 남긴다(git worktree remove가 맞는 길) |
| 7 | 플러그인 H12는 사용자 전역 설정에 guard_bash.py … H12가 있으면 건너뛴다 |
설계 Q13 (c)의 「두 번 돌지 않게」를 구체화 | 소유자 기계는 전역 훅이, 다른 기계·파생 서비스는 플러그인이 막는다. 판정 코드는 두 곳이 같고 소유자 기계의 전역 훅 시험이 비교한다 |
| 8 | 장부 훅은 ~/.claude/harness/에 쓰고, repo 장부(docs/ledger/estimates.jsonl)에는 스킬만 쓴다 |
설계 10.2절과 같음. 13절 Q11대로 repo마다 장부 | 훅이 repo 파일을 고치면 모든 세션의 작업 트리가 더러워진다 |
| 9 | template/.claude/settings.json에 Agent deny를 넣지 않는다 |
설계 11.2절 그림에는 있다 | 13절 Q5(Agent 금지 해제) |
| 10 | 회고 넛지(ledger.py nudge)는 장부 훅과 따로 SessionStart에 건다. startup일 때만, 같은 repo(worktree를 묶어)에 20시간에 한 번 한 줄 |
설계에 없음 | 장부 줄은 쌓였는데 회고가 0이었다(docs/retro/2026-11-08.md). 장부 훅은 출력 0을 지키고, 넛지는 하위 세션마다 반복되지 않게 묶었다 |
| 11 | 효과 판정은 개선 뒤에 예측 줄을 쓴 다른 작업 2건의 실측으로 한다(verdict 줄) |
설계에 없음 | 개선 전에 예측한 작업은 그 개선의 영향을 받지 않는다. 1건은 우연이 크다 |
| 12 | 플러그인은 분야 전문가 협업 장치(lead·new-expert·harness-eval, 장부 eval)만 싣고, 분야 전문가(스킬·서브에이전트)는 각 템플릿 .claude/에 둔다 |
설계(v1)에 없음. v2 설계는 docs/experts.md |
기준이 스택마다 다르다. 플러그인 에이전트는 harness: 아래 이름이라 템플릿 것과 둘 다 목록에 떠 설명 비용과 고르기 혼란만 는다 |
| 13 | 새 스킬 셋(lead·new-expert·harness-eval)도 모델 호출형이고 설명에 발동 조건을 쓴다. harness-eval은 설명에 "시킬 때만"을 쓴다 |
13절 Q9와 같음 | 비싼 평가가 저절로 돌지 않게 하는 것은 설명 문장이다. 사용자 호출 전용으로 바꾸려면 Q9를 다시 정해야 한다 |
| 14 | ledger.py usage의 agent_return_chars는 Agent 도구 결과와, 대기열로 들어온 백그라운드 결과(queued_command의 <agent-message·<task-notification 머리)를 센다 |
설계에 없음 | 백그라운드 서브에이전트의 결과는 tool_result가 아니라 알림으로 온다(2026-11-11 세션 기록에서 확인). 기록 모양이 바뀌면 이 값이 0으로 떨어진다(시험이 모양을 고정한다) |
확인한 것과 못 한 것
- 이 repo 첫 작업의 시험·설치 결과는
docs/ledger/estimates.jsonl첫 줄과 design-docs 공유 노트h2-harness-repo.md에 있다. - 클라우드 세션에서 Gitea 마켓을 받는지는 보지 않았다(소유자는 데스크톱 앱 로컬 세션만 쓴다).