문제: 하네스 v2(분야 전문가 협업)를 v1과 견주려면 같은 과제를 판마다 돌린 실행을 한 줄씩 남기고 비교해야 하는데, 장부에는 예측·실측만 있다. 실측도 시간·호출·토큰뿐이라 모든 세션의 시작 비용(첫 호출 입력 토큰)과 서브에이전트가 메인에 돌려준 양(컨텍스트 비용)을 볼 수 없다. 고른 방법: - usage에 start_context(본 기록 첫 호출), subagents·subagent_output_tokens, agent_calls(Agent·Task 호출), agent_return_chars를 더한다. 반환 글자는 Agent 도구 결과와, 백그라운드 결과가 들어오는 대기열 알림 (queued_command의 <agent-message·<task-notification 머리)을 센다. 2026-11-11 세션 기록에서 백그라운드 결과가 tool_result가 아니라 알림으로 오는 것을 확인했다. - 새 줄 종류 eval(arm·case 필수)과 명령 eval(초안)·compare(과제·판별 중앙값, 마지막 판/첫 판 비율). precedents는 eval만 있는 작업을 세지 않는다. - Stop 훅이 0.2.0이 저장한 상태 파일을 이어 읽어도 깨지지 않게 새 칸은 setdefault로 채운다. - 버린 대안: eval을 actual 줄에 arm 칸으로 붙이기. 같은 작업의 판 여럿이 by_task에서 덮이고 회고 대기 계산에 섞인다. 위험: 대기열 알림 모양은 앱 내부 형식이다. 바뀌면 agent_return_chars가 조용히 줄어든다(시험이 지금 모양을 고정한다). 검증: python3 -m unittest discover -s plugins/harness/tests → 24건 통과 (알려진 실패 1). 조건을 하나씩 끈 변이 9개가 모두 시험에 걸렸다.
이 repo에서 정한 것
설계 정본은 design-docs harness/01-harness-design.md다(11절 하네스 템플릿 repo, 13절 소유자 결정 2026-11-07). 이 문서는 만들면서 설계와 다르게 정했거나 설계에 없던 것만 적는다.
| # | 정한 것 | 설계와 다른 점 | 근거 |
|---|---|---|---|
| 1 | H12는 force push, 범위 밖 rm -r, DB·볼륨·migration 삭제만 막는다 |
설계 5.1절의 git reset --hard·git clean -fdx·git checkout -- . 줄은 넣지 않았다 |
소유자 기계 세션 기록의 Bash 명령 43,078개에서 정당하게 쓴 경우가 각 61·32·31건이었다. 막으면 거짓 양성이 크다. 자기 작업 폴더 안에서만 효과가 있고, auto mode 분류기가 따로 본다 |
| 2 | 다른 기계 작업 사본 경로(host:/abs/path)로 보내는 force push는 통과(보호 브랜치를 덮거나 ref가 없으면 막음) |
설계는 force push를 모두 막는다 | 같은 기록의 force push 25건이 모두 desktop 작업 사본으로 시험 브랜치를 옮기는 운반이었다. 공유 원격(Gitea)으로 보낸 것은 0건 |
| 3 | -p <이름>을 준 compose down -v는 통과 |
설계는 down -v를 모두 막는다 |
시험 lane은 고유 -p로 띄우고 같은 -p로 볼륨까지 지우는 것이 정해진 절차다(백엔드 scripts/run-compose-runtime-smoke.sh). 막을 것은 -p 없는 기본 프로젝트(개발 데이터)다 |
| 4 | kubectl delete는 pvc·pv·namespace만 |
설계는 kubectl delete 전부 |
pod 지우기는 컨트롤러가 다시 만든다(되돌릴 수 있다). 기록에 정당한 pod 재시작이 있었다 |
| 5 | rm -r은 /tmp 아래를 허용, /tmp/claude-<uid> 자체는 막음 |
설계는 scratchpad와 /tmp/claude-<uid>만 |
빌드 도구가 /tmp에 만든 임시 폴더를 지우는 정당한 경우가 있었다. /tmp는 원래 버려도 되는 곳이다 |
| 6 | 원격(ssh '…') rm -r은 너무 넓은 대상만 막는다(~, ~/workspace/<이름> 통째, /와 그 바로 아래) |
설계에 없음 | 원격 작업 폴더를 알 수 없다. desktop 작업 폴더 통째 지우기 2건은 막힘으로 남긴다(git worktree remove가 맞는 길) |
| 7 | 플러그인 H12는 사용자 전역 설정에 guard_bash.py … H12가 있으면 건너뛴다 |
설계 Q13 (c)의 「두 번 돌지 않게」를 구체화 | 소유자 기계는 전역 훅이, 다른 기계·파생 서비스는 플러그인이 막는다. 판정 코드는 두 곳이 같고 소유자 기계의 전역 훅 시험이 비교한다 |
| 8 | 장부 훅은 ~/.claude/harness/에 쓰고, repo 장부(docs/ledger/estimates.jsonl)에는 스킬만 쓴다 |
설계 10.2절과 같음. 13절 Q11대로 repo마다 장부 | 훅이 repo 파일을 고치면 모든 세션의 작업 트리가 더러워진다 |
| 9 | template/.claude/settings.json에 Agent deny를 넣지 않는다 |
설계 11.2절 그림에는 있다 | 13절 Q5(Agent 금지 해제) |
| 10 | 회고 넛지(ledger.py nudge)는 장부 훅과 따로 SessionStart에 건다. startup일 때만, 같은 repo(worktree를 묶어)에 20시간에 한 번 한 줄 |
설계에 없음 | 장부 줄은 쌓였는데 회고가 0이었다(docs/retro/2026-11-08.md). 장부 훅은 출력 0을 지키고, 넛지는 하위 세션마다 반복되지 않게 묶었다 |
| 11 | 효과 판정은 개선 뒤에 예측 줄을 쓴 다른 작업 2건의 실측으로 한다(verdict 줄) |
설계에 없음 | 개선 전에 예측한 작업은 그 개선의 영향을 받지 않는다. 1건은 우연이 크다 |
확인한 것과 못 한 것
- 이 repo 첫 작업의 시험·설치 결과는
docs/ledger/estimates.jsonl첫 줄과 design-docs 공유 노트h2-harness-repo.md에 있다. - 클라우드 세션에서 Gitea 마켓을 받는지는 보지 않았다(소유자는 데스크톱 앱 로컬 세션만 쓴다).