문제: 템플릿 상태 실측(7.3)에서 분야 스킬이 목록에 떠도 부른 세션은 셋 중 하나였다. 설계 9절 F1의 "절반 아래"에 걸렸다. 프론트 구현 과제(B)는 아직 돌리지 않았다. 고른 방법: 두 템플릿 규칙에 "처음 Edit·Write 전에 Skill 도구로, 문서를 읽었어도"와 고칠 것 → 스킬 짝을 적고(백엔드 5feb5a1b, 프론트 6805ed62) 실제 세션으로 다시 쟀다. 7.4절에 결과를, 9절에 과다 호출을 볼 F7을 더했다. 장부에 eval 12줄. 버린 대안: leaf AGENTS.md마다 한 줄(파일 수십 개), 강조어(과다 호출). 위험: 프론트 과제 B는 세 판 모두 9/9라 정답률 차이를 보여 주지 못한다. 프론트 채점 검사 둘은 첫 결과를 본 뒤 넓혔다(세 판에 같게 적용). 검증: scripts/check.sh 통과, ledger.py compare --task harness-v2-eval-real로 표 값 대조.
이 repo에서 정한 것
설계 정본은 design-docs harness/01-harness-design.md다(11절 하네스 템플릿 repo, 13절 소유자 결정 2026-11-07). 이 문서는 만들면서 설계와 다르게 정했거나 설계에 없던 것만 적는다.
| # | 정한 것 | 설계와 다른 점 | 근거 |
|---|---|---|---|
| 1 | H12는 force push, 범위 밖 rm -r, DB·볼륨·migration 삭제만 막는다 |
설계 5.1절의 git reset --hard·git clean -fdx·git checkout -- . 줄은 넣지 않았다 |
소유자 기계 세션 기록의 Bash 명령 43,078개에서 정당하게 쓴 경우가 각 61·32·31건이었다. 막으면 거짓 양성이 크다. 자기 작업 폴더 안에서만 효과가 있고, auto mode 분류기가 따로 본다 |
| 2 | 다른 기계 작업 사본 경로(host:/abs/path)로 보내는 force push는 통과(보호 브랜치를 덮거나 ref가 없으면 막음) |
설계는 force push를 모두 막는다 | 같은 기록의 force push 25건이 모두 desktop 작업 사본으로 시험 브랜치를 옮기는 운반이었다. 공유 원격(Gitea)으로 보낸 것은 0건 |
| 3 | -p <이름>을 준 compose down -v는 통과 |
설계는 down -v를 모두 막는다 |
시험 lane은 고유 -p로 띄우고 같은 -p로 볼륨까지 지우는 것이 정해진 절차다(백엔드 scripts/run-compose-runtime-smoke.sh). 막을 것은 -p 없는 기본 프로젝트(개발 데이터)다 |
| 4 | kubectl delete는 pvc·pv·namespace만 |
설계는 kubectl delete 전부 |
pod 지우기는 컨트롤러가 다시 만든다(되돌릴 수 있다). 기록에 정당한 pod 재시작이 있었다 |
| 5 | rm -r은 /tmp 아래를 허용, /tmp/claude-<uid> 자체는 막음 |
설계는 scratchpad와 /tmp/claude-<uid>만 |
빌드 도구가 /tmp에 만든 임시 폴더를 지우는 정당한 경우가 있었다. /tmp는 원래 버려도 되는 곳이다 |
| 6 | 원격(ssh '…') rm -r은 너무 넓은 대상만 막는다(~, ~/workspace/<이름> 통째, /와 그 바로 아래) |
설계에 없음 | 원격 작업 폴더를 알 수 없다. desktop 작업 폴더 통째 지우기 2건은 막힘으로 남긴다(git worktree remove가 맞는 길) |
| 7 | 플러그인 H12는 사용자 전역 설정에 guard_bash.py … H12가 있으면 건너뛴다 |
설계 Q13 (c)의 「두 번 돌지 않게」를 구체화 | 소유자 기계는 전역 훅이, 다른 기계·파생 서비스는 플러그인이 막는다. 판정 코드는 두 곳이 같고 소유자 기계의 전역 훅 시험이 비교한다 |
| 8 | 장부 훅은 ~/.claude/harness/에 쓰고, repo 장부(docs/ledger/estimates.jsonl)에는 스킬만 쓴다 |
설계 10.2절과 같음. 13절 Q11대로 repo마다 장부 | 훅이 repo 파일을 고치면 모든 세션의 작업 트리가 더러워진다 |
| 9 | template/.claude/settings.json에 Agent deny를 넣지 않는다 |
설계 11.2절 그림에는 있다 | 13절 Q5(Agent 금지 해제) |
| 10 | 회고 넛지(ledger.py nudge)는 장부 훅과 따로 SessionStart에 건다. startup일 때만, 같은 repo(worktree를 묶어)에 20시간에 한 번 한 줄 |
설계에 없음 | 장부 줄은 쌓였는데 회고가 0이었다(docs/retro/2026-11-08.md). 장부 훅은 출력 0을 지키고, 넛지는 하위 세션마다 반복되지 않게 묶었다 |
| 11 | 효과 판정은 개선 뒤에 예측 줄을 쓴 다른 작업 2건의 실측으로 한다(verdict 줄) |
설계에 없음 | 개선 전에 예측한 작업은 그 개선의 영향을 받지 않는다. 1건은 우연이 크다 |
| 12 | 플러그인은 분야 전문가 협업 장치(lead·new-expert·harness-eval, 장부 eval)만 싣고, 분야 전문가(스킬·서브에이전트)는 각 템플릿 .claude/에 둔다 |
설계(v1)에 없음. v2 설계는 docs/experts.md |
기준이 스택마다 다르다. 플러그인 에이전트는 harness: 아래 이름이라 템플릿 것과 둘 다 목록에 떠 설명 비용과 고르기 혼란만 는다 |
| 13 | 새 스킬 셋(lead·new-expert·harness-eval)도 모델 호출형이고 설명에 발동 조건을 쓴다. harness-eval은 설명에 "시킬 때만"을 쓴다 |
13절 Q9와 같음 | 비싼 평가가 저절로 돌지 않게 하는 것은 설명 문장이다. 사용자 호출 전용으로 바꾸려면 Q9를 다시 정해야 한다 |
| 14 | ledger.py usage의 agent_return_chars는 Agent 도구 결과와, 대기열로 들어온 백그라운드 결과(queued_command의 <agent-message·<task-notification 머리)를 센다 |
설계에 없음 | 백그라운드 서브에이전트의 결과는 tool_result가 아니라 알림으로 온다(2026-11-11 세션 기록에서 확인). 기록 모양이 바뀌면 이 값이 0으로 떨어진다(시험이 모양을 고정한다) |
확인한 것과 못 한 것
- 이 repo 첫 작업의 시험·설치 결과는
docs/ledger/estimates.jsonl첫 줄과 design-docs 공유 노트h2-harness-repo.md에 있다. - 클라우드 세션에서 Gitea 마켓을 받는지는 보지 않았다(소유자는 데스크톱 앱 로컬 세션만 쓴다).