Files
claude-harness/docs
DongHyeonka 82a6098b9b docs(experts): 템플릿에 적용한 상태를 실제 세션으로 잰 결과를 더한다
문제: 7.2의 실제 평가는 평가용 플러그인으로 판을 만들어, 지식 스킬이
플러그인 스킬(paths가 있어도 시작 목록에 듦)로 실렸다. 실제 템플릿은
프로젝트 스킬이라 시작 비용과 발동이 다를 수 있다.

고른 방법: 백엔드에 적용한 브랜치(c611b06f)와 그 기준(relayout 123fc0bf)을
scratchpad에 복제해 실제 세션(claude -p, opus-5-5, 사용자 전역 설정 그대로,
Slack 도구 막음)으로 시작 컨텍스트 2번과 구현 과제 3번씩을 돌렸다.
결과: 시작 47,689 → 48,088(+0.8%), 규칙 검사 v1 6/8 ×3, v2 8/8 ×3, 동시
인덱스 규칙 0/3 → 3/3. v2는 호출 1.35배·출력 1.5배를 썼다. 장부 eval 줄 10개.
버린 대안: 원래 worktree 경로에서 재기. 그 경로에 걸린 프로젝트 메모리가 한
쪽에만 실려 +4.7%로 잘못 나왔다.

위험: 판마다 3번이다. 사용자 전역 설정(superpowers 등)이 양쪽에 같이 실려
절대값은 이 기계 기준이다.

검증: plugins·template 시험은 바뀐 것이 없다(문서·장부만). ledger.py compare
--task harness-v2-eval-real로 표를 다시 뽑았다.
2026-11-12 00:05:29 +09:00
..

이 repo에서 정한 것

설계 정본은 design-docs harness/01-harness-design.md다(11절 하네스 템플릿 repo, 13절 소유자 결정 2026-11-07). 이 문서는 만들면서 설계와 다르게 정했거나 설계에 없던 것만 적는다.

# 정한 것 설계와 다른 점 근거
1 H12는 force push, 범위 밖 rm -r, DB·볼륨·migration 삭제만 막는다 설계 5.1절의 git reset --hard·git clean -fdx·git checkout -- . 줄은 넣지 않았다 소유자 기계 세션 기록의 Bash 명령 43,078개에서 정당하게 쓴 경우가 각 61·32·31건이었다. 막으면 거짓 양성이 크다. 자기 작업 폴더 안에서만 효과가 있고, auto mode 분류기가 따로 본다
2 다른 기계 작업 사본 경로(host:/abs/path)로 보내는 force push는 통과(보호 브랜치를 덮거나 ref가 없으면 막음) 설계는 force push를 모두 막는다 같은 기록의 force push 25건이 모두 desktop 작업 사본으로 시험 브랜치를 옮기는 운반이었다. 공유 원격(Gitea)으로 보낸 것은 0건
3 -p <이름>을 준 compose down -v는 통과 설계는 down -v를 모두 막는다 시험 lane은 고유 -p로 띄우고 같은 -p로 볼륨까지 지우는 것이 정해진 절차다(백엔드 scripts/run-compose-runtime-smoke.sh). 막을 것은 -p 없는 기본 프로젝트(개발 데이터)다
4 kubectl delete는 pvc·pv·namespace만 설계는 kubectl delete 전부 pod 지우기는 컨트롤러가 다시 만든다(되돌릴 수 있다). 기록에 정당한 pod 재시작이 있었다
5 rm -r은 /tmp 아래를 허용, /tmp/claude-<uid> 자체는 막음 설계는 scratchpad와 /tmp/claude-<uid>만 빌드 도구가 /tmp에 만든 임시 폴더를 지우는 정당한 경우가 있었다. /tmp는 원래 버려도 되는 곳이다
6 원격(ssh '…') rm -r은 너무 넓은 대상만 막는다(~, ~/workspace/<이름> 통째, /와 그 바로 아래) 설계에 없음 원격 작업 폴더를 알 수 없다. desktop 작업 폴더 통째 지우기 2건은 막힘으로 남긴다(git worktree remove가 맞는 길)
7 플러그인 H12는 사용자 전역 설정에 guard_bash.py … H12가 있으면 건너뛴다 설계 Q13 (c)의 「두 번 돌지 않게」를 구체화 소유자 기계는 전역 훅이, 다른 기계·파생 서비스는 플러그인이 막는다. 판정 코드는 두 곳이 같고 소유자 기계의 전역 훅 시험이 비교한다
8 장부 훅은 ~/.claude/harness/에 쓰고, repo 장부(docs/ledger/estimates.jsonl)에는 스킬만 쓴다 설계 10.2절과 같음. 13절 Q11대로 repo마다 장부 훅이 repo 파일을 고치면 모든 세션의 작업 트리가 더러워진다
9 template/.claude/settings.json에 Agent deny를 넣지 않는다 설계 11.2절 그림에는 있다 13절 Q5(Agent 금지 해제)
10 회고 넛지(ledger.py nudge)는 장부 훅과 따로 SessionStart에 건다. startup일 때만, 같은 repo(worktree를 묶어)에 20시간에 한 번 한 줄 설계에 없음 장부 줄은 쌓였는데 회고가 0이었다(docs/retro/2026-11-08.md). 장부 훅은 출력 0을 지키고, 넛지는 하위 세션마다 반복되지 않게 묶었다
11 효과 판정은 개선 뒤에 예측 줄을 쓴 다른 작업 2건의 실측으로 한다(verdict 줄) 설계에 없음 개선 전에 예측한 작업은 그 개선의 영향을 받지 않는다. 1건은 우연이 크다
12 플러그인은 분야 전문가 협업 장치(lead·new-expert·harness-eval, 장부 eval)만 싣고, 분야 전문가(스킬·서브에이전트)는 각 템플릿 .claude/에 둔다 설계(v1)에 없음. v2 설계는 docs/experts.md 기준이 스택마다 다르다. 플러그인 에이전트는 harness: 아래 이름이라 템플릿 것과 둘 다 목록에 떠 설명 비용과 고르기 혼란만 는다
13 새 스킬 셋(lead·new-expert·harness-eval)도 모델 호출형이고 설명에 발동 조건을 쓴다. harness-eval은 설명에 "시킬 때만"을 쓴다 13절 Q9와 같음 비싼 평가가 저절로 돌지 않게 하는 것은 설명 문장이다. 사용자 호출 전용으로 바꾸려면 Q9를 다시 정해야 한다
14 ledger.py usage의 agent_return_chars는 Agent 도구 결과와, 대기열로 들어온 백그라운드 결과(queued_command의 <agent-message·<task-notification 머리)를 센다 설계에 없음 백그라운드 서브에이전트의 결과는 tool_result가 아니라 알림으로 온다(2026-11-11 세션 기록에서 확인). 기록 모양이 바뀌면 이 값이 0으로 떨어진다(시험이 모양을 고정한다)

확인한 것과 못 한 것

  • 이 repo 첫 작업의 시험·설치 결과는 docs/ledger/estimates.jsonl 첫 줄과 design-docs 공유 노트 h2-harness-repo.md에 있다.
  • 클라우드 세션에서 Gitea 마켓을 받는지는 보지 않았다(소유자는 데스크톱 앱 로컬 세션만 쓴다).