Files
claude-harness/docs
DongHyeonka b2e6a5ea7f feat(lead): 첫 평가 결과로 리뷰어 수를 변경 크기와 작성자로 정한다
문제: 첫 판 비교(과제 A: 48줄짜리 기능 커밋에 분야마다 결함 하나씩 6개를
심은 백엔드 리뷰, 판마다 2번)에서 렌즈 리뷰어 셋에 나눈 v2가 혼자 본
v1과 같은 6/6을 찾고, 틀린 발견은 둘 다 0, 출력 토큰은 2.08배를 썼다.
리드 창 최대는 0.75배로 작았다. 미리 정한 기준(심은 결함 +2 이상)을
못 넘었다. 렌즈 수로 리뷰어 수를 정하던 규칙이 작은 변경에 과하다.

고른 방법: lead ①에서 리뷰어 수를 변경 크기와 누가 고쳤나로 정한다.
남이 쓴 300줄 아래 변경은 0명(리드가 이미 새 눈, 렌즈 스킬을 직접 읽음),
리드가 고친 300줄 아래 변경은 1명(렌즈가 셋 넘으면 2명), 300줄 이상이나
파일 10개 이상은 2~4명. 크기(작음·중간·큼)는 일의 무게로만 쓴다.
설계 7.1절에 결과 표와 기준 대조를, 장부에 이 작업의 estimate 줄,
eval 줄 넷(v1·v2 각 둘), retro 줄(fix lens-small-diff)을 더한다.
버린 대안: v2 되돌리기. 품질은 같았고 과제가 천장이라 렌즈 리뷰의
이득을 잴 수 없었다. 변별력 있는 과제 A2·B로 다시 본다.

위험: 서브에이전트로 판을 흉내 냈다(헤드리스 인증 없음). 실제 세션의
스킬 목록·paths 발동과 다를 수 있다. 실행 수가 판마다 2번뿐이다.

검증: scripts/check.sh 통과. ledger.py compare --task harness-v2-eval로
표를 다시 뽑았다.
2026-11-11 22:34:50 +09:00
..

이 repo에서 정한 것

설계 정본은 design-docs harness/01-harness-design.md다(11절 하네스 템플릿 repo, 13절 소유자 결정 2026-11-07). 이 문서는 만들면서 설계와 다르게 정했거나 설계에 없던 것만 적는다.

# 정한 것 설계와 다른 점 근거
1 H12는 force push, 범위 밖 rm -r, DB·볼륨·migration 삭제만 막는다 설계 5.1절의 git reset --hard·git clean -fdx·git checkout -- . 줄은 넣지 않았다 소유자 기계 세션 기록의 Bash 명령 43,078개에서 정당하게 쓴 경우가 각 61·32·31건이었다. 막으면 거짓 양성이 크다. 자기 작업 폴더 안에서만 효과가 있고, auto mode 분류기가 따로 본다
2 다른 기계 작업 사본 경로(host:/abs/path)로 보내는 force push는 통과(보호 브랜치를 덮거나 ref가 없으면 막음) 설계는 force push를 모두 막는다 같은 기록의 force push 25건이 모두 desktop 작업 사본으로 시험 브랜치를 옮기는 운반이었다. 공유 원격(Gitea)으로 보낸 것은 0건
3 -p <이름>을 준 compose down -v는 통과 설계는 down -v를 모두 막는다 시험 lane은 고유 -p로 띄우고 같은 -p로 볼륨까지 지우는 것이 정해진 절차다(백엔드 scripts/run-compose-runtime-smoke.sh). 막을 것은 -p 없는 기본 프로젝트(개발 데이터)다
4 kubectl delete는 pvc·pv·namespace만 설계는 kubectl delete 전부 pod 지우기는 컨트롤러가 다시 만든다(되돌릴 수 있다). 기록에 정당한 pod 재시작이 있었다
5 rm -r은 /tmp 아래를 허용, /tmp/claude-<uid> 자체는 막음 설계는 scratchpad와 /tmp/claude-<uid>만 빌드 도구가 /tmp에 만든 임시 폴더를 지우는 정당한 경우가 있었다. /tmp는 원래 버려도 되는 곳이다
6 원격(ssh '…') rm -r은 너무 넓은 대상만 막는다(~, ~/workspace/<이름> 통째, /와 그 바로 아래) 설계에 없음 원격 작업 폴더를 알 수 없다. desktop 작업 폴더 통째 지우기 2건은 막힘으로 남긴다(git worktree remove가 맞는 길)
7 플러그인 H12는 사용자 전역 설정에 guard_bash.py … H12가 있으면 건너뛴다 설계 Q13 (c)의 「두 번 돌지 않게」를 구체화 소유자 기계는 전역 훅이, 다른 기계·파생 서비스는 플러그인이 막는다. 판정 코드는 두 곳이 같고 소유자 기계의 전역 훅 시험이 비교한다
8 장부 훅은 ~/.claude/harness/에 쓰고, repo 장부(docs/ledger/estimates.jsonl)에는 스킬만 쓴다 설계 10.2절과 같음. 13절 Q11대로 repo마다 장부 훅이 repo 파일을 고치면 모든 세션의 작업 트리가 더러워진다
9 template/.claude/settings.json에 Agent deny를 넣지 않는다 설계 11.2절 그림에는 있다 13절 Q5(Agent 금지 해제)
10 회고 넛지(ledger.py nudge)는 장부 훅과 따로 SessionStart에 건다. startup일 때만, 같은 repo(worktree를 묶어)에 20시간에 한 번 한 줄 설계에 없음 장부 줄은 쌓였는데 회고가 0이었다(docs/retro/2026-11-08.md). 장부 훅은 출력 0을 지키고, 넛지는 하위 세션마다 반복되지 않게 묶었다
11 효과 판정은 개선 뒤에 예측 줄을 쓴 다른 작업 2건의 실측으로 한다(verdict 줄) 설계에 없음 개선 전에 예측한 작업은 그 개선의 영향을 받지 않는다. 1건은 우연이 크다
12 플러그인은 분야 전문가 협업 장치(lead·new-expert·harness-eval, 장부 eval)만 싣고, 분야 전문가(스킬·서브에이전트)는 각 템플릿 .claude/에 둔다 설계(v1)에 없음. v2 설계는 docs/experts.md 기준이 스택마다 다르다. 플러그인 에이전트는 harness: 아래 이름이라 템플릿 것과 둘 다 목록에 떠 설명 비용과 고르기 혼란만 는다
13 새 스킬 셋(lead·new-expert·harness-eval)도 모델 호출형이고 설명에 발동 조건을 쓴다. harness-eval은 설명에 "시킬 때만"을 쓴다 13절 Q9와 같음 비싼 평가가 저절로 돌지 않게 하는 것은 설명 문장이다. 사용자 호출 전용으로 바꾸려면 Q9를 다시 정해야 한다
14 ledger.py usage의 agent_return_chars는 Agent 도구 결과와, 대기열로 들어온 백그라운드 결과(queued_command의 <agent-message·<task-notification 머리)를 센다 설계에 없음 백그라운드 서브에이전트의 결과는 tool_result가 아니라 알림으로 온다(2026-11-11 세션 기록에서 확인). 기록 모양이 바뀌면 이 값이 0으로 떨어진다(시험이 모양을 고정한다)

확인한 것과 못 한 것

  • 이 repo 첫 작업의 시험·설치 결과는 docs/ledger/estimates.jsonl 첫 줄과 design-docs 공유 노트 h2-harness-repo.md에 있다.
  • 클라우드 세션에서 Gitea 마켓을 받는지는 보지 않았다(소유자는 데스크톱 앱 로컬 세션만 쓴다).