Commit Graph
10 Commits
Author SHA1 Message Date
DongHyeonka 1e81786001 feat(redteam): 두 템플릿을 공격하는 red team 플러그인을 더한다
템플릿의 보안 결함은 거기서 나온 모든 서비스로 복제된다. 반복 가능한 red
team 장치가 없어, 공격을 사람이 매번 즉흥으로 했다.

새 플러그인 `redteam`을 더한다. harness와 역할이 달라 훅은 두지 않고(상시 실행은
컨텍스트를 오염시킨다) 요청할 때만 스킬·서브에이전트로 돈다.
- agents/ 역할 6: recon·authz·input·deps·config·frontend
- skills/redteam/ 교전 오케스트레이션(범위→정찰→공격→수집→보고→고침→재실행)
- scripts/redteam-scan.sh 핀 고정 도구 실행 래퍼(desktop), tools.lock
- scripts/finding.py 발견 정규화·검사·정렬·보고(심각도·재현·영향·고치는 법)

버린 대안:
- 룰셋·CVE 데이터 vendoring → 공개 repo 라이선스 문제(semgrep 룰은 내부용
  제한 라이선스). 도구는 런타임에 받고 룰도 그때 받는다. SAST 기본은 opengrep.
- CodeQL 기본 → 라이선스(OSS 전용 조건)로 제외, opengrep+FindSecBugs로 대체.
- 훅으로 상시 실행 → 출력이 모든 세션 컨텍스트에 들어가 오염. 그래서 opt-in.

위험·한계: tools.lock의 digest는 아직 미고정(-)이다. 첫 실행 `pin` 모드가 실제
digest를 뽑아 채운다(trivy-scan.sh의 바이너리 SHA-256과 같은 TOFU 방식). 도구
실행은 desktop·docker가 있어야 하므로, 시험은 형식·로직만 본다(실행 아님).

검증: scripts/check.sh rc=0 — redteam 18, harness 21, 템플릿 10 시험 통과,
marketplace·harness·redteam 매니페스트 validate --strict 통과.
2026-11-11 21:44:30 +09:00
donghyeon.kang ce240d66f1 Merge pull request 'feat(plugin): 회고 루프를 처음 돌리고 장부가 다음 회고를 부르게 한다' (#1) from donghyeon.kang/harness-retro-loop into main 2026-11-08 14:27:20 +00:00
DongHyeonka 435cf790d0 chore(ledger): 회고 루프 작업의 실측과 회고를 남긴다 2026-11-08 23:10:29 +09:00
DongHyeonka 403716f0f4 docs(retro): 두 장부의 첫 회고 표와 보정 숫자를 남긴다
문제: design-docs 위임 장부 55줄과 백엔드 템플릿 예측 장부 6줄이
쌓였는데 원인을 나눈 회고가 한 번도 없었다.

고른 방법: retro 스킬의 일곱 원인으로 빗나간 줄마다 원인 하나를
붙였다. 위임 장부에는 시간 예측이 없어서 「질문·위반·재작업·불일치·
소유자 개입 없이 끝난다」를 예측으로 보고, 막힘만 있는 줄은 게이트가
제 일을 한 것이라 뺐다. 결과: 빗나간 42줄 중 지시 모호 34, 예측 근거
없음 4, 착수 전 조사 부족 2, 외부 대기 2. 예측 장부 4건은 모두 p30
아래였고 실측/p50 중앙값은 시간 0.43·호출 0.52·출력 0.53이다.
H11 보고 언어 훅과 매뉴얼 빈틈 수정 1~3차는 장부 숫자로 효과를
판정했다. 다른 repo·설정에서 고칠 후보 일곱 개(C1~C7)를 적었다.
이 repo 장부에는 이 작업의 예측 줄과 h2-harness-repo의 retro 줄
(fix calib-median)을 더했다.

위험: 위임 장부의 원인은 lessons 한 줄을 읽고 붙인 것이라 세션
기록까지 다시 보지 않았다. 백엔드 장부의 retro 줄은 그 repo에 쓰지
않고 문서 7절에 더할 줄로만 두었다(범위 밖).

검증: scripts/check.sh rc=0. ledger.py pending → 회고할 줄 없음,
판정 대기 calib-median 뒤 실측 0건.
2026-11-08 23:09:32 +09:00
DongHyeonka f7e235bad7 feat(plugin): 장부가 회고 대기와 효과 판정을 세고 세션 시작에 알린다
문제: 예측·실측 장부 줄은 쌓이는데 회고한 줄이 0이다. 회고는 사람이
「주 1회」를 기억해야 돌고, 고친 뒤 효과가 없으면 되돌린다는 규칙을
적을 칸도 없다. 지난 4작업은 모두 실측이 p30 아래였는데(실측/p50
시간 중앙값 0.43), 매번 이유 한 줄만 바꿔서 치우침이 그대로 남았다.

고른 방법:
- precedents 끝에 보정 줄을 낸다: 실측/p50 중앙값(시간·호출·출력)과
  p30 아래·p80 위 건수. --ledger를 여러 번 받아 다른 repo 장부를 더한다.
  estimate 스킬에 「중앙값이 0.8 아래나 1.25 위면 세 값에 곱한다」 한 줄.
- pending은 예측 밖(p30~p80 밖이거나 why가 있음)인데 retro 줄이 없는
  작업만 보이고, 효과 판정이 없는 개선도 보인다.
- retro 줄에 fix(개선 id)·applied_at, 새 줄 verdict(effective·reverted).
  판정은 개선 뒤에 예측 줄을 쓴 다른 작업 2건의 실측이 끝나면 한다.
  개선 전에 예측한 작업은 그 개선의 영향을 받지 않아 세지 않는다.
- SessionStart에 ledger.py nudge를 따로 건다. startup일 때만, 같은
  repo(worktree를 git common dir로 묶어)에 20시간에 한 번 한 줄.
  append가 actual 줄을 쓸 때 예측 밖이면 그 자리에서 한 줄 알린다.
버린 대안: session-start 장부 훅에서 출력(장부 훅 출력 0 규칙을 깬다),
매 세션 넛지(하위 세션마다 같은 줄이 컨텍스트에 쌓인다), 별도
retro 스크립트(이미 있는 ledger.py 명령으로 충분하다).

위험: 넛지는 그 repo의 첫 세션이 하위 세션이어도 나온다. 문구에
「맡은 일이 회고가 아니면 넘긴다」를 넣었다. 다른 repo 장부에 retro
줄이 더해질 때까지 그 repo에서는 하루 한 번 넛지가 나온다.
보정 규칙은 같은 4건으로 잰 값이라 아직 효과를 모른다.

검증: scripts/check.sh rc=0(플러그인 시험 21개 OK, expected failure 1,
템플릿 시험 10개 OK, plugin validate --strict 통과). 새 조건 15개를
하나씩 끈 사본에서 LedgerTest가 15번 모두 실패했다. 백엔드 템플릿
장부에 nudge를 돌리면 「회고 안 한 빗나간 예측 3건」 한 줄이 나왔다
(상태 폴더는 scratchpad).
2026-11-08 23:09:32 +09:00
DongHyeonka cf8c8c9575 test(plugin): main checkout 안 worktree의 rm 빈틈을 알려진 실패로 둔다
문제: 이 repo를 `.claude/worktrees/<이름>` worktree에서 시험하면
GuardBashTest.test_rm_outside_or_too_broad_is_blocked가 실패한다.
H12 허용 폴더에 main checkout(git common dir의 부모)이 들어가서,
worktree 자신을 지우는 `rm -rf ./*`와 옆 worktree를 지우는
`rm -rf ../x`가 「작업 폴더 안」으로 통과한다. main checkout에서
돌리면 통과하는 시험이라 지금까지 보이지 않았다.

고른 방법: 두 사례를 따로 떼어, main checkout 안 worktree에서 돌 때만
expectedFailure로 둔다. 판정 코드는 고치지 않았다. H12 절은 소유자
기계의 전역 훅과 같이 바꿔야 하고(AGENTS.md 3번), 전역 훅은 이 작업
범위 밖이다. 버린 대안: 시험의 cwd를 main checkout으로 옮기기(빈틈을
가린다), skip(고쳐져도 알리지 않는다). expectedFailure는 고쳐지면
「뜻밖의 통과」로 시험이 실패해 표시를 지우게 만든다.

위험: worktree 세션에서 위 두 명령은 여전히 막히지 않는다.
전역 훅과 플러그인을 같이 고치는 작업이 따로 필요하다.

검증: worktree에서 python3 -m unittest discover -s plugins/harness/tests
→ OK (expected failures=1). main checkout에서는 예전처럼 통과로 돈다
(NESTED_WORKTREE가 거짓이면 데코레이터가 없다).
2026-11-08 23:08:48 +09:00
DongHyeonka 72078ca1d4 chore(ledger): 첫 작업의 예측과 실측을 남긴다
이 repo를 만든 작업(h2-harness-repo)의 착수 예측(2026-11-07 23:39)과
실측을 장부 첫 두 줄로 둔다. 작업 중 38분·호출 125·출력 19.3만으로
예측 p30(70분·200·25만)보다 작았다. 틀린 이유와 다음에 바꿀 것은 actual
줄의 why 칸에 있다.

검증: ledger.py append가 칸을 검사해 통과했고 precedents가 두 줄을
묶어 보였다.
2026-11-08 10:42:29 +09:00
DongHyeonka e762248c4e fix(template): 마켓 주소를 CLI가 쓰는 모양으로 두고 수동 설치 두 줄을 안내한다
문제: 템플릿 프로젝트를 비대화형(claude -p)으로 열면 .claude/settings.json에
적힌 마켓과 플러그인을 설치하지도 묻지도 않는다(2026-11-08 시험 프로젝트에서
확인). 또 claude plugin install --scope project가 settings.json을 다시 쓰면서
마켓 source의 "ref": "main"을 빼서, 템플릿과 설치 뒤 파일이 달라진다.

고른 방법: 템플릿의 마켓 source에서 ref를 뺀다(기본 브랜치 main과 같은 뜻).
new-project.sh 끝 안내와 README에 그 폴더에서 한 번 돌릴 두 줄
(marketplace add, install --scope project)을 적는다.
버린 대안: new-project.sh가 claude plugin을 직접 부르기. 스크립트가 사용자의
~/.claude/plugins 상태를 바꾸게 된다.

위험: 대화형 앱이 폴더를 믿을 때 설치를 묻는지는 공식 문서 설명이고 직접
보지 않았다(README에 그렇게 적음).

검증: scripts/check.sh 통과. 시험 프로젝트에서 두 줄을 돌린 뒤 claude plugin
list가 harness@claude-harness 0.1.0 project 범위 enabled를 보였고,
settings.json은 ref 한 칸 말고 내용이 같았다.
2026-11-08 10:42:02 +09:00
DongHyeonka 73da7065b0 feat(template): 새 프로젝트 뼈대와 new-project.sh를 더한다
문제: 새 프로젝트마다 루트 지침, Claude Code 설정, 검증 진입점, 비전·
문제 정의 양식, 장부를 손으로 다시 만든다. 플러그인으로는 루트 문서와
권한 deny를 나눠 줄 수 없다(플러그인 CLAUDE.md·권한은 읽히지 않는다).

고른 방법: 공통 동작은 플러그인, 프로젝트 파일은 template/ 복사로
나눈다(결정 Q15). scripts/new-project.sh가 template/을 빈 폴더에 복사하고
이름·설명·마켓 주소를 바꾼 뒤 git init까지 한다. 커밋은 하지 않는다.
- AGENTS.md 양식(40줄 이하, 결정 Q2)과 CLAUDE.md(@AGENTS.md)
- .claude/settings.json: .env deny, 마켓과 harness 플러그인 켜기.
  Agent deny는 넣지 않는다(결정 Q5)
- scripts/verify.sh: 단계(docs·unit·pr·app) 뼈대와 --on <호스트> 운반부.
  작업 트리를 패치로 옮겨 기준 커밋의 새 worktree에 적용하고 트리 해시를
  맞춘 뒤 잠금 아래에서 돌린다. push하지 않는다(설계 6.1절)
- 빈 양식: docs/vision.md, docs/problem-statement.md, docs/adr/0000-template.md
- docs/ledger/: 빈 장부와 형식 설명, .gitattributes merge=union(결정 Q11)
repo 자신의 AGENTS.md·README·docs/README.md(설계와 다르게 정한 것)와
scripts/check.sh도 같이 둔다.
버린 대안: 템플릿만(공통 훅 수정이 모든 repo 손작업), 플러그인만(루트
문서·deny를 못 준다).

위험: verify.sh의 원격 운반부는 가짜 ssh(같은 기계)로만 시험했다. 실제
desktop에서는 아직 돌리지 않았다. unit·pr·app 단계 본문은 비어 있다
(종료 코드 3).

검증: scripts/check.sh 통과(플러그인 17, 템플릿 10, validate --strict).
템플릿 시험은 이름 바꾸기, 남은 {{…}} 없음, AGENTS.md 40줄 이하,
settings의 플러그인·deny, 빈 폴더가 아니면 멈춤, verify docs, 가짜 ssh로
패치 적용·트리 해시·worktree 정리와 원격 실패(종료 코드 4)를 본다.
scratchpad에 만든 시험 프로젝트에서 같은 것을 손으로 확인했다.
2026-11-08 00:02:33 +09:00
DongHyeonka ddbfc3dcc3 feat(plugin): 하네스 플러그인과 마켓을 더한다
문제: 되돌릴 수 없는 명령 차단, 비밀 값 알림, 예측·실측 장부가 소유자
기계의 ~/.claude에만 있거나 아예 없다. 다른 기계·파생 서비스·새 프로젝트는
받을 길이 없고, 훅 코드에 이력과 리뷰도 없다.

고른 방법: 이 repo를 플러그인 마켓으로 두고 공통 플러그인 harness 하나를
싣는다(설계 harness/01-harness-design.md 11절, 결정 Q13 (c)·Q15).
- H12(PreToolUse Bash): 호스팅 원격 force push·--mirror·보호 브랜치 지우기,
  작업 폴더·/tmp 밖이나 너무 넓은 rm -r, DB·볼륨·migration 삭제를 막는다.
  셸 파서는 소유자 전역 guard_bash.py와 정의가 같은 사본이다. 사용자 전역
  설정에 guard_bash.py H12가 있으면 건너뛰어 두 번 막지 않는다.
- N4(PostToolUse Write·Edit): 비밀 값 모양을 몇 줄로 알리고 막지 않는다.
- 장부 SessionStart·Stop 훅: ~/.claude/harness/에 세션 기록 경로와 누적
  실측을 쓴다. 출력이 없어 컨텍스트 비용이 0이다.
- 스킬 estimate·retro·techdebt: 모두 모델이 부르고 발동 조건을 설명에
  문단으로 적었다(결정 Q9).
버린 대안: H12에 git reset --hard·clean·checkout -- .를 넣는 것(설계
5.1절). 이 기계 세션 기록의 Bash 명령 43,078개에서 정당한 사용이
61·32·31건이라 거짓 양성이 크다. 전역 훅을 플러그인으로 옮기는 것은
Q13대로 안정된 뒤에 한다.

위험: H12 판정이 전역 훅과 두 벌이다. 소유자 기계의 전역 훅 시험이 두
사본의 정의를 비교한다. 원격(ssh) rm은 작업 폴더를 몰라 너무 넓은
대상만 막는다.

검증:
- python3 -m unittest discover -s plugins/harness/tests: 17개 통과.
  조건을 하나씩 끈 사본 12개에서 모두 실패를 확인했다.
- 같은 판정을 이 기계 세션 기록 명령 43,078개에 돌려 5건이 막힘:
  의도한 막힘 3(desktop 작업 폴더 통째 rm 2, -p 없는 down -v 1),
  시험용 볼륨 rm 1, 당시 프로젝트 폴더를 알 수 없는 rm 1.
- claude plugin validate --strict: 마켓·플러그인 모두 통과.
- 로컬 경로 마켓으로 설치(--scope local) 뒤 새 세션에서 스킬 셋이 보이고
  SessionStart·Stop 훅이 기록을 썼다. 항상 드는 비용 약 698토큰.
2026-11-08 00:02:22 +09:00