Files
claude-harness/plugins/harness/tests/test_hooks.py
T
DongHyeonka ddbfc3dcc3 feat(plugin): 하네스 플러그인과 마켓을 더한다
문제: 되돌릴 수 없는 명령 차단, 비밀 값 알림, 예측·실측 장부가 소유자
기계의 ~/.claude에만 있거나 아예 없다. 다른 기계·파생 서비스·새 프로젝트는
받을 길이 없고, 훅 코드에 이력과 리뷰도 없다.

고른 방법: 이 repo를 플러그인 마켓으로 두고 공통 플러그인 harness 하나를
싣는다(설계 harness/01-harness-design.md 11절, 결정 Q13 (c)·Q15).
- H12(PreToolUse Bash): 호스팅 원격 force push·--mirror·보호 브랜치 지우기,
  작업 폴더·/tmp 밖이나 너무 넓은 rm -r, DB·볼륨·migration 삭제를 막는다.
  셸 파서는 소유자 전역 guard_bash.py와 정의가 같은 사본이다. 사용자 전역
  설정에 guard_bash.py H12가 있으면 건너뛰어 두 번 막지 않는다.
- N4(PostToolUse Write·Edit): 비밀 값 모양을 몇 줄로 알리고 막지 않는다.
- 장부 SessionStart·Stop 훅: ~/.claude/harness/에 세션 기록 경로와 누적
  실측을 쓴다. 출력이 없어 컨텍스트 비용이 0이다.
- 스킬 estimate·retro·techdebt: 모두 모델이 부르고 발동 조건을 설명에
  문단으로 적었다(결정 Q9).
버린 대안: H12에 git reset --hard·clean·checkout -- .를 넣는 것(설계
5.1절). 이 기계 세션 기록의 Bash 명령 43,078개에서 정당한 사용이
61·32·31건이라 거짓 양성이 크다. 전역 훅을 플러그인으로 옮기는 것은
Q13대로 안정된 뒤에 한다.

위험: H12 판정이 전역 훅과 두 벌이다. 소유자 기계의 전역 훅 시험이 두
사본의 정의를 비교한다. 원격(ssh) rm은 작업 폴더를 몰라 너무 넓은
대상만 막는다.

검증:
- python3 -m unittest discover -s plugins/harness/tests: 17개 통과.
  조건을 하나씩 끈 사본 12개에서 모두 실패를 확인했다.
- 같은 판정을 이 기계 세션 기록 명령 43,078개에 돌려 5건이 막힘:
  의도한 막힘 3(desktop 작업 폴더 통째 rm 2, -p 없는 down -v 1),
  시험용 볼륨 rm 1, 당시 프로젝트 폴더를 알 수 없는 rm 1.
- claude plugin validate --strict: 마켓·플러그인 모두 통과.
- 로컬 경로 마켓으로 설치(--scope local) 뒤 새 세션에서 스킬 셋이 보이고
  SessionStart·Stop 훅이 기록을 썼다. 항상 드는 비용 약 698토큰.
2026-11-08 00:02:22 +09:00

232 lines
12 KiB
Python

"""하네스 플러그인 훅과 장부 도구 시험. 표준 라이브러리만 쓴다.
python3 -m unittest discover -s plugins/harness/tests
훅 스크립트에 Claude Code가 주는 것과 같은 JSON을 stdin으로 넣고 종료 코드와 출력을 본다.
"""
import json
import os
import subprocess
import sys
import tempfile
import unittest
SCRIPTS = os.path.join(os.path.dirname(os.path.dirname(os.path.abspath(__file__))), "scripts")
REPO = os.path.dirname(os.path.dirname(os.path.dirname(SCRIPTS)))
def run(script, args=(), payload=None, env=None, cwd=None):
full_env = {k: v for k, v in os.environ.items() if k != "CLAUDE_PROJECT_DIR"}
full_env.update(env or {})
stdin = payload if isinstance(payload, str) else json.dumps(payload or {})
return subprocess.run([sys.executable, "-I", os.path.join(SCRIPTS, script), *args], input=stdin,
capture_output=True, text=True, env=full_env, cwd=cwd, timeout=30)
def bash(command, cwd=REPO):
return {"session_id": "t", "hook_event_name": "PreToolUse", "tool_name": "Bash",
"tool_input": {"command": command}, "cwd": cwd}
class GuardBashTest(unittest.TestCase):
"""H12. 여기 사례는 판정의 대표만 둔다. 많은 사례는 소유자 기계 전역 훅 시험에 있다."""
ALWAYS = {"HARNESS_H12": "always"}
def assert_blocked(self, command, cwd=REPO):
r = run("guard_bash.py", payload=bash(command, cwd), env=self.ALWAYS)
self.assertEqual(r.returncode, 2, "막혀야 한다: %s\n%s" % (command, r.stderr))
self.assertIn("[H12", r.stderr)
def assert_passed(self, command, cwd=REPO):
r = run("guard_bash.py", payload=bash(command, cwd), env=self.ALWAYS)
self.assertEqual(r.returncode, 0, "통과해야 한다: %s\n%s" % (command, r.stderr))
def test_force_push_to_hosting_remote_is_blocked(self):
for c in ("git push --force origin main", "git push -f", "git push origin +feature/x",
"git push --force-with-lease origin claude/x", "git push --mirror origin",
"ssh build 'cd ~/w/x && git push -f origin main'"):
self.assert_blocked(c)
def test_path_remote_transport_passes_but_not_onto_main(self):
self.assert_passed("git push -q -f desktop:/home/u/w/x v3/check:refs/heads/v3/check")
self.assert_blocked("git push -f desktop:/home/u/w/x HEAD:main")
def test_normal_push_and_own_branch_delete_pass(self):
self.assert_passed("git push -u origin claude/x")
self.assert_passed("git push origin --delete review/x")
self.assert_blocked("git push origin --delete main")
def test_rm_outside_or_too_broad_is_blocked(self):
for c in ("rm -rf /", "rm -rf ~", "rm -rf .git", 'rm -rf "$UNSET/"', "rm -rf ./*",
"rm -rf ../other-repo/src", "ssh build 'rm -rf ~/workspace/some-repo'"):
self.assert_blocked(c)
def test_rm_inside_project_tmp_and_known_vars_pass(self):
for c in ("rm -rf build dist", "rm -rf /tmp/some-build-x", 'T=$(mktemp -d) && rm -rf "$T"',
"S=/tmp/x; rm -rf $S/out", 'rm -rf "${OUT:?}/build"', "ssh build 'rm -rf ~/x-logs'"):
self.assert_passed(c)
def test_data_deletion_is_blocked(self):
for c in ("psql -c 'DROP DATABASE app'", "redis-cli FLUSHALL", "./gradlew :app:flywayClean",
"ssh build 'docker compose down -v'", "docker volume rm app_db",
"kubectl delete pvc data-0"):
self.assert_blocked(c)
def test_scoped_teardown_and_data_as_text_pass(self):
for c in ("docker compose -p lane-1 -f compose.yml down -v", "docker compose down",
"kubectl delete pod web-1", "grep -rn 'DROP TABLE' docs",
"cat > V2__drop.sql <<'EOF'\nDROP TABLE old;\nEOF"):
self.assert_passed(c)
def test_skips_when_owner_global_hook_has_h12(self):
with tempfile.TemporaryDirectory() as home:
os.makedirs(os.path.join(home, ".claude"))
settings = {"hooks": {"PreToolUse": [{"matcher": "Bash", "hooks": [
{"type": "command", "command": "python3 -I /x/.claude/hooks/guard_bash.py H12"}]}]}}
with open(os.path.join(home, ".claude", "settings.json"), "w") as f:
json.dump(settings, f)
r = run("guard_bash.py", payload=bash("git push --force origin main"), env={"HOME": home})
self.assertEqual(r.returncode, 0, r.stderr)
settings["hooks"]["PreToolUse"][0]["hooks"][0]["command"] = "python3 -I /x/guard_bash.py H1"
with open(os.path.join(home, ".claude", "settings.json"), "w") as f:
json.dump(settings, f)
r = run("guard_bash.py", payload=bash("git push --force origin main"), env={"HOME": home})
self.assertEqual(r.returncode, 2, r.stderr)
def test_broken_input_does_not_block(self):
r = run("guard_bash.py", payload="{not json", env=self.ALWAYS)
self.assertEqual(r.returncode, 1)
class NudgeSecretsTest(unittest.TestCase):
def nudge(self, content, tool="Write"):
key = "content" if tool == "Write" else "new_string"
r = run("nudge_secrets.py", payload={"tool_name": tool, "tool_input": {"file_path": "a.yml", key: content}})
self.assertEqual(r.returncode, 0, r.stderr)
return json.loads(r.stdout)["hookSpecificOutput"]["additionalContext"] if r.stdout.strip() else ""
def test_real_looking_secrets_nudge_and_are_masked(self):
token = "ghp_" + "a1B2" * 9
for content in ("-----BEGIN OPENSSH PRIVATE KEY-----", "token: " + token,
'db:\n password: "s3cr3t-Value"', "AWS_KEY=AKIA" + "ABCDEFGHIJKLMNOP"):
text = self.nudge(content)
self.assertIn("[N4", text, content)
self.assertNotIn(token, text)
def test_edit_new_string_is_checked(self):
self.assertIn("[N4", self.nudge("api_key = 'q8Zr2LmP0xY'", tool="Edit"))
def test_placeholders_and_references_are_quiet(self):
for content in ("password: ${DB_PASSWORD}", "password=changeme", "api_key: <your-key>",
"AWS_KEY=AKIAIOSFODNN7EXAMPLE", "max_tokens: 4096", "TOKEN_TTL=3600",
"password = request.getParameter(\"pw\")", "secret: dummy-secret-value"):
self.assertEqual(self.nudge(content), "", content)
class LedgerTest(unittest.TestCase):
def setUp(self):
self.tmp = tempfile.TemporaryDirectory()
self.dir = self.tmp.name
self.env = {"HARNESS_STATE_DIR": os.path.join(self.dir, "state")}
self.transcript = os.path.join(self.dir, "abc.jsonl")
def tearDown(self):
self.tmp.cleanup()
def write_transcript(self, lines, mode="w"):
with open(self.transcript, mode) as f:
for line in lines:
f.write(json.dumps(line) + "\n")
@staticmethod
def assistant(msg_id, ts, out, cache_read=100, inp=10, created=5):
return {"type": "assistant", "timestamp": ts, "message": {"id": msg_id, "usage": {
"input_tokens": inp, "cache_creation_input_tokens": created, "cache_read_input_tokens": cache_read,
"output_tokens": out}}}
def test_usage_dedupes_message_ids_and_caps_gaps(self):
self.write_transcript([
{"type": "user", "timestamp": "2026-11-07T10:00:00Z"},
self.assistant("m1", "2026-11-07T10:01:00Z", 50),
self.assistant("m1", "2026-11-07T10:01:01Z", 70), # 같은 메시지가 나뉘어 기록됨: 한 번, 큰 값
self.assistant("m2", "2026-11-07T10:31:01Z", 30, cache_read=400), # 30분 빈틈은 5분만
])
sub = os.path.join(self.dir, "abc", "subagents")
os.makedirs(sub)
with open(os.path.join(sub, "agent-1.jsonl"), "w") as f:
f.write(json.dumps(self.assistant("s1", "2026-11-07T10:02:00Z", 20)) + "\n")
r = run("ledger.py", ["usage", self.transcript], env=self.env)
self.assertEqual(r.returncode, 0, r.stderr)
u = json.loads(r.stdout)
self.assertEqual((u["calls"], u["subagent_calls"], u["output_tokens"]), (3, 1, 120))
self.assertEqual(u["cache_read_tokens"], 600)
self.assertEqual(u["max_context"], 415)
self.assertEqual((u["minutes"], u["active_minutes"]), (31, 6))
def test_stop_hook_reads_incrementally_and_matches_full_scan(self):
self.write_transcript([self.assistant("m1", "2026-11-07T10:00:00Z", 10)])
hook = {"session_id": "s-1", "transcript_path": self.transcript, "cwd": self.dir}
self.assertEqual(run("ledger.py", ["stop"], payload=hook, env=self.env).returncode, 0)
self.write_transcript([self.assistant("m2", "2026-11-07T10:02:00Z", 5)], mode="a")
with open(self.transcript, "a") as f:
f.write('{"type": "assistant", "timestamp": "2026-11-07T10:0') # 쓰는 중인 줄은 다음에
self.assertEqual(run("ledger.py", ["stop"], payload=hook, env=self.env).returncode, 0)
with open(os.path.join(self.env["HARNESS_STATE_DIR"], "usage", "s-1.json")) as f:
saved = json.load(f)["summary"]
self.assertEqual((saved["calls"], saved["output_tokens"], saved["active_minutes"]), (2, 15, 2))
def test_session_start_records_and_hooks_never_print(self):
hook = {"session_id": "s-2", "transcript_path": self.transcript, "cwd": self.dir, "source": "startup"}
r = run("ledger.py", ["session-start"], payload=hook, env=self.env)
self.assertEqual((r.returncode, r.stdout), (0, ""))
with open(os.path.join(self.env["HARNESS_STATE_DIR"], "sessions.jsonl")) as f:
self.assertEqual(json.loads(f.readline())["session_id"], "s-2")
r = run("ledger.py", ["stop"], payload="{broken", env=self.env)
self.assertEqual((r.returncode, r.stdout), (0, ""))
def test_append_checks_fields_and_actual_computes_within(self):
ledger = os.path.join(self.dir, "docs", "ledger", "estimates.jsonl")
bad = {"kind": "estimate", "task": "t1", "minutes": {"p30": 1}}
r = run("ledger.py", ["append", "--ledger", ledger], payload=bad, env=self.env)
self.assertEqual(r.returncode, 1)
self.assertFalse(os.path.exists(ledger))
good = {"kind": "estimate", "task": "t1", "task_kind": "docs", "size": "small",
"minutes": {"p30": 1, "p50": 2, "p80": 10}, "basis": "시험"}
self.assertEqual(run("ledger.py", ["append", "--ledger", ledger], payload=good, env=self.env).returncode, 0)
self.write_transcript([self.assistant("m1", "2026-11-07T10:00:00Z", 10),
self.assistant("m2", "2026-11-07T10:03:00Z", 10)])
r = run("ledger.py", ["actual", "--task", "t1", "--ledger", ledger, self.transcript], env=self.env)
row = json.loads(r.stdout)
self.assertEqual((row["active_minutes"], row["within"]), (3, "p80"))
r = run("ledger.py", ["precedents", "--ledger", ledger], env=self.env)
self.assertIn("| t1 | docs | small | 1/2/10 |", r.stdout)
retro = {"kind": "retro", "task": "t1", "cause": "모름", "level": "gate"}
self.assertEqual(run("ledger.py", ["append", "--ledger", ledger], payload=retro, env=self.env).returncode, 1)
class TechdebtTest(unittest.TestCase):
def test_lists_only_added_markers(self):
with tempfile.TemporaryDirectory() as d:
def git(*a):
subprocess.run(["git", "-C", d, *a], check=True, capture_output=True)
git("init", "-q", "-b", "main")
git("config", "user.email", "t@example.com")
git("config", "user.name", "t")
git("config", "core.hooksPath", "/dev/null")
with open(os.path.join(d, "a.py"), "w") as f:
f.write("# TODO old\n")
git("add", ".")
git("commit", "-q", "-m", "base")
with open(os.path.join(d, "a.py"), "a") as f:
f.write("x = 1 # noqa\n# FIXME new\n")
r = run("techdebt.py", ["--base", "HEAD"], cwd=d)
self.assertEqual(r.returncode, 0, r.stderr)
self.assertIn("a.py:3 # FIXME new", r.stdout)
self.assertIn("a.py:2 x = 1 # noqa", r.stdout)
self.assertNotIn("TODO old", r.stdout)
if __name__ == "__main__":
unittest.main()