Files
claude-harness/plugins/redteam/tests/test_redteam.py
T
DongHyeonka 1e81786001 feat(redteam): 두 템플릿을 공격하는 red team 플러그인을 더한다
템플릿의 보안 결함은 거기서 나온 모든 서비스로 복제된다. 반복 가능한 red
team 장치가 없어, 공격을 사람이 매번 즉흥으로 했다.

새 플러그인 `redteam`을 더한다. harness와 역할이 달라 훅은 두지 않고(상시 실행은
컨텍스트를 오염시킨다) 요청할 때만 스킬·서브에이전트로 돈다.
- agents/ 역할 6: recon·authz·input·deps·config·frontend
- skills/redteam/ 교전 오케스트레이션(범위→정찰→공격→수집→보고→고침→재실행)
- scripts/redteam-scan.sh 핀 고정 도구 실행 래퍼(desktop), tools.lock
- scripts/finding.py 발견 정규화·검사·정렬·보고(심각도·재현·영향·고치는 법)

버린 대안:
- 룰셋·CVE 데이터 vendoring → 공개 repo 라이선스 문제(semgrep 룰은 내부용
  제한 라이선스). 도구는 런타임에 받고 룰도 그때 받는다. SAST 기본은 opengrep.
- CodeQL 기본 → 라이선스(OSS 전용 조건)로 제외, opengrep+FindSecBugs로 대체.
- 훅으로 상시 실행 → 출력이 모든 세션 컨텍스트에 들어가 오염. 그래서 opt-in.

위험·한계: tools.lock의 digest는 아직 미고정(-)이다. 첫 실행 `pin` 모드가 실제
digest를 뽑아 채운다(trivy-scan.sh의 바이너리 SHA-256과 같은 TOFU 방식). 도구
실행은 desktop·docker가 있어야 하므로, 시험은 형식·로직만 본다(실행 아님).

검증: scripts/check.sh rc=0 — redteam 18, harness 21, 템플릿 10 시험 통과,
marketplace·harness·redteam 매니페스트 validate --strict 통과.
2026-11-11 21:44:30 +09:00

155 lines
6.3 KiB
Python

"""redteam 플러그인 시험. 표준 라이브러리만 쓴다.
python3 -m unittest discover -s plugins/redteam/tests
finding.py의 정규화·검사·정렬·보고 로직과, tools.lock·redteam-scan.sh의 형식을 본다.
"""
import json
import os
import subprocess
import sys
import tempfile
import unittest
PLUGIN = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
SCRIPTS = os.path.join(PLUGIN, "scripts")
sys.path.insert(0, SCRIPTS)
import finding # noqa: E402
def good(**over):
f = {"id": "BE-AUTHZ-001", "severity": "high", "target": "backend", "category": "authz",
"title": "관리 엔드포인트 인증 없음", "impact": "누구나 설정을 본다", "fix": "인증을 건다"}
f.update(over)
return f
class ValidateTest(unittest.TestCase):
def test_good_passes(self):
self.assertEqual(finding.validate_one(good()), [])
def test_missing_required(self):
f = good()
del f["impact"]
self.assertTrue(any("impact" in e for e in finding.validate_one(f)))
def test_bad_severity(self):
self.assertTrue(any("severity" in e for e in finding.validate_one(good(severity="urgent"))))
def test_bad_target_category_status(self):
self.assertTrue(finding.validate_one(good(target="server")))
self.assertTrue(finding.validate_one(good(category="xss")))
self.assertTrue(finding.validate_one(good(status="closed")))
def test_default_status_open_ok(self):
f = good()
self.assertNotIn("status", f)
self.assertEqual(finding.validate_one(f), [])
def test_duplicate_id_is_error(self):
errs = finding.validate_all([good(), good(title="다른 것")])
self.assertTrue(any("중복" in e for e in errs))
def test_non_dict(self):
self.assertTrue(finding.validate_one("x"))
class SortTest(unittest.TestCase):
def test_severity_order(self):
items = [good(id="a", severity="low"), good(id="b", severity="critical"),
good(id="c", severity="medium")]
order = [f["id"] for f in finding.sort_findings(items)]
self.assertEqual(order, ["b", "c", "a"])
def test_unknown_severity_last(self):
items = [good(id="x", severity="weird"), good(id="y", severity="info")]
order = [f["id"] for f in finding.sort_findings(items)]
self.assertEqual(order, ["y", "x"])
def test_counts_open_only(self):
items = [good(severity="high"), good(id="2", severity="high", status="fixed")]
self.assertEqual(finding.counts(items)["high"], 2)
self.assertEqual(finding.counts(items, only_open=True)["high"], 1)
class ReportTest(unittest.TestCase):
def test_markdown_has_repro_impact_fix(self):
md = finding.to_markdown([good(repro="1. curl ...\n2. 200 OK")])
self.assertIn("재현 절차", md)
self.assertIn("영향:", md)
self.assertIn("고치는 법:", md)
self.assertIn("curl", md)
def test_markdown_orders_critical_first(self):
md = finding.to_markdown([good(id="low1", severity="low"), good(id="crit1", severity="critical")])
self.assertLess(md.index("crit1"), md.index("low1"))
class CliTest(unittest.TestCase):
def run_cli(self, *args, findings=None):
with tempfile.NamedTemporaryFile("w", suffix=".jsonl", delete=False, encoding="utf-8") as fh:
for f in (findings or []):
fh.write(json.dumps(f, ensure_ascii=False) + "\n")
path = fh.name
try:
return subprocess.run([sys.executable, "-I", os.path.join(SCRIPTS, "finding.py"), args[0], path, *args[1:]],
capture_output=True, text=True, timeout=30)
finally:
os.unlink(path)
def test_validate_rc(self):
self.assertEqual(self.run_cli("validate", findings=[good()]).returncode, 0)
self.assertEqual(self.run_cli("validate", findings=[good(severity="x")]).returncode, 1)
def test_summary_rc_blocks_on_high(self):
self.assertEqual(self.run_cli("summary", findings=[good(severity="high")]).returncode, 1)
self.assertEqual(self.run_cli("summary", findings=[good(severity="low")]).returncode, 0)
# fixed high는 막지 않는다
self.assertEqual(self.run_cli("summary", findings=[good(severity="high", status="fixed")]).returncode, 0)
def test_report_runs(self):
r = self.run_cli("report", findings=[good()])
self.assertEqual(r.returncode, 0)
self.assertIn("BE-AUTHZ-001", r.stdout)
class ToolsLockTest(unittest.TestCase):
"""tools.lock: 주석·빈 줄 빼고 모든 줄이 `name image:tag digest` 3칸. digest는 sha256: 또는 '-'(미고정)."""
def test_lock_well_formed(self):
path = os.path.join(SCRIPTS, "tools.lock")
self.assertTrue(os.path.exists(path), "tools.lock 없음")
with open(path, encoding="utf-8") as fh:
lines = [l.rstrip("\n") for l in fh]
tools = 0
for n, line in enumerate(lines, 1):
s = line.strip()
if not s or s.startswith("#"):
continue
parts = s.split()
self.assertEqual(len(parts), 3, "tools.lock:%d 칸이 3개가 아님: %r" % (n, line))
name, ref, digest = parts
self.assertIn(":", ref, "tools.lock:%d 이미지에 태그가 없음: %r" % (n, ref))
self.assertTrue(digest == "-" or digest.startswith("sha256:"),
"tools.lock:%d digest 형식: %r" % (n, digest))
tools += 1
self.assertGreaterEqual(tools, 5, "도구가 너무 적다")
class ScanScriptTest(unittest.TestCase):
def test_bash_syntax(self):
path = os.path.join(SCRIPTS, "redteam-scan.sh")
self.assertTrue(os.path.exists(path), "redteam-scan.sh 없음")
r = subprocess.run(["bash", "-n", path], capture_output=True, text=True, timeout=30)
self.assertEqual(r.returncode, 0, "bash -n 실패:\n" + r.stderr)
def test_help_lists_modes(self):
path = os.path.join(SCRIPTS, "redteam-scan.sh")
r = subprocess.run(["bash", path, "--help"], capture_output=True, text=True, timeout=30)
for mode in ("secrets", "sast", "deps", "config", "dast-baseline"):
self.assertIn(mode, r.stdout + r.stderr, "help에 모드 없음: %s" % mode)
if __name__ == "__main__":
unittest.main()