템플릿의 보안 결함은 거기서 나온 모든 서비스로 복제된다. 반복 가능한 red team 장치가 없어, 공격을 사람이 매번 즉흥으로 했다. 새 플러그인 `redteam`을 더한다. harness와 역할이 달라 훅은 두지 않고(상시 실행은 컨텍스트를 오염시킨다) 요청할 때만 스킬·서브에이전트로 돈다. - agents/ 역할 6: recon·authz·input·deps·config·frontend - skills/redteam/ 교전 오케스트레이션(범위→정찰→공격→수집→보고→고침→재실행) - scripts/redteam-scan.sh 핀 고정 도구 실행 래퍼(desktop), tools.lock - scripts/finding.py 발견 정규화·검사·정렬·보고(심각도·재현·영향·고치는 법) 버린 대안: - 룰셋·CVE 데이터 vendoring → 공개 repo 라이선스 문제(semgrep 룰은 내부용 제한 라이선스). 도구는 런타임에 받고 룰도 그때 받는다. SAST 기본은 opengrep. - CodeQL 기본 → 라이선스(OSS 전용 조건)로 제외, opengrep+FindSecBugs로 대체. - 훅으로 상시 실행 → 출력이 모든 세션 컨텍스트에 들어가 오염. 그래서 opt-in. 위험·한계: tools.lock의 digest는 아직 미고정(-)이다. 첫 실행 `pin` 모드가 실제 digest를 뽑아 채운다(trivy-scan.sh의 바이너리 SHA-256과 같은 TOFU 방식). 도구 실행은 desktop·docker가 있어야 하므로, 시험은 형식·로직만 본다(실행 아님). 검증: scripts/check.sh rc=0 — redteam 18, harness 21, 템플릿 10 시험 통과, marketplace·harness·redteam 매니페스트 validate --strict 통과.
155 lines
6.3 KiB
Python
155 lines
6.3 KiB
Python
"""redteam 플러그인 시험. 표준 라이브러리만 쓴다.
|
|
|
|
python3 -m unittest discover -s plugins/redteam/tests
|
|
|
|
finding.py의 정규화·검사·정렬·보고 로직과, tools.lock·redteam-scan.sh의 형식을 본다.
|
|
"""
|
|
import json
|
|
import os
|
|
import subprocess
|
|
import sys
|
|
import tempfile
|
|
import unittest
|
|
|
|
PLUGIN = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
|
SCRIPTS = os.path.join(PLUGIN, "scripts")
|
|
sys.path.insert(0, SCRIPTS)
|
|
import finding # noqa: E402
|
|
|
|
|
|
def good(**over):
|
|
f = {"id": "BE-AUTHZ-001", "severity": "high", "target": "backend", "category": "authz",
|
|
"title": "관리 엔드포인트 인증 없음", "impact": "누구나 설정을 본다", "fix": "인증을 건다"}
|
|
f.update(over)
|
|
return f
|
|
|
|
|
|
class ValidateTest(unittest.TestCase):
|
|
def test_good_passes(self):
|
|
self.assertEqual(finding.validate_one(good()), [])
|
|
|
|
def test_missing_required(self):
|
|
f = good()
|
|
del f["impact"]
|
|
self.assertTrue(any("impact" in e for e in finding.validate_one(f)))
|
|
|
|
def test_bad_severity(self):
|
|
self.assertTrue(any("severity" in e for e in finding.validate_one(good(severity="urgent"))))
|
|
|
|
def test_bad_target_category_status(self):
|
|
self.assertTrue(finding.validate_one(good(target="server")))
|
|
self.assertTrue(finding.validate_one(good(category="xss")))
|
|
self.assertTrue(finding.validate_one(good(status="closed")))
|
|
|
|
def test_default_status_open_ok(self):
|
|
f = good()
|
|
self.assertNotIn("status", f)
|
|
self.assertEqual(finding.validate_one(f), [])
|
|
|
|
def test_duplicate_id_is_error(self):
|
|
errs = finding.validate_all([good(), good(title="다른 것")])
|
|
self.assertTrue(any("중복" in e for e in errs))
|
|
|
|
def test_non_dict(self):
|
|
self.assertTrue(finding.validate_one("x"))
|
|
|
|
|
|
class SortTest(unittest.TestCase):
|
|
def test_severity_order(self):
|
|
items = [good(id="a", severity="low"), good(id="b", severity="critical"),
|
|
good(id="c", severity="medium")]
|
|
order = [f["id"] for f in finding.sort_findings(items)]
|
|
self.assertEqual(order, ["b", "c", "a"])
|
|
|
|
def test_unknown_severity_last(self):
|
|
items = [good(id="x", severity="weird"), good(id="y", severity="info")]
|
|
order = [f["id"] for f in finding.sort_findings(items)]
|
|
self.assertEqual(order, ["y", "x"])
|
|
|
|
def test_counts_open_only(self):
|
|
items = [good(severity="high"), good(id="2", severity="high", status="fixed")]
|
|
self.assertEqual(finding.counts(items)["high"], 2)
|
|
self.assertEqual(finding.counts(items, only_open=True)["high"], 1)
|
|
|
|
|
|
class ReportTest(unittest.TestCase):
|
|
def test_markdown_has_repro_impact_fix(self):
|
|
md = finding.to_markdown([good(repro="1. curl ...\n2. 200 OK")])
|
|
self.assertIn("재현 절차", md)
|
|
self.assertIn("영향:", md)
|
|
self.assertIn("고치는 법:", md)
|
|
self.assertIn("curl", md)
|
|
|
|
def test_markdown_orders_critical_first(self):
|
|
md = finding.to_markdown([good(id="low1", severity="low"), good(id="crit1", severity="critical")])
|
|
self.assertLess(md.index("crit1"), md.index("low1"))
|
|
|
|
|
|
class CliTest(unittest.TestCase):
|
|
def run_cli(self, *args, findings=None):
|
|
with tempfile.NamedTemporaryFile("w", suffix=".jsonl", delete=False, encoding="utf-8") as fh:
|
|
for f in (findings or []):
|
|
fh.write(json.dumps(f, ensure_ascii=False) + "\n")
|
|
path = fh.name
|
|
try:
|
|
return subprocess.run([sys.executable, "-I", os.path.join(SCRIPTS, "finding.py"), args[0], path, *args[1:]],
|
|
capture_output=True, text=True, timeout=30)
|
|
finally:
|
|
os.unlink(path)
|
|
|
|
def test_validate_rc(self):
|
|
self.assertEqual(self.run_cli("validate", findings=[good()]).returncode, 0)
|
|
self.assertEqual(self.run_cli("validate", findings=[good(severity="x")]).returncode, 1)
|
|
|
|
def test_summary_rc_blocks_on_high(self):
|
|
self.assertEqual(self.run_cli("summary", findings=[good(severity="high")]).returncode, 1)
|
|
self.assertEqual(self.run_cli("summary", findings=[good(severity="low")]).returncode, 0)
|
|
# fixed high는 막지 않는다
|
|
self.assertEqual(self.run_cli("summary", findings=[good(severity="high", status="fixed")]).returncode, 0)
|
|
|
|
def test_report_runs(self):
|
|
r = self.run_cli("report", findings=[good()])
|
|
self.assertEqual(r.returncode, 0)
|
|
self.assertIn("BE-AUTHZ-001", r.stdout)
|
|
|
|
|
|
class ToolsLockTest(unittest.TestCase):
|
|
"""tools.lock: 주석·빈 줄 빼고 모든 줄이 `name image:tag digest` 3칸. digest는 sha256: 또는 '-'(미고정)."""
|
|
|
|
def test_lock_well_formed(self):
|
|
path = os.path.join(SCRIPTS, "tools.lock")
|
|
self.assertTrue(os.path.exists(path), "tools.lock 없음")
|
|
with open(path, encoding="utf-8") as fh:
|
|
lines = [l.rstrip("\n") for l in fh]
|
|
tools = 0
|
|
for n, line in enumerate(lines, 1):
|
|
s = line.strip()
|
|
if not s or s.startswith("#"):
|
|
continue
|
|
parts = s.split()
|
|
self.assertEqual(len(parts), 3, "tools.lock:%d 칸이 3개가 아님: %r" % (n, line))
|
|
name, ref, digest = parts
|
|
self.assertIn(":", ref, "tools.lock:%d 이미지에 태그가 없음: %r" % (n, ref))
|
|
self.assertTrue(digest == "-" or digest.startswith("sha256:"),
|
|
"tools.lock:%d digest 형식: %r" % (n, digest))
|
|
tools += 1
|
|
self.assertGreaterEqual(tools, 5, "도구가 너무 적다")
|
|
|
|
|
|
class ScanScriptTest(unittest.TestCase):
|
|
def test_bash_syntax(self):
|
|
path = os.path.join(SCRIPTS, "redteam-scan.sh")
|
|
self.assertTrue(os.path.exists(path), "redteam-scan.sh 없음")
|
|
r = subprocess.run(["bash", "-n", path], capture_output=True, text=True, timeout=30)
|
|
self.assertEqual(r.returncode, 0, "bash -n 실패:\n" + r.stderr)
|
|
|
|
def test_help_lists_modes(self):
|
|
path = os.path.join(SCRIPTS, "redteam-scan.sh")
|
|
r = subprocess.run(["bash", path, "--help"], capture_output=True, text=True, timeout=30)
|
|
for mode in ("secrets", "sast", "deps", "config", "dast-baseline"):
|
|
self.assertIn(mode, r.stdout + r.stderr, "help에 모드 없음: %s" % mode)
|
|
|
|
|
|
if __name__ == "__main__":
|
|
unittest.main()
|