문제: redteam-scan.sh secrets 모드가 gitleaks를 --redact 없이 불러, 찾은 비밀 값 원문이 secrets.json에 그대로 남는다. 이 파일은 redteam 스킬이 다음 단계에서 읽으므로 비밀 값이 에이전트 컨텍스트에 들어간다. 또 ZAP(dast-baseline·dast-api)은 기본으로 call home(텔레메트리·업데이트 확인·뉴스)을 한다. semgrep에는 --metrics=off를 걸었지만 ZAP에는 같은 장치가 없었다. NVIDIA SkillSpector 2.13.4 정적 스캔(PE3 secrets.json)과 그 뒤 의미 검토에서 찾았다. 고른 방법: gitleaks에 --redact를 더한다. 위치(파일·줄·커밋·규칙)는 남으니 고칠 곳 찾기에는 지장이 없다. ZAP 두 모드에 -z "-silent"를 더한다(ZAP FAQ: -silent는 call home을 막는다). 가짜 docker로 실제로 넘기는 인자를 확인하는 시험을 더했다(semgrep --metrics=off도 함께 고정). 버린 대안: 결과 파일 이름 secrets.json 바꾸기(스캐너 경고만 줄고 결과를 읽는 문서·에이전트 계약이 깨진다), -notel(텔레메트리만 끄고 업데이트 확인은 남는다). 위험: docker로 실제 이미지를 돌려 보지 않았다. 고정 digest의 ZAP 2.16.1에서 'ZAP is Out of Date' 규칙이 -silent 아래서도 업데이트 확인을 한 적이 있다(ZAP 블로그 2025-10-21). schemathesis 4의 원격 전송 여부는 확인하지 못했다. 플러그인 동작이 바뀌어 redteam 버전을 0.1.2로 올린다. 검증: 고치기 전 스크립트에서 새 시험 2개 실패(RED), 고친 뒤 scripts/check.sh 통과(harness 24·redteam 21·템플릿 11, 매니페스트 3개). Refs: design-docs harness/2026-11-12-skill-specter-audit.md
213 lines
9.1 KiB
Python
213 lines
9.1 KiB
Python
"""redteam 플러그인 시험. 표준 라이브러리만 쓴다.
|
|
|
|
python3 -m unittest discover -s plugins/redteam/tests
|
|
|
|
finding.py의 정규화·검사·정렬·보고 로직과, tools.lock·redteam-scan.sh의 형식을 본다.
|
|
"""
|
|
import json
|
|
import os
|
|
import shutil
|
|
import subprocess
|
|
import sys
|
|
import tempfile
|
|
import unittest
|
|
|
|
PLUGIN = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
|
SCRIPTS = os.path.join(PLUGIN, "scripts")
|
|
sys.path.insert(0, SCRIPTS)
|
|
import finding # noqa: E402
|
|
|
|
|
|
def good(**over):
|
|
f = {"id": "BE-AUTHZ-001", "severity": "high", "target": "backend", "category": "authz",
|
|
"title": "관리 엔드포인트 인증 없음", "impact": "누구나 설정을 본다", "fix": "인증을 건다"}
|
|
f.update(over)
|
|
return f
|
|
|
|
|
|
class ValidateTest(unittest.TestCase):
|
|
def test_good_passes(self):
|
|
self.assertEqual(finding.validate_one(good()), [])
|
|
|
|
def test_missing_required(self):
|
|
f = good()
|
|
del f["impact"]
|
|
self.assertTrue(any("impact" in e for e in finding.validate_one(f)))
|
|
|
|
def test_bad_severity(self):
|
|
self.assertTrue(any("severity" in e for e in finding.validate_one(good(severity="urgent"))))
|
|
|
|
def test_bad_target_category_status(self):
|
|
self.assertTrue(finding.validate_one(good(target="server")))
|
|
self.assertTrue(finding.validate_one(good(category="xss")))
|
|
self.assertTrue(finding.validate_one(good(status="closed")))
|
|
|
|
def test_default_status_open_ok(self):
|
|
f = good()
|
|
self.assertNotIn("status", f)
|
|
self.assertEqual(finding.validate_one(f), [])
|
|
|
|
def test_duplicate_id_is_error(self):
|
|
errs = finding.validate_all([good(), good(title="다른 것")])
|
|
self.assertTrue(any("중복" in e for e in errs))
|
|
|
|
def test_non_dict(self):
|
|
self.assertTrue(finding.validate_one("x"))
|
|
|
|
|
|
class SortTest(unittest.TestCase):
|
|
def test_severity_order(self):
|
|
items = [good(id="a", severity="low"), good(id="b", severity="critical"),
|
|
good(id="c", severity="medium")]
|
|
order = [f["id"] for f in finding.sort_findings(items)]
|
|
self.assertEqual(order, ["b", "c", "a"])
|
|
|
|
def test_unknown_severity_last(self):
|
|
items = [good(id="x", severity="weird"), good(id="y", severity="info")]
|
|
order = [f["id"] for f in finding.sort_findings(items)]
|
|
self.assertEqual(order, ["y", "x"])
|
|
|
|
def test_counts_open_only(self):
|
|
items = [good(severity="high"), good(id="2", severity="high", status="fixed")]
|
|
self.assertEqual(finding.counts(items)["high"], 2)
|
|
self.assertEqual(finding.counts(items, only_open=True)["high"], 1)
|
|
|
|
|
|
class ReportTest(unittest.TestCase):
|
|
def test_markdown_has_repro_impact_fix(self):
|
|
md = finding.to_markdown([good(repro="1. curl ...\n2. 200 OK")])
|
|
self.assertIn("재현 절차", md)
|
|
self.assertIn("영향:", md)
|
|
self.assertIn("고치는 법:", md)
|
|
self.assertIn("curl", md)
|
|
|
|
def test_markdown_orders_critical_first(self):
|
|
md = finding.to_markdown([good(id="low1", severity="low"), good(id="crit1", severity="critical")])
|
|
self.assertLess(md.index("crit1"), md.index("low1"))
|
|
|
|
|
|
class CliTest(unittest.TestCase):
|
|
def run_cli(self, *args, findings=None):
|
|
with tempfile.NamedTemporaryFile("w", suffix=".jsonl", delete=False, encoding="utf-8") as fh:
|
|
for f in (findings or []):
|
|
fh.write(json.dumps(f, ensure_ascii=False) + "\n")
|
|
path = fh.name
|
|
try:
|
|
return subprocess.run([sys.executable, "-I", os.path.join(SCRIPTS, "finding.py"), args[0], path, *args[1:]],
|
|
capture_output=True, text=True, timeout=30)
|
|
finally:
|
|
os.unlink(path)
|
|
|
|
def test_validate_rc(self):
|
|
self.assertEqual(self.run_cli("validate", findings=[good()]).returncode, 0)
|
|
self.assertEqual(self.run_cli("validate", findings=[good(severity="x")]).returncode, 1)
|
|
|
|
def test_summary_rc_blocks_on_high(self):
|
|
self.assertEqual(self.run_cli("summary", findings=[good(severity="high")]).returncode, 1)
|
|
self.assertEqual(self.run_cli("summary", findings=[good(severity="low")]).returncode, 0)
|
|
# fixed high는 막지 않는다
|
|
self.assertEqual(self.run_cli("summary", findings=[good(severity="high", status="fixed")]).returncode, 0)
|
|
|
|
def test_report_runs(self):
|
|
r = self.run_cli("report", findings=[good()])
|
|
self.assertEqual(r.returncode, 0)
|
|
self.assertIn("BE-AUTHZ-001", r.stdout)
|
|
|
|
|
|
class ToolsLockTest(unittest.TestCase):
|
|
"""tools.lock: 주석·빈 줄 빼고 모든 줄이 `name image:tag digest` 3칸. digest는 sha256: 또는 '-'(미고정)."""
|
|
|
|
def test_lock_well_formed(self):
|
|
path = os.path.join(SCRIPTS, "tools.lock")
|
|
self.assertTrue(os.path.exists(path), "tools.lock 없음")
|
|
with open(path, encoding="utf-8") as fh:
|
|
lines = [l.rstrip("\n") for l in fh]
|
|
tools = 0
|
|
for n, line in enumerate(lines, 1):
|
|
s = line.strip()
|
|
if not s or s.startswith("#"):
|
|
continue
|
|
parts = s.split()
|
|
self.assertEqual(len(parts), 3, "tools.lock:%d 칸이 3개가 아님: %r" % (n, line))
|
|
name, ref, digest = parts
|
|
self.assertIn(":", ref, "tools.lock:%d 이미지에 태그가 없음: %r" % (n, ref))
|
|
self.assertTrue(digest == "-" or digest.startswith("sha256:"),
|
|
"tools.lock:%d digest 형식: %r" % (n, digest))
|
|
tools += 1
|
|
self.assertGreaterEqual(tools, 5, "도구가 너무 적다")
|
|
|
|
|
|
class ScanScriptTest(unittest.TestCase):
|
|
def test_bash_syntax(self):
|
|
path = os.path.join(SCRIPTS, "redteam-scan.sh")
|
|
self.assertTrue(os.path.exists(path), "redteam-scan.sh 없음")
|
|
r = subprocess.run(["bash", "-n", path], capture_output=True, text=True, timeout=30)
|
|
self.assertEqual(r.returncode, 0, "bash -n 실패:\n" + r.stderr)
|
|
|
|
def test_help_lists_modes(self):
|
|
path = os.path.join(SCRIPTS, "redteam-scan.sh")
|
|
r = subprocess.run(["bash", path, "--help"], capture_output=True, text=True, timeout=30)
|
|
for mode in ("secrets", "sast", "deps", "config", "dast-baseline"):
|
|
self.assertIn(mode, r.stdout + r.stderr, "help에 모드 없음: %s" % mode)
|
|
|
|
|
|
FAKE_DOCKER = """#!/usr/bin/env bash
|
|
# 시험용 docker: 받은 인자를 한 줄(\\x1f로 구분)로 남기고, 이미지가 이미 있다고 답한다.
|
|
printf '%s\\x1f' "$@" >> "$FAKE_DOCKER_LOG"; printf '\\n' >> "$FAKE_DOCKER_LOG"
|
|
exit 0
|
|
"""
|
|
|
|
|
|
class ScanEgressTest(unittest.TestCase):
|
|
"""도구가 찾은 비밀 값 원문을 결과 파일에 남기지 않고, 밖으로 사용 정보를 보내지 않게 부르는지 본다.
|
|
|
|
가짜 docker로 redteam-scan.sh가 실제로 넘기는 인자를 받아 확인한다(docker를 띄우지 않는다).
|
|
"""
|
|
|
|
def setUp(self):
|
|
self.dir = tempfile.mkdtemp()
|
|
os.makedirs(os.path.join(self.dir, "bin"))
|
|
docker = os.path.join(self.dir, "bin", "docker")
|
|
with open(docker, "w", encoding="utf-8") as fh:
|
|
fh.write(FAKE_DOCKER)
|
|
os.chmod(docker, 0o755)
|
|
self.log = os.path.join(self.dir, "docker.log")
|
|
|
|
def tearDown(self):
|
|
shutil.rmtree(self.dir, ignore_errors=True)
|
|
|
|
def run_calls(self, *args):
|
|
"""모드를 돌리고 `docker run` 호출마다 인자 목록을 돌려준다."""
|
|
# 필요한 값만 넘긴다: 가짜 docker가 먼저 잡히는 PATH와 기록 파일.
|
|
env = {"PATH": os.path.join(self.dir, "bin") + os.pathsep + os.defpath, "FAKE_DOCKER_LOG": self.log}
|
|
r = subprocess.run(["bash", os.path.join(SCRIPTS, "redteam-scan.sh"), *args,
|
|
"--out", os.path.join(self.dir, "out")],
|
|
capture_output=True, text=True, timeout=30, env=env)
|
|
self.assertEqual(r.returncode, 0, r.stderr)
|
|
with open(self.log, encoding="utf-8") as fh:
|
|
calls = [line.rstrip("\n").rstrip("\x1f").split("\x1f") for line in fh if line.strip()]
|
|
return [c for c in calls if c[:1] == ["run"]]
|
|
|
|
def test_secrets_redacts_values_in_report(self):
|
|
calls = self.run_calls("secrets", "--target", self.dir)
|
|
self.assertEqual(len(calls), 1)
|
|
self.assertIn("--redact", calls[0], "gitleaks 결과 파일에 비밀 값 원문이 남는다")
|
|
|
|
def test_sast_keeps_metrics_off(self):
|
|
calls = self.run_calls("sast", "--target", self.dir)
|
|
self.assertIn("--metrics=off", calls[0])
|
|
|
|
def test_zap_runs_silent(self):
|
|
for args, script in ((("dast-baseline", "--target", "http://127.0.0.1:9"), "zap-baseline.py"),
|
|
(("dast-api", "--api", "http://127.0.0.1:9/openapi.json"), "zap-api-scan.py")):
|
|
open(self.log, "w").close()
|
|
zap = [c for c in self.run_calls(*args) if script in c]
|
|
self.assertEqual(len(zap), 1, script)
|
|
c = zap[0]
|
|
self.assertIn("-z", c, "%s에 ZAP 옵션(-z)이 없다" % script)
|
|
self.assertIn("-silent", c[c.index("-z") + 1].split(), "%s가 ZAP call home(텔레메트리·업데이트 확인)을 끄지 않는다" % script)
|
|
|
|
|
|
if __name__ == "__main__":
|
|
unittest.main()
|