fix(redteam): 비밀 값 원문과 ZAP 사용 정보를 밖에 남기지 않는다 #9

Merged
donghyeon.kang merged 1 commits from fix/redteam-scan-no-secret-egress into main 2026-11-12 16:48:58 +00:00
Owner

무엇을, 왜

plugins/redteam/scripts/redteam-scan.sh가 도구 결과로 비밀 값 원문과 사용 정보를 밖에 남기는 두 곳을 막는다.

  • secrets 모드가 gitleaks를 --redact 없이 불러, 찾은 비밀 값 원문이 secrets.json에 그대로 남는다. redteam 스킬은 다음 단계에서 이 파일을 읽으므로 값이 에이전트 컨텍스트에 들어간다.
  • dast-baseline·dast-api의 ZAP이 기본으로 call home(텔레메트리·업데이트 확인·뉴스)을 한다. semgrep에는 --metrics=off를 걸었지만 ZAP에는 같은 장치가 없었다.

NVIDIA SkillSpector 2.13.4로 소유자가 쓰는 스킬 전체를 검사하면서 찾았다(PE3 secrets.json 지적 → 의미 검토). 검사 보고서는 design-docs harness/2026-11-12-skill-specter-audit.md다.

고른 방법과 버린 대안

  • gitleaks에 --redact를 더한다. 위치(파일·줄·커밋·규칙)는 남아서 고칠 곳 찾기에는 지장이 없다.
  • ZAP 두 모드에 -z "-silent"를 더한다. ZAP FAQ는 -silent가 call home을 막는다고 적는다.
  • 가짜 docker로 스크립트가 실제로 넘기는 인자를 확인하는 시험 3개를 더했다(--redact, ZAP -silent, semgrep --metrics=off 고정).
  • 버린 대안: 결과 파일 이름 secrets.json 바꾸기(스캐너 경고만 줄고 결과를 읽는 계약이 깨진다), ZAP -notel(텔레메트리만 끄고 업데이트 확인은 남는다).

위험과 영향

  • docker로 실제 이미지를 돌려 보지 않았다(desktop 디스크 여유가 적고, 바뀐 것은 인자 두 개다).
  • 고정 digest의 ZAP 2.16.1에서 'ZAP is Out of Date' 규칙이 -silent 아래서도 업데이트 확인을 한 적이 있다(ZAP 블로그 2025-10-21). 그 경우 업데이트 확인 한 번이 남는다.
  • schemathesis 4가 원격으로 무엇을 보내는지는 확인하지 못했다.
  • 플러그인 동작이 바뀌어 redteam 버전을 0.1.1 → 0.1.2로 올린다.

검증

  • 고치기 전 스크립트에 새 시험을 돌리면 2개 실패(test_secrets_redacts_values_in_report, test_zap_runs_silent).
  • 고친 뒤 scripts/check.sh 통과: harness 24(예상 실패 1은 중첩 worktree 조건), redteam 21, 템플릿 11, claude plugin validate --strict 3개.
  • SkillSpector 재스캔: 남은 HIGH는 secrets.json 파일 이름(PE3)과 agents/input.md의 SSRF 점검 항목(SSRF1)뿐이고 둘 다 오탐이다(보고서 5절).

리뷰어가 볼 곳

  • plugins/redteam/scripts/redteam-scan.sh secrets·dast-baseline·dast-api 세 줄
  • plugins/redteam/tests/test_redteam.py ScanEgressTest

관련

  • design-docs harness/2026-11-12-skill-specter-audit.md
## 무엇을, 왜 `plugins/redteam/scripts/redteam-scan.sh`가 도구 결과로 비밀 값 원문과 사용 정보를 밖에 남기는 두 곳을 막는다. - `secrets` 모드가 gitleaks를 `--redact` 없이 불러, 찾은 비밀 값 원문이 `secrets.json`에 그대로 남는다. redteam 스킬은 다음 단계에서 이 파일을 읽으므로 값이 에이전트 컨텍스트에 들어간다. - `dast-baseline`·`dast-api`의 ZAP이 기본으로 call home(텔레메트리·업데이트 확인·뉴스)을 한다. semgrep에는 `--metrics=off`를 걸었지만 ZAP에는 같은 장치가 없었다. NVIDIA SkillSpector 2.13.4로 소유자가 쓰는 스킬 전체를 검사하면서 찾았다(PE3 `secrets.json` 지적 → 의미 검토). 검사 보고서는 design-docs `harness/2026-11-12-skill-specter-audit.md`다. ## 고른 방법과 버린 대안 - gitleaks에 `--redact`를 더한다. 위치(파일·줄·커밋·규칙)는 남아서 고칠 곳 찾기에는 지장이 없다. - ZAP 두 모드에 `-z "-silent"`를 더한다. ZAP FAQ는 `-silent`가 call home을 막는다고 적는다. - 가짜 docker로 스크립트가 실제로 넘기는 인자를 확인하는 시험 3개를 더했다(`--redact`, ZAP `-silent`, semgrep `--metrics=off` 고정). - 버린 대안: 결과 파일 이름 `secrets.json` 바꾸기(스캐너 경고만 줄고 결과를 읽는 계약이 깨진다), ZAP `-notel`(텔레메트리만 끄고 업데이트 확인은 남는다). ## 위험과 영향 - docker로 실제 이미지를 돌려 보지 않았다(desktop 디스크 여유가 적고, 바뀐 것은 인자 두 개다). - 고정 digest의 ZAP 2.16.1에서 'ZAP is Out of Date' 규칙이 `-silent` 아래서도 업데이트 확인을 한 적이 있다(ZAP 블로그 2025-10-21). 그 경우 업데이트 확인 한 번이 남는다. - schemathesis 4가 원격으로 무엇을 보내는지는 확인하지 못했다. - 플러그인 동작이 바뀌어 `redteam` 버전을 0.1.1 → 0.1.2로 올린다. ## 검증 - 고치기 전 스크립트에 새 시험을 돌리면 2개 실패(`test_secrets_redacts_values_in_report`, `test_zap_runs_silent`). - 고친 뒤 `scripts/check.sh` 통과: harness 24(예상 실패 1은 중첩 worktree 조건), redteam 21, 템플릿 11, `claude plugin validate --strict` 3개. - SkillSpector 재스캔: 남은 HIGH는 `secrets.json` 파일 이름(PE3)과 `agents/input.md`의 SSRF 점검 항목(SSRF1)뿐이고 둘 다 오탐이다(보고서 5절). ## 리뷰어가 볼 곳 - `plugins/redteam/scripts/redteam-scan.sh` secrets·dast-baseline·dast-api 세 줄 - `plugins/redteam/tests/test_redteam.py` `ScanEgressTest` ## 관련 - design-docs `harness/2026-11-12-skill-specter-audit.md`
donghyeon.kang added 1 commit 2026-11-12 13:12:20 +00:00
문제: redteam-scan.sh secrets 모드가 gitleaks를 --redact 없이 불러,
찾은 비밀 값 원문이 secrets.json에 그대로 남는다. 이 파일은 redteam
스킬이 다음 단계에서 읽으므로 비밀 값이 에이전트 컨텍스트에 들어간다.
또 ZAP(dast-baseline·dast-api)은 기본으로 call home(텔레메트리·업데이트
확인·뉴스)을 한다. semgrep에는 --metrics=off를 걸었지만 ZAP에는 같은
장치가 없었다. NVIDIA SkillSpector 2.13.4 정적 스캔(PE3 secrets.json)과
그 뒤 의미 검토에서 찾았다.

고른 방법: gitleaks에 --redact를 더한다. 위치(파일·줄·커밋·규칙)는
남으니 고칠 곳 찾기에는 지장이 없다. ZAP 두 모드에 -z "-silent"를
더한다(ZAP FAQ: -silent는 call home을 막는다). 가짜 docker로 실제로
넘기는 인자를 확인하는 시험을 더했다(semgrep --metrics=off도 함께 고정).
버린 대안: 결과 파일 이름 secrets.json 바꾸기(스캐너 경고만 줄고 결과를
읽는 문서·에이전트 계약이 깨진다), -notel(텔레메트리만 끄고 업데이트
확인은 남는다).

위험: docker로 실제 이미지를 돌려 보지 않았다. 고정 digest의 ZAP
2.16.1에서 'ZAP is Out of Date' 규칙이 -silent 아래서도 업데이트 확인을
한 적이 있다(ZAP 블로그 2025-10-21). schemathesis 4의 원격 전송 여부는
확인하지 못했다. 플러그인 동작이 바뀌어 redteam 버전을 0.1.2로 올린다.

검증: 고치기 전 스크립트에서 새 시험 2개 실패(RED), 고친 뒤
scripts/check.sh 통과(harness 24·redteam 21·템플릿 11, 매니페스트 3개).

Refs: design-docs harness/2026-11-12-skill-specter-audit.md
donghyeon.kang merged commit 8583353c3e into main 2026-11-12 16:48:58 +00:00
donghyeon.kang deleted branch fix/redteam-scan-no-secret-egress 2026-11-12 16:48:58 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/claude-harness#9