FE-GATE-013의 system 시험 tests/system/ci-runner/ci-artifact-contract.test.ts
에서 verified promotion finalizer 시험 18개가 desktop에서 실패한다. 오류는
`ENOENT … .claude/agents/arch-reviewer.md`다. 기준 fixture는 checkout을
.git째 복사하면서 .claude를 통째로 건너뛴다. 하네스 PR #13 뒤로 .claude/에
추적 파일이 11개 있다. 공급망 생성(scripts/lib/repository-file-inventory.ts)
은 추적 파일마다 lstat하므로, 빠진 파일에서 후보 빌드가 멈춘다. main
38c0dc7d에서도 같다. runner에서는 이 시험이 bwrap 없음으로 돌지 못해 드러나지
않았다.
.claude 대신 다른 worktree가 들어 있는 .claude/worktrees만 건너뛴다.
- 등록부의 provider-fixture-skip 집합은 .claude 항목의 setPaths로 그 경로를
고른다.
- 복사 filter는 첫 경로 조각이 아니라 경로 앞부분으로 비교한다.
버린 것:
- inventory가 .claude를 건너뛰게 하기: 실제 후보 빌드의 inventory까지 추적
파일을 빠뜨린다.
- fixture의 git index에서 .claude 파일을 지우기: fixture가 실제 checkout과
달라진다.
위험: runner에서는 FE-GATE-013이 여전히 bwrap 없음으로 실패해, 이 수정은
desktop에서만 확인된다. 사본에 .claude/ 11파일이 더 들어간다.
검증(desktop): 이 시험 파일 전체를 main 38c0dc7d와 이 커밋에서 돌렸다.
- main: 18개 ENOENT 실패, 36개 건너뜀(기준 fixture 빌드 실패).
- 이 커밋: finalizer 18개 통과, ENOENT 0. 남은 18개 실패는 모두
provider sandbox의 `bwrap: loopback: Failed RTM_NEWADDR`(desktop 비특권
network namespace 제약)다.
- test:unit, check:types, check:ci, lint, verify:documentation.
정리 4단계의 R2 검사는 등록부를 쓰는 7곳만 봤다. 그 밖에 루트 이름을
담은 목록이 코드 15파일에 19개 따로 있어, 루트 항목 하나를 옮기면
여전히 여러 곳을 같이 고쳐야 했다.
- 등록부에 집합 12개를 더했다. 사본 복사에서 건너뛰는 항목 셋
(checkout·provider·공급망 fixture), fixture 코드 범위, pnpm 매니페스트,
Playwright 설정, visual 증거, 문서 입력, 에이전트 하네스, tsconfig
묶음 셋. 각 집합 설명에 읽는 파일을 적었다.
- 사본이 건너뛰는 node_modules·dist·.tmp 같은 추적 안 하는 항목은
종류 untracked(optional)로 적는다. 추적 파일이 있으면 시험이 실패한다.
- 19개 목록이 모두 집합을 고른다. 집합의 원소는 전과 같아 동작은
바뀌지 않는다.
- R2 시험이 추적되는 코드 파일 전체를 본다. 루트 항목(이나 그 안
경로)만 담은 문자열 배열에 추적되는 루트 이름이 둘 이상이면 실패.
인자 목록은 `--` 뒤만 본다. main의 옛 목록 18개를 이 검사가 잡는
것을 확인했다.
- 집합마다 selectRepositoryPaths·selectRepositoryEntries로 고르는 코드가
있는지 본다. 문서를 복사하지 않는 제거 drill(FE-GATE-020)은 문서
시험(REMOVAL_FIXTURE_DOCUMENT_TESTS)을 지우는데, 집합 셋
(agent-harness·documentation-inputs·feature-typecheck)은 그 시험만
읽는다. 시험이 이 셋을 적어 두고, 문서 시험이 지워진 사본에서만 셋이
비는 것을 허용한다. 셋이 바뀌면 전체 checkout에서 실패한다.
- 파서가 kinds·sets 설명과 코드의 목록이 같은지 본다.
- .gitignore 주석이 a11y 기록을 아직 artifacts/ 아래라고 적던 것을
고쳤다(정리 3단계에서 docs/로 옮김).
검증(desktop): test:unit, check:types, check:ci, lint, verify:documentation.
repository-layout 시험을 문서 없는 제거 사본과 feature-scaffold 사본에서도
돌렸고, 집합 하나의 읽는 곳을 지우면 두 곳 모두 실패한다.
merge 단계(=PR)가 변경이 아니라 검사기 자신을 시험하는 명령까지 돈다.
검사기가 나쁜 입력을 거부하는지 보는 `*:fixture` 명령 15개, 모든 시험
파일과 검증 script가 게이트에 걸렸는지 보는 ungated 검사, CI 계약의
개수·해시 기준선(`config/ci/contract-baseline.json`)이다. 기준선은 게이트
명령 하나를 더하거나 빼도 OWNER·REASON을 붙여 다시 받아야 했다.
소유자 결정(2026-09-16)은 개수·배선 검사를 main 단계에 두는 것이다.
고른 방법(design-docs repo-structure/03-ci.md 7.3절 F2, README.md 3.3절,
소유자 승인 2026-11-07):
- 새 게이트 FE-GATE-029 `checker-self-tests`, 새 단계 `main`
(`MAIN_READY`, 승격을 막지 않는다), 새 job `main_gate`. 브랜치 push와
`workflow_dispatch`(stage=main)에서만 돈다. PR과 태그에서는 돌지 않는다.
- FE-GATE-001·005·008·010·013의 `*:fixture` 명령 15개와 그 증거
산출물 10개를 FE-GATE-029로 옮긴다.
- `check:ci`의 ungated 검사를 `scripts/check-ci-gating.ts`
(`check:ci:gating`)로 떼어 FE-GATE-029에 둔다. `check:ci`는 계약·
workflow 검사만 PR에서 돈다.
- 기준선 파일, `update:ci-contract-baseline`, 그 검사를 지운다(소유자
결정). 계약 모양은 ci-gates.ts의 의미 검사가 지킨다. 개수를 고정하던
단위 시험의 개수 단언도 뺐다.
남긴 것: 음성 타입 fixture(`check:types:fixtures`, FE-GATE-003)는
이름이 `*:fixture`여도 merge에 둔다. 검사기가 아니라 src의 포트·계약
타입을 시험한다. `TelemetryPort.emit`을 넓히는 변경을 PR에서 막는다(정리
3단계 9.3절 변이로 확인). merge 단계 명령 참조 64 → 49.
위험: 검사기를 망가뜨린 PR은 merge를 통과하고 main에서 빨개진다. 그
대가로 PR이 검사기 자기 시험을 기다리지 않는다(설계 7.5절의 같은 교환).
FE-GATE-029의 명령이 앞 게이트 산출물 없이 새 checkout에서 도는지는
desktop에서 따로 확인했다(PR 본문).
검증(desktop): check:ci, check:ci:gating, check:types, CI 시험 통과.
merge 단계·FE-GATE-029 실행 결과는 PR 본문에 적는다.
Refs: design-docs repo-structure/03-ci.md 7.3·7.4절, README.md 3.3절
FE-GATE-027은 `check:release-admission`을 먼저, `scan:dependency-advisories`
를 뒤에 돈다. `ci:gate`는 처음 실패한 명령에서 멈춘다. 그래서 공개 대상
승인이 거절된 run에는 advisory 기록(`artifacts/security/
dependency-advisories.json`)이 생기지 않는다. 운영 문서는 release
산출물이 결과와 상관없이 이 기록을 싣는다고 적는다.
명령 순서를 scan → 승인으로 바꾼다. scan은 막지 않는 신호라 항상
exit 0이고, 승인 판정과 gate 결과는 그대로다. 문서 두 곳(한국어·영어)에
올라가는 것은 그 run에 생긴 파일이고, 승인이 거절돼도 기록이 있으며,
FE-GATE-015가 실패하면 FE-GATE-027이 돌지 않아 기록이 없다고 적는다.
gate 모양이 바뀌어 계약 기준선의 `gateShapeSha256`을 다시 적었다(owner
DongHyeonka, reason에 1106/13-01, 개수는 그대로). 생성 workflow는 명령
순서를 담지 않아 바뀌지 않는다.
버린 대안: (a) 문서만 고치기 — 거절된 run에서 신호가 한 run 늦는 것이
남는다. (c) scan을 always 단계로 따로 빼기 — 계약 단계와 workflow가
바뀌어 이 결함에 비해 크다.
위험·한계: 승인 전에 pnpm audit이 돌아 거절되는 run이 최대 120초(scan
timeout) 늦게 끝난다. scan이 정책 파일을 못 읽어 죽으면 이제 승인이
돌지 않는다(전에도 gate는 실패했다). FE-GATE-015가 실패한 run에는 여전히
기록이 없다. 실제 runner의 upload가 없는 파일을 건너뛰는지는 미확인이다.
제품이 `config/ci/contract-baseline.json`을 자기 값으로 다시 적어 두었다면
받은 뒤 다시 적어야 한다. 새 digest는 jq로 계산했다. 같은 계산이 바꾸기
전 기준선(7bebafe6…)을 그대로 재현했다.
검증: desktop batch에서 확인.
`node scripts/run-vitest.ts run tests/system/ci-runner/ci-evidence-freshness.test.ts tests/unit/dependency-advisories.test.ts`
— 새 "writes the advisory record when the release admission refuses the
candidate"와 바꾼 "runs before the release admission (FE-GATE-027) ..."가
수정 전 계약에서 실패하고 수정 뒤 통과한다. `check:ci`, 13-R1 C.
Refs: 1106/13-01
문제
scripts/run-and-validate-provider.ts는 작업 폴더에 .git이 있으면 그 자리에
--tmpfs를 건다. git worktree나 서브모듈 checkout에서는 .git이 디렉터리가
아니라 "gitdir:" 한 줄짜리 파일이라 bubblewrap이 "Can't mkdir …/.git: Not a
directory"로 끝난다. 그래서 worktree에서 test:system을 돌리면 사전 점검은
PASS인데 provider 테스트 16개가 샌드박스 회귀처럼 실패한다. 또 provider 기반
fixture는 현재 폴더를 통째로 복사해, checkout 안의 .claude/worktrees/*나
.tmp/* 같은 다른 checkout·드릴 fixture와 그 node_modules까지
/tmp/ci-provider-upload-*에 복사했다(시간 초과, ENOTEMPTY).
고른 방법
- .git이 디렉터리면 지금처럼 tmpfs로 가린다. 디렉터리가 아니면 /dev/null을
--ro-bind로 겹친다. bubblewrap은 bind를 nodev로 걸어서 provider는 그 줄을
읽지도 그 경로에 쓰지도 못한다. 파일이 가리키는 실제 git 디렉터리는 작업
폴더 밖이라 원래 샌드박스에 들어오지 않는다.
- 리뷰 최소 개선 (1)(사전 점검이 worktree를 거부) 대신 (2)를 골랐다. 이
repo의 리뷰·수정 절차가 영역마다 worktree를 쓰므로, worktree에서
샌드박스 경계 테스트를 돌릴 수 있어야 한다. 비용도 몇 줄로 비슷하다.
- 기반 fixture 복사에서 .claude, .worktrees, .tmp, graphify-out을 뺀다. 모두
추적하지 않는 폴더라 후보의 추적 파일 목록에는 영향이 없다.
- 새 system 테스트 2건이 .git이 디렉터리일 때와 파일일 때 provider가 그
내용을 보지도 바꾸지도 못함을 확인한다.
- 버린 대안: --dev-bind /dev/null. 읽으면 빈 내용이지만 쓰기를 받는다.
--remount-ro를 더하면 nodev가 다시 걸려 --ro-bind와 같아진다. 빈 일반 파일을
호스트에 만들어 bind. 임시 파일의 수명·정리 경로가 하나 는다.
위험·한계
- .git 파일 자리에서 provider는 빈 파일이 아니라 열 수 없는 문자 장치를
본다(EACCES). 작업 폴더를 훑는 provider가 그 오류를 실패로 다루면 거기서
드러난다.
- 마스크를 지우는 변이 확인은 부하(load 24) 때문에 systemd unit 수거가 늦어
결론을 내지 못했다(두 경우 모두 "provider unit remained loaded").
검증
- RED: worktree에서 test:system 16 failed / 96 passed(모두 provider 묶음,
같은 bwrap 오류). 새 테스트는 수정 전 "file" 경우만 실패.
- 수정 뒤 새 테스트 2건 통과(-t "hides repository metadata").
- eslint 통과.
Refs: docs/reviews/2026-11-03-maturity-review/11-tests-browser-release-scale.md 11-04
문제
tests/system/ci-runner/ci-artifact-contract.test.ts는 provider 묶음에 30초
예산(PROCESS_HEAVY_TIMEOUT_MS)을 두고 "10s default is sized for pure-JS
unit tests"라고 적는다. 그런데 같은 describe의 테스트 선언 8개(케이스
10개)는 여전히 10초다. 그래서 바쁜 호스트에서 "kills descendants … timeout
termination"이 10,116 ms로 시간 초과해 FE-GATE-013이 가끔 빨개진다. 또 기반
fixture(build:release-candidate)를 처음 createProviderFixture()를 부른 테스트
안에서 만들어서, -t로 하나만 골라 돌리면 그 테스트가 빌드를 떠안아 항상
실패한다.
고른 방법
- describe 옵션으로 묶음 전체에 PROCESS_HEAVY_TIMEOUT_MS를 주고, 테스트마다
적은 10_000·15_000·20_000·30_000을 지운다. 40_000을 준 tar 폭탄 테스트
하나는 그대로 둔다.
- 기반 fixture는 describe의 beforeAll에서 만든다. 상한은 빌드의 spawn
상한(120초)에 복사·압축 여유를 더한 180초다.
- 버린 대안: 전역 testTimeout 올리기. 파일 주석이 이미 버렸다(진짜 멈춘
테스트를 숨긴다). 테스트마다 상수로 바꾸기. 상수를 안 쓰는 테스트가 다시
생길 수 있다.
위험·한계
- 실제로 멈춘 provider 테스트는 실패까지 최대 30초 걸린다.
- runProviderSupervisor의 spawn 상한(기본 8초)은 바꾸지 않았다. 부하에서
systemd user manager가 느리면 "provider unit remained loaded"로 따로
실패할 수 있다(이번 실행에서 load 24일 때 한 번 봄, 운영 코드의 상한).
- loadavg 20 이상에서 test:system 전체 5회 반복은 하지 않았다.
검증
- -t "kills descendants|hides repository metadata"로 골라 돌렸을 때 두
kills descendants 테스트가 통과(3.0 s, 2.9 s). 기반 빌드는 beforeAll이
떠안았다.
- eslint 통과.
Refs: docs/reviews/2026-11-03-maturity-review/11-tests-browser-release-scale.md 11-03
문제: "applies effective aggregate cgroup limits ..." 테스트는
recordProviderProcessTree로 /proc을 5 ms마다 읽고 PID마다 처음 본
argv만 남긴다. systemd-run이 같은 PID에서 wrapper로 exec하고, 갓 fork된
자식이 exec 전까지 부모 argv를 보여서 "systemd-run 1개", "guardian 1개"
단언이 간헐적으로 실패한다(리뷰 README 13.1: 부하 약 3에서 10회 중
4회).
고른 방법: 표본을 지우고 앞 커밋의 실행 기록을 읽는다. 기록 파일은
workspace 밖 임시 폴더에 둔다. sandbox가 workspace를 ro-bind하므로
그 안에 두면 provider가 읽을 수 있다. 단언 대응:
- 직접 자식 systemd-run 1회: systemd-run 기록 1개, ppid가 supervisor,
argv[0]이 /usr/bin/systemd-run
- guardian 1회: guardian 기록 1개, ppid가 supervisor
- scope wrapper 1회: wrapper 기록 1개, pid가 systemd-run과 같고 cgroup이
`0::<ControlGroup>`과 정확히 같다
- sandbox 관찰: bwrap 기록 1개, ppid가 wrapper, argv에 /usr/bin/prlimit
- 인프라 argv에 명령 없음: 모든 기록 argv에 command가 없다. 추가로
providerScript 경로도 없다
- provider 1회: bwrap 실행 1회 + provider가 자기 /proc/self/cgroup에
/ca-provider-vulnerability-가 없으면 exit 8(run 실패)
- credential 없음: 기록 파일 원문과 모든 argv에 없다. stdout/stderr와
unit 메타데이터 단언은 그대로
- 종료 뒤 기록된 PID가 모두 없고 cgroup 디렉터리가 없다(그대로)
버린 대안: provider만 host 표본으로 계속 보는 혼합안. provider PID도
bwrap -> prlimit -> sh -> node로 바뀌어 같은 경쟁이 남는다.
위험·한계:
- provider의 scope 소속은 host 관찰이 아니라 provider 자신의 확인(exit
code)으로 본다. bwrap의 소속은 관찰된 wrapper cgroup에서 fork 상속으로
판단한다.
- 기록에 남지 않은 spawn은 보이지 않는다(앞 커밋 한계와 같다).
검증:
- 이 테스트는 createProviderFixture에서 corepack pnpm
build:release-candidate를 부른다. 작업 규칙상 worktree에서 pnpm을
띄우지 않으므로 실제 테스트의 RED/GREEN은 실행하지 않았다.
- 대신 pnpm 없는 하네스로 같은 실행 체인(운영 encoder, systemd-run ->
sh -> wrapper -> bwrap -> prlimit -> provider, guardian 대역 포함)을
돌렸다. 옛 표본 판정: 10회 중 4회 실패(systemd-run=0, wrapper=2).
실행 기록 판정: 20회 중 20회 통과. provider 자기 확인은 scope 안에서
통과, host에서 exit 8.
- tsc(tsconfig.test.json), eslint 통과.
문제: 13-04(839205c)가 `verify-exact-promotion-bundle.ts`에
`--archived` 모드를 넣으면서 성공 출력이
`Exact promotion bundle verification (<freshness>): PASS`로 바뀌었다.
"passes the downstream CLI for a real finalized exact-five" 테스트는
옛 문구 `Exact promotion bundle verification: PASS`를 기대해서 항상
실패하고, FE-GATE-013(`test:system`)이 코드와 무관하게 빨갛다.
고른 방법: 기대 문구를 `... (current): PASS` 전체로 바꿨다. 이 테스트는
`--archived` 없이 CLI를 부른다. `(current)`는 "기본 모드는 지금 시각
기준으로 freshness를 판정한다"는 주장의 일부다. repo에서 CLI의 기본
모드를 확인하는 테스트는 이것 하나다.
버린 대안: `/verification .*: PASS/`처럼 PASS만 본다. 문구 변경에는
강하지만 기본 모드가 `archived`(기록된 승격 시각 기준, 더 느슨한 판정)로
바뀌어도 통과한다. 출력 문구가 다시 바뀌면 이 테스트가 같이 바뀌어야
하는 편이 낫다고 판단했다.
위험·한계: 이 테스트는 base fixture가
`corepack pnpm build:release-candidate`를 부르므로 worktree에서
실행하지 않았다. 메인 checkout의 `test:system`에서 확인해야 한다.
검증:
- RED: 게이트 로그 test_system.log(d99301b, 메인 checkout 실행)에서
`:1259:27` 실패. Expected `Exact promotion bundle verification: PASS`,
Received `Exact promotion bundle verification (current): PASS`.
d99301b..402e1db 사이 scripts·tests/system 변경 없음.
- 새 기대 문구가 그 Received 줄과 글자 그대로 같다
(`grep -F` 1건 일치).
- `npx tsc --project tsconfig.test.json --noEmit` 통과.
`npx eslint tests/system/ci-runner/ci-artifact-contract.test.ts` 통과.
Fixes: 839205c134 ("feat(release): re-verify a promoted release in archived mode (13-04)")
Refs: docs/reviews/2026-09-29-maturity-review/11-tests-browser-release-scale.md 11-01
문제: cgroup 테스트("applies effective aggregate cgroup limits ...")는
`await execution.completion` 뒤에 `showProcessArguments(child.pid)`로
supervisor의 argv를 다시 조회한다. completion은 child의 `close`에서
풀리고, 그때 Node는 이미 child를 회수했다. `/proc/<pid>/cmdline`도
`ps -p`도 실패해서 이 테스트는 부하와 관계없이 항상
`ps failed: `로 끝난다. 바로 위 주석은 "아래는 실행 기록을 읽는다"고
적어서 코드와 반대로 말했다. 완료 전의 live 조회(`:793`)도 provider가
1.5초 뒤 끝나므로 부하가 있으면 같은 이유로 실패할 수 있다.
고른 방법: 이미 있는 샘플러 `recordProviderProcessTree`가 5ms마다
supervisor 자신의 argv도 읽어서, 서로 다른 값을 모두 기록한다.
완료 전 live 조회와 완료 후 조회를 이 기록으로 바꿨다. 단언은 줄이지
않았다.
- supervisor argv에 command와 credential이 없다(`:793`의 정규식 그대로).
- 기록에 `run-and-validate-provider.ts`가 있다. 기록이 비어서 위
단언이 공짜로 통과하는 경우를 막는다.
- 실행 중 `process.title`로 argv를 바꿔도 값마다 남기므로, 순간 한
번을 본 live 조회보다 넓게 본다.
버린 대안:
- 완료 후 조회 줄을 지운다: supervisor argv 검사가 사라진다.
- 완료 전 스냅샷을 한 번 더 찍는다: `:793`과 같은 방식이라 부하에서
provider 종료와 경쟁한다.
- `ps` 실패를 무시한다: 결함을 숨기고 검사가 공짜로 통과한다.
위험·한계: 샘플링 간격(5ms)보다 짧게 바뀌었다 돌아오는 argv는 놓칠 수
있다. 다른 프로세스 기록과 같은 한계다. 이 테스트는 base fixture가
`corepack pnpm build:release-candidate`를 부르므로 worktree에서
실행하지 않았다. `-t 'aggregate cgroup'` 반복 실행과 `test:system` 전체
통과는 메인 checkout에서 확인해야 한다.
검증:
- RED: 게이트 로그 test_system.log(d99301b, 메인 checkout 실행)에서 이
테스트가 `Error: ps failed: `로 `:810:7`에서 실패. 2 failed /
110 passed. d99301b..402e1db 사이 scripts·tests/system 변경 없음.
- 메커니즘: 테스트 파일에서 `readProcessArguments`·`showProcessArguments`·
`recordProviderProcessTree` 원문을 잘라 타입만 지우고, 수명이 짧은
child에 돌렸다(scratchpad/fix-11-01/recorder-check.mjs).
- 수정 전 20회: close 뒤 조회 실패 20, supervisor argv 기록 0,
실행 중 title 유출 기록 0
- 수정 후 20회(loadavg 1.6): 조회 실패 20, 기록 20, 유출 기록 20
- 수정 후 30회, busy loop 20개(loadavg 17.9): 기록 30, 유출 기록 30
- `npx tsc --project tsconfig.test.json --noEmit`, `tsconfig.node.json`
통과. `npx eslint tests/system/ci-runner/ci-artifact-contract.test.ts`
통과.
Fixes: 5cc41467ae ("refactor: 프론트 템플릿 리펙토링")
Refs: docs/reviews/2026-11-01-maturity-review/11-tests-browser-release-scale.md 11-01
VD-01 decision 3 hands unused diagnostics to tsc and turns off ESLint's
no-unused-vars for TS files, but tsconfig.base.json never enabled the
tsc check (D-19). The flag found 46 unused imports, types and helpers
across 22 files; none of them were read, so removing them changes no
behaviour.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
The freshness fixtures have a package.json but no node_modules. Started
outside pnpm, the gate's pnpm run began an install there and failed with
ERR_PNPM_IGNORED_BUILDS instead of testing the gate runner.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
pnpm verifies the install before a script, and a fixture running it with
CI=true against an install made without CI saw other settings and installed
through the linked .pnpm and .bin, rewriting the shared lock.yaml and shims.
Every fixture pnpm run now turns that check off; a test pins it for all.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Gate/command/artifact counts and the gate-shape SHA-256 were code
constants, so any real removal or addition failed check:ci and removal
fixtures passed only in a relaxed mode. They now live in
config/ci/contract-baseline.json (owner, reason) with
update:ci-contract-baseline; update:registry-baseline wraps the existing
registry script. Removal fixtures re-baseline and run canonical check:ci
and check:registries; CI_CONTRACT_MODE, --reduced-removal-fixture and
check:registries:structure are gone. ci-quality-gates.md lists the
baselines a new project resets.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>