fix(round9): 그룹 C 검사기 진단과 시험의 빈틈을 고친다 #55

Open
donghyeon.kang wants to merge 12 commits from donghyeon.kang/r9-c-checkers-tests AGit into main
12 Commits
Author SHA1 Message Date
DongHyeonka 1b5a8c6f54 test(browser): strict 검사를 공용 watcher로 빼 같은 context의 다른 탭도 본다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m13s
frontend-quality-gates / merge / tests (pull_request) Failing after 11m34s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m32s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
문제: strict fixture는 fixture의 `page` 하나에만 콘솔·pageerror·
requestfailed listener를 붙였다. 다른 탭을 여는 capability 시험 7곳
(cross-context invalidation, OPFS, IndexedDB)의 두 번째 탭은 아무도 보지
않았다. SW recovery 시험은 자기 context를 쓰며 fixture와 다른 손 사본
(WebKit 문구 무시 없음)으로 검사했다.

고친 것: 검사 본문을 `watchBrowserFailures(page, { preloads })`로 뺀다.
fixture는 자기 page(preload 검사 포함)와, 같은 context에서 열리는 모든 탭에
같은 함수를 붙인다(탭이 열릴 때 동기로 붙여 spec이 이동하기 전이다). SW
recovery는 회복된 load 전에 같은 함수를 붙인다. 손 사본은 지운다.
fixture의 기록을 읽는 `preload-use.spec.ts`에 둘째 탭의 console.error가
기록되는지 보는 시험을 더한다.

위험·한계: 둘째 탭의 preload 사용은 보지 않는다(첫 page만). SW recovery도
preload를 보지 않는다. 그 context는 같은 origin을 두 번 열어, WebKit이 회복된
load의 script를 캐시에서 주며 추적기의 route를 지나쳐 모든 preload가
미사용으로 읽혔다(16건).

검증: desktop — 옛 fixture에서 둘째 탭 시험이 세 엔진 모두 실패(RED),
고친 fixture에서 preload-use·SW recovery 통과, capability 세 spec은
FE-GATE-008에서 본다.

Refs: 1112/03-05
2026-11-13 23:29:13 +09:00
DongHyeonka 1d7462b3e1 test(opfs): 다른 탭 시험 둘이 지원 판정 결과를 조용히 넘기지 않고 단언한다
문제: OPFS 05-01 브라우저 시험 둘(다른 탭 purge가 진행 중 put을 기다림,
다른 탭 reconcile이 진행 중 put을 건너뜀)은 OPFS runtime을 설치하지 못하면
`return`으로 끝나 단언 0개로 통과했고, capability 증거는 "zero skipped"를
적었다. desktop 실행에서 Playwright의 WebKit이 바로 그 경우였다(세 케이스가
지원 판정 거절로 끝남). 같은 파일 첫 시험은 그 엔진에서 UNSUPPORTED를
단언한다.

고친 것: WebKit에서는 지원 판정이 거절함을 단언하고 끝낸다. 다른 엔진은
설치 성공을 단언한다. 그래서 chromium·firefox가 지원을 잃거나 WebKit이 지원을
얻으면 시험이 실패해 알린다.

버린 대안: 미지원 엔진을 quarantine skip으로 두는 안은 capability 증거
검사(`scripts/verify-browser-capability-evidence.ts`)가 skipped 노드를
거절해, 증거 규칙(게이트 기준)을 낮춰야 해서 하지 않았다. 문서
(`docs/operations/ci-quality-gates.md`)도 미지원 엔진은 skip하지 않고 명시적
UNSUPPORTED를 검증한다고 적는다.

검증: desktop `playwright test --config playwright.capabilities.config.ts
tests/browser-capabilities/opfs-runtime.spec.ts` 세 엔진 12건 통과. 이른
return을 단언으로 바꾸기만 한 판(실험 E-02)에서는 WebKit 세 케이스가
실패했다.

Refs: 1112/03-02
2026-11-13 23:29:13 +09:00
DongHyeonka 34a7627d36 fix(test-evidence): 검사 규칙마다 혼자 도는 거절 시험을 두고 strict import를 lint로 본다
문제: `check-test-evidence.ts`의 세 규칙에 혼자 도는 거절 시험이 없었다.
화면 전체 mask 규칙은 fixture만 있고 시험이 없었고, FE-GATE-029의 디렉터리
실행은 공통 접두어만 기대해 다른 fixture가 실패하면 통과했다. Playwright
설정의 forbidOnly 확인과 strict fixture 우회 확인은 전체 실행에서만 돌아
fixture로 시험할 수 없었다. strict fixture 확인은 `tests/e2e/*.spec.ts`
본문에 경로 글자가 있는지만 보아, 주석에만 적어도 통과했고 다른 브라우저
폴더 셋은 보지 않았다(1112/03-04).

고친 것:
- mask fixture 하나만 돌리는 시험을 더한다.
- forbidOnly 규칙이 시나리오 검사 밖의 모든 실행에서 돌고, 읽은 설정 목록을
  보고의 `facts.playwrightConfigs`에 남긴다. `--playwright-config <파일>`로
  다른 설정을 줄 수 있다. 거절 fixture(forbidOnly 없는 설정)와, 플래그가
  없으면 저장소 설정 전부를 읽는지 보는 시험을 더한다.
- strict fixture 확인은 ESLint `no-restricted-imports`로 옮긴다.
  `tests/{e2e,browser-capabilities,visual,storybook}/**/*.spec.ts`가
  `@playwright/test`의 `test`(이름·기본 import)나 strict fixture가 넓히는
  base test를 import하면 오류다. 일부러 plain test를 쓰는 둘
  (`preload-use.spec.ts`, `chunk-load-error.spec.ts`)만 예외다. 문자열 검사는
  지운다. 네 폴더 각각의 lint fixture를 시험이 lint한다.

위험·한계: w2-fe-2 PR #47이 두 예외 spec의 import를
`tests/support/browser/browser-test.ts`로 바꾼다. 그 경로의 `test`도 이
규칙이 막으므로 예외 둘은 그대로 필요하다.

검증: desktop 변이 셋 — mask 블록 삭제, forbidOnly 호출 삭제, ESLint 규칙
삭제 — 에서 각각 해당 시험이 실패하고(1·1·5건), 고친 코드에서 51건 통과.
`corepack pnpm lint` rc=0.

Refs: 1112/03-03, 1112/03-04
2026-11-13 23:29:13 +09:00
DongHyeonka dec8a9db32 refactor(e2e): Service Worker 빌드 helper가 fixture 빌드의 준비 함수를 쓴다
문제: `tests/e2e/support/service-worker-builds.ts`가 checkout 복사, node
modules 연결, 빌드 실행(`run`), 한 번 치환(`replaceOnce`)을
`fixture-builds.ts`와 따로 가졌다. 한쪽을 고친 변경(로컬 빌드 env
1103/11-08, 복사 제외 목록 1105/12-04)을 두 번 해야 했다.

고친 것: `fixture-builds.ts`에 `buildEditedCopies` 하나를 두고(복사 →
`prepare` 한 번 → 빌드마다 `edit`·빌드·`dist-<name>`·`collect`),
`prepareFixtureBuilds`와 `prepareServiceWorkerBuilds`가 그것을 쓴다.
`replaceOnce`는 `editOnce`를 가리킨다. 준비 중 실패한 사본은 전처럼
`sharedFixtureBuild`가 지운다.

검증: desktop `tests/unit/e2e-build-helpers.test.ts` 통과, SW update·recovery
e2e와 fixture 빌드 e2e는 FE-GATE-008에서 본다.

Refs: 0929/11-07
2026-11-13 23:29:13 +09:00
DongHyeonka f5e4e80e70 test(rpc): 스트림 시험 셋이 실제 1초를 자지 않게 상한 시계를 넘긴다
문제: RPC 스트림 시험 셋("cancels the physical stream exactly once after a
timeout", "refuses a second stream while the first has not confirmed
closure", "admits a second stream once waitClosed fulfils")은 시계를 넘기지
않아, 닫힘 확인이 없을 때의 1초 정리 상한을 runtime 기본 시계로 실제로
기다렸다(junit 1.03~1.06초). 같은 파일의 `cappedClock`은 다른 시험 넷에만
넘겼다.

고친 것: `cappedClock`(모든 대기를 30 ms로 자름)을 파일 위로 올리고 셋에도
넘긴다. 작업 마감 25 ms는 그 아래라 단언 뜻이 바뀌지 않는다.

검증: desktop junit에서 셋 모두 100 ms 아래. 고치기 전 파일은 같은 실행에서
1.027·1.059·1.056초.

Refs: 1101/10-07
2026-11-13 23:29:13 +09:00
DongHyeonka 7922592c07 fix(hosting): live probe가 하위 경로 기준 URL에서 surface를 그 아래로 요청한다
문제: `HOSTING_BASE_URL`의 경로가 `/`가 아니면 probe가 거절해, 하위 경로
(`VITE_ROUTER_BASE_PATH=/app/`)로 배포한 release는 live 확인을 쓸 수
없었다. surface 경로(`/config.json`)도 늘 origin 루트로 풀었다.

고친 것: 기준 URL은 `/`로 끝나는 경로면 받는다(query·fragment는 거절).
`config/hosting/cache-policy.json`의 surface 경로는 기준 URL 아래로 푼다
(`surfaceUrl`). 진입 script는 index.html이 적은 그대로 요청한다. 후보의
진입 script가 기준 경로 아래에 있는지(`deployment base-path`)도 보아, 다른
경로로 빌드한 후보를 잘못된 기준 URL로 재면 실패한다.

검증: desktop `node scripts/run-vitest.ts run tests/unit/hosting-probe.test.ts`
46건 통과(`/app/` 기준 요청 경로, 경로 불일치 실패, URL 분류). 기준
커밋에서는 새 시험이 실패한다.

Refs: 0929/13-06
2026-11-13 23:29:13 +09:00
DongHyeonka e657d00fbe fix(build): checkout 빌드를 읽는 스크립트 넷이 다른 RUN_OUTPUT_ROOT를 거절한다
문제: `RUN_OUTPUT_ROOT`가 다른 폴더를 가리키면 빌드는 그 아래에 쓰는데,
`verify-reproducible-build.ts`, `check-optional-recipes.ts`,
`check-app-build-input.ts --require-bundle`, `create-release-candidate.ts`는
checkout의 `dist/`·`artifacts/`를 읽고 스스로 거절하지 않았다. 게이트
안에서는 앞 단계가 거절해 거짓 PASS가 없었지만, 단독 실행은
`verify:reproducible-build`가 이전 빌드를 두 번 재서 `passed: true`를 쓸 수
있었다.

고친 것: 넷이 시작할 때 `checkoutBuildReadFailure`(check-bundle.ts와 같다)를
부르고 변수 이름·값을 적으며 exit 1. `check-optional-recipes.ts`는
`--dist-root`를 받았으면 그 폴더를 읽으므로 묻지 않는다.

검증: desktop `node scripts/run-vitest.ts run tests/unit/run-isolation.test.ts`
통과. 넷을 `RUN_OUTPUT_ROOT=.tmp/run-output-refusal`로 띄워 rc=1과 메시지를
본다(가장 긴 실행 499 ms). 기준 커밋에서는 넷 다 실패한다(RED).

Refs: 1106/12-02
2026-11-13 23:29:13 +09:00
DongHyeonka 86b4a328c0 fix(release): route 청크를 청크 이름이 아니라 페이지 소스 파일로 찾는다
문제: build manifest 작성과 release 검사 둘은 route 청크를 Vite manifest
`entry.name === moduleId`로 찾았다. 청크 이름이 선언 없이 계약이 되어,
vite.config.ts가 route 청크에 이름을 붙이면(tech-log 방식) 빌드가 이유 없는
`Missing built route chunk: <routeId>`로 멈췄다.

고친 것: `scripts/lib/build-manifest-outputs.ts`의 `findRouteChunk` 하나가 dynamic
entry 중 소스 파일(manifest 키 또는 `src`) 이름이 route runtime의
`moduleId`인 것을 찾는다. 셋(build manifest, verify-release, local release
evidence)이 그것을 쓴다. 새 파일을 두지 않은 것은 release 후보
archive의 검증기 소스 목록(`config/ci/gates.json` member 집합)을 바꾸지
않기 위해서다. 못 찾으면 규칙("moduleId는 그 라우트가 import하는
페이지 파일 이름")을, 둘이면 두 소스 경로를 적는다.

위험·한계: moduleId가 페이지 파일 이름이라는 규약은 그대로다(생성기와
`route-runtime.tsx`가 이미 그렇게 쓴다).

검증: desktop `node scripts/run-vitest.ts run tests/unit/route-chunks.test.ts`
통과(다른 청크 이름, 없음, 중복, 계약 없음, 세 사용처).

Refs: 0929/13-03
2026-11-13 23:29:12 +09:00
DongHyeonka 47a5957233 feat(drill): provider 증거로 로컬 drill이 못 보는 항목을 닫는다
문제: provider 확인이 필요한 drill(FE-RB-002~005)은 입력이 runbook ID와
`--release-root`뿐이라 어떤 입력으로도 PASS가 될 수 없었다. 문서는
"provider 증거가 없으면 production 단계는 닫히지 않는다"고 했지만 증거를
넘길 길이 없었다.

고친 것: `--provider-evidence <파일>`을 받는다. 파일 꼴은
`providerDrillEvidenceSchema`(runbook ID, release ID, 관찰 시각, provider
run ID, 항목마다 PASS/FAIL과 근거)다. 같은 runbook·같은 release이고, 관찰이
7일 안이며 5분 넘게 앞서지 않고, 로컬 drill이 UNVERIFIED로 남긴 항목만
답한 증거만 받는다. 받은 증거는 그 항목의 UNVERIFIED만 바꾸고 로컬의
PASS·FAIL은 그대로 둔다. `provider verification` 항목도 증거가 답해야
한다. 받지 않은 증거는 이유와 함께 record의 `providerEvidence`에 남고,
record schema는 그 경우 PASS를 거절한다.

버린 대안: production·field 단계를 "provider 연결 전 기본 꺼짐"으로
문서화하는 (b)는 job 그래프(`config/ci/**`)를 바꾸는 일이라 하지 않았다.

위험·한계: 템플릿의 production 게이트 명령은 아직 이 인자를 넘기지
않는다. 증거 파일을 만들고 넘기는 자리는 provider를 연결한 제품 몫이다.
유효 기간 7일은 정한 기본값이다.

검증: desktop `node scripts/run-vitest.ts run tests/unit/runbook-drill.test.ts`
통과(유효 증거 PASS, FAIL 증거, 빠진 항목, 다른 release·runbook, 만료,
미래 시각, 로컬이 본 항목, 다른 꼴 거절, PASS를 주장하는 거절 record).

Refs: 0929/11-02
2026-11-13 21:49:58 +09:00
DongHyeonka 923b29be6c fix(fanout): 실패 줄에 두 탈출 방법을, 결과 줄에 검토된 예외 수를 적는다
문제: fanout 검사의 실패 줄은 `FAIL <file>:<line> <call> inside
<context>`뿐이라, 제품 팀은 메시지만 보고 커서 runtime이나 검토 주석이라는
두 방법을 알 수 없었다. `// fanout-reviewed:` 주석으로 넘긴 호출 수도
출력하지 않았고, 허용 fixture는 bulk 읽기 하나였다(0929 결정 (가)를 하지
않았다).

고친 것: 실패 줄이 기능 `adapters/`의 `createCursorPaginationRuntime`과
같은 줄의 `// fanout-reviewed: <이유>`를 함께 적는다. 결과 줄과 fixture
줄이 검토된 예외의 수와 위치·이유를 적는다. 허용 fixture에 주석 달린 커서
루프를 더하고, fixture 실행은 그것이 예외로 세어져야 통과한다. 머리 주석과
`docs/operations/ci-quality-gates.md`에 미탐 범위를 적었다.

위험·한계: 휴리스틱 자체(receiver 이름)는 그대로다(1105의 재설계 (나)는
하지 않았다).

검증: desktop `node scripts/run-vitest.ts run
tests/architecture/request-fanout.test.ts` 통과. 검사기를 기준 커밋으로
되돌리면 새 시험 셋이 실패한다.

Refs: 0929/12-01
2026-11-13 21:49:58 +09:00
DongHyeonka aebb7c8c55 fix(docs-check): verify.sh와 python3 명령 안의 경로·script도 대조한다
문제: `verify:documentation`은 명령 머리가 corepack·pnpm·node 같은 낱말일
때만 인자 경로를 보았다. 이 repo 문서의 명령 대부분은
`scripts/verify.sh exec -- node <경로>`, `scripts/verify.sh script <이름>`,
`python3 scripts/…` 꼴이라, 그 안의 낡은 경로·없는 script 이름이 검사를
통과했다.

고친 것: `python3`를 명령 머리에 더하고, `scripts/verify.sh`는 그 자신을
경로로 보며 `exec --` 뒤를 다시 명령으로 읽고 `script` 뒤 낱말을 package
script 이름으로 대조한다. 자리표시자(`<이름>`)와 `--` 뒤 인자는 보지
않는다.

위험·한계: 살아 있는 문서 전부가 지금 이 검사를 통과하는지는 desktop
`verify:documentation`으로 확인한다.

검증: desktop `node scripts/run-vitest.ts run
tests/unit/documentation-readiness.test.ts` 24건 통과(새 시험 포함). 검사기를
기준 커밋으로 되돌리면 새 시험이 실패한다.

Refs: 1112/08-06
2026-11-13 21:49:58 +09:00
DongHyeonka eb7d89c742 fix(system-test): 사전 점검이 provider와 같은 user manager·scope 호출을 한다
문제: `test:system` 사전 점검은 system manager bus(`systemctl
show-environment`)와 실행 파일 셋만 보고 PASS를 냈다. provider 본 단계는
`/usr/bin/prlimit`·`/usr/bin/systemd-run`을 쓰고, user manager 버전(254
이상)을 묻고, `systemd-run --user --scope`로 cgroup 한도를 강제한다. 그래서
user bus가 없거나 버전이 낮거나 controller가 위임되지 않은 호스트는 PASS
뒤 provider 시험마다 `provider cgroup unavailable: ...`로 떨어졌다.

고친 것: 점검이 prlimit·systemd-run 실행 가능 여부를 보고, provider와
같은 인자(`USER_MANAGER_VERSION_ARGUMENTS`)로 user manager 버전을 묻고,
provider scope와 같은 속성·같은 cgroup 강제 확인으로 `/bin/true`를 한 번
띄운다. scope 인자와 최소 버전은 `scripts/lib/provider-cgroup.ts` 한
곳에 두고 provider와 점검이 같이 쓴다. system bus 점검은 provider가 쓰지
않아 user manager 점검으로 바꿨다. 위임 controller 값은 scope 안의 강제
확인(memory.max·pids.max·cpu.max)이 실제로 읽어 보므로 UNVERIFIED로 남길
몫이 없다.

위험·한계: 점검이 user scope 하나를 띄웠다 지운다(`--collect`, 5초
상한). 시스템 컨테이너 안(root)에서도 provider와 같은 호출이라 같은
결과를 낸다고 보고, FE-GATE-013으로 확인한다.

검증: desktop `scripts/verify.sh exec`로
`node scripts/run-vitest.ts run tests/unit/system-test-prerequisites.test.ts`
등 7파일 134건 통과. 점검 코드를 기준 커밋으로 되돌리면 새 시험 6건이
실패한다(RED).

Refs: 1112/08-03
2026-11-13 21:49:58 +09:00