frontend-quality-gates / merge / static checks (pull_request) Canceled after 0s
frontend-quality-gates / merge / tests (pull_request) Canceled after 0s
frontend-quality-gates / merge / browser tests (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Canceled after 0s
frontend-quality-gates / external-vulnerability-provider (pull_request) Canceled after 0s
frontend-quality-gates / external-provenance-provider (pull_request) Canceled after 0s
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Canceled after 0s
frontend-quality-gates / deploy-promoted-release (pull_request) Canceled after 0s
frontend-quality-gates / main / self-tests and removal drills (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Canceled after 0s
문제: 자식 프로세스 시험의 timeout은 `childProcessTimeout(<잰 ms>)`로
정한다(docs/work/reference/testing.md 2절). 그런데 기본값이 아니라서
`tests/setup.ts` 검사에 걸리지 않는 손 숫자가 남았다. 리뷰가 센 54곳 중
둘(`browser-soak.contract.test.ts`의 `evaluateSoak` 인자)은 timeout이 아니고,
AST로 다시 세면 80곳이다: 시험·describe·hook에 쓴 숫자, `VERIFY_TIMEOUT`·
`PROCESS_HEAVY_TIMEOUT_MS`(파일 넷에 따로)·`PROVIDER_BASE_FIXTURE_TIMEOUT_MS`
같은 상수, `PROCESS_WATCHDOG_MS * 3` 같은 식. taxonomy는 옛 상수를 예로
들었다. 실측으로 보면 손 숫자 하나가 모자랐다: system 시험의 provider 묶음
30초는 desktop 여섯 번 중 두 번 넘겼다.
고친 것:
- 80곳을 desktop에서 잰 가장 긴 실행으로 `childProcessTimeout(<ms>)`에
넘긴다. coverage 묶음(maxWorkers=4)·test:unit 각 9회, integration 3회,
scale(traffic·session·composition·global-local) 3회, 시스템 컨테이너의
tests/system 6회, JSON reporter로 받았다. hook은 파일 시간에서 시험 합을
뺀 값이다. 시간 초과로 끝난 실행은 그 시간을 하한으로 넣었다.
- 상수 사본은 지운다. 한 파일 안에서 여럿이 쓰는 값만
`const X = childProcessTimeout(...)`로 둔다(`VERIFY_TIMEOUT`). guardian
시험의 lease는 시험 timeout이 아니라 `childProcessTimeout(0)`(helper의 최소
30초)로 둔다.
- `tests/unit/test-timeout-declarations.test.ts`가 tests/의 Vitest 파일을
Babel로 읽어 시험·describe·hook의 timeout 인자가 helper 호출(또는 그것을
담은 파일 상수)이 아니면 파일과 줄로 실패한다. 프로세스 안에서 도는 긴
시험(scale tier)도 같은 helper를 쓴다.
- taxonomy 예시, testing.md 2절, `.claude/rules/tests.md` 9번, helper 머리
주석을 같은 방법으로 맞춘다.
버린 대안:
- `tests/setup.ts` 검사를 「helper가 만든 값이 아닌 timeout」까지 넓히기.
helper 값은 30초 단위 숫자라 손으로 쓴 60_000과 가릴 수 없고, hook과
프로세스 안 시험은 보지 못한다.
- 프로세스 안 시험은 손 숫자 그대로 두기. 근거 없는 숫자가 남고 검사가
예외를 가져야 한다.
위험·한계:
- 값이 커진 곳이 있다(15배 규칙): `manual-code-blocks` 300초 → 900초,
provider 묶음 30초 → 480초 등. hang을 늦게 잡는다. 줄어든 곳도 있다
(scale traffic 60초 → 30초 등, 잰 값의 15배 안).
- 측정은 desktop 부하 6~35에서 했다. runner가 더 느리면 다시 잰다.
- 검사 시험은 Vitest 파일 전부를 파싱해 coverage 묶음에서 최대 13.5초
걸렸고, 그 값으로 자기 timeout을 준다. 이름 있는 함수를 콜백으로 넘긴
시험(`it("x", run, 30_000)`)은 못 찾는다.
- 다운스트림: 손 숫자 timeout이 있는 제품 시험은 test:unit에서 이 검사에
걸린다. 메시지가 helper를 알린다.
검증(desktop):
- RED: 검사 시험이 고치기 전 80곳을 파일·줄로 내고 실패. GREEN: 검사·
child-process-timeout 6개 통과. check:types·eslint(바뀐 34파일) rc=0,
verify:documentation PASS_SCOPED, 노트북 `scripts/verify.sh docs` OK.
- 측정 원자료: /tmp/claude-gates/w2fe2-t08m, -t08m2, -t08m3.
- 게이트 결과는 PR 본문에 적는다.
Refs: 1112/03-08
172 lines
6.1 KiB
TypeScript
172 lines
6.1 KiB
TypeScript
import { spawnSync } from "node:child_process";
|
|
import { cp, mkdir, mkdtemp, readFile, rm, writeFile } from "node:fs/promises";
|
|
import { tmpdir } from "node:os";
|
|
import path from "node:path";
|
|
|
|
import { expect, it } from "vitest";
|
|
|
|
import {
|
|
captureCiCandidateArchive,
|
|
withVerifiedCapturedCandidate,
|
|
} from "../../scripts/lib/ci-candidate-archive.ts";
|
|
import { verifyArchivedLocalEvidence } from "../../scripts/lib/local-release-evidence.ts";
|
|
import {
|
|
RELEASE_CANDIDATE_EVIDENCE_PATHS,
|
|
RELEASE_CANDIDATE_MANIFEST_PATH,
|
|
releaseCandidateManifestSchema,
|
|
} from "../../scripts/lib/release-candidate.ts";
|
|
import {
|
|
FIXTURE_PNPM_ENVIRONMENT,
|
|
linkFixtureNodeModules,
|
|
} from "../../scripts/lib/fixture-node-modules.ts";
|
|
import { selectRepositoryPaths } from "../../scripts/lib/repository-layout.ts";
|
|
import { childProcessTimeout } from "../helpers/child-process-timeout.ts";
|
|
|
|
/** The temporary file of an atomic write: `.<name>.<random>.tmp`. */
|
|
const IN_FLIGHT_WRITE = /^\..+\.tmp$/u;
|
|
|
|
it(
|
|
"builds a real candidate assessment and passes the default archived verifier from the captured archive",
|
|
async () => {
|
|
const sourceRoot = process.cwd();
|
|
const fixtureRoot = await mkdtemp(path.join(tmpdir(), "security-followup-producer-"));
|
|
try {
|
|
await cp(sourceRoot, fixtureRoot, {
|
|
recursive: true,
|
|
filter: (source) => {
|
|
const relative = path.relative(sourceRoot, source);
|
|
if (!relative) return true;
|
|
const first = relative.split(path.sep)[0];
|
|
return !selectRepositoryPaths("supply-chain-fixture-skip").includes(first ?? "");
|
|
},
|
|
});
|
|
// Other test files write their receipts under artifacts/ while this one
|
|
// copies it: a temporary file of an atomic write (.<name>.<uuid>.tmp) was
|
|
// renamed between the listing and the copy, and the copy failed with
|
|
// ENOENT (FE-GATE-007 on desktop, 2026-11-12). It is never evidence.
|
|
await cp(path.join(sourceRoot, "artifacts"), path.join(fixtureRoot, "artifacts"), {
|
|
recursive: true,
|
|
filter: (source) => !IN_FLIGHT_WRITE.test(path.basename(source)),
|
|
});
|
|
await rm(path.join(fixtureRoot, "artifacts/release"), {
|
|
recursive: true,
|
|
force: true,
|
|
});
|
|
await linkFixtureNodeModules(fixtureRoot, sourceRoot);
|
|
const git = spawnSync("git", ["show", "-s", "--format=%H%n%ct", "HEAD"], {
|
|
cwd: sourceRoot,
|
|
encoding: "utf8",
|
|
});
|
|
expect(git.status, git.stderr).toBe(0);
|
|
const [revision, sourceDateEpoch] = git.stdout.trim().split(/\r?\n/u);
|
|
const build = spawnSync(
|
|
"corepack",
|
|
["pnpm", "build:release-candidate"],
|
|
{
|
|
cwd: fixtureRoot,
|
|
encoding: "utf8",
|
|
timeout: 120_000,
|
|
maxBuffer: 32 * 1024 * 1024,
|
|
env: {
|
|
...process.env,
|
|
...FIXTURE_PNPM_ENVIRONMENT,
|
|
CI: "true",
|
|
VITE_BUILD_ID: "security-followup-integration",
|
|
VITE_COMMIT_SHA: revision,
|
|
RELEASE_ID: "security-followup-integration",
|
|
SOURCE_DATE_EPOCH: sourceDateEpoch,
|
|
CI_RUNNER_IMAGE: `fixture@sha256:${"a".repeat(64)}`,
|
|
},
|
|
},
|
|
);
|
|
expect(build.status, `${build.stdout}\n${build.stderr}`).toBe(0);
|
|
const manifest = releaseCandidateManifestSchema.parse(
|
|
JSON.parse(
|
|
await readFile(path.join(fixtureRoot, RELEASE_CANDIDATE_MANIFEST_PATH), "utf8"),
|
|
) as unknown,
|
|
);
|
|
const archivePath = path.join(fixtureRoot, "candidate.tar.gz");
|
|
const archived = spawnSync(
|
|
"/usr/bin/tar",
|
|
[
|
|
"--sort=name",
|
|
"--mtime=@0",
|
|
"--owner=0",
|
|
"--group=0",
|
|
"--numeric-owner",
|
|
"-czf",
|
|
archivePath,
|
|
"dist",
|
|
...RELEASE_CANDIDATE_EVIDENCE_PATHS,
|
|
RELEASE_CANDIDATE_MANIFEST_PATH,
|
|
],
|
|
{ cwd: fixtureRoot, encoding: "utf8" },
|
|
);
|
|
expect(archived.status, archived.stderr).toBe(0);
|
|
const archiveBytes = await readFile(archivePath);
|
|
const expectedSha256 = await import("node:crypto").then(({ createHash }) =>
|
|
createHash("sha256").update(archiveBytes).digest("hex"),
|
|
);
|
|
const captured = await captureCiCandidateArchive({ archivePath, expectedSha256 });
|
|
const verified = await withVerifiedCapturedCandidate({
|
|
captured,
|
|
verify: ({ extractionRoot, manifest: extractedManifest }) =>
|
|
verifyArchivedLocalEvidence({
|
|
extractionRoot,
|
|
expectedManifest: extractedManifest,
|
|
}),
|
|
});
|
|
|
|
expect(manifest.files).toContainEqual(
|
|
expect.objectContaining({
|
|
path: "artifacts/security/local-evidence-assessment.json",
|
|
}),
|
|
);
|
|
expect(verified).toEqual(
|
|
expect.objectContaining({
|
|
status: "PASS",
|
|
identity: expect.objectContaining({ sourceRevision: revision }),
|
|
failures: [],
|
|
}),
|
|
);
|
|
|
|
const outsideRoot = await mkdtemp(path.join(tmpdir(), "security-followup-outside-"));
|
|
try {
|
|
await mkdir(path.join(outsideRoot, "config/security"), { recursive: true });
|
|
await writeFile(
|
|
path.join(outsideRoot, "config/security/dependency-policy.json"),
|
|
'{"contradictoryCheckoutCanary":"FAIL"}\n',
|
|
);
|
|
const outsideVerification = spawnSync(
|
|
process.execPath,
|
|
[
|
|
path.join(sourceRoot, "scripts/verify-archived-local-evidence.ts"),
|
|
"--archive",
|
|
archivePath,
|
|
"--sha256",
|
|
expectedSha256,
|
|
],
|
|
{
|
|
cwd: outsideRoot,
|
|
encoding: "utf8",
|
|
timeout: 120_000,
|
|
maxBuffer: 32 * 1024 * 1024,
|
|
},
|
|
);
|
|
expect(
|
|
outsideVerification.status,
|
|
`${outsideVerification.stdout}\n${outsideVerification.stderr}`,
|
|
).toBe(0);
|
|
expect(outsideVerification.stdout).toContain(
|
|
"Archived local evidence verification: PASS",
|
|
);
|
|
} finally {
|
|
await rm(outsideRoot, { recursive: true, force: true });
|
|
}
|
|
} finally {
|
|
await rm(fixtureRoot, { recursive: true, force: true });
|
|
}
|
|
},
|
|
childProcessTimeout(23_999),
|
|
);
|