자식 프로세스를 띄우는 Vitest 시험 91개(24파일)가 기본 timeout 10초에 기대고 있었다. 셋은 FE-GATE-013에서만 도는 tests/system 시험이다. 기본값은 프로세스 안에서 도는 시험에 맞춘 값이다. 부하가 높은 desktop에서는 자식 프로세스 시험이 평소보다 크게 느려진다. FE-GATE-020 drill 사본에서 평소 0.4~1.2초인 문서 시험이 10.6초 걸려 실패했다(2026-11-12). 가장 위험한 것은 tests/architecture/app-build-input .test.ts로, desktop에서 이미 5.7초까지 걸렸다. 무엇을 고칠지는 desktop 계측으로 정했다. - test:coverage 묶음(maxWorkers=4)과 test:unit을 세 번씩 돌렸다. 시험마다 띄운 자식 프로세스는 child_process 함수를 감싸 기록했고, 소요 시간은 JSON reporter로 받았다. - 시험마다 실제 timeout은 task.timeout으로 기록했다. - 자식 프로세스를 띄우는 시험 140개 중 88개가 기본값이었다. tests/system은 그 묶음에 없어서, 아래 검사가 잡은 셋을 따로 세 번 쟀다. 고친 것: - tests/helpers/child-process-timeout.ts의 childProcessTimeout(<잰 최대 ms>)는 그 15배를 30초 단위로 올린 값이다. 15배는 위 0.7초 → 10.6초에서 왔다. 시험마다 자기가 잰 최대값을 인자로 적어 근거가 호출 자리에 남는다. - describe 안의 기본값 시험이 모두 자식 프로세스를 띄우면 describe에, 일부만 띄우면 그 시험에 준다. 프로세스 안에서 도는 시험의 hang을 늦게 잡지 않으려는 것이다. - tests/setup.ts가 child_process 함수를 감싼다. 기본 timeout인 시험이 자식 프로세스를 띄우면 그 호출에서 실패시키고, helper 이름을 알린다. helper나 시험이 import한 스크립트가 띄워도 잡는다. util.promisify가 읽는 속성은 원래 함수에서 옮긴다. - docs/work/reference/testing.md 2절에 값 정하는 법과 이 검사를 적었다. 버린 것: - 전역 testTimeout 올리기: 프로세스 안 시험의 hang을 늦게 잡는다. - 시험마다 손으로 정한 숫자: 근거가 남지 않고, 이미 있는 값도 60_000·120_000처럼 근거가 없었다. - 자식 프로세스를 띄우지 않게 바꾸기: 검사 스크립트를 CLI 그대로 시험하는 것이 이 시험들의 목적이라 범위가 커진다. - 파일에 timeout 선언이 있는지만 보는 정적 검사: helper가 띄우는 경우와 같은 파일의 다른 시험을 놓친다. 위험: - hook(beforeAll 등)에서 띄우는 프로세스는 검사하지 않는다. 계측에서 hook이 띄운 곳은 둘이고, 둘 다 180초를 선언했다. - 같은 파일 안에서 it.concurrent로 도는 시험이 섞이면 어느 시험의 timeout인지 틀릴 수 있다. 지금은 그런 시험이 없다. - 다운스트림 시험이 기본값으로 자식 프로세스를 띄우면 test:unit 등이 실패한다. 메시지가 helper를 알린다. 검증(desktop): - 다섯 검사(test:unit·check:types·check:ci·lint·verify:documentation) rc=0. - 자식 프로세스를 띄우는 시험 파일 40개와 tests/scale: rc=0, 검사 위반 0. - tests/system: 115개 중 18개 실패. 모두 bwrap 호스트 제약이고 검사 위반은 0이다. - 변이: 검사를 끄면 tests/unit/child-process-timeout.test.ts가 실패한다. tracked-artifacts describe의 timeout을 지우면 그 시험이 검사 메시지로 실패한다. - 재현: CPU 10% 제한에서 app-build-input·registry-governance·hosting-probe ·design-system-rules를 돌렸다. main 650d22fa는 11개가 10초 timeout으로 실패했다. 이 커밋은 71개 모두 통과했고, 가장 긴 시험은 17.7초였다.
235 lines
9.1 KiB
TypeScript
235 lines
9.1 KiB
TypeScript
import { spawnSync } from "node:child_process";
|
|
import { mkdir, mkdtemp, readFile, rm, writeFile } from "node:fs/promises";
|
|
import { tmpdir } from "node:os";
|
|
import path from "node:path";
|
|
|
|
import { afterEach, describe, expect, it } from "vitest";
|
|
|
|
import { loadCiGateContract } from "../../../scripts/contracts/ci-gates.ts";
|
|
import { DEPENDENCY_ADVISORIES_RECORD_PATH } from "../../../scripts/lib/dependency-advisories.ts";
|
|
import { FIXTURE_PNPM_ENVIRONMENT } from "../../../scripts/lib/fixture-node-modules.ts";
|
|
import { childProcessTimeout } from "../../helpers/child-process-timeout.ts";
|
|
|
|
// F-12. The temp roots have a package.json but no node_modules or lockfile.
|
|
// Run directly (not under pnpm), pnpm's pre-script install check started an
|
|
// install there and failed with ERR_PNPM_IGNORED_BUILDS; the gate runner has
|
|
// to run the scripts as they are.
|
|
|
|
const temporaryRoots: string[] = [];
|
|
|
|
afterEach(async () => {
|
|
await Promise.all(
|
|
temporaryRoots.splice(0).map((root) =>
|
|
rm(root, { recursive: true, force: true }),
|
|
),
|
|
);
|
|
});
|
|
|
|
describe("CI-runner command-generated evidence freshness", { timeout: childProcessTimeout(871) }, () => {
|
|
it("rejects stale command-generated evidence from a successful no-op producer", async () => {
|
|
const root = await mkdtemp(path.join(tmpdir(), "ci-gate-stale-evidence-"));
|
|
temporaryRoots.push(root);
|
|
await mkdir(path.join(root, "config/ci"), { recursive: true });
|
|
await mkdir(path.join(root, "artifacts/tests"), { recursive: true });
|
|
const contract = JSON.parse(
|
|
JSON.stringify(await loadCiGateContract(process.cwd())),
|
|
) as Record<string, any>;
|
|
const command = contract.commands.find(
|
|
(entry: Record<string, any>) => entry.id === "test-runtime-schema",
|
|
);
|
|
command.script = "test:stale-evidence-noop";
|
|
const evidence = contract.artifacts.find(
|
|
(entry: Record<string, any>) =>
|
|
entry.path === "artifacts/tests/runtime-schema.xml",
|
|
);
|
|
const packageDocument = JSON.parse(
|
|
await readFile("package.json", "utf8"),
|
|
) as { scripts: Record<string, string> };
|
|
packageDocument.scripts[command.script] = "true";
|
|
await writeFile(
|
|
path.join(root, "config/ci/gates.json"),
|
|
`${JSON.stringify(contract)}\n`,
|
|
);
|
|
await writeFile(
|
|
path.join(root, "package.json"),
|
|
`${JSON.stringify(packageDocument)}\n`,
|
|
);
|
|
await writeFile(
|
|
path.join(root, evidence.path),
|
|
'<testsuite name="stale" tests="0" failures="0"/>\n',
|
|
);
|
|
|
|
const result = spawnSync(
|
|
process.execPath,
|
|
[path.resolve("scripts/run-ci-gate.ts"), "FE-GATE-004"],
|
|
{ cwd: root, encoding: "utf8", env: { ...process.env, ...FIXTURE_PNPM_ENVIRONMENT, CI: "false" } },
|
|
);
|
|
|
|
expect(result.status).toBe(1);
|
|
expect(
|
|
await readFile(
|
|
path.join(root, "artifacts/quality/gates/FE-GATE-004.txt"),
|
|
"utf8",
|
|
),
|
|
).toMatch(/not freshly produced/i);
|
|
});
|
|
|
|
it("accepts a fresh deterministic rewrite with identical evidence bytes", async () => {
|
|
const root = await mkdtemp(
|
|
path.join(tmpdir(), "ci-gate-identical-rewrite-"),
|
|
);
|
|
temporaryRoots.push(root);
|
|
await mkdir(path.join(root, "config/ci"), { recursive: true });
|
|
await mkdir(path.join(root, "artifacts/tests"), { recursive: true });
|
|
const contract = JSON.parse(
|
|
JSON.stringify(await loadCiGateContract(process.cwd())),
|
|
) as Record<string, any>;
|
|
const command = contract.commands.find(
|
|
(entry: Record<string, any>) => entry.id === "test-runtime-schema",
|
|
);
|
|
command.script = "test:identical-evidence-rewrite";
|
|
const evidence = contract.artifacts.find(
|
|
(entry: Record<string, any>) =>
|
|
entry.path === "artifacts/tests/runtime-schema.xml",
|
|
);
|
|
const evidenceBytes =
|
|
'<testsuite name="deterministic" tests="0" failures="0"/>\n';
|
|
const packageDocument = JSON.parse(
|
|
await readFile("package.json", "utf8"),
|
|
) as { scripts: Record<string, string> };
|
|
packageDocument.scripts[command.script] =
|
|
`node -e 'require("node:fs").writeFileSync("${evidence.path}", Buffer.from("${Buffer.from(evidenceBytes).toString("base64")}", "base64"))'`;
|
|
await writeFile(
|
|
path.join(root, "config/ci/gates.json"),
|
|
`${JSON.stringify(contract)}\n`,
|
|
);
|
|
await writeFile(
|
|
path.join(root, "package.json"),
|
|
`${JSON.stringify(packageDocument)}\n`,
|
|
);
|
|
await writeFile(path.join(root, evidence.path), evidenceBytes);
|
|
|
|
const result = spawnSync(
|
|
process.execPath,
|
|
[path.resolve("scripts/run-ci-gate.ts"), "FE-GATE-004"],
|
|
{ cwd: root, encoding: "utf8", env: { ...process.env, ...FIXTURE_PNPM_ENVIRONMENT, CI: "false" } },
|
|
);
|
|
|
|
expect(result.status).toBe(0);
|
|
expect(result.stdout).toMatch(/FE-GATE-004 runtime-schema: PASS/);
|
|
});
|
|
});
|
|
|
|
describe("CI-runner gate output budget", () => {
|
|
it("caps aggregate gate output at the log schema before later commands can accumulate", async () => {
|
|
const root = await mkdtemp(path.join(tmpdir(), "ci-gate-output-budget-"));
|
|
temporaryRoots.push(root);
|
|
await mkdir(path.join(root, "config/ci"), { recursive: true });
|
|
const contract = JSON.parse(
|
|
JSON.stringify(await loadCiGateContract(process.cwd())),
|
|
) as Record<string, any>;
|
|
const gate = contract.gates.find(
|
|
(entry: Record<string, any>) => entry.id === "FE-GATE-001",
|
|
);
|
|
const command = contract.commands.find(
|
|
(entry: Record<string, any>) => entry.id === gate.commandIds[0],
|
|
);
|
|
command.script = "test:huge-output";
|
|
const logArtifact = contract.artifacts.find(
|
|
(entry: Record<string, any>) => entry.id === gate.logArtifactId,
|
|
);
|
|
const logSchema = contract.artifactSchemas.find(
|
|
(entry: Record<string, any>) => entry.id === logArtifact.schemaId,
|
|
);
|
|
logSchema.maxBytes = 8_192;
|
|
const packageDocument = JSON.parse(
|
|
await readFile("package.json", "utf8"),
|
|
) as { scripts: Record<string, string> };
|
|
packageDocument.scripts["test:huge-output"] =
|
|
"node -e \"process.stdout.write('x'.repeat(20000))\"";
|
|
await writeFile(
|
|
path.join(root, "config/ci/gates.json"),
|
|
`${JSON.stringify(contract)}\n`,
|
|
);
|
|
await writeFile(
|
|
path.join(root, "package.json"),
|
|
`${JSON.stringify(packageDocument)}\n`,
|
|
);
|
|
const result = spawnSync(
|
|
process.execPath,
|
|
[path.resolve("scripts/run-ci-gate.ts"), "FE-GATE-001"],
|
|
{
|
|
cwd: root,
|
|
encoding: "utf8",
|
|
env: { ...process.env, ...FIXTURE_PNPM_ENVIRONMENT, CI: "false" },
|
|
timeout: 15_000,
|
|
},
|
|
);
|
|
|
|
expect(result.status).toBe(1);
|
|
const log = await readFile(path.join(root, logArtifact.path));
|
|
expect(log.byteLength).toBeLessThanOrEqual(8_192);
|
|
expect(log.toString("utf8")).toMatch(
|
|
/aggregate output|INFRASTRUCTURE_FAILURE/i,
|
|
);
|
|
}, 20_000);
|
|
});
|
|
|
|
// 1106/13-01. ci:gate stops at the first command that fails. FE-GATE-027 ran
|
|
// the admission first, so a refused candidate left no advisory record, and the
|
|
// release evidence the operations guide points to had none. The two package
|
|
// scripts are stand-ins: the admission refuses, the scan writes its record.
|
|
describe("CI-runner FE-GATE-027 advisory record", () => {
|
|
it("writes the advisory record when the release admission refuses the candidate", async () => {
|
|
const root = await mkdtemp(path.join(tmpdir(), "ci-gate-refused-admission-"));
|
|
temporaryRoots.push(root);
|
|
await mkdir(path.join(root, "config/ci"), { recursive: true });
|
|
await mkdir(path.join(root, path.dirname(DEPENDENCY_ADVISORIES_RECORD_PATH)), {
|
|
recursive: true,
|
|
});
|
|
const contract = JSON.parse(
|
|
JSON.stringify(await loadCiGateContract(process.cwd())),
|
|
) as Record<string, any>;
|
|
const gate = contract.gates.find(
|
|
(entry: Record<string, any>) => entry.id === "FE-GATE-027",
|
|
);
|
|
const logArtifact = contract.artifacts.find(
|
|
(entry: Record<string, any>) => entry.id === gate.logArtifactId,
|
|
);
|
|
const packageDocument = JSON.parse(
|
|
await readFile("package.json", "utf8"),
|
|
) as { scripts: Record<string, string> };
|
|
packageDocument.scripts["check:release-admission"] =
|
|
`node -e "process.stderr.write('release admission refused for production: fixture'),process.exit(1)"`;
|
|
packageDocument.scripts["scan:dependency-advisories"] =
|
|
`node -e 'require("node:fs").writeFileSync(${JSON.stringify(DEPENDENCY_ADVISORIES_RECORD_PATH)}, "fixture record")'`;
|
|
await writeFile(
|
|
path.join(root, "config/ci/gates.json"),
|
|
`${JSON.stringify(contract)}\n`,
|
|
);
|
|
await writeFile(
|
|
path.join(root, "package.json"),
|
|
`${JSON.stringify(packageDocument)}\n`,
|
|
);
|
|
|
|
const result = spawnSync(
|
|
process.execPath,
|
|
[path.resolve("scripts/run-ci-gate.ts"), "FE-GATE-027"],
|
|
{
|
|
cwd: root,
|
|
encoding: "utf8",
|
|
env: { ...process.env, ...FIXTURE_PNPM_ENVIRONMENT, CI: "false" },
|
|
timeout: 15_000,
|
|
},
|
|
);
|
|
|
|
expect(result.status, result.stderr).toBe(1);
|
|
expect(
|
|
await readFile(path.join(root, logArtifact.path), "utf8"),
|
|
).toContain("release admission refused for production: fixture");
|
|
expect(
|
|
await readFile(path.join(root, DEPENDENCY_ADVISORIES_RECORD_PATH), "utf8"),
|
|
).toBe("fixture record");
|
|
}, 20_000);
|
|
});
|