자식 프로세스를 띄우는 Vitest 시험 91개(24파일)가 기본 timeout 10초에 기대고 있었다. 셋은 FE-GATE-013에서만 도는 tests/system 시험이다. 기본값은 프로세스 안에서 도는 시험에 맞춘 값이다. 부하가 높은 desktop에서는 자식 프로세스 시험이 평소보다 크게 느려진다. FE-GATE-020 drill 사본에서 평소 0.4~1.2초인 문서 시험이 10.6초 걸려 실패했다(2026-11-12). 가장 위험한 것은 tests/architecture/app-build-input .test.ts로, desktop에서 이미 5.7초까지 걸렸다. 무엇을 고칠지는 desktop 계측으로 정했다. - test:coverage 묶음(maxWorkers=4)과 test:unit을 세 번씩 돌렸다. 시험마다 띄운 자식 프로세스는 child_process 함수를 감싸 기록했고, 소요 시간은 JSON reporter로 받았다. - 시험마다 실제 timeout은 task.timeout으로 기록했다. - 자식 프로세스를 띄우는 시험 140개 중 88개가 기본값이었다. tests/system은 그 묶음에 없어서, 아래 검사가 잡은 셋을 따로 세 번 쟀다. 고친 것: - tests/helpers/child-process-timeout.ts의 childProcessTimeout(<잰 최대 ms>)는 그 15배를 30초 단위로 올린 값이다. 15배는 위 0.7초 → 10.6초에서 왔다. 시험마다 자기가 잰 최대값을 인자로 적어 근거가 호출 자리에 남는다. - describe 안의 기본값 시험이 모두 자식 프로세스를 띄우면 describe에, 일부만 띄우면 그 시험에 준다. 프로세스 안에서 도는 시험의 hang을 늦게 잡지 않으려는 것이다. - tests/setup.ts가 child_process 함수를 감싼다. 기본 timeout인 시험이 자식 프로세스를 띄우면 그 호출에서 실패시키고, helper 이름을 알린다. helper나 시험이 import한 스크립트가 띄워도 잡는다. util.promisify가 읽는 속성은 원래 함수에서 옮긴다. - docs/work/reference/testing.md 2절에 값 정하는 법과 이 검사를 적었다. 버린 것: - 전역 testTimeout 올리기: 프로세스 안 시험의 hang을 늦게 잡는다. - 시험마다 손으로 정한 숫자: 근거가 남지 않고, 이미 있는 값도 60_000·120_000처럼 근거가 없었다. - 자식 프로세스를 띄우지 않게 바꾸기: 검사 스크립트를 CLI 그대로 시험하는 것이 이 시험들의 목적이라 범위가 커진다. - 파일에 timeout 선언이 있는지만 보는 정적 검사: helper가 띄우는 경우와 같은 파일의 다른 시험을 놓친다. 위험: - hook(beforeAll 등)에서 띄우는 프로세스는 검사하지 않는다. 계측에서 hook이 띄운 곳은 둘이고, 둘 다 180초를 선언했다. - 같은 파일 안에서 it.concurrent로 도는 시험이 섞이면 어느 시험의 timeout인지 틀릴 수 있다. 지금은 그런 시험이 없다. - 다운스트림 시험이 기본값으로 자식 프로세스를 띄우면 test:unit 등이 실패한다. 메시지가 helper를 알린다. 검증(desktop): - 다섯 검사(test:unit·check:types·check:ci·lint·verify:documentation) rc=0. - 자식 프로세스를 띄우는 시험 파일 40개와 tests/scale: rc=0, 검사 위반 0. - tests/system: 115개 중 18개 실패. 모두 bwrap 호스트 제약이고 검사 위반은 0이다. - 변이: 검사를 끄면 tests/unit/child-process-timeout.test.ts가 실패한다. tracked-artifacts describe의 timeout을 지우면 그 시험이 검사 메시지로 실패한다. - 재현: CPU 10% 제한에서 app-build-input·registry-governance·hosting-probe ·design-system-rules를 돌렸다. main 650d22fa는 11개가 10초 timeout으로 실패했다. 이 커밋은 71개 모두 통과했고, 가장 긴 시험은 17.7초였다.
189 lines
7.6 KiB
TypeScript
189 lines
7.6 KiB
TypeScript
import { spawnSync } from "node:child_process";
|
|
import { mkdir, mkdtemp, rm, writeFile } from "node:fs/promises";
|
|
import { tmpdir } from "node:os";
|
|
import path from "node:path";
|
|
|
|
import { afterEach, describe, expect, it } from "vitest";
|
|
import { childProcessTimeout } from "../helpers/child-process-timeout.ts";
|
|
|
|
/**
|
|
* 1103/15-03. An over-budget build printed only
|
|
* "Bundle budget or manifest integrity failed: " with nothing after the
|
|
* colon, so the first budget failure a project meets named neither the limit
|
|
* nor the excess. check-bundle runs here on a hand-made build output.
|
|
*/
|
|
const roots: string[] = [];
|
|
|
|
afterEach(async () => {
|
|
await Promise.all(roots.splice(0).map((root) => rm(root, { recursive: true, force: true })));
|
|
});
|
|
|
|
type Output = Readonly<{ path: string; gzipBytes: number }>;
|
|
|
|
async function checkBundle(
|
|
options: Readonly<{
|
|
outputs: readonly Output[];
|
|
manifest: Record<string, unknown>;
|
|
budgets: Record<string, number>;
|
|
/** RUN_OUTPUT_ROOT for the run, and the build written under it. */
|
|
runOutput?: Readonly<{ root: string; outputs: readonly Output[] }>;
|
|
}>,
|
|
) {
|
|
const root = await mkdtemp(path.join(tmpdir(), "check-bundle-output-"));
|
|
roots.push(root);
|
|
const write = async (file: string, value: unknown) => {
|
|
await mkdir(path.dirname(path.join(root, file)), { recursive: true });
|
|
await writeFile(path.join(root, file), `${JSON.stringify(value, null, 2)}\n`);
|
|
};
|
|
const writeBuild = async (buildRoot: string, outputs: readonly Output[]) => {
|
|
await write(path.posix.join(buildRoot, "dist/.vite/manifest.json"), options.manifest);
|
|
await write(path.posix.join(buildRoot, "artifacts/performance/bundle.json"), {
|
|
schemaVersion: 1,
|
|
generatedAt: "2026-11-04T00:00:00.000Z",
|
|
context: { nodeVersion: "v24.14.0", packageManager: "pnpm@11.17.0", runnerImage: "fixture" },
|
|
outputs: outputs.map((output) => ({
|
|
path: `dist/${output.path}`,
|
|
bytes: output.gzipBytes * 3,
|
|
gzipBytes: output.gzipBytes,
|
|
sha256: "a".repeat(64),
|
|
})),
|
|
});
|
|
};
|
|
await write("config/performance/budgets.json", { schemaVersion: 1, bundle: options.budgets });
|
|
await writeBuild(".", options.outputs);
|
|
if (options.runOutput) await writeBuild(options.runOutput.root, options.runOutput.outputs);
|
|
const result = spawnSync(process.execPath, [path.resolve("scripts/check-bundle.ts")], {
|
|
cwd: root,
|
|
encoding: "utf8",
|
|
// Empty is unset (scripts/lib/run-isolation.ts), whatever the runner has.
|
|
env: { ...process.env, RUN_OUTPUT_ROOT: options.runOutput?.root ?? "" },
|
|
});
|
|
return { status: result.status, stdout: result.stdout, stderr: result.stderr };
|
|
}
|
|
|
|
const MANIFEST = {
|
|
"index.html": {
|
|
file: "assets/index-A.js",
|
|
isEntry: true,
|
|
imports: ["_boot"],
|
|
},
|
|
// The entry's own dynamic imports are initial (09-03); a route's are lazy.
|
|
_boot: { file: "assets/boot-B.js", dynamicImports: ["src/lazy.tsx"] },
|
|
"src/lazy.tsx": { file: "assets/lazy-C.js" },
|
|
};
|
|
const OUTPUTS = [
|
|
{ path: "assets/index-A.js", gzipBytes: 400 },
|
|
{ path: "assets/boot-B.js", gzipBytes: 500 },
|
|
{ path: "assets/lazy-C.js", gzipBytes: 300 },
|
|
];
|
|
const BUDGETS = { initialJsGzipBytes: 1_000, initialJsFiles: 2, lazyChunkGzipBytes: 400 };
|
|
|
|
describe("check:bundle failure output (1103/15-03)", { timeout: childProcessTimeout(730) }, () => {
|
|
it("passes and prints the total within budget", async () => {
|
|
const result = await checkBundle({ outputs: OUTPUTS, manifest: MANIFEST, budgets: BUDGETS });
|
|
expect(result.stderr).toBe("");
|
|
expect(result.status).toBe(0);
|
|
expect(result.stdout).toContain("initial JS 900 / 1000 gzip bytes");
|
|
});
|
|
|
|
it("names the measured initial total, the budget and the excess", async () => {
|
|
const result = await checkBundle({
|
|
outputs: OUTPUTS,
|
|
manifest: MANIFEST,
|
|
budgets: { ...BUDGETS, initialJsGzipBytes: 899 },
|
|
});
|
|
expect(result.status).toBe(1);
|
|
expect(result.stderr).toContain("Bundle budget failed (config/performance/budgets.json):");
|
|
expect(result.stderr).toContain("initial JavaScript 900 gzip bytes > budget 899 (over by 1)");
|
|
expect(result.stderr).not.toContain("manifest integrity");
|
|
});
|
|
|
|
it("names each lazy chunk over its budget", async () => {
|
|
const result = await checkBundle({
|
|
outputs: OUTPUTS,
|
|
manifest: MANIFEST,
|
|
budgets: { ...BUDGETS, lazyChunkGzipBytes: 250 },
|
|
});
|
|
expect(result.status).toBe(1);
|
|
expect(result.stderr).toContain(
|
|
"lazy chunk assets/lazy-C.js 300 gzip bytes > budget 250 (over by 50)",
|
|
);
|
|
});
|
|
|
|
// 1103/15-05. The entry preloads every initial file at once; over HTTP/1.1
|
|
// they queue for six connections. A change that adds an initial file is a
|
|
// decision recorded in the budget, not a side effect.
|
|
it("fails when the initial JavaScript has more files than the budget", async () => {
|
|
const result = await checkBundle({
|
|
outputs: OUTPUTS,
|
|
manifest: MANIFEST,
|
|
budgets: { ...BUDGETS, initialJsFiles: 1 },
|
|
});
|
|
expect(result.status).toBe(1);
|
|
expect(result.stderr).toContain("initial JavaScript files 2 > budget 1 (over by 1)");
|
|
});
|
|
|
|
it("reports a manifest integrity failure apart from the budget", async () => {
|
|
const result = await checkBundle({
|
|
outputs: OUTPUTS.filter(({ path: file }) => file !== "assets/boot-B.js"),
|
|
manifest: MANIFEST,
|
|
budgets: BUDGETS,
|
|
});
|
|
expect(result.status).toBe(1);
|
|
expect(result.stderr).toContain("Bundle manifest integrity failed:");
|
|
expect(result.stderr).toContain("output missing from the inventory: assets/boot-B.js");
|
|
expect(result.stderr).not.toContain("Bundle budget failed");
|
|
});
|
|
});
|
|
|
|
/**
|
|
* 1106/12-02. Under RUN_OUTPUT_ROOT scripts/build-frontend.ts writes the build
|
|
* below that folder, and check:bundle (scripts/generate-supply-chain.ts, then
|
|
* scripts/check-bundle.ts) read the checkout's dist/ and artifacts/ anyway: a
|
|
* build over budget under .tmp/ passed on the checkout's earlier build
|
|
* (review run 12-R2). Both stop and name the variable instead.
|
|
*/
|
|
describe("check:bundle with RUN_OUTPUT_ROOT (1106/12-02)", { timeout: childProcessTimeout(1_041) }, () => {
|
|
it("does not pass the checkout's earlier build while the build writes elsewhere", async () => {
|
|
const result = await checkBundle({
|
|
outputs: OUTPUTS,
|
|
manifest: MANIFEST,
|
|
budgets: BUDGETS,
|
|
runOutput: {
|
|
root: ".tmp/runs/other",
|
|
outputs: OUTPUTS.map((output) => ({ ...output, gzipBytes: output.gzipBytes * 4 })),
|
|
},
|
|
});
|
|
expect(result.stdout).not.toContain("Bundle budget: PASS");
|
|
expect(result.status).toBe(1);
|
|
expect(result.stderr).toContain("RUN_OUTPUT_ROOT=.tmp/runs/other");
|
|
});
|
|
|
|
it("measures the checkout's build when the output root is the checkout", async () => {
|
|
const result = await checkBundle({
|
|
outputs: OUTPUTS,
|
|
manifest: MANIFEST,
|
|
budgets: BUDGETS,
|
|
runOutput: { root: ".", outputs: OUTPUTS },
|
|
});
|
|
expect(result.stderr).toBe("");
|
|
expect(result.status).toBe(0);
|
|
expect(result.stdout).toContain("initial JS 900 / 1000 gzip bytes");
|
|
});
|
|
|
|
it("stops scripts/generate-supply-chain.ts before it reads the checkout's build", async () => {
|
|
const root = await mkdtemp(path.join(tmpdir(), "generate-supply-chain-output-root-"));
|
|
roots.push(root);
|
|
const result = spawnSync(process.execPath, [path.resolve("scripts/generate-supply-chain.ts")], {
|
|
cwd: root,
|
|
encoding: "utf8",
|
|
env: { ...process.env, RUN_OUTPUT_ROOT: ".tmp/runs/other" },
|
|
});
|
|
expect(result.status).toBe(1);
|
|
expect(result.stderr).toContain(
|
|
"scripts/generate-supply-chain.ts reads the build at this checkout's paths",
|
|
);
|
|
expect(result.stderr).toContain("RUN_OUTPUT_ROOT=.tmp/runs/other");
|
|
});
|
|
});
|