Files
clean-architecture-frontend…/tests/unit/check-bundle-output.test.ts
T
DongHyeonka 91962e24e3 test(setup): 자식 프로세스를 띄우는 시험이 잰 시간으로 timeout을 정한다
자식 프로세스를 띄우는 Vitest 시험 91개(24파일)가 기본 timeout 10초에
기대고 있었다. 셋은 FE-GATE-013에서만 도는 tests/system 시험이다.
기본값은 프로세스 안에서 도는 시험에 맞춘 값이다. 부하가 높은
desktop에서는 자식 프로세스 시험이 평소보다 크게 느려진다.
FE-GATE-020 drill 사본에서 평소 0.4~1.2초인 문서 시험이 10.6초 걸려
실패했다(2026-11-12). 가장 위험한 것은 tests/architecture/app-build-input
.test.ts로, desktop에서 이미 5.7초까지 걸렸다.

무엇을 고칠지는 desktop 계측으로 정했다.
- test:coverage 묶음(maxWorkers=4)과 test:unit을 세 번씩 돌렸다. 시험마다
  띄운 자식 프로세스는 child_process 함수를 감싸 기록했고, 소요 시간은
  JSON reporter로 받았다.
- 시험마다 실제 timeout은 task.timeout으로 기록했다.
- 자식 프로세스를 띄우는 시험 140개 중 88개가 기본값이었다. tests/system은
  그 묶음에 없어서, 아래 검사가 잡은 셋을 따로 세 번 쟀다.

고친 것:
- tests/helpers/child-process-timeout.ts의 childProcessTimeout(<잰 최대
  ms>)는 그 15배를 30초 단위로 올린 값이다. 15배는 위 0.7초 → 10.6초에서
  왔다. 시험마다 자기가 잰 최대값을 인자로 적어 근거가 호출 자리에 남는다.
- describe 안의 기본값 시험이 모두 자식 프로세스를 띄우면 describe에,
  일부만 띄우면 그 시험에 준다. 프로세스 안에서 도는 시험의 hang을 늦게
  잡지 않으려는 것이다.
- tests/setup.ts가 child_process 함수를 감싼다. 기본 timeout인 시험이
  자식 프로세스를 띄우면 그 호출에서 실패시키고, helper 이름을 알린다.
  helper나 시험이 import한 스크립트가 띄워도 잡는다. util.promisify가
  읽는 속성은 원래 함수에서 옮긴다.
- docs/work/reference/testing.md 2절에 값 정하는 법과 이 검사를 적었다.

버린 것:
- 전역 testTimeout 올리기: 프로세스 안 시험의 hang을 늦게 잡는다.
- 시험마다 손으로 정한 숫자: 근거가 남지 않고, 이미 있는 값도
  60_000·120_000처럼 근거가 없었다.
- 자식 프로세스를 띄우지 않게 바꾸기: 검사 스크립트를 CLI 그대로 시험하는
  것이 이 시험들의 목적이라 범위가 커진다.
- 파일에 timeout 선언이 있는지만 보는 정적 검사: helper가 띄우는 경우와
  같은 파일의 다른 시험을 놓친다.

위험:
- hook(beforeAll 등)에서 띄우는 프로세스는 검사하지 않는다. 계측에서
  hook이 띄운 곳은 둘이고, 둘 다 180초를 선언했다.
- 같은 파일 안에서 it.concurrent로 도는 시험이 섞이면 어느 시험의
  timeout인지 틀릴 수 있다. 지금은 그런 시험이 없다.
- 다운스트림 시험이 기본값으로 자식 프로세스를 띄우면 test:unit 등이
  실패한다. 메시지가 helper를 알린다.

검증(desktop):
- 다섯 검사(test:unit·check:types·check:ci·lint·verify:documentation)
  rc=0.
- 자식 프로세스를 띄우는 시험 파일 40개와 tests/scale: rc=0, 검사 위반 0.
- tests/system: 115개 중 18개 실패. 모두 bwrap 호스트 제약이고 검사
  위반은 0이다.
- 변이: 검사를 끄면 tests/unit/child-process-timeout.test.ts가 실패한다.
  tracked-artifacts describe의 timeout을 지우면 그 시험이 검사 메시지로
  실패한다.
- 재현: CPU 10% 제한에서 app-build-input·registry-governance·hosting-probe
  ·design-system-rules를 돌렸다. main 650d22fa는 11개가 10초 timeout으로
  실패했다. 이 커밋은 71개 모두 통과했고, 가장 긴 시험은 17.7초였다.
2026-11-12 11:22:59 +09:00

189 lines
7.6 KiB
TypeScript

import { spawnSync } from "node:child_process";
import { mkdir, mkdtemp, rm, writeFile } from "node:fs/promises";
import { tmpdir } from "node:os";
import path from "node:path";
import { afterEach, describe, expect, it } from "vitest";
import { childProcessTimeout } from "../helpers/child-process-timeout.ts";
/**
* 1103/15-03. An over-budget build printed only
* "Bundle budget or manifest integrity failed: " with nothing after the
* colon, so the first budget failure a project meets named neither the limit
* nor the excess. check-bundle runs here on a hand-made build output.
*/
const roots: string[] = [];
afterEach(async () => {
await Promise.all(roots.splice(0).map((root) => rm(root, { recursive: true, force: true })));
});
type Output = Readonly<{ path: string; gzipBytes: number }>;
async function checkBundle(
options: Readonly<{
outputs: readonly Output[];
manifest: Record<string, unknown>;
budgets: Record<string, number>;
/** RUN_OUTPUT_ROOT for the run, and the build written under it. */
runOutput?: Readonly<{ root: string; outputs: readonly Output[] }>;
}>,
) {
const root = await mkdtemp(path.join(tmpdir(), "check-bundle-output-"));
roots.push(root);
const write = async (file: string, value: unknown) => {
await mkdir(path.dirname(path.join(root, file)), { recursive: true });
await writeFile(path.join(root, file), `${JSON.stringify(value, null, 2)}\n`);
};
const writeBuild = async (buildRoot: string, outputs: readonly Output[]) => {
await write(path.posix.join(buildRoot, "dist/.vite/manifest.json"), options.manifest);
await write(path.posix.join(buildRoot, "artifacts/performance/bundle.json"), {
schemaVersion: 1,
generatedAt: "2026-11-04T00:00:00.000Z",
context: { nodeVersion: "v24.14.0", packageManager: "pnpm@11.17.0", runnerImage: "fixture" },
outputs: outputs.map((output) => ({
path: `dist/${output.path}`,
bytes: output.gzipBytes * 3,
gzipBytes: output.gzipBytes,
sha256: "a".repeat(64),
})),
});
};
await write("config/performance/budgets.json", { schemaVersion: 1, bundle: options.budgets });
await writeBuild(".", options.outputs);
if (options.runOutput) await writeBuild(options.runOutput.root, options.runOutput.outputs);
const result = spawnSync(process.execPath, [path.resolve("scripts/check-bundle.ts")], {
cwd: root,
encoding: "utf8",
// Empty is unset (scripts/lib/run-isolation.ts), whatever the runner has.
env: { ...process.env, RUN_OUTPUT_ROOT: options.runOutput?.root ?? "" },
});
return { status: result.status, stdout: result.stdout, stderr: result.stderr };
}
const MANIFEST = {
"index.html": {
file: "assets/index-A.js",
isEntry: true,
imports: ["_boot"],
},
// The entry's own dynamic imports are initial (09-03); a route's are lazy.
_boot: { file: "assets/boot-B.js", dynamicImports: ["src/lazy.tsx"] },
"src/lazy.tsx": { file: "assets/lazy-C.js" },
};
const OUTPUTS = [
{ path: "assets/index-A.js", gzipBytes: 400 },
{ path: "assets/boot-B.js", gzipBytes: 500 },
{ path: "assets/lazy-C.js", gzipBytes: 300 },
];
const BUDGETS = { initialJsGzipBytes: 1_000, initialJsFiles: 2, lazyChunkGzipBytes: 400 };
describe("check:bundle failure output (1103/15-03)", { timeout: childProcessTimeout(730) }, () => {
it("passes and prints the total within budget", async () => {
const result = await checkBundle({ outputs: OUTPUTS, manifest: MANIFEST, budgets: BUDGETS });
expect(result.stderr).toBe("");
expect(result.status).toBe(0);
expect(result.stdout).toContain("initial JS 900 / 1000 gzip bytes");
});
it("names the measured initial total, the budget and the excess", async () => {
const result = await checkBundle({
outputs: OUTPUTS,
manifest: MANIFEST,
budgets: { ...BUDGETS, initialJsGzipBytes: 899 },
});
expect(result.status).toBe(1);
expect(result.stderr).toContain("Bundle budget failed (config/performance/budgets.json):");
expect(result.stderr).toContain("initial JavaScript 900 gzip bytes > budget 899 (over by 1)");
expect(result.stderr).not.toContain("manifest integrity");
});
it("names each lazy chunk over its budget", async () => {
const result = await checkBundle({
outputs: OUTPUTS,
manifest: MANIFEST,
budgets: { ...BUDGETS, lazyChunkGzipBytes: 250 },
});
expect(result.status).toBe(1);
expect(result.stderr).toContain(
"lazy chunk assets/lazy-C.js 300 gzip bytes > budget 250 (over by 50)",
);
});
// 1103/15-05. The entry preloads every initial file at once; over HTTP/1.1
// they queue for six connections. A change that adds an initial file is a
// decision recorded in the budget, not a side effect.
it("fails when the initial JavaScript has more files than the budget", async () => {
const result = await checkBundle({
outputs: OUTPUTS,
manifest: MANIFEST,
budgets: { ...BUDGETS, initialJsFiles: 1 },
});
expect(result.status).toBe(1);
expect(result.stderr).toContain("initial JavaScript files 2 > budget 1 (over by 1)");
});
it("reports a manifest integrity failure apart from the budget", async () => {
const result = await checkBundle({
outputs: OUTPUTS.filter(({ path: file }) => file !== "assets/boot-B.js"),
manifest: MANIFEST,
budgets: BUDGETS,
});
expect(result.status).toBe(1);
expect(result.stderr).toContain("Bundle manifest integrity failed:");
expect(result.stderr).toContain("output missing from the inventory: assets/boot-B.js");
expect(result.stderr).not.toContain("Bundle budget failed");
});
});
/**
* 1106/12-02. Under RUN_OUTPUT_ROOT scripts/build-frontend.ts writes the build
* below that folder, and check:bundle (scripts/generate-supply-chain.ts, then
* scripts/check-bundle.ts) read the checkout's dist/ and artifacts/ anyway: a
* build over budget under .tmp/ passed on the checkout's earlier build
* (review run 12-R2). Both stop and name the variable instead.
*/
describe("check:bundle with RUN_OUTPUT_ROOT (1106/12-02)", { timeout: childProcessTimeout(1_041) }, () => {
it("does not pass the checkout's earlier build while the build writes elsewhere", async () => {
const result = await checkBundle({
outputs: OUTPUTS,
manifest: MANIFEST,
budgets: BUDGETS,
runOutput: {
root: ".tmp/runs/other",
outputs: OUTPUTS.map((output) => ({ ...output, gzipBytes: output.gzipBytes * 4 })),
},
});
expect(result.stdout).not.toContain("Bundle budget: PASS");
expect(result.status).toBe(1);
expect(result.stderr).toContain("RUN_OUTPUT_ROOT=.tmp/runs/other");
});
it("measures the checkout's build when the output root is the checkout", async () => {
const result = await checkBundle({
outputs: OUTPUTS,
manifest: MANIFEST,
budgets: BUDGETS,
runOutput: { root: ".", outputs: OUTPUTS },
});
expect(result.stderr).toBe("");
expect(result.status).toBe(0);
expect(result.stdout).toContain("initial JS 900 / 1000 gzip bytes");
});
it("stops scripts/generate-supply-chain.ts before it reads the checkout's build", async () => {
const root = await mkdtemp(path.join(tmpdir(), "generate-supply-chain-output-root-"));
roots.push(root);
const result = spawnSync(process.execPath, [path.resolve("scripts/generate-supply-chain.ts")], {
cwd: root,
encoding: "utf8",
env: { ...process.env, RUN_OUTPUT_ROOT: ".tmp/runs/other" },
});
expect(result.status).toBe(1);
expect(result.stderr).toContain(
"scripts/generate-supply-chain.ts reads the build at this checkout's paths",
);
expect(result.stderr).toContain("RUN_OUTPUT_ROOT=.tmp/runs/other");
});
});