자식 프로세스를 띄우는 Vitest 시험 91개(24파일)가 기본 timeout 10초에 기대고 있었다. 셋은 FE-GATE-013에서만 도는 tests/system 시험이다. 기본값은 프로세스 안에서 도는 시험에 맞춘 값이다. 부하가 높은 desktop에서는 자식 프로세스 시험이 평소보다 크게 느려진다. FE-GATE-020 drill 사본에서 평소 0.4~1.2초인 문서 시험이 10.6초 걸려 실패했다(2026-11-12). 가장 위험한 것은 tests/architecture/app-build-input .test.ts로, desktop에서 이미 5.7초까지 걸렸다. 무엇을 고칠지는 desktop 계측으로 정했다. - test:coverage 묶음(maxWorkers=4)과 test:unit을 세 번씩 돌렸다. 시험마다 띄운 자식 프로세스는 child_process 함수를 감싸 기록했고, 소요 시간은 JSON reporter로 받았다. - 시험마다 실제 timeout은 task.timeout으로 기록했다. - 자식 프로세스를 띄우는 시험 140개 중 88개가 기본값이었다. tests/system은 그 묶음에 없어서, 아래 검사가 잡은 셋을 따로 세 번 쟀다. 고친 것: - tests/helpers/child-process-timeout.ts의 childProcessTimeout(<잰 최대 ms>)는 그 15배를 30초 단위로 올린 값이다. 15배는 위 0.7초 → 10.6초에서 왔다. 시험마다 자기가 잰 최대값을 인자로 적어 근거가 호출 자리에 남는다. - describe 안의 기본값 시험이 모두 자식 프로세스를 띄우면 describe에, 일부만 띄우면 그 시험에 준다. 프로세스 안에서 도는 시험의 hang을 늦게 잡지 않으려는 것이다. - tests/setup.ts가 child_process 함수를 감싼다. 기본 timeout인 시험이 자식 프로세스를 띄우면 그 호출에서 실패시키고, helper 이름을 알린다. helper나 시험이 import한 스크립트가 띄워도 잡는다. util.promisify가 읽는 속성은 원래 함수에서 옮긴다. - docs/work/reference/testing.md 2절에 값 정하는 법과 이 검사를 적었다. 버린 것: - 전역 testTimeout 올리기: 프로세스 안 시험의 hang을 늦게 잡는다. - 시험마다 손으로 정한 숫자: 근거가 남지 않고, 이미 있는 값도 60_000·120_000처럼 근거가 없었다. - 자식 프로세스를 띄우지 않게 바꾸기: 검사 스크립트를 CLI 그대로 시험하는 것이 이 시험들의 목적이라 범위가 커진다. - 파일에 timeout 선언이 있는지만 보는 정적 검사: helper가 띄우는 경우와 같은 파일의 다른 시험을 놓친다. 위험: - hook(beforeAll 등)에서 띄우는 프로세스는 검사하지 않는다. 계측에서 hook이 띄운 곳은 둘이고, 둘 다 180초를 선언했다. - 같은 파일 안에서 it.concurrent로 도는 시험이 섞이면 어느 시험의 timeout인지 틀릴 수 있다. 지금은 그런 시험이 없다. - 다운스트림 시험이 기본값으로 자식 프로세스를 띄우면 test:unit 등이 실패한다. 메시지가 helper를 알린다. 검증(desktop): - 다섯 검사(test:unit·check:types·check:ci·lint·verify:documentation) rc=0. - 자식 프로세스를 띄우는 시험 파일 40개와 tests/scale: rc=0, 검사 위반 0. - tests/system: 115개 중 18개 실패. 모두 bwrap 호스트 제약이고 검사 위반은 0이다. - 변이: 검사를 끄면 tests/unit/child-process-timeout.test.ts가 실패한다. tracked-artifacts describe의 timeout을 지우면 그 시험이 검사 메시지로 실패한다. - 재현: CPU 10% 제한에서 app-build-input·registry-governance·hosting-probe ·design-system-rules를 돌렸다. main 650d22fa는 11개가 10초 timeout으로 실패했다. 이 커밋은 71개 모두 통과했고, 가장 긴 시험은 17.7초였다.
290 lines
11 KiB
TypeScript
290 lines
11 KiB
TypeScript
import { spawnSync } from "node:child_process";
|
|
import {
|
|
copyFile,
|
|
lstat,
|
|
mkdtemp,
|
|
mkdir,
|
|
readdir,
|
|
readFile,
|
|
rm,
|
|
stat,
|
|
writeFile,
|
|
} from "node:fs/promises";
|
|
import { tmpdir } from "node:os";
|
|
import path from "node:path";
|
|
|
|
import { afterEach, describe, expect, it } from "vitest";
|
|
|
|
import {
|
|
FIXTURE_PNPM_ENVIRONMENT,
|
|
linkFixtureNodeModules,
|
|
} from "../../scripts/lib/fixture-node-modules.ts";
|
|
import { selectRepositoryPaths } from "../../scripts/lib/repository-layout.ts";
|
|
import { childProcessTimeout } from "../helpers/child-process-timeout.ts";
|
|
|
|
/**
|
|
* A removal or provider fixture runs `pnpm` inside a throwaway copy of the
|
|
* repository. pnpm does not recognise the modules directory it finds there and
|
|
* purges it, and with `CI=true` it does so without a prompt. When
|
|
* `<fixture>/node_modules` was a single directory symlink, that purge followed
|
|
* the link and deleted the repository's own installed dependencies mid-run —
|
|
* a test suite uninstalling the workspace it was running in.
|
|
*/
|
|
describe("fixture node_modules linking", () => {
|
|
async function sourceTree() {
|
|
const source = await mkdtemp(path.join(tmpdir(), "fixture-source-"));
|
|
const modules = path.join(source, "node_modules");
|
|
await mkdir(path.join(modules, "left", "lib"), { recursive: true });
|
|
await mkdir(path.join(modules, "@scope", "right"), { recursive: true });
|
|
await mkdir(path.join(modules, ".bin"), { recursive: true });
|
|
await writeFile(path.join(modules, "left", "lib", "index.js"), "export default 1;\n");
|
|
await writeFile(path.join(modules, "@scope", "right", "package.json"), "{}\n");
|
|
await writeFile(path.join(modules, ".modules.yaml"), "{}\n");
|
|
return source;
|
|
}
|
|
|
|
it("survives a recursive delete of the fixture's node_modules", async () => {
|
|
const source = await sourceTree();
|
|
const fixture = await mkdtemp(path.join(tmpdir(), "fixture-root-"));
|
|
try {
|
|
await linkFixtureNodeModules(fixture, source);
|
|
|
|
// The fixture resolves the same packages...
|
|
expect(
|
|
await readFile(
|
|
path.join(fixture, "node_modules/left/lib/index.js"),
|
|
"utf8",
|
|
),
|
|
).toContain("export default 1;");
|
|
expect(
|
|
(await readdir(path.join(fixture, "node_modules"))).sort(),
|
|
).toEqual([".bin", ".modules.yaml", "@scope", "left"]);
|
|
|
|
// ...and this is exactly what pnpm's purge does.
|
|
await rm(path.join(fixture, "node_modules"), {
|
|
recursive: true,
|
|
force: true,
|
|
});
|
|
|
|
// The repository's real dependencies are untouched.
|
|
expect(
|
|
await readFile(
|
|
path.join(source, "node_modules/left/lib/index.js"),
|
|
"utf8",
|
|
),
|
|
).toContain("export default 1;");
|
|
expect(
|
|
await stat(path.join(source, "node_modules/@scope/right/package.json")),
|
|
).toBeDefined();
|
|
expect(
|
|
(await readdir(path.join(source, "node_modules"))).sort(),
|
|
).toEqual([".bin", ".modules.yaml", "@scope", "left"]);
|
|
} finally {
|
|
await rm(source, { recursive: true, force: true });
|
|
await rm(fixture, { recursive: true, force: true });
|
|
}
|
|
});
|
|
|
|
// pnpm rewrites `.pnpm-workspace-state-v1.json` in place when it runs inside
|
|
// the fixture. Through a symlink that write landed in the repository's own
|
|
// state file, so the next pnpm command there re-verified the install.
|
|
it("copies the pnpm state files instead of linking them", async () => {
|
|
const source = await sourceTree();
|
|
const fixture = await mkdtemp(path.join(tmpdir(), "fixture-root-"));
|
|
const stateFiles = [".modules.yaml", ".package-map.json", ".pnpm-workspace-state-v1.json"];
|
|
try {
|
|
for (const file of stateFiles) {
|
|
await writeFile(path.join(source, "node_modules", file), `{"projects":{"${source}":{}}}\n`);
|
|
}
|
|
await linkFixtureNodeModules(fixture, source);
|
|
|
|
for (const file of stateFiles) {
|
|
const copied = path.join(fixture, "node_modules", file);
|
|
expect((await lstat(copied)).isSymbolicLink(), file).toBe(false);
|
|
await writeFile(copied, `{"projects":{"${fixture}":{}}}\n`);
|
|
expect(await readFile(path.join(source, "node_modules", file), "utf8"), file)
|
|
.toBe(`{"projects":{"${source}":{}}}\n`);
|
|
}
|
|
} finally {
|
|
await rm(source, { recursive: true, force: true });
|
|
await rm(fixture, { recursive: true, force: true });
|
|
}
|
|
});
|
|
|
|
// A copied state file still names the repository as the validated project,
|
|
// so pnpm inside the fixture re-verified the install and started one through
|
|
// the linked directories. Pointing it at the fixture keeps pnpm from
|
|
// installing into a tree whose packages are shared with the repository.
|
|
it("points the copied workspace state at the fixture root", async () => {
|
|
const source = await sourceTree();
|
|
const fixture = await mkdtemp(path.join(tmpdir(), "fixture-root-"));
|
|
const statePath = ".pnpm-workspace-state-v1.json";
|
|
try {
|
|
await writeFile(
|
|
path.join(source, "node_modules", statePath),
|
|
JSON.stringify({
|
|
lastValidatedTimestamp: 1,
|
|
projects: { [source]: { name: "template", version: "0.1.0" } },
|
|
settings: { dev: true },
|
|
}),
|
|
);
|
|
const before = Date.now();
|
|
await linkFixtureNodeModules(fixture, source);
|
|
|
|
const state = JSON.parse(
|
|
await readFile(path.join(fixture, "node_modules", statePath), "utf8"),
|
|
);
|
|
expect(state.projects).toEqual({
|
|
[fixture]: { name: "template", version: "0.1.0" },
|
|
});
|
|
expect(state.lastValidatedTimestamp).toBeGreaterThanOrEqual(before);
|
|
expect(state.settings).toEqual({ dev: true });
|
|
} finally {
|
|
await rm(source, { recursive: true, force: true });
|
|
await rm(fixture, { recursive: true, force: true });
|
|
}
|
|
});
|
|
|
|
it("creates node_modules as a real directory, never a symlink", async () => {
|
|
const source = await sourceTree();
|
|
const fixture = await mkdtemp(path.join(tmpdir(), "fixture-root-"));
|
|
try {
|
|
await linkFixtureNodeModules(fixture, source);
|
|
const entry = await lstat(path.join(fixture, "node_modules"));
|
|
expect(entry.isSymbolicLink()).toBe(false);
|
|
expect(entry.isDirectory()).toBe(true);
|
|
expect(
|
|
(await lstat(path.join(fixture, "node_modules/left"))).isSymbolicLink(),
|
|
).toBe(true);
|
|
} finally {
|
|
await rm(source, { recursive: true, force: true });
|
|
await rm(fixture, { recursive: true, force: true });
|
|
}
|
|
});
|
|
});
|
|
|
|
/**
|
|
* F-4. pnpm 11 verifies the install before it runs a script and, finding the
|
|
* fixture's copied state unfamiliar, installs. `.pnpm` and `.bin` are
|
|
* directory links into the repository's own node_modules, so that install
|
|
* rewrote the shared `.pnpm/lock.yaml` and bin shims. A fixture launched
|
|
* through `pnpm <script>` inherited `pnpm_config_verify_deps_before_run=false`
|
|
* from pnpm and was safe; the same fixture started directly
|
|
* (`node scripts/run-vitest.ts run <file>`) was not.
|
|
*/
|
|
describe("pnpm inside a linked fixture (F-4)", { timeout: childProcessTimeout(94) }, () => {
|
|
const scratch: string[] = [];
|
|
afterEach(async () => {
|
|
await Promise.all(
|
|
scratch.splice(0).map((root) => rm(root, { recursive: true, force: true })),
|
|
);
|
|
});
|
|
|
|
/** A tiny installed workspace standing in for the repository, offline. */
|
|
async function installedSource() {
|
|
const root = await mkdtemp(path.join(tmpdir(), "fixture-pnpm-"));
|
|
scratch.push(root);
|
|
const tool = path.join(root, "tool");
|
|
const source = path.join(root, "source");
|
|
await mkdir(tool, { recursive: true });
|
|
await mkdir(source, { recursive: true });
|
|
await writeFile(
|
|
path.join(tool, "package.json"),
|
|
JSON.stringify({ name: "tool", version: "1.0.0", bin: { tool: "cli.js" } }),
|
|
);
|
|
await writeFile(path.join(tool, "cli.js"), "#!/usr/bin/env node\n");
|
|
await writeFile(
|
|
path.join(source, "package.json"),
|
|
JSON.stringify({
|
|
name: "fixture-source",
|
|
version: "1.0.0",
|
|
private: true,
|
|
packageManager: "pnpm@11.17.0",
|
|
scripts: { hello: "echo hello-from-fixture" },
|
|
dependencies: { tool: "file:../tool" },
|
|
}),
|
|
);
|
|
await writeFile(path.join(source, "pnpm-workspace.yaml"), "allowBuilds: {}\n");
|
|
const environment: NodeJS.ProcessEnv = {
|
|
...pnpmFreeEnvironment(),
|
|
pnpm_config_store_dir: path.join(root, "store"),
|
|
};
|
|
// Installed on a developer machine (no CI); the fixtures then run pnpm
|
|
// with CI=true, which pnpm reads as different settings and reinstalls.
|
|
const { CI: _ci, ...developer } = environment;
|
|
const install = spawnSync("corepack", ["pnpm", "install", "--offline"], {
|
|
cwd: source,
|
|
encoding: "utf8",
|
|
env: developer,
|
|
});
|
|
expect(install.status, install.stdout + install.stderr).toBe(0);
|
|
return { root, source, environment };
|
|
}
|
|
|
|
// The test runner itself may run under pnpm, which exports the setting.
|
|
function pnpmFreeEnvironment(): NodeJS.ProcessEnv {
|
|
const environment: NodeJS.ProcessEnv = { ...process.env, CI: "true" };
|
|
delete environment.pnpm_config_verify_deps_before_run;
|
|
return environment;
|
|
}
|
|
|
|
async function sharedState(source: string) {
|
|
const lock = await stat(path.join(source, "node_modules/.pnpm/lock.yaml"));
|
|
const bin = await stat(path.join(source, "node_modules/.bin/tool"));
|
|
return [lock.mtimeMs, lock.ino, bin.mtimeMs, bin.ino];
|
|
}
|
|
|
|
async function runInFixture(
|
|
root: string,
|
|
source: string,
|
|
environment: NodeJS.ProcessEnv,
|
|
) {
|
|
const fixture = path.join(root, `fixture-${scratch.length}-${Date.now()}`);
|
|
await mkdir(fixture);
|
|
for (const file of selectRepositoryPaths("package-manifest")) {
|
|
await copyFile(path.join(source, file), path.join(fixture, file));
|
|
}
|
|
await linkFixtureNodeModules(fixture, source);
|
|
const before = await sharedState(source);
|
|
const result = spawnSync("corepack", ["pnpm", "hello"], {
|
|
cwd: fixture,
|
|
encoding: "utf8",
|
|
env: environment,
|
|
});
|
|
return { result, changed: (await sharedState(source)).join() !== before.join() };
|
|
}
|
|
|
|
it("installs through the linked directories unless told not to", async () => {
|
|
const { root, source, environment } = await installedSource();
|
|
|
|
// The hazard: the default re-verification installs into the shared tree.
|
|
expect((await runInFixture(root, source, environment)).changed).toBe(true);
|
|
|
|
const guarded = await runInFixture(root, source, {
|
|
...environment,
|
|
...FIXTURE_PNPM_ENVIRONMENT,
|
|
});
|
|
expect(guarded.result.status, guarded.result.stderr).toBe(0);
|
|
expect(guarded.result.stdout).toContain("hello-from-fixture");
|
|
expect(guarded.changed).toBe(false);
|
|
}, 60_000);
|
|
|
|
it("is used by every fixture that links node_modules and runs pnpm", async () => {
|
|
const listed = spawnSync(
|
|
"git",
|
|
["grep", "-l", "linkFixtureNodeModules(", "--", ...selectRepositoryPaths("fixture-code")],
|
|
{ encoding: "utf8" },
|
|
);
|
|
expect(listed.status, listed.stderr).toBe(0);
|
|
const offenders: string[] = [];
|
|
for (const file of listed.stdout.trim().split("\n")) {
|
|
if (file === "scripts/lib/fixture-node-modules.ts") continue;
|
|
if (file === "tests/unit/fixture-node-modules.test.ts") continue;
|
|
const source = await readFile(file, "utf8");
|
|
const runsPnpm = /\["pnpm"|\[pnpmCli\b/u.test(source);
|
|
if (runsPnpm && !source.includes("FIXTURE_PNPM_ENVIRONMENT")) offenders.push(file);
|
|
}
|
|
expect(offenders).toEqual([]);
|
|
});
|
|
});
|