frontend-quality-gates / merge / static checks (pull_request) Canceled after 0s
frontend-quality-gates / merge / tests (pull_request) Canceled after 0s
frontend-quality-gates / merge / browser tests (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Canceled after 0s
frontend-quality-gates / external-vulnerability-provider (pull_request) Canceled after 0s
frontend-quality-gates / external-provenance-provider (pull_request) Canceled after 0s
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Canceled after 0s
frontend-quality-gates / deploy-promoted-release (pull_request) Canceled after 0s
frontend-quality-gates / main / self-tests and removal drills (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Canceled after 0s
문제: 자식 프로세스 시험의 timeout은 `childProcessTimeout(<잰 ms>)`로
정한다(docs/work/reference/testing.md 2절). 그런데 기본값이 아니라서
`tests/setup.ts` 검사에 걸리지 않는 손 숫자가 남았다. 리뷰가 센 54곳 중
둘(`browser-soak.contract.test.ts`의 `evaluateSoak` 인자)은 timeout이 아니고,
AST로 다시 세면 80곳이다: 시험·describe·hook에 쓴 숫자, `VERIFY_TIMEOUT`·
`PROCESS_HEAVY_TIMEOUT_MS`(파일 넷에 따로)·`PROVIDER_BASE_FIXTURE_TIMEOUT_MS`
같은 상수, `PROCESS_WATCHDOG_MS * 3` 같은 식. taxonomy는 옛 상수를 예로
들었다. 실측으로 보면 손 숫자 하나가 모자랐다: system 시험의 provider 묶음
30초는 desktop 여섯 번 중 두 번 넘겼다.
고친 것:
- 80곳을 desktop에서 잰 가장 긴 실행으로 `childProcessTimeout(<ms>)`에
넘긴다. coverage 묶음(maxWorkers=4)·test:unit 각 9회, integration 3회,
scale(traffic·session·composition·global-local) 3회, 시스템 컨테이너의
tests/system 6회, JSON reporter로 받았다. hook은 파일 시간에서 시험 합을
뺀 값이다. 시간 초과로 끝난 실행은 그 시간을 하한으로 넣었다.
- 상수 사본은 지운다. 한 파일 안에서 여럿이 쓰는 값만
`const X = childProcessTimeout(...)`로 둔다(`VERIFY_TIMEOUT`). guardian
시험의 lease는 시험 timeout이 아니라 `childProcessTimeout(0)`(helper의 최소
30초)로 둔다.
- `tests/unit/test-timeout-declarations.test.ts`가 tests/의 Vitest 파일을
Babel로 읽어 시험·describe·hook의 timeout 인자가 helper 호출(또는 그것을
담은 파일 상수)이 아니면 파일과 줄로 실패한다. 프로세스 안에서 도는 긴
시험(scale tier)도 같은 helper를 쓴다.
- taxonomy 예시, testing.md 2절, `.claude/rules/tests.md` 9번, helper 머리
주석을 같은 방법으로 맞춘다.
버린 대안:
- `tests/setup.ts` 검사를 「helper가 만든 값이 아닌 timeout」까지 넓히기.
helper 값은 30초 단위 숫자라 손으로 쓴 60_000과 가릴 수 없고, hook과
프로세스 안 시험은 보지 못한다.
- 프로세스 안 시험은 손 숫자 그대로 두기. 근거 없는 숫자가 남고 검사가
예외를 가져야 한다.
위험·한계:
- 값이 커진 곳이 있다(15배 규칙): `manual-code-blocks` 300초 → 900초,
provider 묶음 30초 → 480초 등. hang을 늦게 잡는다. 줄어든 곳도 있다
(scale traffic 60초 → 30초 등, 잰 값의 15배 안).
- 측정은 desktop 부하 6~35에서 했다. runner가 더 느리면 다시 잰다.
- 검사 시험은 Vitest 파일 전부를 파싱해 coverage 묶음에서 최대 13.5초
걸렸고, 그 값으로 자기 timeout을 준다. 이름 있는 함수를 콜백으로 넘긴
시험(`it("x", run, 30_000)`)은 못 찾는다.
- 다운스트림: 손 숫자 timeout이 있는 제품 시험은 test:unit에서 이 검사에
걸린다. 메시지가 helper를 알린다.
검증(desktop):
- RED: 검사 시험이 고치기 전 80곳을 파일·줄로 내고 실패. GREEN: 검사·
child-process-timeout 6개 통과. check:types·eslint(바뀐 34파일) rc=0,
verify:documentation PASS_SCOPED, 노트북 `scripts/verify.sh docs` OK.
- 측정 원자료: /tmp/claude-gates/w2fe2-t08m, -t08m2, -t08m3.
- 게이트 결과는 PR 본문에 적는다.
Refs: 1112/03-08
168 lines
7.7 KiB
TypeScript
168 lines
7.7 KiB
TypeScript
import { readdir, readFile } from "node:fs/promises";
|
|
import path from "node:path";
|
|
|
|
import { parseSync } from "@babel/core";
|
|
import { describe, expect, it } from "vitest";
|
|
|
|
import { childProcessTimeout } from "../helpers/child-process-timeout.ts";
|
|
|
|
/**
|
|
* 1112/03-08 (T-08). A Vitest test, describe or hook that needs more than the
|
|
* default timeout takes `childProcessTimeout(<longest measured ms>)`
|
|
* (docs/work/reference/testing.md 2절), so the number at the call is a desktop
|
|
* measurement. A number written by hand (`}, 60_000)`, `{ timeout: 30_000 }`,
|
|
* a `PROCESS_HEAVY_TIMEOUT_MS = 30_000` constant, here or imported) has none,
|
|
* and 54 of them were left beside the helper. tests/setup.ts fails a child
|
|
* process on the default timeout at run time; this finds the hand-written
|
|
* numbers in the source, hooks included.
|
|
*/
|
|
type SyntaxNode = { type: string; loc?: { start: { line: number } } } & Record<string, unknown>;
|
|
|
|
const TEST_APIS = new Set(["it", "test", "describe", "suite", "bench"]);
|
|
const HOOKS = new Set(["beforeAll", "afterAll", "beforeEach", "afterEach"]);
|
|
const HELPER = "childProcessTimeout";
|
|
|
|
function isNode(value: unknown): value is SyntaxNode {
|
|
return typeof value === "object" && value !== null && typeof (value as SyntaxNode).type === "string";
|
|
}
|
|
|
|
function children(node: SyntaxNode): SyntaxNode[] {
|
|
return Object.entries(node).flatMap(([key, value]) =>
|
|
key === "loc" || key.endsWith("Comments") || key === "comments"
|
|
? []
|
|
: (Array.isArray(value) ? value : [value]).filter(isNode),
|
|
);
|
|
}
|
|
|
|
/** `it`, `it.concurrent`, `it.each(table)`, `describe.skipIf(x)`: the Vitest name at the root. */
|
|
function vitestApi(callee: SyntaxNode): string | null {
|
|
if (callee.type === "Identifier") return callee["name"] as string;
|
|
if (callee.type === "MemberExpression") return vitestApi(callee["object"] as SyntaxNode);
|
|
if (callee.type === "CallExpression") return vitestApi(callee["callee"] as SyntaxNode);
|
|
return null;
|
|
}
|
|
|
|
const isFunction = (node: SyntaxNode) =>
|
|
node.type === "ArrowFunctionExpression" || node.type === "FunctionExpression";
|
|
|
|
function timeoutArgument(api: string, args: readonly SyntaxNode[]): SyntaxNode | null {
|
|
const body = args.findIndex(isFunction);
|
|
if (body < 0) return null;
|
|
const candidates = HOOKS.has(api) ? [args[body + 1]] : [args[body + 1], body === 2 ? args[1] : undefined];
|
|
for (const candidate of candidates) {
|
|
if (!candidate) continue;
|
|
if (candidate.type !== "ObjectExpression") return candidate;
|
|
const property = (candidate["properties"] as SyntaxNode[]).find(
|
|
(entry) =>
|
|
entry.type === "ObjectProperty" &&
|
|
((entry["key"] as SyntaxNode)["name"] === "timeout" || (entry["key"] as SyntaxNode)["value"] === "timeout"),
|
|
);
|
|
if (property) return property["value"] as SyntaxNode;
|
|
}
|
|
return null;
|
|
}
|
|
|
|
const isHelperCall = (node: SyntaxNode | undefined) =>
|
|
node?.type === "CallExpression" &&
|
|
(node["callee"] as SyntaxNode).type === "Identifier" &&
|
|
(node["callee"] as SyntaxNode)["name"] === HELPER;
|
|
|
|
/** Every timeout given to a Vitest test, describe or hook that is not the helper's. */
|
|
function handWrittenTimeouts(file: string, source: string): string[] {
|
|
const tree = parseSync(source, {
|
|
filename: file,
|
|
babelrc: false,
|
|
configFile: false,
|
|
sourceType: "module",
|
|
parserOpts: { plugins: ["typescript", ...(file.endsWith(".tsx") ? (["jsx"] as const) : [])] },
|
|
}) as unknown as SyntaxNode | null;
|
|
if (!tree) throw new Error(`cannot parse ${file}`);
|
|
const program = tree["program"] as SyntaxNode;
|
|
// A file-level `const X = childProcessTimeout(<ms>)` names a measured value.
|
|
const measured = new Set<string>();
|
|
for (const statement of program["body"] as SyntaxNode[]) {
|
|
const declaration = statement.type === "ExportNamedDeclaration" ? (statement["declaration"] as SyntaxNode | null) : statement;
|
|
if (declaration?.type !== "VariableDeclaration" || declaration["kind"] !== "const") continue;
|
|
for (const declarator of declaration["declarations"] as SyntaxNode[]) {
|
|
const id = declarator["id"] as SyntaxNode;
|
|
if (id.type === "Identifier" && isHelperCall(declarator["init"] as SyntaxNode)) measured.add(id["name"] as string);
|
|
}
|
|
}
|
|
const found: string[] = [];
|
|
const visit = (node: SyntaxNode): void => {
|
|
if (node.type === "CallExpression") {
|
|
const api = vitestApi(node["callee"] as SyntaxNode);
|
|
if (api !== null && (TEST_APIS.has(api) || HOOKS.has(api))) {
|
|
const timeout = timeoutArgument(api, node["arguments"] as SyntaxNode[]);
|
|
const named = timeout?.type === "Identifier" && measured.has(timeout["name"] as string);
|
|
if (timeout && !isHelperCall(timeout) && !named) {
|
|
const start = timeout["start"] as number;
|
|
const end = timeout["end"] as number;
|
|
found.push(`${file}:${timeout.loc!.start.line} ${api} timeout ${source.slice(start, end)}`);
|
|
}
|
|
}
|
|
}
|
|
for (const child of children(node)) visit(child);
|
|
};
|
|
visit(program);
|
|
return found;
|
|
}
|
|
|
|
async function vitestFiles(directory: string): Promise<string[]> {
|
|
const entries = await readdir(directory, { recursive: true, withFileTypes: true });
|
|
return entries
|
|
.filter((entry) => entry.isFile() && /\.test\.tsx?$/u.test(entry.name))
|
|
.map((entry) => path.join(entry.parentPath, entry.name).split(path.sep).join("/"))
|
|
.filter((file) => !file.startsWith("tests/fixtures/"))
|
|
.sort();
|
|
}
|
|
|
|
describe("Vitest timeouts in tests/ (1112/03-08)", () => {
|
|
// It parses every Vitest file in tests/ in process: up to 13.5 s in the coverage
|
|
// bundle on desktop (2026-11-13).
|
|
it("come from childProcessTimeout(<longest measured ms>), never a number written by hand", async () => {
|
|
const files = await vitestFiles("tests");
|
|
expect(files).toContain("tests/unit/child-process-timeout.test.ts");
|
|
const found = (
|
|
await Promise.all(files.map(async (file) => handWrittenTimeouts(file, await readFile(file, "utf8"))))
|
|
).flat();
|
|
expect(
|
|
found,
|
|
"give childProcessTimeout(<longest measured ms>) from tests/helpers/child-process-timeout.ts (docs/work/reference/testing.md 2절)",
|
|
).toEqual([]);
|
|
}, childProcessTimeout(13_453));
|
|
|
|
it("finds a number, a constant and an option given to a test, a describe or a hook", () => {
|
|
const source = [
|
|
'import { PROCESS_HEAVY_TIMEOUT_MS } from "./fixture.ts";',
|
|
"const BUILD_TIMEOUT_MS = 180_000;",
|
|
"const MEASURED = childProcessTimeout(2_000);",
|
|
'it("a", () => {}, 60_000);',
|
|
'it("b", async () => {}, PROCESS_HEAVY_TIMEOUT_MS);',
|
|
'describe("c", { timeout: 30_000 }, () => {});',
|
|
"beforeAll(async () => {}, BUILD_TIMEOUT_MS);",
|
|
'it.each([1, 2])("d %s", async () => {}, 30_000);',
|
|
'test.concurrent("e", { timeout: 20_000 }, async () => {});',
|
|
'it("f", () => {}, { timeout: 10 * 1_000 });',
|
|
"",
|
|
'it("ok 1", () => {}, childProcessTimeout(5_739));',
|
|
'describe("ok 2", { timeout: childProcessTimeout(100) }, () => {});',
|
|
"beforeAll(async () => {}, MEASURED);",
|
|
'it("ok 3", () => {});',
|
|
// Not a Vitest timeout: a process deadline, a call argument, a timer.
|
|
'it("ok 4", () => { spawnSync("node", [], { timeout: 2_000 }); evaluateSoak(a, b, 10_000); setTimeout(done, 1_000); });',
|
|
'it("ok 5", async () => { await screen.findByRole("heading", {}, { timeout: 1_000 }); });',
|
|
].join("\n");
|
|
|
|
expect(handWrittenTimeouts("tests/unit/x.test.ts", source)).toEqual([
|
|
"tests/unit/x.test.ts:4 it timeout 60_000",
|
|
"tests/unit/x.test.ts:5 it timeout PROCESS_HEAVY_TIMEOUT_MS",
|
|
"tests/unit/x.test.ts:6 describe timeout 30_000",
|
|
"tests/unit/x.test.ts:7 beforeAll timeout BUILD_TIMEOUT_MS",
|
|
"tests/unit/x.test.ts:8 it timeout 30_000",
|
|
"tests/unit/x.test.ts:9 test timeout 20_000",
|
|
"tests/unit/x.test.ts:10 it timeout 10 * 1_000",
|
|
]);
|
|
});
|
|
});
|