Files
clean-architecture-frontend…/tests/scale/traffic/failure-scenarios.test.ts
DongHyeonka ceaf316f65
frontend-quality-gates / merge / static checks (pull_request) Canceled after 0s
frontend-quality-gates / merge / tests (pull_request) Canceled after 0s
frontend-quality-gates / merge / browser tests (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Canceled after 0s
frontend-quality-gates / external-vulnerability-provider (pull_request) Canceled after 0s
frontend-quality-gates / external-provenance-provider (pull_request) Canceled after 0s
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Canceled after 0s
frontend-quality-gates / deploy-promoted-release (pull_request) Canceled after 0s
frontend-quality-gates / main / self-tests and removal drills (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Canceled after 0s
test(setup): 시험 timeout을 모두 desktop 실측값으로 주고 손 숫자를 거절한다
문제: 자식 프로세스 시험의 timeout은 `childProcessTimeout(<잰 ms>)`로
정한다(docs/work/reference/testing.md 2절). 그런데 기본값이 아니라서
`tests/setup.ts` 검사에 걸리지 않는 손 숫자가 남았다. 리뷰가 센 54곳 중
둘(`browser-soak.contract.test.ts`의 `evaluateSoak` 인자)은 timeout이 아니고,
AST로 다시 세면 80곳이다: 시험·describe·hook에 쓴 숫자, `VERIFY_TIMEOUT`·
`PROCESS_HEAVY_TIMEOUT_MS`(파일 넷에 따로)·`PROVIDER_BASE_FIXTURE_TIMEOUT_MS`
같은 상수, `PROCESS_WATCHDOG_MS * 3` 같은 식. taxonomy는 옛 상수를 예로
들었다. 실측으로 보면 손 숫자 하나가 모자랐다: system 시험의 provider 묶음
30초는 desktop 여섯 번 중 두 번 넘겼다.

고친 것:
- 80곳을 desktop에서 잰 가장 긴 실행으로 `childProcessTimeout(<ms>)`에
  넘긴다. coverage 묶음(maxWorkers=4)·test:unit 각 9회, integration 3회,
  scale(traffic·session·composition·global-local) 3회, 시스템 컨테이너의
  tests/system 6회, JSON reporter로 받았다. hook은 파일 시간에서 시험 합을
  뺀 값이다. 시간 초과로 끝난 실행은 그 시간을 하한으로 넣었다.
- 상수 사본은 지운다. 한 파일 안에서 여럿이 쓰는 값만
  `const X = childProcessTimeout(...)`로 둔다(`VERIFY_TIMEOUT`). guardian
  시험의 lease는 시험 timeout이 아니라 `childProcessTimeout(0)`(helper의 최소
  30초)로 둔다.
- `tests/unit/test-timeout-declarations.test.ts`가 tests/의 Vitest 파일을
  Babel로 읽어 시험·describe·hook의 timeout 인자가 helper 호출(또는 그것을
  담은 파일 상수)이 아니면 파일과 줄로 실패한다. 프로세스 안에서 도는 긴
  시험(scale tier)도 같은 helper를 쓴다.
- taxonomy 예시, testing.md 2절, `.claude/rules/tests.md` 9번, helper 머리
  주석을 같은 방법으로 맞춘다.

버린 대안:
- `tests/setup.ts` 검사를 「helper가 만든 값이 아닌 timeout」까지 넓히기.
  helper 값은 30초 단위 숫자라 손으로 쓴 60_000과 가릴 수 없고, hook과
  프로세스 안 시험은 보지 못한다.
- 프로세스 안 시험은 손 숫자 그대로 두기. 근거 없는 숫자가 남고 검사가
  예외를 가져야 한다.

위험·한계:
- 값이 커진 곳이 있다(15배 규칙): `manual-code-blocks` 300초 → 900초,
  provider 묶음 30초 → 480초 등. hang을 늦게 잡는다. 줄어든 곳도 있다
  (scale traffic 60초 → 30초 등, 잰 값의 15배 안).
- 측정은 desktop 부하 6~35에서 했다. runner가 더 느리면 다시 잰다.
- 검사 시험은 Vitest 파일 전부를 파싱해 coverage 묶음에서 최대 13.5초
  걸렸고, 그 값으로 자기 timeout을 준다. 이름 있는 함수를 콜백으로 넘긴
  시험(`it("x", run, 30_000)`)은 못 찾는다.
- 다운스트림: 손 숫자 timeout이 있는 제품 시험은 test:unit에서 이 검사에
  걸린다. 메시지가 helper를 알린다.

검증(desktop):
- RED: 검사 시험이 고치기 전 80곳을 파일·줄로 내고 실패. GREEN: 검사·
  child-process-timeout 6개 통과. check:types·eslint(바뀐 34파일) rc=0,
  verify:documentation PASS_SCOPED, 노트북 `scripts/verify.sh docs` OK.
- 측정 원자료: /tmp/claude-gates/w2fe2-t08m, -t08m2, -t08m3.
- 게이트 결과는 PR 본문에 적는다.

Refs: 1112/03-08
2026-11-13 06:47:02 +09:00

167 lines
5.6 KiB
TypeScript

import { afterEach, describe, expect, it, vi } from "vitest";
import {
manualClock,
scopeSnapshot,
testExecutionContext,
testExecutor,
type Transport,
} from "../../helpers/traffic-test-kit.ts";
import {
requestAmplification,
retryAmplification,
} from "./amplification-metrics.ts";
import { runSyntheticTraffic, TEST_QUERY, upstream } from "./synthetic-traffic.ts";
import { childProcessTimeout } from "../../helpers/child-process-timeout.ts";
afterEach(() => {
vi.useRealTimers();
});
describe("total outage", () => {
it("bounds physical requests when all upstream calls fail", async () => {
const result = await runSyntheticTraffic({
interactions: 10_000,
upstream: "always-fail",
maxPhysicalRequestsPerInteraction: 2,
maxRetriesPerInteraction: 1,
});
expect(result.physicalRequests).toBeLessThanOrEqual(20_000);
expect(result.succeeded).toBe(0);
expect(requestAmplification(result)).toBeLessThanOrEqual(2);
expect(
retryAmplification({
initialRequests: result.initialRequests,
totalRequests: result.physicalRequests,
}),
).toBeLessThanOrEqual(2);
}, childProcessTimeout(1_797));
it("keeps amplification bounded when one interaction fans out into many operations", async () => {
const result = await runSyntheticTraffic({
interactions: 1_000,
upstream: "always-fail",
maxPhysicalRequestsPerInteraction: 3,
maxRetriesPerInteraction: 1,
operationsPerInteraction: 6,
});
// Unbudgeted: 6 operations x 3 attempts = 18 per interaction.
expect(requestAmplification(result)).toBeLessThanOrEqual(3);
}, childProcessTimeout(433));
it("stays at 1x amplification when upstream is healthy", async () => {
const result = await runSyntheticTraffic({
interactions: 2_000,
upstream: "healthy",
maxPhysicalRequestsPerInteraction: 2,
maxRetriesPerInteraction: 1,
});
expect(result.succeeded).toBe(2_000);
expect(requestAmplification(result)).toBe(1);
}, childProcessTimeout(372));
});
describe("partial outage", () => {
it("lets healthy contexts complete while one context fails completely", async () => {
const transports = {
payment: upstream("always-fail"),
order: upstream("healthy"),
catalog: upstream("healthy"),
};
const executors = Object.fromEntries(
Object.entries(transports).map(([contextId, transport]) => [
contextId,
testExecutor(transport, { maxRetryAttempts: 2 }),
]),
) as Record<keyof typeof transports, ReturnType<typeof testExecutor>>;
const successes: Record<string, number> = { payment: 0, order: 0, catalog: 0 };
await Promise.all(
Array.from({ length: 300 }, async (_, index) => {
const contextId = (["payment", "order", "catalog"] as const)[index % 3] as
| "payment"
| "order"
| "catalog";
const execution = testExecutionContext({ maxPhysicalRequests: 2, maxRetries: 1 });
const outcome = await executors[contextId].execute(TEST_QUERY, { limit: 1 }, {
routeId: "TEST_ROUTE",
scope: scopeSnapshot(),
execution,
});
if (outcome.kind === "SUCCESS") successes[contextId] = (successes[contextId] ?? 0) + 1;
}),
);
expect(successes).toEqual({ payment: 0, order: 100, catalog: 100 });
expect(transports.payment.calls).toBeLessThanOrEqual(200);
expect(transports.order.calls).toBe(100);
expect(transports.catalog.calls).toBe(100);
});
});
describe("slow upstream", () => {
it("bounds active and queued work, drains waiters at the deadline, and never retries after it", async () => {
vi.useFakeTimers({ toFake: ["setTimeout", "clearTimeout"] });
const clock = manualClock(0);
let active = 0;
let peakActive = 0;
let calls = 0;
const transport: Transport = (_input, init) => {
calls += 1;
active += 1;
peakActive = Math.max(peakActive, active);
return new Promise<Response>((_resolve, reject) => {
init?.signal?.addEventListener(
"abort",
() => {
active -= 1;
reject(new DOMException("aborted", "AbortError"));
},
{ once: true },
);
});
};
const execution = testExecutionContext({
deadlineMs: 1_000,
maxPhysicalRequests: 20,
maxRetries: 5,
maxConcurrentRequests: 2,
maxQueuedRequests: 3,
clock: clock.now,
});
const executor = testExecutor(transport, { monotonicNow: clock.now });
const context = { routeId: "TEST_ROUTE", scope: scopeSnapshot(), execution };
const pending = Array.from({ length: 10 }, () =>
executor.execute(TEST_QUERY, { limit: 1 }, context),
);
await vi.advanceTimersByTimeAsync(0);
expect(execution.traffic.concurrency.active).toBe(2);
expect(execution.traffic.concurrency.queued).toBe(3);
clock.advance(1_000);
await vi.advanceTimersByTimeAsync(1_000);
const outcomes = await Promise.all(pending);
expect(peakActive).toBeLessThanOrEqual(2);
expect(execution.traffic.concurrency.active).toBe(0);
expect(execution.traffic.concurrency.queued).toBe(0);
expect(calls).toBe(2);
expect(execution.traffic.retries.consumed).toBe(0);
expect(
outcomes.filter(
(outcome) =>
outcome.kind === "TRANSPORT_FAILURE" &&
outcome.failure.kind === "OVERLOADED_BEFORE_SEND",
),
).toHaveLength(5);
expect(
outcomes.filter(
(outcome) =>
outcome.kind === "TRANSPORT_FAILURE" && outcome.failure.kind === "TIMEOUT",
),
).toHaveLength(5);
});
});