Files
clean-architecture-frontend…/tests/e2e/accessibility.spec.ts
T
DongHyeonka 9c4cddc201 fix(a11y): 한 자원을 읽는 라우트가 기록 없이 통과로 세지면 report가 실패한다
문제: a11y.json의 notChecked는 접근성 spec이 남긴 기록만으로 정해졌다.
기록이 없으면 "검사함"이었고, 어느 라우트에 기록이 있어야 하는지는 spec
말고 아무도 몰랐다. 리뷰 11-R2에서 실패 화면 분기의 기록 호출 reason을
null로 바꾸자 라우트 test 10건, write-a11y-report.ts, 증거 schema가 모두
통과하고 a11y.json이 상세 라우트를 scope(통과)에 넣고 notChecked: []를
적었다. 1103/11-01이 고친 거짓 주장이 한 줄로 돌아온다. 같은 실행 뒤 지난
실행의 기록 파일도 디렉터리에 남아 있었다.

고른 방법: 리뷰의 (다)와 기록 초기화.
- scripts/lib/a11y-data-state.ts의 oneResourceReadRoutes가 설치된
  descriptor만으로 "실패 화면으로만 볼 수 있는 라우트"를 찾는다. 로그인이
  필요한 라우트의 paramsSchema가, 경로 파라미터가 있고 빈 목록을 거부하는
  GET의 입력 스키마일 때다. GET 쪽 규칙은
  tests/e2e/support/installed-api-answers.ts가 답하는 규칙과 같다.
  참조 기능 상세와 create:feature --with-create 상세는 GET과 같은
  <Pascal>Params를 쓰므로 이 규칙에 든다.
- write-a11y-report.ts는 그 라우트가 기록(notChecked)에 없으면
  `a11y.json not written:`과 라우트·operation을 찍고 rc=1로 끝난다.
  a11y.json은 쓰지 않는다. test:a11y(FE-GATE-009)가 실패한다.
- accessibility.spec.ts의 라우트 test는 시작할 때 자기 기록을 지운다.
  기록 호출에 닿지 못한 실행이 지난 실행의 기록을 그대로 쓰지 않는다.
  엔진 셋이 같은 파일을 쓰지만 각 엔진은 지운 뒤에만 쓰고, 실행 중에
  기록을 읽는 곳이 없어 순서가 섞여도 결과가 같다.
- 단위 테스트: 가짜 descriptor로 규칙(목록·경로 아래 목록·DELETE·공개
  라우트 제외)과 거절(null 기록은 거절, 기록이 있으면 통과, 기대 밖 기록은
  허용). 참조 기능 테스트가 실제 descriptor에서 REFERENCE_RESOURCE_DETAIL
  하나가 나오는지 본다. 이 줄이 없으면 규칙이 아무것도 찾지 못해도
  모른다. 참조 기능과 함께 지워진다.
- 11-R2 diff는 그대로 적용된다(문맥 줄 유지, 4줄 offset).
버린 대안:
- (나) 두 상태 모두 기록하고 기록 없는 라우트를 실패: 기록 삭제는 잡지만
  reason을 null로 바꾸는 11-R2는 못 잡는다. 실행 경계(TEST_RUN_ID)도
  정해야 한다.
- 증거 schema(release-artifacts.ts)에서 검사: schema 모듈이 기능
  런타임 전체(top-level await)를 불러야 하고, 그 모듈을 쓰는 스크립트가
  많다.
- spec 안에서 기록을 다시 읽어 대조: 같은 test의 두 줄을 서로 대조할
  뿐이고, 시작 시 초기화와 엔진 동시 실행이 겹치면 거짓 실패가 난다.
- 기록 호출의 모양을 바꿔 사실(읽은 operation)을 적고 report가 판정:
  11-R2 변이 자리가 사라져 리뷰 변이로 확인할 수 없다.

위험·한계: 방향은 하나다. 규칙이 찾은 라우트가 기록에 없으면 실패하고,
규칙이 못 찾는 라우트를 spec이 notChecked로 적는 것은 덜 주장하는 쪽이라
받는다. paramsSchema가 GET 입력과 다른 상세 페이지(손으로 쓴 기능)는
규칙이 찾지 못해 기록만으로 정해진다(이전과 같다). 공개 라우트는 spec이
API에 답하지 않으므로 이 규칙 밖이다. write-a11y-report.ts가 기능 런타임
전체를 불러온다(check:registries와 같은 경로). check:types:node가 그
그래프를 node 설정으로 검사한다. 노트북에서 아무것도 실행하지 않았다.

검증: desktop batch에서 확인.
node scripts/run-vitest.ts run tests/unit/a11y-report.test.ts
tests/features/reference-feature/reference-contract.test.ts
11-R2 변이와 기록 줄 삭제 변이에서 playwright(chromium, @a11y /) 뒤
node scripts/write-a11y-report.ts rc=1, 변이 없이 rc=0. corepack pnpm
test:a11y

Refs: 1106/11-01
2026-11-06 05:29:21 +09:00

154 lines
6.6 KiB
TypeScript

import AxeBuilder from "@axe-core/playwright";
import { recordA11yDataState } from "../../scripts/lib/a11y-data-state.ts";
import { expect, test, type Page } from "../support/browser/strict-browser-test.ts";
import { ROUTE_REGISTRY } from "../../src/features/installed-feature-contracts.ts";
import { COMPOSED_CONTRACT_CONTRIBUTIONS } from "../../src/features/loaded-feature-runtimes.ts";
import type { RouteDefinition } from "../../src/contracts/routes.ts";
import { KO_MESSAGES } from "../../src/presentation/i18n/catalog.ts";
import {
answerInstalledApiRequest,
type InstalledApiAnswer,
} from "./support/installed-api-answers.ts";
const WCAG_TAGS = ["wcag2a", "wcag2aa", "wcag21a", "wcag21aa"];
const SIGN_IN_TITLE = KO_MESSAGES["route.auth.required.title"];
const CATALOG = KO_MESSAGES as Readonly<Record<string, string>>;
async function blockingViolations(page: Page) {
const results = await new AxeBuilder({ page }).withTags(WCAG_TAGS).analyze();
return results.violations.filter((violation) =>
["critical", "serious"].includes(violation.impact ?? ""),
);
}
// 08-05/11-02. The app shell draws `main` before the route chunk arrives, so
// axe waits for the route's own h1. A public route's h1 is its catalog title.
// A protected route is scanned after the demo sign-in, never on the sign-in
// prompt; the feature's own spec pins its exact headings and states.
// Widened: without an installed feature every route is public, and the
// `session-required` branch must still typecheck (sample removal).
const ROUTES: readonly RouteDefinition[] = Object.values(ROUTE_REGISTRY);
// 1103/16-03. Every path parameter gets one value: a feature with its own
// parameter names needs no edit here.
const PATH_PARAMETER_VALUE = "a11y-1";
const API_ORIGIN = "http://localhost:8080";
for (const definition of ROUTES) {
const route =
definition.path === "*"
? "/not-found"
: definition.path.replace(/:[A-Za-z][A-Za-z0-9_]*/gu, PATH_PARAMETER_VALUE);
test(`@a11y ${route} has no critical or serious axe violations`, async ({
page,
}) => {
// 1106/11-01. An earlier run's record never outlives this run, even when
// no record call below is reached. scripts/write-a11y-report.ts then
// fails on a route the descriptors say reads one resource.
await recordA11yDataState(definition.routeId, null);
const heading = page.getByRole("heading", { level: 1 });
if (definition.access === "session-required") {
// 1103/11-01. Feature data is not this spec's subject: a list read gets
// an empty list in the frame its descriptor declares, so the page is
// scanned in its empty state, not on a response-shape error.
const answers: InstalledApiAnswer[] = [];
await page.route(`${API_ORIGIN}/**`, (request) => {
const answer = answerInstalledApiRequest(
COMPOSED_CONTRACT_CONTRIBUTIONS,
request.request().method(),
new URL(request.request().url()).pathname,
);
answers.push(answer);
return answer.kind === "unanswerable"
? request.fulfill({ status: 501, body: answer.reason ?? answer.request })
: request.fulfill({ json: answer.body });
});
await page.goto(route);
await expect(heading).toHaveText(SIGN_IN_TITLE);
await page.getByRole("button", { name: "로그인 시작" }).click();
await expect(heading).toBeVisible();
await expect(heading).not.toHaveText(SIGN_IN_TITLE);
await expect(page.locator("[aria-busy='true']")).toHaveCount(0);
expect(
answers.filter((answer) => answer.kind === "unanswerable"),
"requests no installed list or single-resource read answers",
).toEqual([]);
const singleResourceReads = answers.flatMap((answer) =>
answer.kind === "single-resource" ? [answer.operationId] : [],
);
if (singleResourceReads.length === 0) {
// A shape the page does not read fails here, before axe passes it.
await expect(page.getByRole("alert")).toHaveCount(0);
await recordA11yDataState(definition.routeId, null);
} else {
// No generic body answers a read of one resource: a detail page is
// scanned in its failure state. 1103/11-01. a11y.json then lists it
// under `notChecked`, not as passed.
const reason = `scanned on its failure state only: ${singleResourceReads.join(", ")} reads one resource`;
test.info().annotations.push({ type: "a11y-data-state", description: reason });
await recordA11yDataState(definition.routeId, reason);
}
} else {
await page.goto(route);
const title = CATALOG[`route.${definition.routeId}.title`];
await expect(heading).toHaveText(title ?? definition.title);
await recordA11yDataState(definition.routeId, null);
}
expect(await blockingViolations(page)).toEqual([]);
});
}
test("@a11y keyboard reaches the primary route action with visible focus", async ({
page,
}) => {
await page.goto("/");
const action = page.getByRole("link", { name: "플랫폼 구성 보기" });
await expect(action).toBeVisible();
await page.keyboard.press("Tab");
await expect(action).toBeFocused();
await expect(action).toHaveCSS("outline-style", "solid");
});
// 08-09. axe's skip-link rule is best-practice, outside WCAG_TAGS, so the only
// way past the header and sidebar (WCAG 2.4.1) needs its own check.
test("@a11y skip link moves keyboard focus into main", async ({ page }) => {
await page.goto("/examples/ui");
await expect(page.getByRole("heading", { level: 1 })).toBeFocused();
const skipLink = page.getByRole("link", { name: "본문으로 건너뛰기" });
await skipLink.focus();
await expect(skipLink).toBeFocused();
await page.keyboard.press("Enter");
await expect
.poll(() =>
page.evaluate(
() => document.querySelector("main")?.contains(document.activeElement) ?? false,
),
)
.toBe(true);
});
test("@a11y reduced-motion policy disables long animation", async ({ page }) => {
await page.emulateMedia({ reducedMotion: "reduce" });
await page.goto("/");
const duration = await page
.locator("body")
.evaluate((body) => getComputedStyle(body).animationDuration);
expect(["0s", "0.00001s", "1e-05s"]).toContain(duration);
});
test("@a11y opened design-system dialog has no blocking violations", async ({
page,
}) => {
await page.goto("/examples/ui");
await page.getByRole("button", { name: "모달 열기" }).click();
const results = await new AxeBuilder({ page })
.include(".ui-dialog")
.withTags(WCAG_TAGS)
.analyze();
expect(
results.violations.filter((violation) =>
["critical", "serious"].includes(violation.impact ?? ""),
),
).toEqual([]);
});