Files
clean-architecture-frontend…/scripts/lib/a11y-data-state.ts
T
DongHyeonka 9c4cddc201 fix(a11y): 한 자원을 읽는 라우트가 기록 없이 통과로 세지면 report가 실패한다
문제: a11y.json의 notChecked는 접근성 spec이 남긴 기록만으로 정해졌다.
기록이 없으면 "검사함"이었고, 어느 라우트에 기록이 있어야 하는지는 spec
말고 아무도 몰랐다. 리뷰 11-R2에서 실패 화면 분기의 기록 호출 reason을
null로 바꾸자 라우트 test 10건, write-a11y-report.ts, 증거 schema가 모두
통과하고 a11y.json이 상세 라우트를 scope(통과)에 넣고 notChecked: []를
적었다. 1103/11-01이 고친 거짓 주장이 한 줄로 돌아온다. 같은 실행 뒤 지난
실행의 기록 파일도 디렉터리에 남아 있었다.

고른 방법: 리뷰의 (다)와 기록 초기화.
- scripts/lib/a11y-data-state.ts의 oneResourceReadRoutes가 설치된
  descriptor만으로 "실패 화면으로만 볼 수 있는 라우트"를 찾는다. 로그인이
  필요한 라우트의 paramsSchema가, 경로 파라미터가 있고 빈 목록을 거부하는
  GET의 입력 스키마일 때다. GET 쪽 규칙은
  tests/e2e/support/installed-api-answers.ts가 답하는 규칙과 같다.
  참조 기능 상세와 create:feature --with-create 상세는 GET과 같은
  <Pascal>Params를 쓰므로 이 규칙에 든다.
- write-a11y-report.ts는 그 라우트가 기록(notChecked)에 없으면
  `a11y.json not written:`과 라우트·operation을 찍고 rc=1로 끝난다.
  a11y.json은 쓰지 않는다. test:a11y(FE-GATE-009)가 실패한다.
- accessibility.spec.ts의 라우트 test는 시작할 때 자기 기록을 지운다.
  기록 호출에 닿지 못한 실행이 지난 실행의 기록을 그대로 쓰지 않는다.
  엔진 셋이 같은 파일을 쓰지만 각 엔진은 지운 뒤에만 쓰고, 실행 중에
  기록을 읽는 곳이 없어 순서가 섞여도 결과가 같다.
- 단위 테스트: 가짜 descriptor로 규칙(목록·경로 아래 목록·DELETE·공개
  라우트 제외)과 거절(null 기록은 거절, 기록이 있으면 통과, 기대 밖 기록은
  허용). 참조 기능 테스트가 실제 descriptor에서 REFERENCE_RESOURCE_DETAIL
  하나가 나오는지 본다. 이 줄이 없으면 규칙이 아무것도 찾지 못해도
  모른다. 참조 기능과 함께 지워진다.
- 11-R2 diff는 그대로 적용된다(문맥 줄 유지, 4줄 offset).
버린 대안:
- (나) 두 상태 모두 기록하고 기록 없는 라우트를 실패: 기록 삭제는 잡지만
  reason을 null로 바꾸는 11-R2는 못 잡는다. 실행 경계(TEST_RUN_ID)도
  정해야 한다.
- 증거 schema(release-artifacts.ts)에서 검사: schema 모듈이 기능
  런타임 전체(top-level await)를 불러야 하고, 그 모듈을 쓰는 스크립트가
  많다.
- spec 안에서 기록을 다시 읽어 대조: 같은 test의 두 줄을 서로 대조할
  뿐이고, 시작 시 초기화와 엔진 동시 실행이 겹치면 거짓 실패가 난다.
- 기록 호출의 모양을 바꿔 사실(읽은 operation)을 적고 report가 판정:
  11-R2 변이 자리가 사라져 리뷰 변이로 확인할 수 없다.

위험·한계: 방향은 하나다. 규칙이 찾은 라우트가 기록에 없으면 실패하고,
규칙이 못 찾는 라우트를 spec이 notChecked로 적는 것은 덜 주장하는 쪽이라
받는다. paramsSchema가 GET 입력과 다른 상세 페이지(손으로 쓴 기능)는
규칙이 찾지 못해 기록만으로 정해진다(이전과 같다). 공개 라우트는 spec이
API에 답하지 않으므로 이 규칙 밖이다. write-a11y-report.ts가 기능 런타임
전체를 불러온다(check:registries와 같은 경로). check:types:node가 그
그래프를 node 설정으로 검사한다. 노트북에서 아무것도 실행하지 않았다.

검증: desktop batch에서 확인.
node scripts/run-vitest.ts run tests/unit/a11y-report.test.ts
tests/features/reference-feature/reference-contract.test.ts
11-R2 변이와 기록 줄 삭제 변이에서 playwright(chromium, @a11y /) 뒤
node scripts/write-a11y-report.ts rc=1, 변이 없이 rc=0. corepack pnpm
test:a11y

Refs: 1106/11-01
2026-11-06 05:29:21 +09:00

187 lines
7.1 KiB
TypeScript

import { randomUUID } from "node:crypto";
import { mkdir, readFile, rename, rm, writeFile } from "node:fs/promises";
import path from "node:path";
/**
* 1103/11-01. Which routes `tests/e2e/accessibility.spec.ts` could scan only
* on their failure state. The spec answers a protected page's list reads with
* an empty list; a read of one resource (a detail page) has no generic answer,
* so that page is scanned on its error screen. Passing axe there says nothing
* about the page's own content, and `artifacts/tests/a11y.json` used to list
* it as passed anyway.
*
* Each route's test leaves its answer in this directory: a record when it saw
* only the failure state, no record otherwise. A route's latest run therefore
* decides. `scripts/write-a11y-report.ts` reads the records and reports those
* routes under `notChecked` instead of in the passed `scope`.
*
* 1106/11-01. No record used to mean "checked", and nothing but the spec said
* which routes needed one: a record call changed to `null` (review 11-R2) put
* the detail page back in `scope` and every check passed. The report now
* works the same routes out from the installed descriptors
* (`oneResourceReadRoutes`) and fails when one has no record.
*/
export const A11Y_DATA_STATE_DIRECTORY = "artifacts/tests/a11y-data-state";
export type A11yNotCheckedRoute = Readonly<{ routeId: string; reason: string }>;
const ROUTE_ID = /^[A-Z][A-Z0-9_]*$/u;
function recordPath(directory: string, routeId: string): string {
if (!ROUTE_ID.test(routeId)) {
throw new TypeError(`not a route id: ${routeId}`);
}
return path.join(directory, `${routeId}.json`);
}
/** `reason` is null when the route was scanned in its own state. */
export async function recordA11yDataState(
routeId: string,
reason: string | null,
directory: string = A11Y_DATA_STATE_DIRECTORY,
): Promise<void> {
const file = recordPath(directory, routeId);
if (reason === null) {
await rm(file, { force: true });
return;
}
if (reason.length === 0) throw new TypeError("a not-checked route needs a reason");
await mkdir(directory, { recursive: true });
// Every engine records the same route at once: write whole, then rename.
const pending = `${file}.${randomUUID()}.tmp`;
await writeFile(pending, `${JSON.stringify({ routeId, reason })}\n`, "utf8");
await rename(pending, file);
}
/** The records for `routeIds`, in their order. A route with none was checked. */
export async function readA11yNotCheckedRoutes(
routeIds: readonly string[],
directory: string = A11Y_DATA_STATE_DIRECTORY,
): Promise<readonly A11yNotCheckedRoute[]> {
const notChecked: A11yNotCheckedRoute[] = [];
for (const routeId of routeIds) {
let text: string;
try {
text = await readFile(recordPath(directory, routeId), "utf8");
} catch (error) {
if ((error as NodeJS.ErrnoException).code === "ENOENT") continue;
throw error;
}
const record = JSON.parse(text) as Partial<Record<"routeId" | "reason", unknown>>;
if (
record.routeId !== routeId ||
typeof record.reason !== "string" ||
record.reason.length === 0
) {
throw new TypeError(`malformed a11y data-state record for ${routeId}`);
}
notChecked.push(Object.freeze({ routeId, reason: record.reason }));
}
return Object.freeze(notChecked);
}
export type OneResourceRoute = Readonly<{
routeId: string;
operationIds: readonly string[];
}>;
type RouteFacts = Readonly<{
routeId: string;
access: string;
paramsSchema: string | null;
}>;
type ReadFacts = Readonly<{
contract: Readonly<{
operationId: string;
method: string;
pathTemplate: string;
inputValidator: Readonly<{ schemaId: string }>;
outputValidator: Readonly<{
safeParse(value: unknown): Readonly<{ success: boolean }>;
}>;
}>;
}>;
/**
* 1106/11-01. The installed routes the spec can scan only on their failure
* state, from the descriptors alone: a protected route whose `paramsSchema` is
* the input of a GET that reads one resource. A GET reads one resource by the
* rule `tests/e2e/support/installed-api-answers.ts` answers with: it has a
* path parameter and its output rejects an empty list, so no generic body
* answers it. The spec signs in only on protected routes, so a public route is
* not listed.
*
* This finds the detail pages that take their params schema from their read
* (the reference sample and every `create:feature --with-create` slice). A
* detail page whose params schema differs is not found, and its record alone
* decides, as before.
*/
export function oneResourceReadRoutes(
routes: Iterable<RouteFacts>,
operations: Iterable<ReadFacts>,
): readonly OneResourceRoute[] {
const readsByInput = new Map<string, string[]>();
for (const { contract } of operations) {
if (contract.method !== "GET" || !contract.pathTemplate.includes("{")) continue;
if (contract.outputValidator.safeParse([]).success) continue;
const reads = readsByInput.get(contract.inputValidator.schemaId) ?? [];
reads.push(contract.operationId);
readsByInput.set(contract.inputValidator.schemaId, reads);
}
const found: OneResourceRoute[] = [];
for (const route of routes) {
if (route.access !== "session-required" || route.paramsSchema === null) continue;
const reads = readsByInput.get(route.paramsSchema);
if (reads === undefined) continue;
found.push(
Object.freeze({ routeId: route.routeId, operationIds: Object.freeze([...reads]) }),
);
}
return Object.freeze(found);
}
/**
* 1106/11-01. One line for each route in `expected` that `notChecked` leaves
* out, which `a11y.json` would count as passed. Empty when every route that
* reads one resource has its failure-state record. A record for a route not in
* `expected` claims less and is not refused.
*/
export function oneResourceRoutesCountedAsChecked(
expected: readonly OneResourceRoute[],
notChecked: readonly A11yNotCheckedRoute[],
): readonly string[] {
const recorded = new Set(notChecked.map(({ routeId }) => routeId));
return Object.freeze(
expected
.filter(({ routeId }) => !recorded.has(routeId))
.map(
({ routeId, operationIds }) =>
`${routeId} reads one resource (${operationIds.join(", ")}) but has no failure-state record in ${A11Y_DATA_STATE_DIRECTORY}; tests/e2e/accessibility.spec.ts must record why it scanned the route on its failure state only`,
),
);
}
/**
* The `artifacts/tests/a11y.json` value. `automatedStatus: "passed"` speaks
* for `scope` only: the installed routes axe scanned in their own state.
*/
export function automatedA11yReport(
input: Readonly<{
routeIds: readonly string[];
notChecked: readonly A11yNotCheckedRoute[];
generatedAt: string;
}>,
) {
const notCheckedIds = new Set(input.notChecked.map(({ routeId }) => routeId));
return {
schemaVersion: 2 as const,
generatedAt: input.generatedAt,
scope: input.routeIds.filter((routeId) => !notCheckedIds.has(routeId)),
notChecked: input.notChecked.map(({ routeId, reason }) => ({ routeId, reason })),
threshold: { critical: 0 as const, serious: 0 as const },
automatedStatus: "passed" as const,
manualReview: "see artifacts/tests/a11y-manual/report.json" as const,
};
}