Commit Graph
7 Commits
Author SHA1 Message Date
DongHyeonka f81dda4913 test(e2e): Firefox 브라우저 프로필을 RAM 파일시스템에 둔다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m23s
frontend-quality-gates / merge / browser tests (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Canceled after 0s
frontend-quality-gates / external-vulnerability-provider (pull_request) Canceled after 0s
frontend-quality-gates / external-provenance-provider (pull_request) Canceled after 0s
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Canceled after 0s
frontend-quality-gates / deploy-promoted-release (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Canceled after 0s
frontend-quality-gates / main / self-tests and removal drills (pull_request) Canceled after 0s
frontend-quality-gates / merge / tests (pull_request) Canceled after 11m31s
FE-GATE-008의 Firefox 시험이 가끔 첫 화면 5초 대기에서 실패한다
(old-tab-chunk-recovery.spec.ts, preload-use.spec.ts,
platform-overview.spec.ts). runner run 127과 desktop merge 검증에서
실패했고, 다시 돌리면 통과해 묻혔다.
Playwright는 Firefox 프로필을 os.tmpdir()에 만든다. desktop과 CI job
모두 /tmp가 같은 SATA SSD 위에 있다. Firefox는 시험 context의
localStorage·IndexedDB를 그 프로필(디스크)에 둔다. 그래서 디스크가
붐비면 context마다 첫 localStorage 접근이 디스크 일을 기다린다.
Chromium·WebKit은 시험 context 저장소를 메모리에 둔다. 앱은 첫 렌더
전에 색 구성 설정을 localStorage에서 읽어, 그 대기가 첫 화면 대기에
들어간다. desktop e2e 전체 8회(2026-11-13)에서 Firefox 앱 부팅 463회
중 19회가 0.7~3.8초 멈췄고, Chromium·WebKit은 16 ms를 넘지 않았다.

tests/support/browser/browser-test.ts가 Firefox worker의 프로필을 RAM
파일시스템에 둔다. os.tmpdir()가 이미 tmpfs면 그대로 쓴다. 아니면
/dev/shm에 worker 수 x 64 MB 자리가 있을 때 그 안에 폴더를 만든다.
Playwright의 browser fixture가 launch하는 동안만 TMPDIR를 그 폴더로
돌리고 바로 되돌린다. 그래서 fixture build 같은 다른 임시 파일은
디스크에 그대로 남는다. 프로필이 그 폴더에 생기지 않으면 시험을
실패시킨다. 자리가 없으면 이유를 한 줄 알리고 디스크에 둔다. strict
fixture와 strict를 쓰지 않는 spec 둘(preload-use, chunk-load-error)이
이 test를 바탕으로 쓴다. docs/work/reference/testing.md 5절 표에 원인을
적었다.

버린 대안:
- worker마다 localStorage를 미리 한 번 건드리는 예열: 브라우저 프로세스당
  한 번 드는 준비 비용으로 봤다. 예열 뒤에도 19/463이 멈췄다. 예열
  context를 바로 닫는 판은 21/464로 더 나빴다.
- toolkit.storage.synchronous=0(SQLite fsync 끔): 15/224로 그대로였다.
- 첫 화면 대기 timeout 늘리기, worker 줄이기: 원인을 덮는다.
- 시험 실행 전체에 TMPDIR 걸기: fixture build까지 RAM에 들어간다.

위험·한계:
- CI job 컨테이너는 /dev/shm이 64 MB다(2026-11-13 runner 확인). /tmp는
  같은 SSD 위에 있다. 그래서 CI에서는 프로필이 디스크에 남고 로그에
  이유가 한 줄 찍힌다. CI까지 고치려면 runner가 job 컨테이너에 RAM
  자리를 줘야 한다(--shm-size 또는 --tmpfs /tmp). runner 설정이라 이
  커밋에 넣지 않았다.
- 64 MB/worker는 Firefox worker 6개 프로필 합이 가장 컸을 때 211 MB(1개
  35 MB)인 것을 보고 잡은 여유다.
- Playwright의 두 동작에 기댄다. fixture 의존성을 적힌 순서로 준비하는
  것과, launch할 때 os.tmpdir()를 읽는 것이다. 어느 쪽이 바뀌어도
  폴더가 비므로 시험이 실패해 알린다.

검증(desktop):
- 재현: Firefox 6개를 동시에 띄우고 context 8개씩 localStorage 첫 접근을
  쟀다. 프로필 /tmp에서 최대 8,157 ms(384회), /dev/shm에서 최대 17 ms
  (384회).
- 수정본 e2e 전체 10회: 매번 189 passed. Firefox 부팅 576회 중 0.5초를
  넘는 멈춤 0회(최대 36 ms), 부하 15.9~31.2. 프로필은 매번 /dev/shm에
  5~6개, 디스크 0개, 끝난 뒤 남은 폴더 0개.
- 변이: launch 전에 TMPDIR를 돌리지 않게 하면 theme.spec.ts(firefox)가
  2 failed, 안전장치 메시지로 실패한다.
- check:types:test, eslint(바뀐 파일), check:test-evidence:source 통과.
- scripts/verify.sh gate FE-GATE-008(CI=true, main ee95573f 위): rc=0 205초,
  e2e 189 passed, browser-capabilities 69, storybook 11, visual 7.
- scripts/verify.sh docs, desktop verify:documentation 통과.
2026-11-13 18:13:17 +09:00
DongHyeonka 978170cb03 test(a11y): 접근성 자동 검사가 지키는 규칙에 실제로 닿게 한다
frontend-quality-gates / merge / static checks (pull_request) Successful in 3m52s
frontend-quality-gates / merge / tests (pull_request) Failing after 15m28s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 10m56s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / main / checker self-tests (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
접근성 자동 검사 셋이 지키는 것에 닿지 않는다.

- reduced-motion e2e가 body의 animationDuration으로 브라우저 기본값
  0s도 받아들인다. responsive.css의 reduced-motion 규칙을 지워도
  통과한다(1112/05-08).
- 예제 화면을 Storybook 갤러리로 옮기면서 화면 전체 axe 검사가 빠졌다.
  기능이 없는 템플릿에서 빈·오류·로그인·권한 표면이 axe를 받지
  않는다(05-04).
- 제품이 WCAG 2.2 AA를 약속하는데 스캔 태그는 2.1까지다. 같은 태그 목록이
  네 곳에 손으로 적혀 있다(05-05 일부).
- 셸 compact drawer는 modal이고 모든 셸 route에 있는데, 라우트 수동 기록
  셋과 checklist 예시가 M4를 "modal 없음"으로 채운다(05-07).

고른 방법: reduced-motion 시험은 규칙이 없을 때의 값(0s)과 규칙의 값
(0.01ms)을 함께 본다. 갤러리 두 story를 light·dark에서 화면 전체 axe로
본다. 태그는 tests/support/browser/axe-tags.ts 하나에 두고 wcag22aa를
더한다. 라우트 기록의 M4를 pending으로 바꾸고 checklist에 셸 drawer를
적는다. 수동 기록 양식에 2.4.11·2.5.8 칸을 더하는 일(05-05의 나머지)은 양식과 생성
출력이 바뀌는 일이라 이 커밋에 넣지 않았다. R9-D9(권하는 안으로 정함
(2026-11-12, 총괄))에 따라 따로 한다.

위험·한계: wcag22aa는 axe의 target-size 규칙만 더한다. 포커스 가림(2.4.11)
같은 기준은 여전히 수동이다.

검증: reduced-motion 시험이 규칙을 지운 변이에서 실패하고 원래 코드에서
통과한다. 갤러리 axe 넷과 FE-GATE-009는 desktop에서 돈다(PR 본문).

Refs: 1112/05-04, 1112/05-05, 1112/05-07, 1112/05-08
2026-11-13 00:13:36 +09:00
DongHyeonka e02552998d test(e2e): strict fixture가 preload 기록으로 test를 실패시키는지 고정한다
문제
tests/e2e/preload-use.spec.ts는 preload tracker만 증명한다. 안 쓴
preload를 넣는 test는 맨 test에서 tracker를 직접 부르고, strict
fixture를 쓰는 test는 "통과해야 한다" 방향 하나뿐이다. 그래서
strict-browser-test.ts가 tracker 결과를 버려도(11-R3) 커밋된 test는
하나도 실패하지 않았고, WebKit 무시 정규식을 넓혀도 볼 test가 없다.
3번 test는 지연시킬 청크를 못 찾으면 조용히 평범한 방문이 된다.

고른 방법과 버린 대안
- strict fixture의 마지막 판정을 browserFailureVerdict fixture로
  뺀다. 기본값은 지금과 같다(allowedBrowserFailure로 거르고 빈 목록
  단언). page fixture는 기록을 그 판정에 넘긴다.
- spec은 그 판정을 "기록을 받아 두는" 판정으로 바꾼 recordedTest를
  둔다. page fixture가 판정에 의존하므로 판정의 teardown은 page
  teardown 뒤에 돈다. 거기서 fixture가 넘긴 줄이 fixtureReports와 정확히
  같은지 본다.
  - 안 쓴 modulepreload 하나 → `preloadunused:/assets/<청크>.js` 한 줄.
  - WebKit 문구 그대로(무시), Chromium 문구, WebKit 문구 + 뒤 글자,
    같은 문구의 console.error, 다른 warning → 뒤의 네 줄만, 순서대로.
- 기본 판정이 실제로 test를 실패시키는지는 strictTest.fail()로 console
  error 한 줄을 내는 test 하나가 본다. 기록이 맞다는 것은 위 두 test가
  따로 증명하므로, 이 test가 엉뚱한 이유로 실패해도 놓치는 것이 적다.
- 3번 test는 지연시킬 청크가 없으면 이유를 적고 실패한다.
- 모든 probe를 test.fail()로만 고정하는 안은 버렸다. 어떤 이유로든
  실패하면 통과해서 fixture가 무엇을 기록했는지 보지 못한다.
- 커밋한 문서: docs/testing/frontend-platform-testing-strategy.md에
  증명 위치와 판정을 바꾸는 곳이 그 spec 하나라는 것을 적는다.

위험·한계
- 모든 browser spec이 쓰는 fixture의 구조가 바뀐다. 판정 내용은 같다.
- 다른 spec도 browserFailureVerdict를 바꿔 strict 검사를 끌 수 있다.
  allowedBrowserFailure를 /.*/로 주는 것과 같은 수준의 노출이고 막는
  검사는 더하지 않았다.
- 샘플을 지운 제품에서 기능 실행부 모양이 바뀌면 3번 test가 실패한다.
  그때는 test를 다른 청크로 옮기거나 이유를 적고 지워야 한다.

검증
- desktop batch에서 확인:
  corepack pnpm exec playwright test tests/e2e/preload-use.spec.ts (세 엔진)
- 테스트 장치만 바꾼 커밋이라 RED는 변이로 본다.
  - 11-R3(strict fixture가 check 결과를 버림): "records a modulepreload
    the page never runs"가 세 엔진에서 실패해야 한다.
  - WEBKIT_UNUSED_PRELOAD_GUESS를 /.*/로: "ignores WebKit's
    unused-preload guess word for word and nothing else"가 실패해야 한다.
  - browserFailureVerdict 기본값의 expect 제거: "fails a test whose page
    writes a console error"가 "expected to fail" 위반으로 실패해야 한다.

Refs: 1105/11-01
2026-11-06 01:05:22 +09:00
DongHyeonka aad005cbce fix(test): 브라우저 테스트가 WebKit의 3초 preload 추정 대신 실제 사용을 검사한다
문제: FE-GATE-008이 webkit에서 가끔 "The resource … was preloaded using
link preload but not used within a few seconds from the window's load
event" 경고로 떨어졌다(desktop 부하 0.68, i18n.spec.ts:60, 반복 10회 중
3회). 부하 탓이 아니었다. WebKit은 load 3초 뒤 한 번, 아직 아무 요청도 쓰지
않은 preload를 경고한다. 플랫폼 구성 화면은 들어갈 때 기능 실행부를 모두
불러오고(15-01), Vite는 그 청크와 정적 의존 청크를 한꺼번에 modulepreload
한다. 화면을 load 뒤 2.5초쯤 열면 module graph가 가장 깊은
reference-schemas에 닿기 전에 WebKit 검사가 돈다. 그 청크는 곧 쓰인다(표가
그려지고 link로 한 번만 받는다). 반대로 정말 안 쓰는 preload는 Chromium·
Firefox에서 늘, WebKit에서도 test가 3초 전에 끝나면 아무도 잡지 않았다
(1103/11-09).

고른 방법:
- strict fixture가 WebKit의 그 문구 하나만 정확한 패턴으로 무시한다. 다른
  console warning·error는 그대로 실패다.
- 대신 tests/support/browser/preload-use.ts가 세 엔진에서 같은 방법으로
  "preload한 script가 실제로 실행됐는가"를 본다.
  - 문서가 받은 `<link rel=modulepreload|preload>`를 첫 바이트 전부터
    MutationObserver로 적고, 끝에 남은 link도 더한다.
  - page.route로 build script(`/assets/*.js`)에 "이 URL이 평가됐다"를 적는
    문장 하나를 앞에 붙인다.
  - test 끝에 preload됐는데 평가되지 않은 script를 `preloadunused:`로
    실패시킨다. 진행 중인 dynamic import는 5초까지 기다린다.
- "사용"을 평가로 판정하는 이유: preload는 받기만 하거나(WebKit·Firefox)
  받아서 parse만 한다(Chromium). 어느 엔진도 평가하지 않는다. 그래서 그
  문장은 module graph가 그 청크를 실제로 실행했을 때만 돈다. WebKit의
  "참조됨"과 달리 시각에 기대지 않는다.
- 볼 수 없는 것은 따로 이름을 붙여 실패시킨다(fail closed).
  - script가 아닌 preload는 `preloadunverifiable:<as>:`.
  - Service Worker가 문서를 제어할 때 만든 preload는
    `preloadunverifiable:service-worker:`. 그 요청은 worker가 답해서
    page.route가 못 본다. context.route로 worker가 받는 것을 표시하면
    release manifest의 sha256 대조가 깨진다.
  - route.fetch가 세 번 실패해 표시 없이 넘어간 script는
    `preloadunverifiable:unmarked:`. 처음 구현은 이때 조용히
    route.continue()로 넘겨 쓰인 청크를 안 쓴 것으로 보고했다(webkit
    reference-form 1건).
- 일부러 실패를 일으키는 spec은 그 실패가 남기는 preload만 허용한다.
  - boot-module-failure: 깨진 build의 boot 정적 closure.
  - old-tab-chunk-recovery: 없어진 청크와 함께 preload된 청크. 전에는 이
    허용이 WebKit 경고 문구로만 있었다.
  - service-worker-update: worker 제어 중 preload만.
  - production-csp는 build script를 직접 fulfill하므로, 표시를 유지하는
    fulfillBuildScript를 쓴다.

버린 대안:
- (A) lazy dynamic import의 JS 의존성 preload를 끈다. 경고는 원리상 없어지지만
  test의 추정에 맞춰 제품을 바꾸는 것이다. lazy 라우트 첫 진입마다 1~2 RTT가
  늘고, 그 화면은 lab이 재는 화면(FE-GATE-026)이다.
- 청크 단계를 줄인다. 창이 좁아질 뿐이다.
- 3초 뒤에 화면에 들어간다. 사용자가 보는 경고를 test에서 숨긴다.

위험·한계:
- 모든 strict fixture test가 build script를 page.route로 받는다.
- 끝에 열려 있는 문서만 검사한다. 이동해 버린 문서의 기록은 같이 사라진다.
- fixture가 검사하는 것은 fixture의 page 하나다(console 검사와 같다).
- worker가 제어하는 문서의 preload는 검사하지 못한다(이름을 붙여 실패,
  service-worker-update만 허용).

검증 (desktop, CI=true와 workflow env):
- RED(검사 stub): 새 preload-use.spec 9건 중 7건 실패.
  - 변이 test는 세 엔진 모두 Expected
    ["preloadunused:/assets/async-state-Cxfod8c-.js"], Received [].
  - 부모 청크 3.5초 지연 scenario는 webkit만 "console:warning:The resource
    …/reference-schemas-DICBcHlO.js was preloaded using link preload but not
    used …"로 실패.
- GREEN: 9 passed.
- 변이를 fixture에 직접 넣은 probe(커밋 안 함), 안 쓰는 modulepreload 하나:
  - 이전 fixture(8a3b16a): chromium·firefox·webkit 3/3 통과(놓침).
  - 새 fixture: 3/3 실패,
    "preloadunused:/assets/async-state-Cxfod8c-.js".
- 부모 청크 3.5초 지연 probe:
  - 이전 fixture: webkit 실패.
  - 새 fixture: 3/3 통과. webkit은 여전히 reference-schemas 경고를 냈다
    (probe guesses ["reference-schemas-DICBcHlO.js was preloa…"]).
- 전체 e2e(playwright.config.ts): 202 passed, 3 skipped(기존 firefox SW skip).
- check:types:test, 바꾼 파일 eslint 통과.
2026-11-05 08:13:56 +09:00
donghyeon-kaandClaude Opus 5.5 48b84951b8 test(e2e): assert reference data and cover save success and retry (11-06)
The route spec only checked that the protected screen opened, so a schema
violating 200 or a 503 still passed it. It now asserts the mocked row, and
a new spec saves once and retries after a 429 in a real browser.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-27 13:00:35 +09:00
DongHyeonkaandClaude Opus 5.5 84f2ab929f docs(testing): match determinism, scenario and taxonomy text to the code (10-07)
The strategy doc promised clock/random/scheduler helpers that no test used
(the helper's clearTimeout did nothing), listed three scenario IDs the
catalog does not have, and the taxonomy described an older test:all and a
child-process rule tests/unit does not follow. Removes the unused helper.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-09-26 00:30:28 +09:00
donghyeon-ka 98d4fd4960 feat: harden test and registry evidence 2026-07-26 17:15:26 +09:00