feat: harden test and registry evidence
This commit is contained in:
donghyeon-ka
@@ -43,7 +43,12 @@
|
||||
- `test:unit`
|
||||
- `test:component`
|
||||
- `test:integration`
|
||||
- `test:coverage`
|
||||
- `test:e2e`
|
||||
- `test:e2e:dev`
|
||||
- `build:storybook`
|
||||
- `test:storybook`
|
||||
- `test:visual`
|
||||
- `test:a11y`
|
||||
- `review:a11y-manual`
|
||||
- `test:sample-removal`
|
||||
@@ -67,7 +72,7 @@ field/documentation 단계를 구성한다.
|
||||
- 320px reflow와 mobile navigation을 E2E로 확인한다.
|
||||
- release build의 bundle과 lab performance budget이 별도 gate다.
|
||||
|
||||
### 2.3 확인된 공백
|
||||
### 2.3 RP-10에서 닫힌 공백과 남은 외부 범위
|
||||
|
||||
#### 테스트 TypeScript typecheck 기반
|
||||
|
||||
@@ -76,20 +81,12 @@ field/documentation 단계를 구성한다.
|
||||
검사하되 실패를 의도한 `tests/fixtures`는 별도 negative command가 소유한다.
|
||||
Vitest의 변환 성공을 TypeScript typecheck의 대체물로 취급하지 않는다.
|
||||
|
||||
#### 실제 bootstrap integration test가 없다
|
||||
#### 실제 bootstrap integration
|
||||
|
||||
`tests/component/bootstrap-shell.test.jsx`는 production bootstrap을 import하지
|
||||
않고 테스트 내부의 `<TestShell>`만 렌더링한다. E2E는 실제 entry를 통과하지만,
|
||||
다음 실패를 작은 통합 테스트에서 식별하기 어렵다.
|
||||
|
||||
- runtime config fetch 실패
|
||||
- config/manifest mismatch
|
||||
- adapter composition 실패
|
||||
- provider 순서 또는 누락
|
||||
- external auth owner 유무
|
||||
- product tree를 마운트하기 전 fail-closed
|
||||
- boot error shell의 safe metadata
|
||||
- StrictMode와 unmount cleanup
|
||||
runtime config와 release manifest를 검증한 composition root에서 실제 provider
|
||||
순서와 application input을 연결하는 component/integration test를 제공한다.
|
||||
production Playwright profile은 source fixture가 아니라 `build` + `preview`의
|
||||
실제 entry와 hashed route chunk를 사용한다.
|
||||
|
||||
#### TanStack Query의 React integration test 기반
|
||||
|
||||
@@ -100,53 +97,44 @@ optimistic commit/rollback, conflict 해제와 namespace invalidation이 실제
|
||||
QueryClient 위에서 실행된다. HTTP 자동 retry가 소유자이므로 이 adapter의
|
||||
query/mutation vendor retry는 꺼져 있다.
|
||||
|
||||
#### Form 테스트가 단일 TextField 흐름에 머문다
|
||||
#### Form과 route 위험
|
||||
|
||||
현재 component/E2E는 label, description, error association과 빈 값 submit을
|
||||
검사한다. error summary, 첫 오류 focus, async validation race, 422 field error,
|
||||
double submit, dirty navigation, mutation conflict는 없다.
|
||||
form component/reference feature test가 error summary, 첫 오류 focus, Zod
|
||||
transform, 422 allowlist, double submit, dirty navigation, optimistic rollback과
|
||||
conflict를 검증한다. route registry/runtime 양방향 참조, codec, lazy module,
|
||||
location reset, scroll restoration, blocker와 bounded chunk recovery도
|
||||
unit/component/built artifact 검증에 연결됐다.
|
||||
|
||||
#### Route registry와 실행 tree가 별도로 테스트된다
|
||||
#### Storybook과 시각 회귀
|
||||
|
||||
registry snapshot과 일부 navigation/access policy test는 있으나 다음 계약을
|
||||
강제하지 않는다.
|
||||
public design-system primitive를 실제 platform provider로 렌더하는 dev-only
|
||||
Storybook, interaction/axe test와 production build를 대상으로 한
|
||||
`toHaveScreenshot()` baseline 4종을 제공한다. cloud review, 다중 OS font
|
||||
rasterization과 실제 device farm은 프로젝트가 요구할 때 연결한다.
|
||||
|
||||
- 모든 route ID에 lazy runtime module이 존재하는가
|
||||
- params/search가 실제 codec으로 검증되는가
|
||||
- deep link와 basename refresh가 동작하는가
|
||||
- chunk load failure가 1회 reload/support surface로 연결되는가
|
||||
- route error boundary가 location 변경 시 reset되는가
|
||||
- scroll restoration과 form navigation blocker가 동작하는가
|
||||
#### Shared MSW와 결정성
|
||||
|
||||
#### Storybook과 시각 회귀가 없다
|
||||
operation별 success/empty/slow/network/timeout/content/envelope/schema/auth/
|
||||
403/404/409/422/429/retry/terminal을 포함한 19개 scenario catalog와 strict
|
||||
unhandled-request server를 공유한다. clock/random/scheduler/storage helper와
|
||||
browser console/page/network failure 정책으로 비결정적 우회를 차단한다.
|
||||
|
||||
`/examples/ui`는 통합 gallery지만 component별 모든 state를 격리하지 않는다.
|
||||
Storybook story, interaction story, story-level axe, `toHaveScreenshot()` baseline이
|
||||
없다. `screenshot: "only-on-failure"`는 디버깅 증거이며 시각 회귀 테스트가 아니다.
|
||||
#### Built-dist와 compact E2E
|
||||
|
||||
#### MSW scenario가 공유되지 않는다
|
||||
기본 `test:e2e`는 CI에서 기존 server를 재사용하지 않고 `build` + `preview`를
|
||||
Chromium, Firefox, WebKit과 compact project로 실행한다. 빠른 Vite 개발 profile은
|
||||
`test:e2e:dev`로 분리한다.
|
||||
|
||||
integration file마다 `setupServer`, handler, response body를 다시 정의한다.
|
||||
Node integration, Storybook browser, feature component test, E2E mock service가 같은
|
||||
시나리오 이름과 contract fixture를 공유하지 않는다.
|
||||
#### 위험 기반 coverage
|
||||
|
||||
#### E2E가 개발 서버를 대상으로 한다
|
||||
V8 text/JSON/LCOV를 생성하고 전체 기준과 retry/storage/telemetry/compatibility/
|
||||
performance/promotion/chunk/diagnostics/registry compatibility 9개 high-risk
|
||||
module에 40개 scoped threshold를 적용한다. critical module 누락 또는 threshold
|
||||
미달 fixture는 merge gate를 실패시킨다.
|
||||
|
||||
현재 Playwright web server는 `pnpm dev`다. route behavior 확인에는 유효하지만
|
||||
다음 release 위험은 production build/preview에서만 확인할 수 있다.
|
||||
|
||||
- hashed lazy chunk
|
||||
- source 변환과 tree shaking
|
||||
- base path
|
||||
- deep-link fallback
|
||||
- build-time environment
|
||||
- release manifest와 runtime config 조합
|
||||
- minified code의 chunk failure
|
||||
|
||||
#### Coverage가 실행·차단되지 않는다
|
||||
|
||||
`vitest.config.js`에는 reporter만 선언되어 있고 coverage provider, script,
|
||||
threshold, diff policy가 없다.
|
||||
남은 범위는 실제 device/browser farm, cloud visual approval, 외부 인증·telemetry
|
||||
provider와 production field data다. 이 증거가 없을 때 저장소 내부 test를
|
||||
`PRODUCTION_READY`의 대체물로 사용하지 않는다.
|
||||
|
||||
## 3. 위험 기반 테스트 계층
|
||||
|
||||
@@ -1228,8 +1216,9 @@ corepack pnpm build
|
||||
corepack pnpm check:bundle
|
||||
```
|
||||
|
||||
TypeScript test, Storybook, coverage, visual, built-dist 명령이 도입되면 위 목록과
|
||||
CI registry에 추가한다.
|
||||
TypeScript test, Storybook, coverage, visual과 built-dist 명령은
|
||||
`config/ci/gates.json`의 blocking step과 JUnit/HTML/trace/fixture evidence에
|
||||
연결되어 있다.
|
||||
|
||||
## 18. Feature Definition of Done
|
||||
|
||||
|
||||
Reference in New Issue
Block a user