diff --git a/docs/improvement/05-test-structure.md b/docs/improvement/05-test-structure.md new file mode 100644 index 00000000..877dcc50 --- /dev/null +++ b/docs/improvement/05-test-structure.md @@ -0,0 +1,140 @@ +# 05. 테스트 구조 기준 + +## 핵심 + +테스트는 **결함을 막는지**로 평가한다. 테스트가 있다는 사실, 커버리지 숫자는 근거가 아니다. 이 repo의 테스트 결함은 +다섯 라운드 동안 같은 모양으로 반복됐다. + +```text +결함을 고쳐도·규칙을 지워도 통과한다 → 변이로 확인한다 (3절) +템플릿 원래 상태·작은 입력에서만 맞다 → 기능 추가·예제 제거·입력 3개 이상으로도 돈다 (3절) +속도·부하·브라우저 추정에 기댄다 → 결정적 재현으로 원인을 찾는다 (5절) +고정 경로·포트·로컬 생성물에 기댄다 → 깨끗한 clone·한 checkout 두 실행으로 확인한다 (4절) +``` + +## 1. 정본 + +| 무엇 | 정본 | +| --- | --- | +| 테스트 층, 명령, 실행 환경, 층을 정하는 기준 | `docs/testing/taxonomy.md` | +| 넓은 테스트 설계, flaky 정책, 금지 패턴 | `docs/testing/frontend-platform-testing-strategy.md` 16.5절(1183~1196줄), 19절(1399~1418줄). 목표 설계 문서라 지금 코드와 다른 곳이 있다(예: 15절 디렉터리 구조). 다르면 코드가 맞다 | +| Vitest 수집 범위, `.only` 금지, 전역 timeout | `vitest.config.ts` | +| Vitest 실행 runner(Node 버전, `NODE_ENV`, 생성물) | `scripts/run-vitest.ts` | +| skip·todo를 남긴 실행의 실패 | `scripts/lib/no-skipped-tests-reporter.ts` | +| Playwright skip·fixme의 quarantine 조건, `forbidOnly` | `scripts/check-test-evidence.ts` | +| 테스트 공통 대기 기한 | `tests/setup.ts` 5~13줄 | +| 모든 테스트 파일이 어떤 게이트에서 도는가 | `check:ci`, 예외 목록 `config/ci/ungated-tests.json` | +| 지워도 되는 문서를 테스트가 읽지 않는다 | `tests/unit/deletable-history-documents.test.ts` | + +## 2. 테스트를 어디에 둘까 + +`docs/testing/taxonomy.md` 85~99줄이 기준이다. **프레임워크가 아니라 필요한 실행 환경**이 층을 정한다. + +| 필요한 것 | 둘 곳 | 명령 | +| --- | --- | --- | +| Node만(도메인·정책·순수 함수, 스크립트의 짧은 CLI 계약) | `tests/unit` | `test:unit` | +| 재사용 capability의 소비자 계약 | `tests/contract` | `test:contract` | +| React·hook·UI 동작 | `tests/component` | `test:component` | +| HTTP/MSW, IndexedDB, 조립된 경계, 오래 사는 자식 프로세스 | `tests/integration` | `test:integration` | +| systemd·bubblewrap·cgroup v2 | `tests/system` | `test:system`(FE-GATE-013) | +| 실제 브라우저 3엔진 | `tests/e2e`, `tests/browser-capabilities`, `tests/visual`, `tests/storybook` | FE-GATE-008·009 | +| 한 기능의 테스트 | `tests/features//` | 기능 폴더와 함께 지워진다 | + +- 스크립트 테스트가 자식 프로세스를 띄우면 그 suite가 자기 timeout을 선언한다. 전역 timeout(`vitest.config.ts`의 + `testTimeout`)을 올리지 않는다(taxonomy 95~99줄). +- 플랫폼을 지키는 테스트는 참조 기능·스타터 화면에 묶지 않는다. 샘플을 지우면 그 테스트도 사라지거나 게이트가 깨진다. + 테스트 전용 라우트와 플랫폼 소유 MSW 카탈로그(`tests/mocks/`)를 쓴다(1101 README 14.1절 0929/10-02 행, 부록 P-20). +- 기능 테스트가 지워도 되는 문서를 읽으면 제거 드릴이 깨진다(03장 4절). + +## 3. 테스트가 결함을 막는지 확인하는 법 + +### 3.1 RED 먼저 + +동작을 바꾸는 수정은 재현 테스트가 먼저 실패하고, 고친 뒤 통과한다(`SPEC.md` 29줄). 커밋 본문에 RED와 GREEN을 +적는다(1101 README 349줄). 이 규칙을 강제하는 게이트는 없다. 리뷰가 커밋 본문으로 확인한다. + +### 3.2 변이로 검출력을 잰다 + +- 보호 규칙 한 줄을 지우거나 바꾸는 변이를 넣어, 그 규칙을 지키는 테스트가 실패하는지 본다. 결함 수정안을 넣었을 때 + 기존 테스트가 모두 통과하면 그 테스트는 결함을 막지 못했던 것이다(부록 P-13). +- 커버리지 100%인 곳에서도 판정 경계의 변이가 살아남았다(1103 README 5절 원인 5). 커버리지는 줄을 지나갔다는 뜻일 + 뿐이다. +- 변이 실험은 일괄 실행 목록으로 낸다. 리뷰어가 손으로 만들어 checkout 전체를 잠그며 돌리지 않는다(1105/10-03, + 09장 4절). + +### 3.3 템플릿 원래 상태 밖에서도 돈다 + +수정을 템플릿 원래 상태나 작은 입력으로만 확인하면 다운스트림에서 다시 결함이 된다. 4라운드 반복 원인 1번이다 +(1105 README 6절, 부록 P-02). + +| 확인할 상태 | 지난 예 | +| --- | --- | +| 기능을 하나 이상 더한 상태(`create:feature`) | 기능을 더하면 시각 테스트가 실패했다(1103/12-01) | +| 제품 확장 지점을 채운 상태 | 타입 검사 탐침이 제품 파일을 통째로 덮어써 제품 capability가 있는 복사본에서 FE-GATE-005가 항상 실패(1105/09-01) | +| 예제 기능을 지운 상태 | CHANGELOG 안내대로 예제를 지우면 문서 검사가 실패(1105/14-01) | +| 입력·객체가 셋 이상 | purge 수정 테스트가 객체 0~1개만 써서 3개 이상의 결함을 놓쳤다(1103/05-01 남은 부분) | +| 매뉴얼 예시 이름으로 만든 기능 | 템플릿 테스트의 글자가 제품 기능 이름과 부딪쳐 제거 드릴 실패(1105/16-04) | + +### 3.4 단언이 대상에 닿는가 + +- fixture가 비어 첫 줄에서 return하지 않는가. 전제(예: 포커스가 먼저 옮겨졌는가)를 함께 단언하는가. +- 실제 화면이 아니라 로딩 화면·오류 화면·fixture 자신을 검사하지 않는가. 접근성 e2e가 기능의 빈 목록이 아니라 오류 + 화면을 검사하고 "passed"로 적은 적이 있다(1103/11-01). 부록 P-15. + +## 4. 환경에 기대지 않는다 + +| 기대는 것 | 증상 | 기준 | +| --- | --- | --- | +| gitignore된 로컬 생성물 | 깨끗한 clone에서 실패 | 테스트가 필요한 생성물을 스스로 만든다. 한 파일 실행도 `scripts/run-vitest.ts`를 거친다(07장 1절) | +| 작성자 PC의 글꼴·CPU | 다른 호스트에서 시각·규모 테스트 실패 | 글꼴은 `fonts.conf`로 고정한다(1101 README 343줄). 규모 테스트는 CPU와 무관한 비교만 단언한다 | +| 바깥 env(빌드 식별값, `CI=true`) | 실제 CI에서만 실패 | 테스트가 띄우는 빌드·dev server의 env는 테스트가 정한다(1103/11-06·11-07·11-08, 07장 4절) | +| 고정 출력 경로·고정 포트 | 한 checkout에서 두 실행이 부딪힌다 | 실행별 출력 폴더와 빈 포트 [제안]. 실행 격리 방법은 결정 대기다(08장 5.1절 D6, 1105/12-04) | +| 호스트 권한(user namespace 등) | 사전 점검 PASS 뒤 원문 오류 | 사전 점검이 본 단계와 같은 방법으로 한 번 실행해 본다(07장 5절) | +| 옆 checkout(짝 백엔드) | 기계마다 결과가 다르다 | 없으면 "확인 못 함"으로 보고한다(07장 6절, 1105/12-02) | + +## 5. 가끔 떨어지는 테스트 + +### 5.1 금지 + +- 재시도, timeout 늘리기, worker 줄이기, `force` 클릭·합성 이벤트로 덮지 않는다(전략 16.5절, 19절. 1103/11-10 조사에서 + 버린 대안). +- skip은 Playwright spec에만, owner·defect·route·만료일이 있는 quarantine으로만 둔다(`scripts/check-test-evidence.ts`). + 빠른 계층에는 quarantine이 없다. 고치거나 느린 층으로 옮긴다(1101 README 441줄, 2026-11-03 결정). +- "부하 탓"으로 닫지 않는다. 부하를 낮춘 재현과 결정적 재현으로 확인하기 전에는 원인이 아니다. 1103 조치에서 부하 + 탓으로 적었던 두 실패는 모두 테스트 결함이었다(1103 README 14.7절 정정 두 줄). + +### 5.2 조사 절차 + +1. **반복 실행으로 빈도를 잰다.** 같은 조건에서 30회 같은 식으로 돌려 실패 수를 적는다(1103/11-10: 30회 두 번, 각각 + 60건 중 3건 실패). +2. **실패 기록을 남긴다.** 이벤트 순서(pointerdown·pointerup·click 대상), 위치, 시각, 네트워크 로그를 실패한 실행에서 + 모은다. 진단용 코드는 별도 브랜치에 둔다. +3. **결정적 재현을 만든다.** 원인이라고 본 조건을 강제로 만들어 매번 실패하게 한다. 예: mousedown 때 앱 높이를 늘리면 + 세 엔진 6/6 실패(1103/11-10). 모듈 응답을 3.5초 늦추면 WebKit 경고 2/2(1103/11-09). +4. **고친다.** 고친 뒤 결정적 재현이 통과하고, 실제 조건 반복 실행에서 실패 0인지 본다(1103/11-10: 660/660). +5. **검사가 약해지지 않았는지 변이로 본다.** 경고를 무시하게 고쳤으면, 원래 잡아야 할 것(예: 정말 안 쓴 preload)을 + 여전히 잡는지 변이로 확인한다(1103/11-09 수정, 1105 README 3.3절). + +### 5.3 브라우저 테스트에서 반복된 원인 + +| 원인 | 예 | 기준 | +| --- | --- | --- | +| 브라우저의 추정에 기댄다 | WebKit이 load 3초 뒤 한 번 하는 "preload를 안 썼다" 추정. 곧 쓰일 preload로 가끔 실패하고, 정말 안 쓴 preload는 놓쳤다(1103/11-09) | 브라우저 경고 대신 확인하려는 사실(preload가 평가됐는가)을 직접 검사한다. 부록 P-17 | +| 그리는 중인 화면을 누른다 | 앱 뒤에 붙인 버튼이 렌더링 중 12 px 밀려 클릭이 버튼에 닿지 않았다(1103/11-10) | 테스트가 붙이는 조작 요소는 앱 레이아웃과 무관한 고정 층에 둔다. "다 그려질 때까지 기다리기"는 신호가 없어 쓰지 않는다. 부록 P-18 | +| 짧은 상태를 폴링으로 잡는다 | 500 ms만 이어지는 `BLOCKED` 상태를 폴링으로 잡으려다 두 엔진에서 실패(1103/11-05) | 상태 변화를 이벤트·기록으로 받는다 | +| 고정 상한과 첫 실행 비용 | provider 테스트 10개가 10초 상한에 묶이고, 하나만 고르면 첫 테스트가 fixture 빌드를 떠안아 실패(1103/11-03) | 무거운 준비는 suite 준비 단계로 옮기고 suite가 자기 timeout을 선언한다 | + +## 6. 테스트 실행 비용 + +- 빠른 계층(`tests/unit`)에 프로세스를 띄우는 도구 테스트, 실제 시계로 기다리는 테스트가 섞이면 전체가 느려진다 + (1101/10-05~10-07, 부록 P-21). +- merge 단계가 같은 파일을 두 번 돌리지 않는지 본다(1101/10-06). +- 긴 드릴은 시간을 함께 적는다. FE-GATE-020은 1,150초 안팎, `test:feature-scaffold`만 513~866초다(1103 README 14.7절, + 1105 README 11.1절). 45분 job 상한과의 여유를 본다. + +## 지금 이해하면 되는 것 + +- 테스트 위치는 필요한 실행 환경으로 정한다(`taxonomy.md`). +- 검출력은 변이로, 범위는 템플릿 원래 상태 밖(기능 추가·예제 제거·입력 셋 이상)으로 확인한다. +- 가끔 떨어지는 테스트는 재시도·timeout으로 덮지 않는다. 반복 실행 → 실패 기록 → 결정적 재현 → 수정 → 변이 순서로 + 원인을 찾는다. diff --git a/docs/improvement/06-performance.md b/docs/improvement/06-performance.md new file mode 100644 index 00000000..65ac3320 --- /dev/null +++ b/docs/improvement/06-performance.md @@ -0,0 +1,96 @@ +# 06. 성능·최적화 기준 + +## 핵심 + +이 템플릿의 성능 목표는 **예산**이다. 요청량·데이터량 목표는 없다(1105 README 0절). 예산은 세 측정 맥락으로 나뉘고, +맥락마다 재는 곳과 막는 게이트가 다르다. + +```text +번들(빌드 산출물) ── check:bundle FE-GATE-012 merge 단계 초기 JS bytes·파일 수, lazy 청크 bytes +lab(실험실 브라우저) ── test:performance FE-GATE-026 release 단계 LCP·CLS·이름 붙은 상호작용(중앙값) +field(운영 표본) ── field Web Vitals FE-GATE-018 field 단계 p75 LCP·CLS·INP, 28일 +``` + +숫자의 정본은 `config/performance/budgets.json`이고, 세 맥락의 계약은 `docs/operations/performance-evidence.md` +1~13줄이다. 이 장은 숫자를 다시 적지 않는다. **언제 재는지, 어떤 조건으로 재는지, 숫자를 고칠 때 무엇을 같이 +하는지**만 정한다. + +## 1. 정본 + +| 무엇 | 정본 | +| --- | --- | +| 예산 값 | `config/performance/budgets.json` | +| 세 맥락의 계약과 측정 항목 | `docs/operations/performance-evidence.md` | +| 번들 예산 검사 | `scripts/check-bundle.ts`(`check:bundle`) | +| lab 측정 | `scripts/test-performance.ts`(`test:performance`), 기본값 `scripts/lib/lab-performance.ts`(5회, 포트 4173) | +| 템플릿 그대로의 초기 JS 기준선, 기능·context 하나당 증가량, 그 기록을 재는 테스트와 갱신 명령 | `docs/operations/performance-evidence.md` 「번들 예산의 기준선과 여유」 절. 기록 파일과 측정 스크립트는 참조 기능과 함께 지워지므로 이 매뉴얼은 이름을 쓰지 않고 그 절을 가리킨다(07장 6절) | +| 규모 설계와 예산의 근거 | `docs/architecture/scale-architecture.md` | +| 측정 결과에 붙일 정보의 일반론 | 가이드 14절 「측정 결과에 반드시 붙일 정보」 | + +## 2. 언제 재나 + +| 바꾼 것 | 잴 것 | +| --- | --- | +| 라우트 로딩, dynamic import, 초기 화면, 청크 나누기(`vite.config.ts`) | `check:bundle`과 `test:performance` 둘 다 | +| 의존성 추가·갱신 | `check:bundle`. 갱신 하나가 초기 JS를 약 7 KB 늘려 예산을 넘긴 예가 있다(1103/13-03, zod 4.6.x) | +| 기능 추가(`create:feature`) | 생성 명령의 `Next:` 안내대로 초기 JS 기록을 다시 쓰고 FE-GATE-005·012를 돌린다(1103 README 14.6절 #2) | +| 성능 최적화 작업 | 바꾸기 전·후를 같은 조건으로(3절) | + +lab 게이트는 release 단계에만 있다. merge 게이트만 돌리면 lab 회귀를 모른다. 예제 화면 진입 회귀가 147커밋 동안 아무 +게이트에도 걸리지 않았다(1103/15-01). 라우트 로딩을 건드린 커밋은 merge 게이트에 더해 `test:performance`를 돌린다 +(07장 2절). + +## 3. 측정 조건 + +측정값에는 아래를 함께 적는다. 하나라도 빠지면 다른 측정과 비교하지 않는다(가이드 14절). + +| 항목 | 이 repo에서 | +| --- | --- | +| 위치 | desktop(07장 7절). 노트북 측정은 비교에 쓰지 않는다 | +| 하드웨어·런타임 | CPU 모델·논리 코어 수·Node 버전. lab 결과 JSON이 자동으로 담는다 | +| 부하 | 측정 앞뒤의 load average. lab 결과 JSON이 담는다. 다른 무거운 실행과 겹치지 않게 잠금 아래에서 잰다 | +| 브라우저와 조건 | lab: Chromium, 1280×720, `contract-fast-4g`, CPU 4배 감속, 빈 캐시·새 browser context(`scripts/test-performance.ts` 211~221줄) | +| 반복과 통계 | 기본 5회의 중앙값으로 판정한다. 표본 전부와 퍼짐을 함께 적는다(같은 파일 226~231줄). 예: "중앙값 227 ms(표본 223·224·227·438·526)"(1103/15-01) | +| 빌드 | 커밋과 build id. 비교하는 두 빌드는 같은 env로 만든다. 커밋 ID가 빌드에 박혀 초기 JS가 몇 바이트 달라진다(1103 README 14.5절 10회차) | +| 대조군 | 바꾸기 전 커밋을 같은 세션·같은 조건에서 함께 잰다. 지난 측정값을 대조군으로 쓰지 않는다 | +| 규모 | 기능 수에 따른 비용은 참조 기능을 복제한 실제 모양 기능 25개·100개로 재고 호스트 부하를 함께 적는다(`SPEC.md` D-18) | + +## 4. 예산 사이의 균형 + +- **초기 JS bytes와 초기 파일 수는 함께 본다.** bytes를 줄이려고 청크를 나누면 파일 수가 는다. HTTP/1.1에서는 요청이 + 줄을 서서 첫 화면이 늦어진다. 파일 수 상한은 HTTP/2 호스팅을 전제로 정했다(`docs/operations/performance-evidence.md` + 「초기 청크 수와 HTTP/1.1」, 1103 README 14.6절 #4). +- **청크 이름으로 크기를 판단하지 않는다.** 공용 청크는 안에 든 모듈 하나의 이름을 받는다. 출처별 크기는 + sourcemap으로 나눠 잰다(같은 문서 「번들 예산의 기준선과 여유」). +- **재방문 비용도 본다.** release마다 이름이 바뀌는 청크에 큰 라이브러리가 들어가면 코드가 같아도 다시 받는다(같은 문서 + 「build id와 재방문 캐시」). +- **여유를 적는다.** 예산에서 기준선을 뺀 여유와, 기능 하나가 쓰는 양을 함께 보고한다. 1103 조치 끝에 초기 JS 여유가 + 쓰기 기능 하나 남짓이었다(1103 README 14.5절 끝 문단, 14.7절). + +## 5. 숫자를 고칠 때 + +- **기준선 기록**은 손으로 고치지 않는다. 측정 스크립트를 `--initial-baseline --write`로 돌리고 같은 변경에 넣는다 + (`docs/operations/performance-evidence.md` 35~36줄). 손으로 적은 숫자는 두 번 낡았다(같은 문서 22줄). +- **대조 허용치는 남은 여유보다 작아야 한다.** 기록 대조 허용 1%(약 2 KB)가 남은 여유(1,873 B)보다 커서 여유를 다 쓰는 + 변경이 통과할 수 있다(1105/15-02). 허용치를 정할 때 여유·측정 오차와 비교한다. 부록 P-46. +- **예산 값**(`config/performance/budgets.json`)을 올리는 것은 결정이다. 이유·대안·재검토 조건을 08장 형식으로 남긴다. + 예: 초기 파일 수 상한을 26에서 32로 올린 것(1103 README 14.6절 #4). +- **문서에 측정값을 적을 때**는 커밋과 측정일을 붙인다. 그 숫자가 지금 빌드와 다를 수 있다고 적는다. + +## 6. 성능 쪽 반복 결함 + +| 패턴 | 막는 기준 | +| --- | --- | +| release 단계에만 있는 게이트의 회귀를 아무도 모른다(1101/15-01, 1103/15-01) | 2절: 라우트 로딩을 건드리면 `test:performance`도 돌린다 | +| 실패 메시지가 무엇을 얼마나 넘었는지 말하지 않는다(1103/15-03) | 예산 검사는 넘은 항목·잰 값·초과량을 모두 출력한다(`docs/operations/performance-evidence.md` 5~7줄) | +| 측정 조건 없이 숫자만 남아 비교할 수 없다 | 3절 표 | +| lab이 화면 하나·조건 하나만 잰다. 기능 라우트 첫 진입(약 400 ms), `/` 밖 화면의 layout shift, 스크롤바가 보이는 환경을 어느 게이트도 재지 않는다(1105/15-04, 15-01, 15-05, 모두 미조치) | 기능 라우트 로딩을 바꾸면 그 라우트 첫 진입을 lab과 같은 조건으로 따로 재고 결과에 적는다 **[제안]** | +| 부하가 높은 시간대의 실패를 "부하 탓"으로 닫는다. 두 번 다 원인은 테스트에 있었다(1103/11-09, 11-10) | 05장 5절: 부하를 낮춘 재현과 결정적 재현으로 확인한 뒤에만 부하를 원인으로 쓴다 | + +전체 목록은 부록의 「성능」 행이다. + +## 지금 이해하면 되는 것 + +- 예산 숫자는 `config/performance/budgets.json`, 맥락별 계약은 `performance-evidence.md`가 정본이다. +- 라우트 로딩을 건드리면 merge 게이트에 더해 lab 게이트도 돌린다. +- 측정값에는 위치·부하·반복 수·빌드·대조군을 붙인다. 붙이지 않은 숫자는 비교하지 않는다.