5 Commits
Author SHA1 Message Date
DongHyeonka 0e72c0c116 fix(test-run): Playwright 서버가 빈 포트를 고르고 dev 서버를 재사용하지 않는다
문제: 다섯 Playwright 설정의 서버 포트가 고정이다(e2e 4173, visual과
capability가 둘 다 4174, storybook 6006, dev 5173). 한 checkout이든 같은
기계의 두 worktree든 두 번째 실행은 `http://127.0.0.1:4173 is already
used`로 시작하지 못한다(00-R1). dev 설정만 `reuseExistingServer: true`라
5173에 다른 checkout·브랜치의 dev 서버가 떠 있으면 말없이 그 서버를
검사한다. vite는 `--strictPort` 없이 떠서, 포트가 그 사이 잡히면 다음
포트로 옮기고 Playwright는 원래 URL의 남의 서버를 검사할 수 있다
(1105/12-04).

고른 방법: 설정마다 `reservePort(TEST_<이름>_PORT)`로 빈 포트를 고른다
(`scripts/lib/run-isolation.ts`). 커널이 port 0에 준 포트를 받고 바로
닫는다. 고른 포트를 그 변수에 써 둔다. Playwright는 worker마다 설정을
다시 평가하고 worker는 runner 환경을 물려받으므로, worker의 평가가 같은
포트를 읽어 `baseURL`이 어디서나 같다. 변수를 미리 주면 그 포트를 쓴다
(디버깅용 고정). vite 서버 넷 모두 `--strictPort`로 띄우고, dev 설정은
`reuseExistingServer: false`로 바꿨다. run ID가 없어도 빈 포트를 쓴다.
두 worktree는 출력 경로가 이미 다르고 포트만 부딪히기 때문이다. 고정
번호를 읽는 곳은 없다. spec은 `baseURL`에서 origin을 얻는다
(`resumable-upload.spec.ts`, `production-csp.spec.ts`).
버린 대안: 포트 범위를 run ID에서 계산하기. 두 checkout이 같은 run ID를
쓰거나 다른 프로그램이 그 포트를 쓰면 다시 부딪힌다. Playwright
`webServer.wait`로 서버가 고른 포트를 stdout에서 읽기: `use.baseURL`은
설정을 읽을 때 정해져서 쓸 수 없다.

위험·한계: 포트를 고른 뒤 서버가 잡기 전에 다른 프로세스가 같은 포트를
잡을 수 있다. 그때는 `--strictPort`/serve-static의 listen 실패나
Playwright의 "already used"로 시작이 실패한다. 남의 서버로 검사가 새지
않는다. 기본 실행의 포트 번호가 매번 달라진다. 고정이 필요하면
`TEST_E2E_PORT=4173`처럼 준다. `test:e2e:dev`는 이제 떠 있는 dev 서버를
쓰지 않고 자기 서버를 띄운다. capability 설정이 없는 사본
(test:browser-file-storage-removal)에서는 그 설정의 포트 테스트를 돌리지 않는다.

검증: desktop batch에서 확인.
node scripts/run-vitest.ts run tests/unit/run-isolation.test.ts tests/unit/playwright-run-isolation.test.ts
corepack pnpm test:browser-file-storage-removal

Refs: 1105/12-04
2026-11-06 02:58:00 +09:00
DongHyeonka f4d5761a2a fix(test-run): 실행마다 빌드·Playwright 출력 폴더를 따로 쓴다
문제: 빌드는 `dist`, `.generated/frontend-runtime`, `artifacts/release`·
`artifacts/quality`에 고정으로 쓰고, 다섯 Playwright 설정은 결과·report·
JUnit을 `artifacts/tests/<이름>/`에 고정으로 쓴다. 한 checkout에서 두
번째 e2e 실행이 시작하면 빌드 1단계가 첫 실행의 preview가 서빙 중인
`dist`를 지우고, Playwright가 `outputDir`을 비워 첫 실행의 trace를 지운다.
증거 파일도 늦게 끝난 쪽 것으로 섞인다(1105/12-04).

고른 방법: 변수 두 개로 나눈다(`scripts/lib/run-isolation.ts`).
- `TEST_RUN_ID`: Playwright 설정이 읽는다. 값이 있으면 그 실행의 결과·
  report·JUnit과 서빙할 빌드를 `.tmp/runs/<id>/` 아래 같은 상대 경로에
  둔다. 없으면 지금 경로 그대로라 게이트, CI upload, 증거 검사가 읽는
  곳이 바뀌지 않는다.
- `RUN_OUTPUT_ROOT`: 설정이 web server에만 넘긴다. 빌드 단계 전부
  (`build-frontend`, contract set, runtime config, SW asset 목록, SW 빌드,
  build manifest)와 `vite.config.ts`가 읽어 `dist`·생성 모듈·증거·Vite
  캐시를 그 아래에 쓴다. preview는 `--outDir`로 같은 `dist`를 서빙한다.
빌드 코드는 `TEST_RUN_ID`를 읽지 않는다. e2e worker가 저장소 복사본을
빌드할 때(fixture-builds, service-worker-builds) runner 환경을 물려받는데,
그 빌드는 복사본 자기 `dist`에 써야 하기 때문이다.
두 루트는 `.` 또는 `.tmp/` 아래만 받는다. git, Tailwind 소스 스캔(report
안 문자열이 CSS에 들어가지 않게), Vite watcher, vitest, 저장소 복사
helper가 모두 `.tmp`를 건너뛴다. service-worker-builds의 복사 제외 목록에
`.tmp`를 더했다(fixture-builds와 같아짐). build manifest의 경로는 빌드가
쓴 폴더 기준 상대 경로로 둔다.
`vite.config.ts`가 새로 가져오는 `scripts/lib/run-isolation.ts`는 저장소
일부를 임시 루트에 복사해 빌드하는 두 목록(초기 JS 측정
`scripts/scale/measure-feature-shape-growth.ts`,
`tests/unit/product-feature-selection-build.test.ts`)에도 더한다.
Storybook은 run ID가 있으면 `build:storybook`의 두 단계를 다른 `-o`로
돌린다. 같은 단계인지는 단위 테스트가 package script와 대조한다.
버린 대안: 운영 증거 경로(54개 스크립트, `config/ci/gates.json`)까지 run
ID로 옮기기. 게이트와 workflow upload가 고정 경로를 읽으므로 이번 범위
밖이다(아래 한계). 실행마다 저장소를 임시 폴더로 복사하기: 매번 수십
MB 복사와 node_modules 링크가 들고, 개발자가 보는 결과 위치가 사라진다.

위험·한계: 포트는 아직 고정이라 이 커밋만으로는 두 실행이 함께 돌지
못한다(다음 커밋). `ci:gate`와 증거 검사(`check:test-evidence`,
`verify:browser-capability-evidence`)는 기본 경로만 읽는다. run ID를 준
채 게이트를 돌리면 증거가 기본 경로에 새로 생기지 않아 게이트가 "not
freshly produced"로 실패한다(통과로 새지 않는다). Storybook 내부 캐시
(`node_modules/.cache`)는 여전히 공유한다. capability 설정
(`playwright.capabilities.config.ts`)은 test:browser-file-storage-removal이
capability와 함께 지운다. 설정 테스트는 그 파일이 있을 때만 그 설정을 읽고,
경로를 변수로 두어 타입 검사가 그 파일을 요구하지 않는다.

검증: desktop batch에서 확인.
node scripts/run-vitest.ts run tests/unit/run-isolation.test.ts tests/unit/playwright-run-isolation.test.ts tests/unit/run-output-root-build.test.ts
node scripts/run-vitest.ts run tests/unit/feature-shape-growth.test.ts tests/unit/product-feature-selection-build.test.ts
corepack pnpm test:browser-file-storage-removal

Refs: 1105/12-04
2026-11-06 02:11:17 +09:00
DongHyeonka b693600103 fix(ci): 테스트가 만드는 로컬 빌드는 CI=true에서도 release 빌드로 검사되지 않는다
문제
workflow는 모든 job에 CI=true와 CI 빌드 식별값을 준다. 메인 세션이 깨끗한
clone에서 그 env 그대로(CI=true 포함) merge 단계 14개를 돌리자 FE-GATE-005·
008·020이 실패했다.
- vitest 안의 fixture 빌드(tests/e2e/support/fixture-builds.ts →
  build-frontend.ts)가 CI=true를 물려받아 release 빌드처럼 검사된다.
  af312de가 vitest에서 VITE_COMMIT_SHA를 지워 "missing required CI build
  environment: VITE_COMMIT_SHA"로 멈춘다(service-worker-build-output 7건이
  돌지 않음, 제거 드릴 안에서도 같다).
- 시각 골든 build(9bddfa5)가 VITE_COMMIT_SHA="local"을 받는데 CI=true가
  40·64자리 hex를 요구해 webServer가 뜨지 않는다.
내 X4가 CI=true 없이 돌아 놓쳤다. 1103/11-07과 같은 원인이다.

고른 방법
- scripts/lib/build-environment.ts에 둘을 둔다.
  - localBuildEnvironment(env): spawn하는 로컬 빌드용. CI와 CI 빌드 식별값을
    뺀 사본. fixture-builds.ts, service-worker-builds.ts가 쓴다.
  - LOCAL_BUILD_IDENTITY: Playwright web server용. Playwright가 env를
    process.env 위에 합치므로 CI를 지우지 않고 ""로 덮는다(검사는
    CI === "true"일 때만). visual·capabilities·dev 설정이 쓴다.
- assertCiBuildEnvironment의 CI=true 검사는 그대로다. job 자신의 release
  빌드(build:release-candidate 등)는 계속 검사된다.
- 버린 대안: 로컬 빌드에 유효한 가짜 커밋 id(0×40)를 주기. CI=true 검사의
  다른 칸(CI_RUNNER_IMAGE, SOURCE_DATE_EPOCH)도 함께 맞춰야 하고, 로컬
  빌드가 release 빌드인 척한다.

위험·한계
- 로컬 빌드 안에서 CI를 읽어 동작을 바꾸는 코드가 있으면 그 빌드는 이제
  CI가 아닌 쪽으로 돈다(지금은 build-environment 검사뿐이다).

검증
- tests/unit/local-build-environment.test.ts 3건: 구현 전 2건 실패(RED),
  CI job 자체 검사는 유지.
- CI=true·VITE_COMMIT_SHA·VITE_BUILD_ID=gitea-41-1·RELEASE_ID·
  CI_RUNNER_IMAGE·SOURCE_DATE_EPOCH로: service-worker-build-output 7건,
  test:visual 6/6, test:unit 2,883, test:component 270, test:integration 189
  통과. 수정 전 service-worker-build-output은 7건 미실행.
- check:types, lint 통과.

Refs: docs/reviews/2026-11-03-maturity-review/README.md 13절 11-08
2026-11-05 04:26:44 +09:00
DongHyeonka af312deeca fix(ci): 테스트와 dev server가 CI의 빌드 식별값을 물려받지 않는다
문제
.gitea/workflows/quality-gates.yml은 workflow 전체 env에
VITE_BUILD_ID=gitea-<run>-<attempt>와 VITE_COMMIT_SHA를 넣는다. Vite는 이
값을 import.meta.env로 번들에 넣는다. 그래서 CI와 같은 env로 돌리면:
- vitest: 앱을 local-build fixture release로 조립하는 테스트가
  CONFIG_BUILD_MISMATCH로 실패한다(runtime-application,
  boot-unexpected-failure, runtime-composition-service-worker-telemetry,
  reference-production-vertical, 생성 기능 페이지 테스트). FE-GATE-005·006·
  007과 제거 드릴(FE-GATE-020)이 떨어진다.
- capability e2e: dev server는 public/config.json(BUILD_ID local-build)을
  내주는데 번들은 gitea-1-1이라, 페이지마다 rolling-release 불일치로 한 번
  다시 불러오고 그다음 실패 화면이 된다. page.evaluate가 "Execution context
  was destroyed"로 30건 실패한다(FE-GATE-008).
깨끗한 clone에서 merge 단계 14개를 CI env로 돌려(리뷰 조치 X4) 찾았다.
로컬에서는 이 값이 없어서 늘 통과한다. 1103/11-06과 같은 원인이다.

고른 방법
- vitest.config.ts가 npm scope 변수를 지우는 것과 같은 자리에서
  VITE_BUILD_ID·VITE_COMMIT_SHA를 지운다. 테스트는 로컬 빌드 식별값으로
  시작한다.
- dev server를 띄우는 Playwright 설정(capabilities, dev)은 webServer env로
  VITE_BUILD_ID=local-build, VITE_COMMIT_SHA=local을 준다. 그 dev server가
  내주는 config.json과 같은 값이다.
- build·preview를 쓰는 e2e·visual은 바꾸지 않았다. 빌드가 같은 값으로
  config.json을 만들므로 맞는다.
- 버린 대안: 테스트마다 기대값을 env에서 읽기(11-06 방식). 같은 모양의
  fixture가 여러 파일에 있고, 다음 테스트가 또 같은 실수를 한다.

위험·한계
- vitest 안에서 CI 빌드 식별값을 읽는 것을 검사하려는 테스트는 값을 직접
  넣어야 한다(지금은 없다).
- CI=true와 러너 이미지 조건은 재현하지 않았다.

검증
- VITE_BUILD_ID=gitea-1-1, VITE_COMMIT_SHA=<HEAD>로: test:unit 2,878,
  test:component 270, test:integration 189, test:reference-feature 97,
  test:recipes 77 통과. browser-files capability spec chromium 3건 통과
  (수정 전 3건 실패, env 없으면 통과).

Refs: docs/reviews/2026-11-03-maturity-review/README.md 13절 11-06
2026-11-05 00:13:49 +09:00
donghyeon-ka 6c52cdb916 feat: 기능 추가 과정중 2026-07-30 15:58:20 +09:00