문제: 다섯 Playwright 설정의 서버 포트가 고정이다(e2e 4173, visual과 capability가 둘 다 4174, storybook 6006, dev 5173). 한 checkout이든 같은 기계의 두 worktree든 두 번째 실행은 `http://127.0.0.1:4173 is already used`로 시작하지 못한다(00-R1). dev 설정만 `reuseExistingServer: true`라 5173에 다른 checkout·브랜치의 dev 서버가 떠 있으면 말없이 그 서버를 검사한다. vite는 `--strictPort` 없이 떠서, 포트가 그 사이 잡히면 다음 포트로 옮기고 Playwright는 원래 URL의 남의 서버를 검사할 수 있다 (1105/12-04). 고른 방법: 설정마다 `reservePort(TEST_<이름>_PORT)`로 빈 포트를 고른다 (`scripts/lib/run-isolation.ts`). 커널이 port 0에 준 포트를 받고 바로 닫는다. 고른 포트를 그 변수에 써 둔다. Playwright는 worker마다 설정을 다시 평가하고 worker는 runner 환경을 물려받으므로, worker의 평가가 같은 포트를 읽어 `baseURL`이 어디서나 같다. 변수를 미리 주면 그 포트를 쓴다 (디버깅용 고정). vite 서버 넷 모두 `--strictPort`로 띄우고, dev 설정은 `reuseExistingServer: false`로 바꿨다. run ID가 없어도 빈 포트를 쓴다. 두 worktree는 출력 경로가 이미 다르고 포트만 부딪히기 때문이다. 고정 번호를 읽는 곳은 없다. spec은 `baseURL`에서 origin을 얻는다 (`resumable-upload.spec.ts`, `production-csp.spec.ts`). 버린 대안: 포트 범위를 run ID에서 계산하기. 두 checkout이 같은 run ID를 쓰거나 다른 프로그램이 그 포트를 쓰면 다시 부딪힌다. Playwright `webServer.wait`로 서버가 고른 포트를 stdout에서 읽기: `use.baseURL`은 설정을 읽을 때 정해져서 쓸 수 없다. 위험·한계: 포트를 고른 뒤 서버가 잡기 전에 다른 프로세스가 같은 포트를 잡을 수 있다. 그때는 `--strictPort`/serve-static의 listen 실패나 Playwright의 "already used"로 시작이 실패한다. 남의 서버로 검사가 새지 않는다. 기본 실행의 포트 번호가 매번 달라진다. 고정이 필요하면 `TEST_E2E_PORT=4173`처럼 준다. `test:e2e:dev`는 이제 떠 있는 dev 서버를 쓰지 않고 자기 서버를 띄운다. capability 설정이 없는 사본 (test:browser-file-storage-removal)에서는 그 설정의 포트 테스트를 돌리지 않는다. 검증: desktop batch에서 확인. node scripts/run-vitest.ts run tests/unit/run-isolation.test.ts tests/unit/playwright-run-isolation.test.ts corepack pnpm test:browser-file-storage-removal Refs: 1105/12-04
83 lines
2.9 KiB
TypeScript
83 lines
2.9 KiB
TypeScript
import { fileURLToPath } from "node:url";
|
|
|
|
import { defineConfig, devices } from "@playwright/test";
|
|
|
|
import { LOCAL_BUILD_IDENTITY } from "./scripts/lib/build-environment.ts";
|
|
import {
|
|
reservePort,
|
|
RUN_OUTPUT_ROOT_VARIABLE,
|
|
TEST_PORT_VARIABLES,
|
|
testRunPath,
|
|
testRunRoot,
|
|
} from "./scripts/lib/run-isolation.ts";
|
|
|
|
// 1105/12-04. Under TEST_RUN_ID the results, report and build are the run's
|
|
// own (.tmp/runs/<id>/); the goldens in snapshotDir are shared and only read.
|
|
// The preview listens on a free port (TEST_VISUAL_PORT pins one); it shared
|
|
// 4174 with the capability dev server.
|
|
const dist = testRunPath("dist");
|
|
const port = await reservePort(TEST_PORT_VARIABLES.visual);
|
|
const origin = `http://127.0.0.1:${port}`;
|
|
|
|
export default defineConfig({
|
|
testDir: "./tests/visual",
|
|
forbidOnly: true,
|
|
snapshotDir: "./tests/visual/__snapshots__",
|
|
outputDir: testRunPath("artifacts/tests/visual/results"),
|
|
reporter: [
|
|
["list"],
|
|
[
|
|
"html",
|
|
{ outputFolder: testRunPath("artifacts/tests/visual/report"), open: "never" },
|
|
],
|
|
["junit", { outputFile: testRunPath("artifacts/tests/visual/results.xml") }],
|
|
],
|
|
expect: {
|
|
toHaveScreenshot: {
|
|
animations: "disabled",
|
|
caret: "hide",
|
|
// 11-03. An absolute count, not a share of the image: 0.2% allowed
|
|
// 2,592 px on the wide shell and let the 1,146 px UI-04 regression
|
|
// pass. With fonts and raster settings pinned (11-02), a clean build
|
|
// differs by 0 px, so this only covers stray anti-aliasing.
|
|
maxDiffPixels: 50,
|
|
scale: "css",
|
|
},
|
|
},
|
|
use: {
|
|
...devices["Desktop Chrome"],
|
|
baseURL: origin,
|
|
colorScheme: "light",
|
|
locale: "en-US",
|
|
trace: "retain-on-failure",
|
|
launchOptions: {
|
|
// 11-02. Chromium sees only the fonts the goldens were captured with,
|
|
// whatever the host or an outer FONTCONFIG_FILE says. The
|
|
// `visual-fonts` project checks them before any screenshot.
|
|
env: {
|
|
...process.env,
|
|
FONTCONFIG_FILE: fileURLToPath(
|
|
new URL("./tests/visual/fonts.conf", import.meta.url),
|
|
),
|
|
},
|
|
},
|
|
},
|
|
webServer: {
|
|
// The home page and the platform overview print the build and release
|
|
// identity. CI sets VITE_BUILD_ID, VITE_COMMIT_SHA and RELEASE_ID for the
|
|
// whole workflow, so its build drew other text than the goldens and every
|
|
// CI run failed here. The goldens are the template's shape, captured with
|
|
// the local identity.
|
|
// 1103/11-08: CI too, or the build is checked as a release build.
|
|
env: { ...LOCAL_BUILD_IDENTITY, [RUN_OUTPUT_ROOT_VARIABLE]: testRunRoot() },
|
|
command:
|
|
`corepack pnpm build && corepack pnpm preview --host 127.0.0.1 --port ${port} --strictPort --outDir ${dist}`,
|
|
url: origin,
|
|
reuseExistingServer: false,
|
|
},
|
|
projects: [
|
|
{ name: "visual-fonts", testMatch: /fonts\.setup\.ts$/ },
|
|
{ name: "chromium-visual", dependencies: ["visual-fonts"] },
|
|
],
|
|
});
|