test(e2e): Firefox 브라우저 프로필을 RAM 파일시스템에 둔다 #47

Merged
donghyeon.kang merged 2 commits from donghyeon.kang/test/firefox-profile-ram AGit into main 2026-11-13 12:35:09 +00:00
Owner

무엇을, 왜

FE-GATE-008의 Firefox 시험이 가끔 첫 화면 5초 대기에서 실패한다(old-tab-chunk-recovery.spec.ts, preload-use.spec.ts, platform-overview.spec.ts). runner run 127과 desktop merge 검증에서 실패했고, 다시 돌리면 통과해 묻혔다.

원인은 디스크 대기다.

Playwright launch → 프로필을 os.tmpdir()(/tmp, desktop·CI job 모두 같은 SATA SSD)에 만듦
  → Firefox가 시험 context의 localStorage·IndexedDB를 그 프로필에 둠
  → 디스크가 붐비면 context마다 첫 localStorage 접근이 디스크 일을 기다림
  → 앱은 첫 렌더 전에 색 구성 설정을 localStorage에서 읽음 → 첫 화면 5초 대기 안에서 멈춤
  • Chromium·WebKit은 시험 context 저장소를 메모리에 둬서 16 ms를 넘지 않았다.
  • desktop e2e 전체 8회에서 Firefox 앱 부팅 463회 중 19회가 0.7~3.8초 멈췄다.

고른 방법과 버린 대안

tests/support/browser/browser-test.ts가 Firefox worker의 프로필을 RAM 파일시스템에 둔다.

  • os.tmpdir()가 이미 tmpfs면 그대로 쓴다. 아니면 /dev/shm에 worker 수 × 64 MB 자리가 있을 때 그 안에 폴더를 만든다.
  • Playwright의 browser fixture가 launch하는 동안만 TMPDIR를 그 폴더로 돌리고 바로 되돌린다. fixture build 같은 다른 임시 파일은 디스크에 그대로 남는다.
  • 프로필이 그 폴더에 생기지 않으면 시험을 실패시킨다(Playwright 동작이 바뀌면 알리는 안전장치).
  • 자리가 없으면 이유를 한 줄 알리고 디스크에 둔다.
  • strict fixture(strict-browser-test.ts)와 strict를 쓰지 않는 spec 둘(preload-use.spec.ts, chunk-load-error.spec.ts)이 이 test를 바탕으로 쓴다.
  • docs/work/reference/testing.md 5절 「브라우저 테스트에서 반복된 원인」 표에 한 줄을 더했다.
  • 두 번째 커밋(ci(gates)): CI job 컨테이너의 /dev/shm은 64 MB라 위 경로가 CI에서 켜지지 않는다. 생성기가 Playwright 이미지 job(merge_browser)의 컨테이너에 options: "--shm-size=2g"를 붙인다(BROWSER_JOB_SHARED_MEMORY). runner 설정 쪽(계획 D-4 (가))은 소유자 실행 묶음이고, 그것이 적용되면 이 줄은 지워도 된다. docs/operations/ci-quality-gates.md에 한 줄.
버린 대안 이유
worker마다 localStorage를 미리 한 번 건드리는 예열 브라우저 프로세스당 한 번 드는 비용으로 봤으나, 예열 뒤에도 19/463이 멈췄다. 예열 context를 바로 닫는 판은 21/464로 더 나빴다
toolkit.storage.synchronous=0(SQLite fsync 끔) 15/224로 그대로였다
첫 화면 대기 timeout 늘리기, worker 줄이기 원인을 덮는다(docs/work/reference/testing.md 5절)
시험 실행 전체에 TMPDIR 걸기 fixture build까지 RAM에 들어간다

위험·영향

  • CI는 workflow 옵션에 기댄다. CI job 컨테이너의 /dev/shm은 기본 64 MB이고(runner 확인 2026-11-13), /tmp는 같은 SSD 위에 있다. runner는 privileged: false다. act_runner가 workflow의 --shm-size를 무시하면 프로필은 디스크에 남고, FE-GATE-008·009 로그에 「Firefox profiles stay on disk」 줄이 찍힌다. 이 PR의 runner run에서 그 줄이 없는지로 확인한다. main run 266(ee95573f)이 같은 꼴로 빨갛다(FE-GATE-009 [firefox] generated-feature.spec.ts:380, 첫 화면 5초 대기).
  • 64 MB/worker는 측정에서 나온 여유다. Firefox worker 6개 프로필 합이 가장 컸을 때 211 MB(1개 35 MB)였다.
  • Playwright의 두 동작에 기댄다. fixture 의존성을 적힌 순서로 준비하는 것과, launch할 때 os.tmpdir()를 읽는 것이다. 어느 쪽이 바뀌어도 폴더가 비므로 안전장치가 시험을 실패시킨다.

검증 (desktop)

  • 재현: Firefox 6개를 동시에 띄우고 context 8개씩 localStorage 첫 접근을 쟀다. 프로필이 /tmp면 최대 8,157 ms(384회), /dev/shm이면 최대 17 ms(384회).
  • 수정본 e2e 전체 10회: 매번 189 passed. Firefox 부팅 576회 중 0.5초를 넘는 멈춤 0회(최대 36 ms), 부하 15.931.2. 프로필은 매번 /dev/shm에 56개, 디스크 0개, 끝난 뒤 남은 폴더 0개.
  • 변이: launch 전에 TMPDIR를 돌리지 않게 하면 theme.spec.ts(firefox)가 2 failed, 안전장치 메시지로 실패한다.
  • scripts/verify.sh gate FE-GATE-008(CI=true, main ee95573f 위, 트리 ab45fb88): rc=0 205초. e2e 189 passed, browser-capabilities 69, storybook 11, visual 7.
  • check:types:test, eslint(바뀐 파일), check:test-evidence:source, scripts/verify.sh docs, desktop verify:documentation 통과.
  • 두 번째 커밋: generate:ci-workflow로 workflow·snapshot 갱신, ci-browser-image·ci-workflow-generation 시험 449 passed, check:ci-workflow, check:types:node, eslint, 문서 검사 통과.
  • runner: run 대기 중.

리뷰어가 볼 곳

  • tests/support/browser/browser-test.ts: firefoxProfileRoot(자리 판단)와 browser 덮어쓰기(TMPDIR를 돌리는 범위, 안전장치).
  • import만 바뀐 파일 셋: strict-browser-test.ts, preload-use.spec.ts, chunk-load-error.spec.ts.
  • scripts/generate-ci-workflow.ts의 BROWSER_JOB_SHARED_MEMORY와 생성된 .gitea/workflows/quality-gates.yml 한 줄.

관련 문서

  • docs/work/reference/testing.md 5절
  • docs/operations/ci-quality-gates.md
## 무엇을, 왜 FE-GATE-008의 Firefox 시험이 가끔 첫 화면 5초 대기에서 실패한다(`old-tab-chunk-recovery.spec.ts`, `preload-use.spec.ts`, `platform-overview.spec.ts`). runner run 127과 desktop merge 검증에서 실패했고, 다시 돌리면 통과해 묻혔다. 원인은 디스크 대기다. ```text Playwright launch → 프로필을 os.tmpdir()(/tmp, desktop·CI job 모두 같은 SATA SSD)에 만듦 → Firefox가 시험 context의 localStorage·IndexedDB를 그 프로필에 둠 → 디스크가 붐비면 context마다 첫 localStorage 접근이 디스크 일을 기다림 → 앱은 첫 렌더 전에 색 구성 설정을 localStorage에서 읽음 → 첫 화면 5초 대기 안에서 멈춤 ``` - Chromium·WebKit은 시험 context 저장소를 메모리에 둬서 16 ms를 넘지 않았다. - desktop e2e 전체 8회에서 Firefox 앱 부팅 463회 중 19회가 0.7~3.8초 멈췄다. ## 고른 방법과 버린 대안 `tests/support/browser/browser-test.ts`가 Firefox worker의 프로필을 RAM 파일시스템에 둔다. - `os.tmpdir()`가 이미 tmpfs면 그대로 쓴다. 아니면 `/dev/shm`에 worker 수 × 64 MB 자리가 있을 때 그 안에 폴더를 만든다. - Playwright의 `browser` fixture가 launch하는 동안만 `TMPDIR`를 그 폴더로 돌리고 바로 되돌린다. fixture build 같은 다른 임시 파일은 디스크에 그대로 남는다. - 프로필이 그 폴더에 생기지 않으면 시험을 실패시킨다(Playwright 동작이 바뀌면 알리는 안전장치). - 자리가 없으면 이유를 한 줄 알리고 디스크에 둔다. - strict fixture(`strict-browser-test.ts`)와 strict를 쓰지 않는 spec 둘(`preload-use.spec.ts`, `chunk-load-error.spec.ts`)이 이 `test`를 바탕으로 쓴다. - `docs/work/reference/testing.md` 5절 「브라우저 테스트에서 반복된 원인」 표에 한 줄을 더했다. - 두 번째 커밋(`ci(gates)`): CI job 컨테이너의 `/dev/shm`은 64 MB라 위 경로가 CI에서 켜지지 않는다. 생성기가 Playwright 이미지 job(`merge_browser`)의 컨테이너에 `options: "--shm-size=2g"`를 붙인다(`BROWSER_JOB_SHARED_MEMORY`). runner 설정 쪽(계획 D-4 (가))은 소유자 실행 묶음이고, 그것이 적용되면 이 줄은 지워도 된다. `docs/operations/ci-quality-gates.md`에 한 줄. | 버린 대안 | 이유 | |---|---| | worker마다 localStorage를 미리 한 번 건드리는 예열 | 브라우저 프로세스당 한 번 드는 비용으로 봤으나, 예열 뒤에도 19/463이 멈췄다. 예열 context를 바로 닫는 판은 21/464로 더 나빴다 | | `toolkit.storage.synchronous=0`(SQLite fsync 끔) | 15/224로 그대로였다 | | 첫 화면 대기 timeout 늘리기, worker 줄이기 | 원인을 덮는다(`docs/work/reference/testing.md` 5절) | | 시험 실행 전체에 `TMPDIR` 걸기 | fixture build까지 RAM에 들어간다 | ## 위험·영향 - **CI는 workflow 옵션에 기댄다.** CI job 컨테이너의 `/dev/shm`은 기본 64 MB이고(runner 확인 2026-11-13), `/tmp`는 같은 SSD 위에 있다. runner는 `privileged: false`다. act_runner가 workflow의 `--shm-size`를 무시하면 프로필은 디스크에 남고, FE-GATE-008·009 로그에 「Firefox profiles stay on disk」 줄이 찍힌다. 이 PR의 runner run에서 그 줄이 없는지로 확인한다. main run 266(ee95573f)이 같은 꼴로 빨갛다(FE-GATE-009 `[firefox] generated-feature.spec.ts:380`, 첫 화면 5초 대기). - 64 MB/worker는 측정에서 나온 여유다. Firefox worker 6개 프로필 합이 가장 컸을 때 211 MB(1개 35 MB)였다. - Playwright의 두 동작에 기댄다. fixture 의존성을 적힌 순서로 준비하는 것과, launch할 때 `os.tmpdir()`를 읽는 것이다. 어느 쪽이 바뀌어도 폴더가 비므로 안전장치가 시험을 실패시킨다. ## 검증 (desktop) - 재현: Firefox 6개를 동시에 띄우고 context 8개씩 localStorage 첫 접근을 쟀다. 프로필이 `/tmp`면 최대 8,157 ms(384회), `/dev/shm`이면 최대 17 ms(384회). - 수정본 e2e 전체 10회: 매번 189 passed. Firefox 부팅 576회 중 0.5초를 넘는 멈춤 0회(최대 36 ms), 부하 15.9~31.2. 프로필은 매번 `/dev/shm`에 5~6개, 디스크 0개, 끝난 뒤 남은 폴더 0개. - 변이: launch 전에 `TMPDIR`를 돌리지 않게 하면 `theme.spec.ts`(firefox)가 2 failed, 안전장치 메시지로 실패한다. - `scripts/verify.sh gate FE-GATE-008`(CI=true, main `ee95573f` 위, 트리 `ab45fb88`): rc=0 205초. e2e 189 passed, browser-capabilities 69, storybook 11, visual 7. - `check:types:test`, eslint(바뀐 파일), `check:test-evidence:source`, `scripts/verify.sh docs`, desktop `verify:documentation` 통과. - 두 번째 커밋: `generate:ci-workflow`로 workflow·snapshot 갱신, `ci-browser-image`·`ci-workflow-generation` 시험 449 passed, `check:ci-workflow`, `check:types:node`, eslint, 문서 검사 통과. - runner: run 대기 중. ## 리뷰어가 볼 곳 - `tests/support/browser/browser-test.ts`: `firefoxProfileRoot`(자리 판단)와 `browser` 덮어쓰기(`TMPDIR`를 돌리는 범위, 안전장치). - import만 바뀐 파일 셋: `strict-browser-test.ts`, `preload-use.spec.ts`, `chunk-load-error.spec.ts`. - `scripts/generate-ci-workflow.ts`의 `BROWSER_JOB_SHARED_MEMORY`와 생성된 `.gitea/workflows/quality-gates.yml` 한 줄. ## 관련 문서 - `docs/work/reference/testing.md` 5절 - `docs/operations/ci-quality-gates.md`
donghyeon.kang added 1 commit 2026-11-13 09:13:49 +00:00
test(e2e): Firefox 브라우저 프로필을 RAM 파일시스템에 둔다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m23s
frontend-quality-gates / merge / browser tests (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Canceled after 0s
frontend-quality-gates / external-vulnerability-provider (pull_request) Canceled after 0s
frontend-quality-gates / external-provenance-provider (pull_request) Canceled after 0s
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Canceled after 0s
frontend-quality-gates / deploy-promoted-release (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Canceled after 0s
frontend-quality-gates / main / self-tests and removal drills (pull_request) Canceled after 0s
frontend-quality-gates / merge / tests (pull_request) Canceled after 11m31s
f81dda4913
FE-GATE-008의 Firefox 시험이 가끔 첫 화면 5초 대기에서 실패한다
(old-tab-chunk-recovery.spec.ts, preload-use.spec.ts,
platform-overview.spec.ts). runner run 127과 desktop merge 검증에서
실패했고, 다시 돌리면 통과해 묻혔다.
Playwright는 Firefox 프로필을 os.tmpdir()에 만든다. desktop과 CI job
모두 /tmp가 같은 SATA SSD 위에 있다. Firefox는 시험 context의
localStorage·IndexedDB를 그 프로필(디스크)에 둔다. 그래서 디스크가
붐비면 context마다 첫 localStorage 접근이 디스크 일을 기다린다.
Chromium·WebKit은 시험 context 저장소를 메모리에 둔다. 앱은 첫 렌더
전에 색 구성 설정을 localStorage에서 읽어, 그 대기가 첫 화면 대기에
들어간다. desktop e2e 전체 8회(2026-11-13)에서 Firefox 앱 부팅 463회
중 19회가 0.7~3.8초 멈췄고, Chromium·WebKit은 16 ms를 넘지 않았다.

tests/support/browser/browser-test.ts가 Firefox worker의 프로필을 RAM
파일시스템에 둔다. os.tmpdir()가 이미 tmpfs면 그대로 쓴다. 아니면
/dev/shm에 worker 수 x 64 MB 자리가 있을 때 그 안에 폴더를 만든다.
Playwright의 browser fixture가 launch하는 동안만 TMPDIR를 그 폴더로
돌리고 바로 되돌린다. 그래서 fixture build 같은 다른 임시 파일은
디스크에 그대로 남는다. 프로필이 그 폴더에 생기지 않으면 시험을
실패시킨다. 자리가 없으면 이유를 한 줄 알리고 디스크에 둔다. strict
fixture와 strict를 쓰지 않는 spec 둘(preload-use, chunk-load-error)이
이 test를 바탕으로 쓴다. docs/work/reference/testing.md 5절 표에 원인을
적었다.

버린 대안:
- worker마다 localStorage를 미리 한 번 건드리는 예열: 브라우저 프로세스당
  한 번 드는 준비 비용으로 봤다. 예열 뒤에도 19/463이 멈췄다. 예열
  context를 바로 닫는 판은 21/464로 더 나빴다.
- toolkit.storage.synchronous=0(SQLite fsync 끔): 15/224로 그대로였다.
- 첫 화면 대기 timeout 늘리기, worker 줄이기: 원인을 덮는다.
- 시험 실행 전체에 TMPDIR 걸기: fixture build까지 RAM에 들어간다.

위험·한계:
- CI job 컨테이너는 /dev/shm이 64 MB다(2026-11-13 runner 확인). /tmp는
  같은 SSD 위에 있다. 그래서 CI에서는 프로필이 디스크에 남고 로그에
  이유가 한 줄 찍힌다. CI까지 고치려면 runner가 job 컨테이너에 RAM
  자리를 줘야 한다(--shm-size 또는 --tmpfs /tmp). runner 설정이라 이
  커밋에 넣지 않았다.
- 64 MB/worker는 Firefox worker 6개 프로필 합이 가장 컸을 때 211 MB(1개
  35 MB)인 것을 보고 잡은 여유다.
- Playwright의 두 동작에 기댄다. fixture 의존성을 적힌 순서로 준비하는
  것과, launch할 때 os.tmpdir()를 읽는 것이다. 어느 쪽이 바뀌어도
  폴더가 비므로 시험이 실패해 알린다.

검증(desktop):
- 재현: Firefox 6개를 동시에 띄우고 context 8개씩 localStorage 첫 접근을
  쟀다. 프로필 /tmp에서 최대 8,157 ms(384회), /dev/shm에서 최대 17 ms
  (384회).
- 수정본 e2e 전체 10회: 매번 189 passed. Firefox 부팅 576회 중 0.5초를
  넘는 멈춤 0회(최대 36 ms), 부하 15.9~31.2. 프로필은 매번 /dev/shm에
  5~6개, 디스크 0개, 끝난 뒤 남은 폴더 0개.
- 변이: launch 전에 TMPDIR를 돌리지 않게 하면 theme.spec.ts(firefox)가
  2 failed, 안전장치 메시지로 실패한다.
- check:types:test, eslint(바뀐 파일), check:test-evidence:source 통과.
- scripts/verify.sh gate FE-GATE-008(CI=true, main ee95573f 위): rc=0 205초,
  e2e 189 passed, browser-capabilities 69, storybook 11, visual 7.
- scripts/verify.sh docs, desktop verify:documentation 통과.
donghyeon.kang added 1 commit 2026-11-13 10:34:29 +00:00
ci(gates): browser job 컨테이너의 /dev/shm을 2 GB로 연다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m45s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 7m53s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / merge / tests (pull_request) Successful in 15m11s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
c239bdf4d5
CI job 컨테이너의 /dev/shm은 Docker 기본값 64 MB다. 그래서 앞 커밋의
Firefox RAM 프로필이 CI에서는 켜지지 않는다. 프로필은 runner 디스크에
남고, 이유가 한 줄 찍힌다. main run 266(ee95573f)도 같은 꼴로
빨갛다. FE-GATE-009 [firefox] generated-feature.spec.ts:380에서 첫
화면(로그인 heading) 5초 대기를 넘겼다.

생성기가 Playwright 이미지를 쓰는 job 컨테이너에
`options: "--shm-size=2g"`를 붙인다(BROWSER_JOB_SHARED_MEMORY). 2 GB는
Firefox worker 6개 프로필 합 최대 211 MB와 fixture가 요구하는 worker당
64 MB에 여유를 둔 값이다. job 메모리 상한 10 GB 안에서 쓴다.
ci-quality-gates.md에 한 줄을 적었다.

버린 대안: runner 설정 `container.options`에 같은 값을 두는 안(계획
D-4 (가))은 운영 설정이라 소유자 실행 묶음에 있다. 그것이 적용되면 이
줄은 지워도 된다.

위험·한계: runner는 `privileged: false`다. act_runner가 workflow의 이
옵션을 무시하면 프로필은 그대로 디스크에 남고, FE-GATE-008·009 로그에
「Firefox profiles stay on disk」 줄이 남는다. runner run에서 그 줄이
없는지로 확인한다.

검증(desktop): generate:ci-workflow로 workflow와 snapshot 갱신,
ci-browser-image·ci-workflow-generation 시험 449 passed, check:ci-workflow,
check:types:node, eslint, scripts/verify.sh docs, verify:documentation 통과.
donghyeon.kang merged commit 950ea11a6b into main 2026-11-13 12:35:09 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/clean-architecture-frontend-template#47