test(setup): 시험 timeout을 모두 desktop 실측값으로 주고 손 숫자를 거절한다 #39

Closed
donghyeon.kang wants to merge 0 commits from donghyeon.kang/fix/test-timeouts-measured AGit into main
Owner

무엇을, 왜

자식 프로세스 시험의 timeout은 desktop에서 잰 가장 긴 실행으로 childProcessTimeout(<ms>)에 준다(docs/work/reference/testing.md 2절). 그런데 기본값이 아니라서 tests/setup.ts 검사에 걸리지 않는 손 숫자가 남아 있었고, taxonomy는 옛 상수를 예로 들었다(round9 이월 1112/03-08 T-08, Low·P3). AST로 다시 세면 80곳이다(리뷰의 54곳 중 둘은 evaluateSoak 인자라 timeout이 아니고, 상수·hook·여러 줄 형태가 더 있었다).

실측으로 보면 손 숫자가 모자란 곳이 있었다. system 시험의 provider 묶음(candidate archive and provider upload boundaries) 30초는 desktop 시스템 컨테이너 여섯 번 중 두 번 넘겼다(30,051ms·30,037ms에서 시간 초과).

고른 방법과 버린 대안

  • 80곳을 desktop 측정의 최댓값으로 childProcessTimeout(<ms>)에 넘긴다. coverage 묶음(maxWorkers=4)·test:unit 각 9회, integration 3회, scale 3회, 시스템 컨테이너 tests/system 6회(JSON reporter). hook은 파일 시간에서 시험 합을 뺀 값(전용 reporter), 시간 초과로 끝난 실행은 그 시간을 하한으로 넣었다.
  • 상수 사본(PROCESS_HEAVY_TIMEOUT_MS 넷, PROVIDER_BASE_FIXTURE_TIMEOUT_MS)은 지운다. 한 파일에서 여럿이 쓰는 값만 const VERIFY_TIMEOUT = childProcessTimeout(15_807)처럼 둔다. guardian 시험의 lease는 시험 timeout이 아니라 childProcessTimeout(0)(helper 최소 30초)이다.
  • 새 검사 tests/unit/test-timeout-declarations.test.ts: tests/의 Vitest 파일을 Babel로 읽어 시험·describe·hook의 timeout 인자가 helper 호출(또는 그것을 담은 파일 상수)이 아니면 파일:줄로 실패한다. 프로세스 안에서 도는 긴 시험(scale tier)도 같은 helper를 쓴다.
  • 문서: taxonomy 예시, testing.md 2절, .claude/rules/tests.md 9번, helper 머리 주석.
  • 버린 대안: tests/setup.ts 검사를 「helper가 만든 값이 아닌 timeout」으로 넓히기(helper 값이 30초 단위라 손으로 쓴 60_000과 못 가리고, hook·프로세스 안 시험은 못 봄), 프로세스 안 시험의 손 숫자 남기기(근거 없는 숫자와 검사 예외가 남음).

위험과 영향

  • 15배 규칙이라 값이 커진 곳이 있다(아래 표). hang을 늦게 잡는다. 줄어든 곳(scale traffic 60→30초 등)도 잰 값의 15배 안이다.
  • 측정은 desktop 부하 6~35에서 했다. runner에서 모자라면 그 실행으로 다시 잰다.
  • 검사 시험은 Vitest 파일 전부를 파싱해 coverage 묶음에서 최대 13.5초 걸렸고, 그 값으로 자기 timeout(210초)을 준다. 이름 있는 함수를 콜백으로 넘긴 시험(it("x", run, 30_000))은 못 찾는다.
  • 다운스트림이 따라 할 일: 손 숫자 timeout이 있는 제품 시험은 test:unit에서 이 검사에 걸린다. 메시지가 helper와 testing.md 2절을 알린다. desktop에서 그 시험을 재서 값을 넣는다.
  • 측정 중 본 것(이 PR 범위 밖): tests/system 한 번은 provider 묶음 18개가 sandboxed external provider failed: exit=125로 연달아 실패했다. 메시지에 sandbox stderr가 없어 원인 단계를 모른다(공유 노트에 기록, 후속 후보).

바뀐 값

파일 곳 전 → 후(초)
tests/integration/http-scenario-catalog.test.ts 1 30→60
tests/integration/security-followup-archive.test.ts 1 150→360
tests/integration/vitest-collection.test.ts 2 30→30 ×2
tests/scale/composition-scale.test.ts 1 60→30
tests/scale/global-local-independence.test.ts 1 120→150
tests/scale/session/long-session.test.ts 1 120→30
tests/scale/traffic/failure-scenarios.test.ts 3 60→30 ×3
tests/system/ci-runner/ci-artifact-contract.test.ts 18 30→480, 180→360, 40→60, 30→60 ×6, 30→30 ×9
tests/system/ci-runner/ci-evidence-freshness.test.ts 2 20→30 ×2
tests/unit/architecture-lint-fixtures.test.ts 2 30→60, 30→30
tests/unit/build-environment-bundle.test.ts 2 120→120, 120→30
tests/unit/design-system-initial-chunk.test.ts 1 120→90
tests/unit/documentation-readiness.test.ts 20 60→240 (VERIFY_TIMEOUT 하나)
tests/unit/feature-shape-growth.test.ts 1 180→420
tests/unit/fixture-node-modules.test.ts 1 60→150
tests/unit/lab-performance.test.ts 1 30→30
tests/unit/manual-code-blocks.test.ts 1 300→900
tests/unit/manual-paired-backend-settings.test.ts 1 120→330
tests/unit/product-extension-typecheck.test.ts 2 120→420, 120→390
tests/unit/product-feature-selection-build.test.ts 1 120→120
tests/unit/risk-coverage.test.ts 1 30→90
tests/unit/run-output-root-build.test.ts 1 180→270
tests/unit/second-api-feature-registries.test.ts 2 60→210, 60→60
tests/unit/security-promotion-staging.test.ts 2 20→30, 30→180
tests/unit/service-worker-build-output.test.ts 1 180→330
tests/unit/sub-path-deployment.test.ts 1 120→30
tests/unit/task3-selective-integration.test.ts 1 15→30
tests/unit/template-feature-removal-documents.test.ts 3 180→270, 60→210, 60→90
tests/unit/test-evidence-source-rules.test.ts 4 30→30 ×4
tests/unit/two-feature-install-typecheck.test.ts 1 60→120

검증

  • RED: 검사 시험이 고치기 전 80곳을 파일·줄로 내고 실패. GREEN: 검사·child-process-timeout 6개 통과.
  • desktop: check:types·eslint(바뀐 34파일) rc=0, verify:documentation PASS_SCOPED. 노트북 scripts/verify.sh docs OK.
  • 게이트(desktop CI=true scripts/verify.sh gate, 트리 29fd3d21): FE-GATE-005 rc=0 192초, FE-GATE-007 rc=0 29초, FE-GATE-013 rc=0 195초(시스템 컨테이너), FE-GATE-020 rc=0 403초, 넷 다 status-after 0줄. 로그 /tmp/claude-gates/w2fe2-t08-FE-GATE-0xx/.
  • 측정 원자료: desktop /tmp/claude-gates/w2fe2-t08m/, -t08m2/, -t08m3/.

리뷰어가 볼 곳

  • tests/unit/test-timeout-declarations.test.ts의 timeoutArgument(시험은 콜백 뒤 인자 또는 옵션 객체, hook은 콜백 뒤 인자).
  • tests/system/ci-runner/ci-artifact-contract.test.ts provider 묶음 머리 주석과 값.
  • tests/integration/provider-guardian-transaction.test.ts의 LEASE_NOT_UNDER_TEST_MS.

관련

  • round9 리뷰(PR #23) 이월 1112/03-08 T-08. helper가 생긴 커밋 91962e24.
## 무엇을, 왜 자식 프로세스 시험의 timeout은 desktop에서 잰 가장 긴 실행으로 `childProcessTimeout(<ms>)`에 준다(`docs/work/reference/testing.md` 2절). 그런데 기본값이 아니라서 `tests/setup.ts` 검사에 걸리지 않는 손 숫자가 남아 있었고, taxonomy는 옛 상수를 예로 들었다(round9 이월 1112/03-08 T-08, Low·P3). AST로 다시 세면 80곳이다(리뷰의 54곳 중 둘은 `evaluateSoak` 인자라 timeout이 아니고, 상수·hook·여러 줄 형태가 더 있었다). 실측으로 보면 손 숫자가 모자란 곳이 있었다. system 시험의 provider 묶음(`candidate archive and provider upload boundaries`) 30초는 desktop 시스템 컨테이너 여섯 번 중 두 번 넘겼다(30,051ms·30,037ms에서 시간 초과). ## 고른 방법과 버린 대안 - 80곳을 desktop 측정의 최댓값으로 `childProcessTimeout(<ms>)`에 넘긴다. coverage 묶음(maxWorkers=4)·test:unit 각 9회, integration 3회, scale 3회, 시스템 컨테이너 tests/system 6회(JSON reporter). hook은 파일 시간에서 시험 합을 뺀 값(전용 reporter), 시간 초과로 끝난 실행은 그 시간을 하한으로 넣었다. - 상수 사본(`PROCESS_HEAVY_TIMEOUT_MS` 넷, `PROVIDER_BASE_FIXTURE_TIMEOUT_MS`)은 지운다. 한 파일에서 여럿이 쓰는 값만 `const VERIFY_TIMEOUT = childProcessTimeout(15_807)`처럼 둔다. guardian 시험의 lease는 시험 timeout이 아니라 `childProcessTimeout(0)`(helper 최소 30초)이다. - 새 검사 `tests/unit/test-timeout-declarations.test.ts`: tests/의 Vitest 파일을 Babel로 읽어 시험·describe·hook의 timeout 인자가 helper 호출(또는 그것을 담은 파일 상수)이 아니면 파일:줄로 실패한다. 프로세스 안에서 도는 긴 시험(scale tier)도 같은 helper를 쓴다. - 문서: taxonomy 예시, testing.md 2절, `.claude/rules/tests.md` 9번, helper 머리 주석. - 버린 대안: `tests/setup.ts` 검사를 「helper가 만든 값이 아닌 timeout」으로 넓히기(helper 값이 30초 단위라 손으로 쓴 `60_000`과 못 가리고, hook·프로세스 안 시험은 못 봄), 프로세스 안 시험의 손 숫자 남기기(근거 없는 숫자와 검사 예외가 남음). ## 위험과 영향 - 15배 규칙이라 값이 커진 곳이 있다(아래 표). hang을 늦게 잡는다. 줄어든 곳(scale traffic 60→30초 등)도 잰 값의 15배 안이다. - 측정은 desktop 부하 6~35에서 했다. runner에서 모자라면 그 실행으로 다시 잰다. - 검사 시험은 Vitest 파일 전부를 파싱해 coverage 묶음에서 최대 13.5초 걸렸고, 그 값으로 자기 timeout(210초)을 준다. 이름 있는 함수를 콜백으로 넘긴 시험(`it("x", run, 30_000)`)은 못 찾는다. - 다운스트림이 따라 할 일: 손 숫자 timeout이 있는 제품 시험은 test:unit에서 이 검사에 걸린다. 메시지가 helper와 testing.md 2절을 알린다. desktop에서 그 시험을 재서 값을 넣는다. - 측정 중 본 것(이 PR 범위 밖): tests/system 한 번은 provider 묶음 18개가 `sandboxed external provider failed: exit=125`로 연달아 실패했다. 메시지에 sandbox stderr가 없어 원인 단계를 모른다(공유 노트에 기록, 후속 후보). ## 바뀐 값 | 파일 | 곳 | 전 → 후(초) | |---|---|---| | `tests/integration/http-scenario-catalog.test.ts` | 1 | 30→60 | | `tests/integration/security-followup-archive.test.ts` | 1 | 150→360 | | `tests/integration/vitest-collection.test.ts` | 2 | 30→30 ×2 | | `tests/scale/composition-scale.test.ts` | 1 | 60→30 | | `tests/scale/global-local-independence.test.ts` | 1 | 120→150 | | `tests/scale/session/long-session.test.ts` | 1 | 120→30 | | `tests/scale/traffic/failure-scenarios.test.ts` | 3 | 60→30 ×3 | | `tests/system/ci-runner/ci-artifact-contract.test.ts` | 18 | 30→480, 180→360, 40→60, 30→60 ×6, 30→30 ×9 | | `tests/system/ci-runner/ci-evidence-freshness.test.ts` | 2 | 20→30 ×2 | | `tests/unit/architecture-lint-fixtures.test.ts` | 2 | 30→60, 30→30 | | `tests/unit/build-environment-bundle.test.ts` | 2 | 120→120, 120→30 | | `tests/unit/design-system-initial-chunk.test.ts` | 1 | 120→90 | | `tests/unit/documentation-readiness.test.ts` | 20 | 60→240 (`VERIFY_TIMEOUT` 하나) | | `tests/unit/feature-shape-growth.test.ts` | 1 | 180→420 | | `tests/unit/fixture-node-modules.test.ts` | 1 | 60→150 | | `tests/unit/lab-performance.test.ts` | 1 | 30→30 | | `tests/unit/manual-code-blocks.test.ts` | 1 | 300→900 | | `tests/unit/manual-paired-backend-settings.test.ts` | 1 | 120→330 | | `tests/unit/product-extension-typecheck.test.ts` | 2 | 120→420, 120→390 | | `tests/unit/product-feature-selection-build.test.ts` | 1 | 120→120 | | `tests/unit/risk-coverage.test.ts` | 1 | 30→90 | | `tests/unit/run-output-root-build.test.ts` | 1 | 180→270 | | `tests/unit/second-api-feature-registries.test.ts` | 2 | 60→210, 60→60 | | `tests/unit/security-promotion-staging.test.ts` | 2 | 20→30, 30→180 | | `tests/unit/service-worker-build-output.test.ts` | 1 | 180→330 | | `tests/unit/sub-path-deployment.test.ts` | 1 | 120→30 | | `tests/unit/task3-selective-integration.test.ts` | 1 | 15→30 | | `tests/unit/template-feature-removal-documents.test.ts` | 3 | 180→270, 60→210, 60→90 | | `tests/unit/test-evidence-source-rules.test.ts` | 4 | 30→30 ×4 | | `tests/unit/two-feature-install-typecheck.test.ts` | 1 | 60→120 | ## 검증 - RED: 검사 시험이 고치기 전 80곳을 파일·줄로 내고 실패. GREEN: 검사·child-process-timeout 6개 통과. - desktop: check:types·eslint(바뀐 34파일) rc=0, verify:documentation PASS_SCOPED. 노트북 `scripts/verify.sh docs` OK. - 게이트(desktop `CI=true scripts/verify.sh gate`, 트리 29fd3d21): FE-GATE-005 rc=0 192초, FE-GATE-007 rc=0 29초, FE-GATE-013 rc=0 195초(시스템 컨테이너), FE-GATE-020 rc=0 403초, 넷 다 status-after 0줄. 로그 `/tmp/claude-gates/w2fe2-t08-FE-GATE-0xx/`. - 측정 원자료: desktop `/tmp/claude-gates/w2fe2-t08m/`, `-t08m2/`, `-t08m3/`. ## 리뷰어가 볼 곳 - `tests/unit/test-timeout-declarations.test.ts`의 `timeoutArgument`(시험은 콜백 뒤 인자 또는 옵션 객체, hook은 콜백 뒤 인자). - `tests/system/ci-runner/ci-artifact-contract.test.ts` provider 묶음 머리 주석과 값. - `tests/integration/provider-guardian-transaction.test.ts`의 `LEASE_NOT_UNDER_TEST_MS`. ## 관련 - round9 리뷰(PR #23) 이월 1112/03-08 T-08. helper가 생긴 커밋 `91962e24`.
donghyeon.kang added 1 commit 2026-11-12 22:06:46 +00:00
test(setup): 시험 timeout을 모두 desktop 실측값으로 주고 손 숫자를 거절한다
frontend-quality-gates / merge / static checks (pull_request) Canceled after 0s
frontend-quality-gates / merge / tests (pull_request) Canceled after 0s
frontend-quality-gates / merge / browser tests (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Canceled after 0s
frontend-quality-gates / external-vulnerability-provider (pull_request) Canceled after 0s
frontend-quality-gates / external-provenance-provider (pull_request) Canceled after 0s
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Canceled after 0s
frontend-quality-gates / deploy-promoted-release (pull_request) Canceled after 0s
frontend-quality-gates / main / self-tests and removal drills (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Canceled after 0s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Canceled after 0s
ceaf316f65
문제: 자식 프로세스 시험의 timeout은 `childProcessTimeout(<잰 ms>)`로
정한다(docs/work/reference/testing.md 2절). 그런데 기본값이 아니라서
`tests/setup.ts` 검사에 걸리지 않는 손 숫자가 남았다. 리뷰가 센 54곳 중
둘(`browser-soak.contract.test.ts`의 `evaluateSoak` 인자)은 timeout이 아니고,
AST로 다시 세면 80곳이다: 시험·describe·hook에 쓴 숫자, `VERIFY_TIMEOUT`·
`PROCESS_HEAVY_TIMEOUT_MS`(파일 넷에 따로)·`PROVIDER_BASE_FIXTURE_TIMEOUT_MS`
같은 상수, `PROCESS_WATCHDOG_MS * 3` 같은 식. taxonomy는 옛 상수를 예로
들었다. 실측으로 보면 손 숫자 하나가 모자랐다: system 시험의 provider 묶음
30초는 desktop 여섯 번 중 두 번 넘겼다.

고친 것:
- 80곳을 desktop에서 잰 가장 긴 실행으로 `childProcessTimeout(<ms>)`에
  넘긴다. coverage 묶음(maxWorkers=4)·test:unit 각 9회, integration 3회,
  scale(traffic·session·composition·global-local) 3회, 시스템 컨테이너의
  tests/system 6회, JSON reporter로 받았다. hook은 파일 시간에서 시험 합을
  뺀 값이다. 시간 초과로 끝난 실행은 그 시간을 하한으로 넣었다.
- 상수 사본은 지운다. 한 파일 안에서 여럿이 쓰는 값만
  `const X = childProcessTimeout(...)`로 둔다(`VERIFY_TIMEOUT`). guardian
  시험의 lease는 시험 timeout이 아니라 `childProcessTimeout(0)`(helper의 최소
  30초)로 둔다.
- `tests/unit/test-timeout-declarations.test.ts`가 tests/의 Vitest 파일을
  Babel로 읽어 시험·describe·hook의 timeout 인자가 helper 호출(또는 그것을
  담은 파일 상수)이 아니면 파일과 줄로 실패한다. 프로세스 안에서 도는 긴
  시험(scale tier)도 같은 helper를 쓴다.
- taxonomy 예시, testing.md 2절, `.claude/rules/tests.md` 9번, helper 머리
  주석을 같은 방법으로 맞춘다.

버린 대안:
- `tests/setup.ts` 검사를 「helper가 만든 값이 아닌 timeout」까지 넓히기.
  helper 값은 30초 단위 숫자라 손으로 쓴 60_000과 가릴 수 없고, hook과
  프로세스 안 시험은 보지 못한다.
- 프로세스 안 시험은 손 숫자 그대로 두기. 근거 없는 숫자가 남고 검사가
  예외를 가져야 한다.

위험·한계:
- 값이 커진 곳이 있다(15배 규칙): `manual-code-blocks` 300초 → 900초,
  provider 묶음 30초 → 480초 등. hang을 늦게 잡는다. 줄어든 곳도 있다
  (scale traffic 60초 → 30초 등, 잰 값의 15배 안).
- 측정은 desktop 부하 6~35에서 했다. runner가 더 느리면 다시 잰다.
- 검사 시험은 Vitest 파일 전부를 파싱해 coverage 묶음에서 최대 13.5초
  걸렸고, 그 값으로 자기 timeout을 준다. 이름 있는 함수를 콜백으로 넘긴
  시험(`it("x", run, 30_000)`)은 못 찾는다.
- 다운스트림: 손 숫자 timeout이 있는 제품 시험은 test:unit에서 이 검사에
  걸린다. 메시지가 helper를 알린다.

검증(desktop):
- RED: 검사 시험이 고치기 전 80곳을 파일·줄로 내고 실패. GREEN: 검사·
  child-process-timeout 6개 통과. check:types·eslint(바뀐 34파일) rc=0,
  verify:documentation PASS_SCOPED, 노트북 `scripts/verify.sh docs` OK.
- 측정 원자료: /tmp/claude-gates/w2fe2-t08m, -t08m2, -t08m3.
- 게이트 결과는 PR 본문에 적는다.

Refs: 1112/03-08
Author
Owner

#40으로 병합됐다(main ee47480c). 이 PR의 head ceaf316f가 #40 브랜치에 merge 커밋으로 들어 있고, #40의 runner merge job 셋이 그 합친 트리로 초록이었다. runner 대기를 줄이려고 이번만 쓴 방식이다(소유자 승인, 2026-11-13).

#40으로 병합됐다(main `ee47480c`). 이 PR의 head `ceaf316f`가 #40 브랜치에 merge 커밋으로 들어 있고, #40의 runner merge job 셋이 그 합친 트리로 초록이었다. runner 대기를 줄이려고 이번만 쓴 방식이다(소유자 승인, 2026-11-13).
donghyeon.kang closed this pull request 2026-11-12 23:43:47 +00:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/clean-architecture-frontend-template#39