test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다 #57
Open
donghyeon.kang
wants to merge 1 commits from
donghyeon.kang/test/provider-completion-deadline AGit into main
pull from: donghyeon.kang/test/provider-completion-deadline
merge into: :main
:main
:fix/r9-structure-locale
:fix/r9-adapter-carryover
:test/shared-build-lock-order
:ci/dependency-cache-same-filesystem
:ci/release-tag-for-a11y-review
:ci/merge-dependency-cache
:fix/test-timeouts-measured
:fix/feature-residue-word-boundary
:fix/provider-wait-stderr
:fix/provider-job-host-requirements
:fix/ungated-vitest-spec
:fix/a11y-evidence-routes
:fix/verify-parts-diagnostics
:claude/w2-fe-ci-perf-dce080
:fix/child-process-test-timeouts
:chore/layout-rules-r2-r5
:claude/fe-b-docs-korean-645f55
:chore/ci-merge-jobs
:chore/layout-3-merge
:claude/fe-c-harness-0ae061
:chore/layout-2-sample-removal
:chore/layout-1-cleanup
:docs/review-guide-pointer
:fix/maturity-review-2026-11-06
:fix/maturity-review-2026-11-05-b
:docs/improvement-manual
:fix/maturity-review-2026-11-05
:fix/session-subject-required
:fix/ui-design-audit-2026-11-01
:fix/maturity-review-2026-09-25
:lane/D
:lane/B
:fix/src-review-round3
:refactor/domain-scalable
:develop
:feature-frontend-optional-adapter-recipes
:feature-frontend-supply-chain-verification
:feature-frontend-test-registry-evidence-hardening
:frontend-test-registry-evidence-hardening
:feature-frontend-diagnostics-telemetry-runtime
:feature-frontend-i18n-message-formatting-contract
:feature-frontend-design-system-platform
:feature-frontend-form-page-platform
:feature-frontend-reference-feature-vertical-slice
:feature-frontend-routing-release-recovery-runtime
:feature-frontend-http-query-contract-execution
:feature-frontend-application-boundary-runtime
:feature-frontend-typescript-tooling-foundation
:feature-frontend-platform-capability-review
:feature-frontend-performance-route-contract
:feature-frontend-starter-experience-quality-contract
:feature-frontend-responsive-theme-contract
:feature-frontend-ui-primitives-gallery-contract
:feature-frontend-app-shell-navigation-contract
:feature-frontend-runtime-composition-contract
:feature-frontend-ci-quality-gates-contract
:feature-web-vitals-performance-budget-contract
:feature-frontend-release-cache-rollback-contract
:feature-accessibility-baseline-contract
:feature-frontend-project-bootstrap-toolchain-contract
:feature-frontend-operational-runbook-contract
:feature-frontend-contract-compatibility-governance
:feature-frontend-contract-registry-governance
:feature-frontend-browser-security-boundary-contract
:feature-frontend-build-bundle-supply-chain-contract
:feature-tailwind-design-token-styling-contract
:feature-sample-feature-slice-contract-fixture
:feature-frontend-render-recovery-boundary-contract
:feature-routing-navigation-guard-contract
:feature-boundary-mapper-viewmodel-contract
:feature-async-ui-state-contract
:feature-frontend-observability-logging-trace-contract
:feature-frontend-storage-registry-contract
:feature-server-state-caching-contract
:feature-frontend-auth-session-integration-contract
:feature-frontend-error-classification-boundary-contract
:feature-runtime-schema-validation-contract
:feature-api-client-response-envelope-contract
:feature-frontend-env-runtime-config-contract
:feature-frontend-architecture-enforcement-lint-contract
:feature-frontend-test-taxonomy-contract
:feature-frontend-clean-architecture-layering-contract
1
Commits
| Author | SHA1 | Message | Date | |
|---|---|---|---|---|
|
|
86569da2be |
test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m17s
frontend-quality-gates / merge / tests (pull_request) Failing after 11m29s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m14s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
tests/system/ci-runner/ci-artifact-contract.test.ts의 「applies effective aggregate cgroup limits」는 공급자(1.5초 쉼)가 4초 감독 시한 전에 스스로 끝났는지를 `Date.now() - completionStarted < 4000`으로 봤다. 이 벽시계는 감독이 끝난 뒤 trace 읽기와 단언에 걸린 시간까지 잰다. runner run 294 (FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 4271로 실패했는데, 같은 run에서 바로 앞의 `result.code === 0`은 통과했다. 감독의 시한 경로는 늘 "sandboxed external provider command timed out"을 던지고 실패로 끝난다(scripts/run-and-validate-provider.ts waitForProvider). 그 반대쪽은 「kills descendants and collects the scope」 timeout 경우가 시험한다. 그래서 exit 0과 `timed out` 없음이 시한에 안 죽었다는 결정적 증거다. 벽시계 상한을 지우고 그 자리에 `not.toMatch(/timed out/)`와 근거 주석을 둔다. 같은 모양을 tests/system 전체에서 찾았다(벽시계 상한 단언). 「enforces CPU RLIMIT before the independent wall-clock timeout」의 `< 5000`이 하나 더 있다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미 `not.toMatch(/timed out/)`가 한다. 이것도 지운다. 버린 대안: - 상한을 4초보다 늘리기: 무엇을 지키는지 그대로 모호하고 부하에서 다시 흔들린다(design-docs ci/manual.md 8.4절). - 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이 여전히 들어간다. 결과로 판정하면 시간이 필요 없다. 위험·한계: - 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간 측정은 performance lane 몫이다. - 고정 시간 가정은 남는다. 공급자의 1.5초 창 안에 unit 속성을 읽는 것, rlimit 시험의 spawn 시한 7초(hang 막이, 감독 시한 5초보다 커서 시한이 터지면 `timed out`이 먼저 보인다). 관측된 실패는 없어 그대로 둔다. - 흔들림 장부(docs/ledger/flaky-tests.jsonl)에 이 흔들림 한 줄과, 반복 실행에서 본 다른 흔들림 한 줄(아래)을 더한다. 예측 장부에 착수 예측 한 줄을 더한다. - 반복 실행에서 이 변경과 다른 원인의 흔들림을 봤다. 파일 전체 실행 중 79번째 provider 시험부터 18개가 연달아 `exit=125`로 실패한다(11-13 main c5f29344에서도 한 번). 125를 내는 쪽(cgroup 강제 게이트, scope wrapper)의 stderr를 waitForProvider가 버려 원인을 모른다. 장부에 fixed_by 없이 적고 고치지 않았다. 검증(desktop 시스템 컨테이너): - RED: main에 「완료 직후 2.6초 쉼」 탐침을 넣으면 감독은 2574 ms에 exit 0, `timed out` 없이 끝났는데 옛 단언이 5180 ms로 실패했다. - 변이: 감독 시한을 1000으로 줄이면 새 단언이 실패한다. - 이 파일 전체를 8회 돌려 6회 110/110 통과. 나머지 2회는 위의 exit=125 묶음(18개)이고, 바꾼 두 시험은 그 묶음에 들어 125로 실패했다. 묶음 밖 6회에서는 모두 통과했다. |