test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다 #57

Open
donghyeon.kang wants to merge 1 commits from donghyeon.kang/test/provider-completion-deadline AGit into main
1 Commits
Author SHA1 Message Date
DongHyeonka 86569da2be test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m17s
frontend-quality-gates / merge / tests (pull_request) Failing after 11m29s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m14s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
tests/system/ci-runner/ci-artifact-contract.test.ts의 「applies effective
aggregate cgroup limits」는 공급자(1.5초 쉼)가 4초 감독 시한 전에 스스로
끝났는지를 `Date.now() - completionStarted < 4000`으로 봤다. 이 벽시계는
감독이 끝난 뒤 trace 읽기와 단언에 걸린 시간까지 잰다. runner run 294
(FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 4271로 실패했는데,
같은 run에서 바로 앞의 `result.code === 0`은 통과했다.

감독의 시한 경로는 늘 "sandboxed external provider command timed out"을
던지고 실패로 끝난다(scripts/run-and-validate-provider.ts waitForProvider).
그 반대쪽은 「kills descendants and collects the scope」 timeout 경우가
시험한다. 그래서 exit 0과 `timed out` 없음이 시한에 안 죽었다는 결정적
증거다. 벽시계 상한을 지우고 그 자리에 `not.toMatch(/timed out/)`와 근거
주석을 둔다.

같은 모양을 tests/system 전체에서 찾았다(벽시계 상한 단언). 「enforces CPU
RLIMIT before the independent wall-clock timeout」의 `< 5000`이 하나 더
있다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미
`not.toMatch(/timed out/)`가 한다. 이것도 지운다.

버린 대안:
- 상한을 4초보다 늘리기: 무엇을 지키는지 그대로 모호하고 부하에서 다시
  흔들린다(design-docs ci/manual.md 8.4절).
- 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이
  여전히 들어간다. 결과로 판정하면 시간이 필요 없다.

위험·한계:
- 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간
  측정은 performance lane 몫이다.
- 고정 시간 가정은 남는다. 공급자의 1.5초 창 안에 unit 속성을 읽는 것,
  rlimit 시험의 spawn 시한 7초(hang 막이, 감독 시한 5초보다 커서 시한이
  터지면 `timed out`이 먼저 보인다). 관측된 실패는 없어 그대로 둔다.
- 흔들림 장부(docs/ledger/flaky-tests.jsonl)에 이 흔들림 한 줄과, 반복
  실행에서 본 다른 흔들림 한 줄(아래)을 더한다. 예측 장부에 착수 예측 한
  줄을 더한다.
- 반복 실행에서 이 변경과 다른 원인의 흔들림을 봤다. 파일 전체 실행 중
  79번째 provider 시험부터 18개가 연달아 `exit=125`로 실패한다(11-13 main
  c5f29344에서도 한 번). 125를 내는 쪽(cgroup 강제 게이트, scope wrapper)의
  stderr를 waitForProvider가 버려 원인을 모른다. 장부에 fixed_by 없이
  적고 고치지 않았다.

검증(desktop 시스템 컨테이너):
- RED: main에 「완료 직후 2.6초 쉼」 탐침을 넣으면 감독은 2574 ms에 exit 0,
  `timed out` 없이 끝났는데 옛 단언이 5180 ms로 실패했다.
- 변이: 감독 시한을 1000으로 줄이면 새 단언이 실패한다.
- 이 파일 전체를 8회 돌려 6회 110/110 통과. 나머지 2회는 위의 exit=125
  묶음(18개)이고, 바꾼 두 시험은 그 묶음에 들어 125로 실패했다. 묶음
  밖 6회에서는 모두 통과했다.
2026-11-14 04:26:36 +09:00