test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다 #57

Open
donghyeon.kang wants to merge 1 commits from donghyeon.kang/test/provider-completion-deadline AGit into main
Owner

무엇을, 왜

main의 system 시험 하나가 감독 시한 판정을 벽시계로 해서 흔들렸다. runner run 294(FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 tests/system/ci-runner/ci-artifact-contract.test.ts:892가 expected 4271 to be less than 4000으로 실패했다. 같은 run에서 바로 앞의 result.code === 0은 통과했다.

  • 이 단언이 지키려던 것: 공급자(1.5초 쉼)가 4초 감독 시한(PROVIDER_SUPERVISOR_TIMEOUT_MS) 전에 스스로 끝났다.
  • 실제로 잰 것: 감독을 띄운 때부터 완료 뒤 trace 읽기·단언이 끝날 때까지의 벽시계.
  • 감독의 시한 경로는 늘 sandboxed external provider command timed out을 던지고 실패로 끝난다(scripts/run-and-validate-provider.ts waitForProvider). 그 반대쪽은 같은 파일의 「kills descendants and collects the scope」 timeout 경우가 이미 시험한다. 그래서 exit 0과 timed out 없음이 결정적 증거다.
  • 고침: 벽시계 상한을 지우고, 그 자리에 expect(result.stderr).not.toMatch(/timed out/iu)와 근거 주석을 둔다.
  • 같은 모양(tests/system/**의 벽시계 상한 단언)은 하나 더 있었다. 「enforces CPU RLIMIT before the independent wall-clock timeout」의 Date.now() - started < 5000이다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미 not.toMatch(/timed out/)가 한다. 이것도 지운다.
  • 장부: docs/ledger/flaky-tests.jsonl에 run 294 한 줄(fixed-time)과 반복 실행에서 본 다른 흔들림 한 줄(아래 「위험과 영향」), docs/ledger/estimates.jsonl에 이 작업의 착수 예측 한 줄.

고른 방법과 버린 대안

  • 고른 것: 결과로 판정(exit 코드와 시한 진단 문구). 시간이 필요 없다. design-docs ci/manual.md 8.4절(벽시계 상한을 단언하지 않는다, 실제 지연이 기능이면 그 동작이 일어났는지를 단언한다)과 같다.
  • 버린 것:
    • 상한을 늘리기: 무엇을 지키는지 여전히 모호하고 부하에서 다시 흔들린다.
    • 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이 여전히 들어간다.

위험과 영향

  • 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간 측정은 performance lane 몫이다(8.4절).
  • 남겨 둔 고정 시간 가정(관측된 실패 없음, 고치지 않음):
    • 같은 시험의 공급자 1.5초 창 안에서 unit 속성·cgroup 파일을 읽는다. 부하로 1.5초를 넘기면 ActiveState: active에서 거짓 실패할 수 있다.
    • rlimit 시험의 spawnTimeoutMs: 7_000. hang 막이이고 감독 시한(5초)보다 커서, 시한이 터지면 timed out이 먼저 보인다.
    • 975·1148줄의 「살아남지 않음」 확인 대기. 흔들려도 거짓 통과 쪽이다.
  • 흔들림 장부의 fixed_by는 이 PR 번호(프론트 #57)로 적었다.
  • 다른 흔들림(고치지 않음, 결정: 이 PR에 섞지 않는다): 반복 실행에서 파일 전체 실행 중 79번째 provider 시험(「leaves no stale raw report after invalid trust」, 671줄)부터 18개가 연달아 sandboxed external provider failed: exit=125로 실패하는 일을 봤다. 11-13 main c5f29344에서도 3회 중 1회 같은 묶음이 나왔으니 이 변경 전부터 있었다. 부하와 상관 없어 보이고 runner에서는 아직 안 봤다. 125는 cgroup 강제 게이트(scripts/lib/provider-cgroup.ts)나 scope wrapper가 내는데, waitForProvider가 bwrap|prlimit|systemd-run|systemctl: 줄만 남겨 그 이유가 버려진다. 이유를 로그에 남기는 진단(진단 줄 정규식 넓히기, 발급 경로라 보안 렌즈 필요)을 거친 원인 수정은 따로 한다. 장부에 fixed_by 없이 한 줄 적었다.

검증

기준: main cfb32a66 위 1커밋, head 86569da2(트리 119d021d. 시험 파일은 아래 실행의 트리 a34dd34d와 같고, 장부 줄 하나만 더했다). 지금 main e98d8ee9와 git merge-tree 충돌 없음. 실행은 모두 desktop 시스템 컨테이너(scripts/run-in-system-container.sh) 안.

  • RED(옛 단언이 원인과 상관없이 깨진다): main에 「완료 직후 2.6초 쉼」 탐침을 넣었다(/tmp/claude-gates/fe-b-probe1/, load 10.72). 감독은 2574 ms에 exit 0, timed out 없이 끝났고(그 단언 둘 통과), 옛 892줄이 expected 5180 to be less than 4000으로 실패했다.
  • 변이(새 증거가 시한을 잡는다): 감독 시한을 1000으로 줄이면 시험이 expected 1 to be +0, stderr sandboxed external provider command timed out으로 실패한다(/tmp/claude-gates/fe-b-probe2/).
  • GREEN: node scripts/run-vitest.ts run tests/system/ci-runner/ci-artifact-contract.test.ts를 8회 돌렸다(/tmp/claude-gates/fe-b-green1..5/, fe-b-diag1..3/). 6회 110/110 통과. 나머지 2회(green1·4)는 아래 「다른 흔들림」 묶음 18개가 실패했고, 바꾼 두 시험도 그 묶음에 들어 exit=125로 실패했다. 묶음 밖 6회에서 바꾼 두 시험은 모두 통과했다.
  • 노트북 scripts/verify.sh docs rc=0(장부 형식).
  • 새 눈 리뷰 1회(fe-testing 렌즈): 결함 없음, Low 둘(장부 줄 없음 → 더함, spawnTimeoutMs: 7_000 남음 → hang 막이라 그대로, 「위험과 영향」).
  • 확인 못 한 것: 이 PR의 runner merge job 셋(이 run에서 본다).
  • 돌리지 않은 것: desktop scripts/verify.sh merge 전체. 바뀐 것이 system 시험 한 파일과 장부 두 줄이라, 그 파일 반복(FE-GATE-013의 해당 부분)과 이 PR의 runner merge job 셋으로 본다.

리뷰어가 볼 곳

  • tests/system/ci-runner/ci-artifact-contract.test.ts 두 시험의 바뀐 단언과 주석.
  • scripts/run-and-validate-provider.ts waitForProvider의 시한 경로(시한이 터지면 늘 throw하는지).

관련

  • 흔들림 처리 절차: design-docs ci/manual.md 8.3·8.4·8.5절, conventions/delegation-loop.md 12.1절.
## 무엇을, 왜 main의 system 시험 하나가 감독 시한 판정을 벽시계로 해서 흔들렸다. runner run 294(FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 `tests/system/ci-runner/ci-artifact-contract.test.ts:892`가 `expected 4271 to be less than 4000`으로 실패했다. 같은 run에서 바로 앞의 `result.code === 0`은 통과했다. - 이 단언이 지키려던 것: 공급자(1.5초 쉼)가 4초 감독 시한(`PROVIDER_SUPERVISOR_TIMEOUT_MS`) 전에 스스로 끝났다. - 실제로 잰 것: 감독을 띄운 때부터 완료 뒤 trace 읽기·단언이 끝날 때까지의 벽시계. - 감독의 시한 경로는 늘 `sandboxed external provider command timed out`을 던지고 실패로 끝난다(`scripts/run-and-validate-provider.ts` waitForProvider). 그 반대쪽은 같은 파일의 「kills descendants and collects the scope」 timeout 경우가 이미 시험한다. 그래서 exit 0과 `timed out` 없음이 결정적 증거다. - 고침: 벽시계 상한을 지우고, 그 자리에 `expect(result.stderr).not.toMatch(/timed out/iu)`와 근거 주석을 둔다. - 같은 모양(`tests/system/**`의 벽시계 상한 단언)은 하나 더 있었다. 「enforces CPU RLIMIT before the independent wall-clock timeout」의 `Date.now() - started < 5000`이다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미 `not.toMatch(/timed out/)`가 한다. 이것도 지운다. - 장부: `docs/ledger/flaky-tests.jsonl`에 run 294 한 줄(fixed-time)과 반복 실행에서 본 다른 흔들림 한 줄(아래 「위험과 영향」), `docs/ledger/estimates.jsonl`에 이 작업의 착수 예측 한 줄. ## 고른 방법과 버린 대안 - 고른 것: 결과로 판정(exit 코드와 시한 진단 문구). 시간이 필요 없다. design-docs `ci/manual.md` 8.4절(벽시계 상한을 단언하지 않는다, 실제 지연이 기능이면 그 동작이 일어났는지를 단언한다)과 같다. - 버린 것: - 상한을 늘리기: 무엇을 지키는지 여전히 모호하고 부하에서 다시 흔들린다. - 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이 여전히 들어간다. ## 위험과 영향 - 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간 측정은 performance lane 몫이다(8.4절). - 남겨 둔 고정 시간 가정(관측된 실패 없음, 고치지 않음): - 같은 시험의 공급자 1.5초 창 안에서 unit 속성·cgroup 파일을 읽는다. 부하로 1.5초를 넘기면 `ActiveState: active`에서 거짓 실패할 수 있다. - rlimit 시험의 `spawnTimeoutMs: 7_000`. hang 막이이고 감독 시한(5초)보다 커서, 시한이 터지면 `timed out`이 먼저 보인다. - 975·1148줄의 「살아남지 않음」 확인 대기. 흔들려도 거짓 통과 쪽이다. - 흔들림 장부의 `fixed_by`는 이 PR 번호(프론트 #57)로 적었다. - **다른 흔들림(고치지 않음, 결정: 이 PR에 섞지 않는다):** 반복 실행에서 파일 전체 실행 중 79번째 provider 시험(「leaves no stale raw report after invalid trust」, 671줄)부터 18개가 연달아 `sandboxed external provider failed: exit=125`로 실패하는 일을 봤다. 11-13 main `c5f29344`에서도 3회 중 1회 같은 묶음이 나왔으니 이 변경 전부터 있었다. 부하와 상관 없어 보이고 runner에서는 아직 안 봤다. 125는 cgroup 강제 게이트(`scripts/lib/provider-cgroup.ts`)나 scope wrapper가 내는데, waitForProvider가 `bwrap|prlimit|systemd-run|systemctl:` 줄만 남겨 그 이유가 버려진다. 이유를 로그에 남기는 진단(진단 줄 정규식 넓히기, 발급 경로라 보안 렌즈 필요)을 거친 원인 수정은 따로 한다. 장부에 `fixed_by` 없이 한 줄 적었다. ## 검증 기준: main `cfb32a66` 위 1커밋, head `86569da2`(트리 119d021d. 시험 파일은 아래 실행의 트리 a34dd34d와 같고, 장부 줄 하나만 더했다). 지금 main `e98d8ee9`와 `git merge-tree` 충돌 없음. 실행은 모두 desktop 시스템 컨테이너(`scripts/run-in-system-container.sh`) 안. - RED(옛 단언이 원인과 상관없이 깨진다): main에 「완료 직후 2.6초 쉼」 탐침을 넣었다(`/tmp/claude-gates/fe-b-probe1/`, load 10.72). 감독은 2574 ms에 exit 0, `timed out` 없이 끝났고(그 단언 둘 통과), 옛 892줄이 `expected 5180 to be less than 4000`으로 실패했다. - 변이(새 증거가 시한을 잡는다): 감독 시한을 1000으로 줄이면 시험이 `expected 1 to be +0`, stderr `sandboxed external provider command timed out`으로 실패한다(`/tmp/claude-gates/fe-b-probe2/`). - GREEN: `node scripts/run-vitest.ts run tests/system/ci-runner/ci-artifact-contract.test.ts`를 8회 돌렸다(`/tmp/claude-gates/fe-b-green1..5/`, `fe-b-diag1..3/`). 6회 110/110 통과. 나머지 2회(green1·4)는 아래 「다른 흔들림」 묶음 18개가 실패했고, 바꾼 두 시험도 그 묶음에 들어 exit=125로 실패했다. 묶음 밖 6회에서 바꾼 두 시험은 모두 통과했다. - 노트북 `scripts/verify.sh docs` rc=0(장부 형식). - 새 눈 리뷰 1회(fe-testing 렌즈): 결함 없음, Low 둘(장부 줄 없음 → 더함, `spawnTimeoutMs: 7_000` 남음 → hang 막이라 그대로, 「위험과 영향」). - 확인 못 한 것: 이 PR의 runner merge job 셋(이 run에서 본다). - 돌리지 않은 것: desktop `scripts/verify.sh merge` 전체. 바뀐 것이 system 시험 한 파일과 장부 두 줄이라, 그 파일 반복(FE-GATE-013의 해당 부분)과 이 PR의 runner merge job 셋으로 본다. ## 리뷰어가 볼 곳 - `tests/system/ci-runner/ci-artifact-contract.test.ts` 두 시험의 바뀐 단언과 주석. - `scripts/run-and-validate-provider.ts` waitForProvider의 시한 경로(시한이 터지면 늘 throw하는지). ## 관련 - 흔들림 처리 절차: design-docs `ci/manual.md` 8.3·8.4·8.5절, `conventions/delegation-loop.md` 12.1절.
donghyeon.kang added 1 commit 2026-11-13 19:27:15 +00:00
test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m17s
frontend-quality-gates / merge / tests (pull_request) Failing after 11m29s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m14s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
86569da2be
tests/system/ci-runner/ci-artifact-contract.test.ts의 「applies effective
aggregate cgroup limits」는 공급자(1.5초 쉼)가 4초 감독 시한 전에 스스로
끝났는지를 `Date.now() - completionStarted < 4000`으로 봤다. 이 벽시계는
감독이 끝난 뒤 trace 읽기와 단언에 걸린 시간까지 잰다. runner run 294
(FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 4271로 실패했는데,
같은 run에서 바로 앞의 `result.code === 0`은 통과했다.

감독의 시한 경로는 늘 "sandboxed external provider command timed out"을
던지고 실패로 끝난다(scripts/run-and-validate-provider.ts waitForProvider).
그 반대쪽은 「kills descendants and collects the scope」 timeout 경우가
시험한다. 그래서 exit 0과 `timed out` 없음이 시한에 안 죽었다는 결정적
증거다. 벽시계 상한을 지우고 그 자리에 `not.toMatch(/timed out/)`와 근거
주석을 둔다.

같은 모양을 tests/system 전체에서 찾았다(벽시계 상한 단언). 「enforces CPU
RLIMIT before the independent wall-clock timeout」의 `< 5000`이 하나 더
있다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미
`not.toMatch(/timed out/)`가 한다. 이것도 지운다.

버린 대안:
- 상한을 4초보다 늘리기: 무엇을 지키는지 그대로 모호하고 부하에서 다시
  흔들린다(design-docs ci/manual.md 8.4절).
- 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이
  여전히 들어간다. 결과로 판정하면 시간이 필요 없다.

위험·한계:
- 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간
  측정은 performance lane 몫이다.
- 고정 시간 가정은 남는다. 공급자의 1.5초 창 안에 unit 속성을 읽는 것,
  rlimit 시험의 spawn 시한 7초(hang 막이, 감독 시한 5초보다 커서 시한이
  터지면 `timed out`이 먼저 보인다). 관측된 실패는 없어 그대로 둔다.
- 흔들림 장부(docs/ledger/flaky-tests.jsonl)에 이 흔들림 한 줄과, 반복
  실행에서 본 다른 흔들림 한 줄(아래)을 더한다. 예측 장부에 착수 예측 한
  줄을 더한다.
- 반복 실행에서 이 변경과 다른 원인의 흔들림을 봤다. 파일 전체 실행 중
  79번째 provider 시험부터 18개가 연달아 `exit=125`로 실패한다(11-13 main
  c5f29344에서도 한 번). 125를 내는 쪽(cgroup 강제 게이트, scope wrapper)의
  stderr를 waitForProvider가 버려 원인을 모른다. 장부에 fixed_by 없이
  적고 고치지 않았다.

검증(desktop 시스템 컨테이너):
- RED: main에 「완료 직후 2.6초 쉼」 탐침을 넣으면 감독은 2574 ms에 exit 0,
  `timed out` 없이 끝났는데 옛 단언이 5180 ms로 실패했다.
- 변이: 감독 시한을 1000으로 줄이면 새 단언이 실패한다.
- 이 파일 전체를 8회 돌려 6회 110/110 통과. 나머지 2회는 위의 exit=125
  묶음(18개)이고, 바꾼 두 시험은 그 묶음에 들어 125로 실패했다. 묶음
  밖 6회에서는 모두 통과했다.
Some required checks failed
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m17s
Required
Details
frontend-quality-gates / merge / tests (pull_request) Failing after 11m29s
Required
Details
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m14s
Required
Details
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
Some required checks were not successful.
You are not authorized to merge this pull request.
This branch is out-of-date with the base branch
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u origin refs/pull/57/head:donghyeon.kang/test/provider-completion-deadline
git checkout donghyeon.kang/test/provider-completion-deadline
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/clean-architecture-frontend-template#57