Commit Graph
4 Commits
Author SHA1 Message Date
DongHyeonka 86569da2be test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m17s
frontend-quality-gates / merge / tests (pull_request) Failing after 11m29s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m14s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
tests/system/ci-runner/ci-artifact-contract.test.ts의 「applies effective
aggregate cgroup limits」는 공급자(1.5초 쉼)가 4초 감독 시한 전에 스스로
끝났는지를 `Date.now() - completionStarted < 4000`으로 봤다. 이 벽시계는
감독이 끝난 뒤 trace 읽기와 단언에 걸린 시간까지 잰다. runner run 294
(FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 4271로 실패했는데,
같은 run에서 바로 앞의 `result.code === 0`은 통과했다.

감독의 시한 경로는 늘 "sandboxed external provider command timed out"을
던지고 실패로 끝난다(scripts/run-and-validate-provider.ts waitForProvider).
그 반대쪽은 「kills descendants and collects the scope」 timeout 경우가
시험한다. 그래서 exit 0과 `timed out` 없음이 시한에 안 죽었다는 결정적
증거다. 벽시계 상한을 지우고 그 자리에 `not.toMatch(/timed out/)`와 근거
주석을 둔다.

같은 모양을 tests/system 전체에서 찾았다(벽시계 상한 단언). 「enforces CPU
RLIMIT before the independent wall-clock timeout」의 `< 5000`이 하나 더
있다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미
`not.toMatch(/timed out/)`가 한다. 이것도 지운다.

버린 대안:
- 상한을 4초보다 늘리기: 무엇을 지키는지 그대로 모호하고 부하에서 다시
  흔들린다(design-docs ci/manual.md 8.4절).
- 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이
  여전히 들어간다. 결과로 판정하면 시간이 필요 없다.

위험·한계:
- 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간
  측정은 performance lane 몫이다.
- 고정 시간 가정은 남는다. 공급자의 1.5초 창 안에 unit 속성을 읽는 것,
  rlimit 시험의 spawn 시한 7초(hang 막이, 감독 시한 5초보다 커서 시한이
  터지면 `timed out`이 먼저 보인다). 관측된 실패는 없어 그대로 둔다.
- 흔들림 장부(docs/ledger/flaky-tests.jsonl)에 이 흔들림 한 줄과, 반복
  실행에서 본 다른 흔들림 한 줄(아래)을 더한다. 예측 장부에 착수 예측 한
  줄을 더한다.
- 반복 실행에서 이 변경과 다른 원인의 흔들림을 봤다. 파일 전체 실행 중
  79번째 provider 시험부터 18개가 연달아 `exit=125`로 실패한다(11-13 main
  c5f29344에서도 한 번). 125를 내는 쪽(cgroup 강제 게이트, scope wrapper)의
  stderr를 waitForProvider가 버려 원인을 모른다. 장부에 fixed_by 없이
  적고 고치지 않았다.

검증(desktop 시스템 컨테이너):
- RED: main에 「완료 직후 2.6초 쉼」 탐침을 넣으면 감독은 2574 ms에 exit 0,
  `timed out` 없이 끝났는데 옛 단언이 5180 ms로 실패했다.
- 변이: 감독 시한을 1000으로 줄이면 새 단언이 실패한다.
- 이 파일 전체를 8회 돌려 6회 110/110 통과. 나머지 2회는 위의 exit=125
  묶음(18개)이고, 바꾼 두 시험은 그 묶음에 들어 125로 실패했다. 묶음
  밖 6회에서는 모두 통과했다.
2026-11-14 04:26:36 +09:00
DongHyeonka 24474035cb docs(ledger): Firefox IndexedDB·OPFS 시험의 디스크 대기 timeout을 흔들림 기록에 더한다
frontend-quality-gates / merge / static checks (pull_request) Successful in 2m6s
frontend-quality-gates / merge / tests (pull_request) Successful in 14m27s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 6m37s
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
#47이 없는 트리의 desktop merge(148e68f4)에서 Firefox browser-capabilities 시험 셋(opfs-runtime는 두 경우)이 30초 timeout으로 실패했다. 같은 게이트가 #47 트리에서는 통과했다. 범주는 자원·IO다.

검증: 줄이 JSON으로 읽힘(10줄).
2026-11-13 21:24:43 +09:00
DongHyeonka 087649b3a5 docs(ledger): 부하에서 흔들린 증가율 측정 시험을 흔들림 기록에 더한다
그룹 B의 desktop merge에서 FE-GATE-020 기능 제거 드릴 사본의 test:coverage가 extreme-scale-registry.test.ts:144의 증가율 판정으로 실패했다(exponent 1.53, load 17.9). 범주는 시간 가정: 작은 쪽 2 ms를 벽시계 두 점의 비율로 잰다. 고치기(연산 수 세기 또는 반복 표본)는 아직이다.

검증: 줄이 JSON으로 읽힘(7줄).
2026-11-13 21:19:31 +09:00
DongHyeonka fe9990b4cc docs(ledger): 흔들린 시험 기록을 두고 시간·순서 단언 규칙을 가리킨다
흔들린 시험을 적는 곳이 없다. 2026-11-12~13 이틀에 프론트 흔들림이
여섯 건이었다. 재실행으로 통과시킨 것은 세션 노트에만 남았다. 같은
모양(첫 렌더 5초 창, 잠금 순서 가정)이 다시 들어와도 리뷰 기준에 막을
줄이 없다.

docs/ledger/flaky-tests.jsonl을 두고 여섯 건을 첫 줄들로 넣는다. 칸은
design-docs ci/manual.md 8.5절이다(date·test·category·first_run·verdict·
quarantined_until·fixed_by). 여기에 대응하는 표를 docs/ledger/README.md
「흔들림 기록」에 둔다. 이 파일도 estimates.jsonl처럼 더하기만 하고
.gitattributes merge=union으로 합친다. README 지워도 되는 파일 표와
docs/README.md 지도에 넣었다. testing.md 5절 조사 절차에 6번(기록)을
더했다. 리뷰 기준 2절 「헷갈리는 경우」에 벽시계 상한·시작 순서 단언을
구조적 위험으로 적고, gates.md 3절에서 둘을 가리킨다(ci/manual.md 8.4절).

버린 대안: scripts/verify.sh docs가 이 파일의 칸과 범주까지 검사하게
하는 안. 이번 범위(계획 FLAKY-1) 밖이라 뒤로 미뤘다. 지금은 손으로
맞춘다.

위험·한계: platform-overview.spec.ts:48(WebKit)은 원인 조사 전이다.
범주는 5초 창에서 실패한 꼴만 보고 fixed-time으로 적었다.

검증: scripts/verify.sh docs(노트북) OK, desktop verify:documentation.
2026-11-13 19:38:52 +09:00