Files
clean-architecture-frontend…/docs/ledger/flaky-tests.jsonl
T
DongHyeonka 86569da2be
frontend-quality-gates / merge / static checks (pull_request) Successful in 1m17s
frontend-quality-gates / merge / tests (pull_request) Failing after 11m29s
frontend-quality-gates / merge / browser tests (pull_request) Successful in 5m14s
frontend-quality-gates / FE-GATE-017 / diagram-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-014 / config-compatibility (pull_request) Skipped
frontend-quality-gates / main / self-tests and removal drills (pull_request) Skipped
frontend-quality-gates / FE-GATE-028 / manual-accessibility-review (pull_request) Skipped
frontend-quality-gates / FE-GATE-026 / lab-performance (pull_request) Skipped
frontend-quality-gates / FE-GATE-015 / immutable-release-candidate (pull_request) Skipped
frontend-quality-gates / external-vulnerability-provider (pull_request) Skipped
frontend-quality-gates / external-provenance-provider (pull_request) Skipped
frontend-quality-gates / promote-verified-immutable-candidate (pull_request) Skipped
frontend-quality-gates / deploy-promoted-release (pull_request) Skipped
frontend-quality-gates / FE-GATE-019 / hosting-header (pull_request) Skipped
frontend-quality-gates / FE-GATE-021 / runbook-boot-config (pull_request) Skipped
frontend-quality-gates / FE-GATE-022 / runbook-chunk-mismatch (pull_request) Skipped
frontend-quality-gates / FE-GATE-023 / runbook-api-degradation (pull_request) Skipped
frontend-quality-gates / FE-GATE-024 / runbook-telemetry (pull_request) Skipped
frontend-quality-gates / FE-GATE-025 / runbook-release-rollback (pull_request) Skipped
frontend-quality-gates / FE-GATE-018 / field-web-vitals (pull_request) Skipped
test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다
tests/system/ci-runner/ci-artifact-contract.test.ts의 「applies effective
aggregate cgroup limits」는 공급자(1.5초 쉼)가 4초 감독 시한 전에 스스로
끝났는지를 `Date.now() - completionStarted < 4000`으로 봤다. 이 벽시계는
감독이 끝난 뒤 trace 읽기와 단언에 걸린 시간까지 잰다. runner run 294
(FE-GATE-013, 이 파일을 안 건드린 #55의 run)에서 4271로 실패했는데,
같은 run에서 바로 앞의 `result.code === 0`은 통과했다.

감독의 시한 경로는 늘 "sandboxed external provider command timed out"을
던지고 실패로 끝난다(scripts/run-and-validate-provider.ts waitForProvider).
그 반대쪽은 「kills descendants and collects the scope」 timeout 경우가
시험한다. 그래서 exit 0과 `timed out` 없음이 시한에 안 죽었다는 결정적
증거다. 벽시계 상한을 지우고 그 자리에 `not.toMatch(/timed out/)`와 근거
주석을 둔다.

같은 모양을 tests/system 전체에서 찾았다(벽시계 상한 단언). 「enforces CPU
RLIMIT before the independent wall-clock timeout」의 `< 5000`이 하나 더
있다. 감독 자신의 시작과 정리까지 재고, 시한 판정은 이미
`not.toMatch(/timed out/)`가 한다. 이것도 지운다.

버린 대안:
- 상한을 4초보다 늘리기: 무엇을 지키는지 그대로 모호하고 부하에서 다시
  흔들린다(design-docs ci/manual.md 8.4절).
- 감독이 끝난 시각을 바로 재기: 감독 프로세스 시작(시한 타이머 밖)이
  여전히 들어간다. 결과로 판정하면 시간이 필요 없다.

위험·한계:
- 감독 시작·정리가 느려지는 회귀는 이 시험이 더는 잡지 않는다. 시간
  측정은 performance lane 몫이다.
- 고정 시간 가정은 남는다. 공급자의 1.5초 창 안에 unit 속성을 읽는 것,
  rlimit 시험의 spawn 시한 7초(hang 막이, 감독 시한 5초보다 커서 시한이
  터지면 `timed out`이 먼저 보인다). 관측된 실패는 없어 그대로 둔다.
- 흔들림 장부(docs/ledger/flaky-tests.jsonl)에 이 흔들림 한 줄과, 반복
  실행에서 본 다른 흔들림 한 줄(아래)을 더한다. 예측 장부에 착수 예측 한
  줄을 더한다.
- 반복 실행에서 이 변경과 다른 원인의 흔들림을 봤다. 파일 전체 실행 중
  79번째 provider 시험부터 18개가 연달아 `exit=125`로 실패한다(11-13 main
  c5f29344에서도 한 번). 125를 내는 쪽(cgroup 강제 게이트, scope wrapper)의
  stderr를 waitForProvider가 버려 원인을 모른다. 장부에 fixed_by 없이
  적고 고치지 않았다.

검증(desktop 시스템 컨테이너):
- RED: main에 「완료 직후 2.6초 쉼」 탐침을 넣으면 감독은 2574 ms에 exit 0,
  `timed out` 없이 끝났는데 옛 단언이 5180 ms로 실패했다.
- 변이: 감독 시한을 1000으로 줄이면 새 단언이 실패한다.
- 이 파일 전체를 8회 돌려 6회 110/110 통과. 나머지 2회는 위의 exit=125
  묶음(18개)이고, 바꾼 두 시험은 그 묶음에 들어 125로 실패했다. 묶음
  밖 6회에서는 모두 통과했다.
2026-11-14 04:26:36 +09:00

13 lines
5.2 KiB
JSON

{"date": "2026-11-12", "test": "tests/e2e/old-tab-chunk-recovery.spec.ts:213", "category": "resource-io", "first_run": "127", "verdict": "runner 1회 실패. desktop 계측 e2e 8회 중 같은 원인 2회(Firefox 첫 localStorage 접근이 프로필 디스크를 기다림)", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-13", "test": "tests/e2e/preload-use.spec.ts:111", "category": "resource-io", "first_run": "desktop scripts/verify.sh merge(트리 0f927214)", "verdict": "1회 실패, 같은 트리 재실행 통과. 원인은 위와 같음", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-13", "test": "tests/e2e/platform-overview.spec.ts:11", "category": "resource-io", "first_run": "/tmp/claude-gates/w2fe2-fr3", "verdict": "desktop 계측 e2e 8회 중 1회 실패(앱 부트 4.3초). 원인은 위와 같음", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-13", "test": "tests/e2e/generated-feature.spec.ts:378", "category": "resource-io", "first_run": "266", "verdict": "main run FE-GATE-009 [firefox] 1회 실패(로그인 화면 5초 대기). 원인은 위와 같음", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-13", "test": "tests/unit/shared-fixture-builds.test.ts:60", "category": "concurrency-order", "first_run": "235", "verdict": "runner 1회 실패. 첫 mkdir 지연으로 결정적 재현(waiter가 잠금을 먼저 잡음)", "quarantined_until": "", "fixed_by": "프론트 #46"}
{"date": "2026-11-13", "test": "tests/e2e/platform-overview.spec.ts:48", "category": "fixed-time", "first_run": "/tmp/claude-gates/w2fe2-fr6", "verdict": "[webkit] desktop 계측 e2e 8회 중 1회 실패(「미선택」 4개가 5초 안에 0개, 앱 부트는 1.08초). 원인 조사 전", "quarantined_until": "", "fixed_by": ""}
{"date": "2026-11-13", "test": "tests/platform/cardinality/extreme-scale-registry.test.ts:144", "category": "fixed-time", "first_run": "/tmp/claude-gates/r9b-pr1-merge2/FE-GATE-020.log", "verdict": "FE-GATE-020 기능 제거 드릴 사본의 test:coverage에서 1회 실패(exponent 1.53, n=10000 2.0 ms → n=100000 68.1 ms, load 17.9). 따로 돌리면 통과·실패·통과. 작은 쪽 2 ms를 벽시계 두 점의 비율로 재 GC·선점 한 번에 흔들림", "quarantined_until": "", "fixed_by": ""}
{"date": "2026-11-13", "test": "tests/browser-capabilities/indexeddb-runtime.spec.ts:256", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-13", "test": "tests/browser-capabilities/local-draft-composition.spec.ts:10", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-13", "test": "tests/browser-capabilities/opfs-runtime.spec.ts:338", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"}
{"date": "2026-11-14", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:892", "category": "fixed-time", "first_run": "294", "verdict": "runner 1회 실패(FE-GATE-013, 4271 ms, 상한 4000). 단언은 공급자가 4초 감독 시한 전에 스스로 끝났는지가 아니라 완료 뒤 trace 확인까지의 벽시계를 쟀다. desktop 탐침에서 감독은 2574 ms에 exit 0·timed out 없이 끝났는데 완료 뒤 2.6초를 두자 같은 줄이 5180 ms로 실패(결정적). 같은 모양 :1105(CPU rlimit 시험의 5초 상한)도 고침", "quarantined_until": "", "fixed_by": "프론트 #57"}
{"date": "2026-11-13", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:671", "category": "resource-io", "first_run": "/tmp/claude-gates/w2fe2-t08m/sys-2.json", "verdict": "desktop 시스템 컨테이너에서 이 파일 전체 실행 중 79번째 「leaves no stale raw report after invalid trust」부터 provider 시험 18개가 연달아 `sandboxed external provider failed: exit=125`로 실패. 11-13 main c5f29344 3회 중 1회, 11-14 트리 a34dd34d 8회 중 2회(fe-b-green1·4). 부하와 상관 없어 보이고 runner에서는 아직 안 봄. 125는 cgroup 강제 게이트(scripts/lib/provider-cgroup.ts)나 scope wrapper가 내는데, waitForProvider가 그 stderr를 버려 원인 미확정. 범주는 가정", "quarantined_until": "", "fixed_by": ""}