From 42f5012fc955333539cae0520676d19e34d9d0c7 Mon Sep 17 00:00:00 2001 From: DongHyeonka Date: Thu, 19 Nov 2026 12:47:57 +0900 Subject: [PATCH] =?UTF-8?q?docs(ledger):=20=EC=A6=9D=EA=B0=80=EC=9C=A8?= =?UTF-8?q?=C2=B7webkit=20=ED=9D=94=EB=93=A4=EB=A6=BC=20=EC=A4=84=EA=B3=BC?= =?UTF-8?q?=20fe-ci-fix4=20=EC=8B=A4=EC=B8=A1=EC=9D=84=20=EC=A0=81?= =?UTF-8?q?=EB=8A=94=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 문제: 흔들림 기록의 extreme-scale-registry.test.ts:144 줄은 #62가 고친 뒤에도 fixed_by가 비어 있다. runner run 344에서 본 webkit generated-feature 실패는 기록에 없다. 작업 장부의 fe-ci-fix4는 예측 줄만 있고 실측 줄이 없다. 고친 것: - flaky-tests.jsonl: :144에 원인과 fixed_by「프론트 #62」를 적은 줄을 더한다. 장부는 더하기만 하므로 원래 줄은 그대로 두고, 앞선 고침 줄(671·983)처럼 date·first_run은 원래 줄 값을 쓰고 그 바로 뒤에 둔다. webkit 줄(2026-11-19, run 344)은 끝에 더한다. 원인은 세션 부하 실험과 runner job의 CPU 겹침이고 시험은 고치지 않는다(총괄 결정). - estimates.jsonl: fe-ci-fix4 실측 줄을 더한다. 세 세션을 ledger.py actual로 따로 세어 합했다. 셋째 세션은 장부 요청 전 줄까지만 셌다. transcript 칸에는 세 이름을 " + "로 잇는다(칸은 문자열 하나라 다른 형식이 없다). 위험·한계: transcript 칸의 여러 이름은 ledger.py actual이 한 번에 다시 세지 못한다. 다시 셀 때는 이름마다 따로 센다. cross-context-invalidation 흔들림 줄은 #63이 넣어 여기 넣지 않는다. 검증: python3 -m unittest scripts/tests/test_ledger.py rc=0, scripts/tests 전체 78건 rc=0, scripts/verify.sh docs rc=0, 노트북 감싸개 verify:documentation rc=0(PASS_SCOPED, 짝 백엔드 checkout 없음). flaky-tests.jsonl 18줄 모두 칸 일곱과 범주가 맞고 date 순서다. --- docs/ledger/estimates.jsonl | 1 + docs/ledger/flaky-tests.jsonl | 2 ++ 2 files changed, 3 insertions(+) diff --git a/docs/ledger/estimates.jsonl b/docs/ledger/estimates.jsonl index d00e0907..c38377d8 100644 --- a/docs/ledger/estimates.jsonl +++ b/docs/ledger/estimates.jsonl @@ -9,3 +9,4 @@ {"schema": 1, "kind": "estimate", "task": "fe-ci-fix2", "recorded_at": "2026-11-14T03:16+09:00", "transcript": "daafc8d5-d94b-4404-b2c1-adb2b69d1741", "started_at": "2026-11-14T03:03+09:00", "base": "cfb32a66", "task_kind": "improve", "size": "small", "minutes": {"p30": 90, "p50": 150, "p80": 240}, "calls": {"p30": 120, "p50": 180, "p80": 280}, "output_tokens": {"p30": 50000, "p50": 90000, "p80": 150000}, "basis": "프론트 CI 작은 수정 둘(#54 fixture env, main 시간 단언)과 #55 main 갱신. 고칠 파일 각 1~4개, 원인은 로그로 이미 좁혀짐(선례 w2-fe2 http deadline 가짜 시계 30~60분). 벽시계 대부분은 desktop heavy 잠금(merge 단계 약 25분, system 시험 반복 5회)과 runner run 셋(각 약 25분, 1대 공유 대기)이다. 실패-고침 한 번을 p80에 넣었다. 착수 약 13분 뒤, 첫 RED를 본 뒤에 적었다"} {"schema": 1, "kind": "estimate", "task": "fe-ci-fix3", "recorded_at": "2026-11-14T06:12+09:00", "transcript": "b28bbd6f-b8e2-4b03-998f-95cc55c1ef86", "started_at": "2026-11-14T04:50+09:00", "base": "e98d8ee9", "task_kind": "improve", "size": "medium", "minutes": {"p30": 150, "p50": 210, "p80": 300}, "calls": {"p30": 180, "p50": 260, "p80": 380}, "output_tokens": {"p30": 70000, "p50": 110000, "p80": 170000}, "basis": "FE-GATE-013 exit=125 묶음(18개) 진단·원인·고침 PR 하나. 원인 미확정, 실패율 약 25%라 desktop 파일 전체 반복(회당 약 2.5분) 16회를 고치기 전·뒤 두 번, merge 단계(약 25분) 한두 번, 새 눈 리뷰와 확인 리뷰, runner run 하나(약 25분, 1대 공유 대기)를 넣었다. 선례 fe-ci-fix2(작음, 예측 p50 150분). 착수 때 적지 못하고 원인을 확정한 뒤(착수 약 80분) 적어 이미 쓴 시간에 기댄다"} {"schema": 1, "kind": "estimate", "task": "fe-ci-fix4", "recorded_at": "2026-11-18T22:33+09:00", "transcript": "c8389cc8-12d4-49c4-a90a-3d4437168351", "started_at": "2026-11-14T07:10+09:00", "base": "e98d8ee9", "task_kind": "improve+operate", "size": "medium", "minutes": {"p30": 240, "p50": 360, "p80": 540}, "calls": {"p30": 250, "p50": 400, "p80": 600}, "output_tokens": {"p30": 120000, "p50": 200000, "p80": 320000}, "basis": "main 빨강 하나(기록 다시 재기와 첫 빨강 커밋 찾기 60~90분), 흔들림 둘(결정적 재현·고침·반복 실행 각 60~120분), 선택 하나와 PR 갱신 하나(각 30분). desktop heavy 잠금을 다른 세션과 같이 써 실행마다 10~30분 대기, PR runner run 하나 약 25분을 p80에 넣었다. 선례 fe-ci-fix3(exit=125 묶음, PR 하나). 착수 5분 안에 쓰지 못했다: 노트북이 11-14 08:09에 꺼져 11-18 20:50에 이어받았고, 이 줄은 이어받은 뒤 (g) PR을 낸 다음 적는다"} +{"schema": 1, "kind": "actual", "task": "fe-ci-fix4", "transcript": "c8389cc8-12d4-49c4-a90a-3d4437168351 + 447350ba-7048-482d-a456-19652deb0c44 + d241e2b2-8620-47db-bfc4-3540861ef025", "minutes": 7385, "active_minutes": 210, "calls": 561, "output_tokens": 428763, "cache_read_tokens": 142528497, "max_context": 533613, "within": "p30", "result": "done", "commits": ["c5bef702", "f6300949", "dc274785", "9adb6125", "bdf9d462", "62ba55d7", "b83ca491", "689a302b", "3e3709a8", "1420e3e8", "71606ff1"], "why": "세 세션의 합이다(셋째 d241e2b2는 #55 갱신까지, 장부 요청 전 399줄). 작업 중 시간은 p30보다 짧다: 기록 사이 빈틈을 5분까지만 세서 20~40분짜리 desktop 실행과 heavy 잠금·runner 대기가 5분씩만 들어갔다. 벽시계는 세 세션 벽시계의 합이고, 노트북이 꺼진 11-14 08:09~11-18 20:50이 대부분이다. 출력 토큰은 p80을 넘었다: 예측에 없던 webkit :276 원인 조사(재현 시도 252회와 CPU 포화 탐침), (e) 판단, PR 갱신 다섯(#60 두 번·#58·#54·#57·#55, 예측은 하나)이 더해졌고 context 한도로 두 번 인계했다", "recorded_at": "2026-11-19T12:46+09:00"} diff --git a/docs/ledger/flaky-tests.jsonl b/docs/ledger/flaky-tests.jsonl index ac786002..d9a2990f 100644 --- a/docs/ledger/flaky-tests.jsonl +++ b/docs/ledger/flaky-tests.jsonl @@ -5,6 +5,7 @@ {"date": "2026-11-13", "test": "tests/unit/shared-fixture-builds.test.ts:60", "category": "concurrency-order", "first_run": "235", "verdict": "runner 1회 실패. 첫 mkdir 지연으로 결정적 재현(waiter가 잠금을 먼저 잡음)", "quarantined_until": "", "fixed_by": "프론트 #46"} {"date": "2026-11-13", "test": "tests/e2e/platform-overview.spec.ts:48", "category": "fixed-time", "first_run": "/tmp/claude-gates/w2fe2-fr6", "verdict": "[webkit] desktop 계측 e2e 8회 중 1회 실패(「미선택」 4개가 5초 안에 0개, 앱 부트는 1.08초). 원인 조사 전", "quarantined_until": "", "fixed_by": ""} {"date": "2026-11-13", "test": "tests/platform/cardinality/extreme-scale-registry.test.ts:144", "category": "fixed-time", "first_run": "/tmp/claude-gates/r9b-pr1-merge2/FE-GATE-020.log", "verdict": "FE-GATE-020 기능 제거 드릴 사본의 test:coverage에서 1회 실패(exponent 1.53, n=10000 2.0 ms → n=100000 68.1 ms, load 17.9). 따로 돌리면 통과·실패·통과. 작은 쪽 2 ms를 벽시계 두 점의 비율로 재 GC·선점 한 번에 흔들림", "quarantined_until": "", "fixed_by": ""} +{"date": "2026-11-13", "test": "tests/platform/cardinality/extreme-scale-registry.test.ts:144", "category": "fixed-time", "first_run": "/tmp/claude-gates/r9b-pr1-merge2/FE-GATE-020.log", "verdict": "원인 확정(2026-11-19). 증가율을 벽시계 두 점(n=1만·10만)의 비율로 재, 작은 쪽 몇 ms가 메모리 대역 경쟁에 흔들렸다. coverage 병렬 worker를 흉내 낸 메모리 대역 부하(node 12개가 256 MB 배열을 훑음) 아래 기준 트리에서 20회 중 19회 실패(지수 1.56~2.03), CPU 부하(busy loop 12)만으로는 20회 중 0회. 11-19 #60 갱신 merge의 FE-GATE-020(지수 1.51)과 runner run 344 tests job에서 재발. 증가율을 입력 읽기 횟수로 재고 조회 비교를 구조 검사로 바꾼 뒤 메모리 대역 부하 30회·CPU 부하 20회 실패 0", "quarantined_until": "", "fixed_by": "프론트 #62"} {"date": "2026-11-13", "test": "tests/browser-capabilities/indexeddb-runtime.spec.ts:256", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"} {"date": "2026-11-13", "test": "tests/browser-capabilities/local-draft-composition.spec.ts:10", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"} {"date": "2026-11-13", "test": "tests/browser-capabilities/opfs-runtime.spec.ts:338", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"} @@ -14,3 +15,4 @@ {"date": "2026-11-14", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:983", "category": "concurrency-order", "first_run": "/tmp/claude-gates/fe125-loop1-runs/run-1.log", "verdict": "desktop 시스템 컨테이너 파일 전체 4회 중 1회 실패(시작 load 15.34). 기대한 `provider guardian failed|SIGKILL` 대신 supervisor가 guardian commit 쓰기(scripts/lib/provider-guardian-client.ts:286)의 처리되지 않은 `write EPIPE`로 죽었다. 원인 조사 전", "quarantined_until": "", "fixed_by": ""} {"date": "2026-11-14", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:983", "category": "concurrency-order", "first_run": "/tmp/claude-gates/fe125-loop1-runs/run-1.log", "verdict": "원인 확정(2026-11-18). guardian이 SIGKILL로 죽은 뒤 supervisor가 그 종료를 처리하기 전에 COMMIT을 쓰면 EPIPE가 나고, scripts/lib/provider-guardian-client.ts의 commit()이 종료 결과보다 그 쓰기 오류를 먼저 던졌다(시험이 GITHUB_OUTPUT FIFO를 여는 때와 SIGCHLD 처리의 순서 경쟁). 같은 순서를 결정적으로 만든 통합 시험이 수정 전 1/1 실패(write EPIPE), 수정 뒤 통과. 고친 트리에서 desktop 시스템 컨테이너 그 시험 20회 중 실패 0(부하 8.7~17.2, 12코어)", "quarantined_until": "", "fixed_by": "프론트 #60"} {"date": "2026-11-14", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:892", "category": "fixed-time", "first_run": "294", "verdict": "runner 1회 실패(FE-GATE-013, 4271 ms, 상한 4000). 단언은 공급자가 4초 감독 시한 전에 스스로 끝났는지가 아니라 완료 뒤 trace 확인까지의 벽시계를 쟀다. desktop 탐침에서 감독은 2574 ms에 exit 0·timed out 없이 끝났는데 완료 뒤 2.6초를 두자 같은 줄이 5180 ms로 실패(결정적). 같은 모양 :1105(CPU rlimit 시험의 5초 상한)도 고침", "quarantined_until": "", "fixed_by": "프론트 #57"} +{"date": "2026-11-19", "test": "tests/e2e/generated-feature.spec.ts:127", "category": "fixed-time", "first_run": "344", "verdict": "runner run 344(#60 62ba55d7, FE-GATE-008 webkit :276)에서 1회 실패. signInAt의 첫 h1 기본 5초 대기에서 h1 없음(429와 무관). 원인은 CPU 포화 — 세션 부하 실험(nice 없는 busy loop·메모리 hog, 01:06~02:0x)과 runner job이 겹쳤다(sar 01:40~02:00 idle 0.08~2.5%, runq 28, iowait 0.01%). 평시에는 재현 안 됨 0/~970(webkit goto→h1 최대 2.2s, load 32 이하). 일부러 포화시키면(busy loop 34, load 44~51) h1>5s 7~33/90이고, 청크 가로채기 유무와 무관(7/90·8/90). 시험은 고치지 않는다. 부하 실험을 nice -n 19로 돌리고 runner job이 없을 때 시작한다", "quarantined_until": "", "fixed_by": ""} -- 2.54.0