test(ci): 공급자 시험이 감독 시한 판정을 벽시계 대신 결과로 단언한다 #57
@@ -6,3 +6,4 @@
|
||||
{"schema": 1, "kind": "actual", "task": "w2-fe-ci-perf", "recorded_at": "2026-11-12T22:25+09:00", "transcript": "00d79702-1dea-4e11-b79a-f021d0d9f4bb", "minutes": 1463, "active_minutes": 308, "calls": 447, "output_tokens": 413297, "cache_read_tokens": 246773496, "max_context": 943246, "within": "p30", "result": "partial", "commits": ["ddfcb6f6", "79a225b6", "0d8e4f5a", "b4210753", "66138440", "1d3eb901", "92abfd20", "1f09c1cc", "27876ffc", "35b60a04", "f90ffb6c", "f6e2560e", "ba72b865"], "why": "작업 중 시간은 p30 안이지만 일이 끝나지 않고 인계됐다(PR #19 Draft). 벽시계의 대부분은 runner 대기열(백엔드 정기 lane 뒤)과 desktop heavy 잠금 대기다. 남은 것: runner 초록 확인, concurrency, firefox 흔들림, coverage 경로, 느린 시험 둘. 세션 기록으로 다시 셌고 인계 절을 쓴 22:10 KST 뒤까지 들어 있다. 기록은 이어받은 세션이 남긴다"}
|
||||
{"schema": 1, "kind": "estimate", "task": "w2-fe2-takeover", "recorded_at": "2026-11-12T22:25+09:00", "transcript": "fa9a12aa-7abc-46ca-a5fd-ee00cab98618", "started_at": "2026-11-12T21:05+09:00", "base": "ba72b865", "task_kind": "improve+operate", "size": "large", "minutes": {"p30": 180, "p50": 300, "p80": 480}, "calls": {"p30": 250, "p50": 400, "p80": 650}, "output_tokens": {"p30": 150000, "p50": 250000, "p80": 400000}, "basis": "PR #19 이어받기(인계 절 2026-11-12 22:10). concurrency·coverage 경로·느린 시험 둘은 각 30~60분(작음, 선례 W2-BE concurrency). firefox 008 흔들림은 원인 미확정이라 1~4시간. runner 1대를 백엔드와 같이 써 PR run 하나가 대기 포함 1시간 이상(W2-BE 기록: PR run이 2~4시간 뒤로 밀림), 초록 3회와 실패-고침 1~2번을 p80에 넣었다. 첫 5분 뒤에 적었다(인계 대기 중 시작)"}
|
||||
{"schema": 1, "kind": "estimate", "task": "r9-fe-group-A", "recorded_at": "2026-11-13T18:50+09:00", "transcript": "66f9f89d-a13f-4cee-a2bf-c3c528c6bfb2", "started_at": "2026-11-13T17:57+09:00", "base": "ee95573f", "task_kind": "improve", "size": "large", "minutes": {"p30": 300, "p50": 420, "p80": 600}, "calls": {"p30": 350, "p50": 500, "p80": 750}, "output_tokens": {"p30": 200000, "p50": 300000, "p80": 450000}, "basis": "round9 그룹 A 발견 22건(화면·토큰·story·검사·접근성 기록)을 PR 셋으로. 바꿀 파일 약 60개, CSS 선언 118개 토큰화와 story 37개가 가장 크다. desktop heavy 잠금을 다른 세션 넷과 같이 써 실행마다 대기 10~30분, merge 단계 셋(각 약 21분)과 골든 갱신·변이 실험, runner run 셋(각 약 23분)을 p80에 넣었다. 선례 r9-fe F4a·F5(묶음당 2~4시간). 착수 약 50분 뒤 발견 원문을 다 읽고 PR1 고침을 쓰던 중에 적었다"}
|
||||
{"schema": 1, "kind": "estimate", "task": "fe-ci-fix2", "recorded_at": "2026-11-14T03:16+09:00", "transcript": "daafc8d5-d94b-4404-b2c1-adb2b69d1741", "started_at": "2026-11-14T03:03+09:00", "base": "cfb32a66", "task_kind": "improve", "size": "small", "minutes": {"p30": 90, "p50": 150, "p80": 240}, "calls": {"p30": 120, "p50": 180, "p80": 280}, "output_tokens": {"p30": 50000, "p50": 90000, "p80": 150000}, "basis": "프론트 CI 작은 수정 둘(#54 fixture env, main 시간 단언)과 #55 main 갱신. 고칠 파일 각 1~4개, 원인은 로그로 이미 좁혀짐(선례 w2-fe2 http deadline 가짜 시계 30~60분). 벽시계 대부분은 desktop heavy 잠금(merge 단계 약 25분, system 시험 반복 5회)과 runner run 셋(각 약 25분, 1대 공유 대기)이다. 실패-고침 한 번을 p80에 넣었다. 착수 약 13분 뒤, 첫 RED를 본 뒤에 적었다"}
|
||||
|
||||
@@ -8,3 +8,5 @@
|
||||
{"date": "2026-11-13", "test": "tests/browser-capabilities/indexeddb-runtime.spec.ts:256", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"}
|
||||
{"date": "2026-11-13", "test": "tests/browser-capabilities/local-draft-composition.spec.ts:10", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"}
|
||||
{"date": "2026-11-13", "test": "tests/browser-capabilities/opfs-runtime.spec.ts:338", "category": "resource-io", "first_run": "/tmp/claude-gates/ci-pr-gate-selection-merge/gate-artifacts/FE-GATE-008.txt", "verdict": "[firefox] desktop merge(트리 148e68f4, #47 없음)에서 30초 timeout 1회. 같은 게이트가 Firefox 프로필을 RAM에 둔 #47 트리에서는 69개 전부 통과. Firefox IndexedDB·OPFS가 프로필 디스크를 기다린 것으로 봄", "quarantined_until": "", "fixed_by": "프론트 #47"}
|
||||
{"date": "2026-11-14", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:892", "category": "fixed-time", "first_run": "294", "verdict": "runner 1회 실패(FE-GATE-013, 4271 ms, 상한 4000). 단언은 공급자가 4초 감독 시한 전에 스스로 끝났는지가 아니라 완료 뒤 trace 확인까지의 벽시계를 쟀다. desktop 탐침에서 감독은 2574 ms에 exit 0·timed out 없이 끝났는데 완료 뒤 2.6초를 두자 같은 줄이 5180 ms로 실패(결정적). 같은 모양 :1105(CPU rlimit 시험의 5초 상한)도 고침", "quarantined_until": "", "fixed_by": "프론트 #57"}
|
||||
{"date": "2026-11-13", "test": "tests/system/ci-runner/ci-artifact-contract.test.ts:671", "category": "resource-io", "first_run": "/tmp/claude-gates/w2fe2-t08m/sys-2.json", "verdict": "desktop 시스템 컨테이너에서 이 파일 전체 실행 중 79번째 「leaves no stale raw report after invalid trust」부터 provider 시험 18개가 연달아 `sandboxed external provider failed: exit=125`로 실패. 11-13 main c5f29344 3회 중 1회, 11-14 트리 a34dd34d 8회 중 2회(fe-b-green1·4). 부하와 상관 없어 보이고 runner에서는 아직 안 봄. 125는 cgroup 강제 게이트(scripts/lib/provider-cgroup.ts)나 scope wrapper가 내는데, waitForProvider가 그 stderr를 버려 원인 미확정. 범주는 가정", "quarantined_until": "", "fixed_by": ""}
|
||||
|
||||
@@ -822,7 +822,6 @@ describe("candidate archive and provider upload boundaries", { timeout: childPro
|
||||
VULNERABILITY_PROVIDER_SECRET: credential,
|
||||
},
|
||||
});
|
||||
const completionStarted = Date.now();
|
||||
const supervisorPid = execution.child.pid!;
|
||||
const unit = await waitForProviderUnit("vulnerability", supervisorPid);
|
||||
const properties = showProviderUnit(unit);
|
||||
@@ -844,7 +843,14 @@ describe("candidate archive and provider upload boundaries", { timeout: childPro
|
||||
expect(readProviderUnitMetadata(unit)).not.toMatch(new RegExp(`${command}|${credential}`, "u"));
|
||||
const reportIdentity = await lstat(fixture.reportPath);
|
||||
const result = await execution.completion;
|
||||
// The provider ended on its own, before the 4 s supervisor deadline: the
|
||||
// deadline path always fails the run with "timed out"
|
||||
// (scripts/run-and-validate-provider.ts waitForProvider; the timeout case
|
||||
// of "kills descendants and collects the scope" shows it). This replaces a
|
||||
// wall-clock bound that also timed the trace checks after completion and
|
||||
// failed at 4271 ms on a run that had not timed out (runner run 294).
|
||||
expect(result.code, result.stderr).toBe(0);
|
||||
expect(result.stderr).not.toMatch(/timed out/iu);
|
||||
expect(result.stdout).not.toContain(credential);
|
||||
expect(result.stderr).not.toContain(credential);
|
||||
|
||||
@@ -889,7 +895,6 @@ describe("candidate archive and provider upload boundaries", { timeout: childPro
|
||||
expect(recordedArguments).not.toContain(command);
|
||||
expect(recordedArguments).not.toContain(providerScript);
|
||||
expect(recordedArguments).not.toContain(credential);
|
||||
expect(Date.now() - completionStarted).toBeLessThan(4_000);
|
||||
await expectProviderUnitGone(unit);
|
||||
await expect(lstat(cgroupRoot)).rejects.toMatchObject({ code: "ENOENT" });
|
||||
expect(trace.every((entry) => !processExists(entry.pid))).toBe(true);
|
||||
@@ -1095,14 +1100,15 @@ describe("candidate archive and provider upload boundaries", { timeout: childPro
|
||||
it("enforces CPU RLIMIT before the independent wall-clock timeout", async () => {
|
||||
const fixture = await createProviderFixture();
|
||||
await rm(fixture.reportPath);
|
||||
const started = Date.now();
|
||||
const result = runProviderSupervisor(fixture, {
|
||||
command: "node -e 'while(true){}'",
|
||||
sealedPath: path.join(fixture.root, "provider-evidence/vulnerability-report.json"),
|
||||
environment: { PROVIDER_SUPERVISOR_CPU_SECONDS: "1", PROVIDER_SUPERVISOR_TIMEOUT_MS: "5000" },
|
||||
spawnTimeoutMs: 7_000,
|
||||
});
|
||||
expect(Date.now() - started).toBeLessThan(5_000);
|
||||
// The rlimit ended it, not the 5 s deadline: the deadline path says "timed
|
||||
// out" (checked below). No wall-clock bound: it also timed the supervisor's
|
||||
// own start and reap, which lie outside that deadline.
|
||||
expect(result.status).not.toBe(0);
|
||||
expect(result.stderr).toMatch(/exit=(?:137|152)|signal=SIG(?:XCPU|KILL)/iu);
|
||||
expect(result.stderr).not.toMatch(/timed out/iu);
|
||||
|
||||
Reference in New Issue
Block a user