docs(ledger): 흔들린 시험 기록을 두고 시간·순서 단언 규칙을 가리킨다
흔들린 시험을 적는 곳이 없다. 2026-11-12~13 이틀에 프론트 흔들림이 여섯 건이었다. 재실행으로 통과시킨 것은 세션 노트에만 남았다. 같은 모양(첫 렌더 5초 창, 잠금 순서 가정)이 다시 들어와도 리뷰 기준에 막을 줄이 없다. docs/ledger/flaky-tests.jsonl을 두고 여섯 건을 첫 줄들로 넣는다. 칸은 design-docs ci/manual.md 8.5절이다(date·test·category·first_run·verdict· quarantined_until·fixed_by). 여기에 대응하는 표를 docs/ledger/README.md 「흔들림 기록」에 둔다. 이 파일도 estimates.jsonl처럼 더하기만 하고 .gitattributes merge=union으로 합친다. README 지워도 되는 파일 표와 docs/README.md 지도에 넣었다. testing.md 5절 조사 절차에 6번(기록)을 더했다. 리뷰 기준 2절 「헷갈리는 경우」에 벽시계 상한·시작 순서 단언을 구조적 위험으로 적고, gates.md 3절에서 둘을 가리킨다(ci/manual.md 8.4절). 버린 대안: scripts/verify.sh docs가 이 파일의 칸과 범주까지 검사하게 하는 안. 이번 범위(계획 FLAKY-1) 밖이라 뒤로 미뤘다. 지금은 손으로 맞춘다. 위험·한계: platform-overview.spec.ts:48(WebKit)은 원인 조사 전이다. 범주는 5초 창에서 실패한 꼴만 보고 fixed-time으로 적었다. 검증: scripts/verify.sh docs(노트북) OK, desktop verify:documentation.
This commit is contained in:
@@ -69,6 +69,8 @@ release 단계 게이트는 merge 단계에 없다. 그래서 lab 게이트 회
|
||||
|
||||
**가끔 떨어지는 게이트.** 다시 돌려 통과시킨 결과를 "통과"로 쓰지 않는다. 실패한 회차를 그대로 적고 원인을 찾는다([testing.md](testing.md) 5절). "세 번째 실행에서 통과"로 적혔던 FE-GATE-008의 두 실패는 둘 다 테스트 결함이었다. 원인을 고친 뒤에는 같은 게이트를 연속으로 여러 번 돌려 실패 0을 적는다.
|
||||
|
||||
**흔들림 기록과 시간 단언.** 흔들린 시험은 처음 본 날 `docs/ledger/flaky-tests.jsonl`에 한 줄 남긴다([testing.md](testing.md) 5절 6번). 새 시험이 벽시계 상한이나 시작 순서를 단언하면 리뷰가 막는다([리뷰 기준](review-criteria.md) 2절, design-docs `ci/manual.md` 8.4절).
|
||||
|
||||
**FE-GATE-013은 시스템 컨테이너 안에서 돈다.** provider sandbox는 systemd user manager와 bubblewrap을 쓴다. CI의 job 컨테이너에는 둘 다 없고, desktop ssh 셸은 비특권 user namespace가 막혀 있다. 그래서 계약(`config/ci/gates.json`의 `hostEnvironment`)이 이 게이트를 `scripts/run-in-system-container.sh` 안에서 돌게 하고, workflow와 `scripts/verify.sh`가 같은 길을 쓴다. 래퍼는 일회용 privileged systemd 컨테이너(`config/ci/system-container.Dockerfile`)를 띄워 작업 트리를 복사하고 root로 돌린 뒤 `artifacts/`를 되가져온다. Docker가 필요하다(CI는 runner의 dind, desktop은 호스트 Docker). 컨테이너 안에서 통과하면 다른 게이트처럼 통과로 센다(소유자 결정 2026-11-11: 조건이 되는 실행 환경을 찾아 초록으로). 컨테이너 안은 root라 「비특권 runner에서 bwrap user namespace」 조건 자체는 증명하지 않는다. 실패하면 `scripts/verify.sh parts FE-GATE-013`으로 명령마다 보고, `SYSTEM_CONTAINER_KEEP=1`이면 컨테이너를 남긴다. 호스트 시스템 설정은 바꾸지 않는다.
|
||||
|
||||
**컨테이너를 띄울 수 없는 호스트의 FE-GATE-013.** Docker가 없거나 privileged 컨테이너를 막는 호스트에서는 래퍼가 종료 코드 3으로 끝난다. 그런 호스트는 `VERIFY_HOST_ENVIRONMENT=off`를 주어 게이트를 호스트에서 돌리고 아래로 판정한다. desktop ssh 셸에서는 비특권 user namespace가 막혀 `bwrap --unshare-net`이 실패하고, `test:system`의 provider 테스트가 호스트 원인으로 떨어진다. 사전 점검(`scripts/check-system-test-prerequisites.ts`)은 이 제한을 이름으로 대며 실패한다. merge 판정에서는 이 실패를 호스트 원인으로 보고 뺀다(소유자 결정 2026-11-11에 따라 2026-11-12에 정함, [decisions.md](decisions.md) 2.2절). 뺄 수 있는 조건은 둘이고, 하나라도 어기면 merge 가능이 아니다.
|
||||
|
||||
@@ -52,6 +52,7 @@
|
||||
| 같은 사실을 여러 곳에 손으로 적었고 아직 같다 | 구조적 위험 |
|
||||
| 같은 사실의 손 사본이 이미 서로 다르다 | 확인된 결함 |
|
||||
| 수정이 템플릿 원래 상태에서만 맞다 | 결함. 지원 구성(기능 추가·확장 지점 채움)에서 재현하면 확인된 결함 |
|
||||
| PR·main 단계 시험이 벽시계 상한(「몇 ms 안에」)이나 작업 시작 순서를 단언한다 | 구조적 위험. 시계를 주입하고, 조건이 될 때까지 기다리고, 결과를 단언하게 고친다. 브라우저 첫 렌더 대기는 부하를 견디게 잡고 자원·IO 원인은 따로 고친다(design-docs `ci/manual.md` 8.4절) |
|
||||
|
||||
## 3. 심각도와 우선순위 — 이 repo의 판정 예
|
||||
|
||||
|
||||
@@ -92,6 +92,7 @@
|
||||
3. 결정적 재현을 만든다. 원인이라고 본 조건을 강제로 만들어 매번 실패하게 한다. 예: mousedown 때 앱 높이를 늘리면 세 엔진 6/6 실패, 모듈 응답을 3.5초 늦추면 WebKit 경고 2/2.
|
||||
4. 고친다. 고친 뒤 결정적 재현이 통과하고, 실제 조건 반복 실행에서 실패 0인지 본다(예: 660/660).
|
||||
5. 검사가 약해지지 않았는지 변이로 본다. 경고를 무시하게 고쳤으면, 원래 잡아야 할 것(정말 안 쓴 preload)을 여전히 잡는지 확인한다.
|
||||
6. 처음 본 날 `docs/ledger/flaky-tests.jsonl`에 한 줄 남긴다. 고치면 같은 `test`로 `fixed_by`를 채운 줄을 더한다(칸은 `docs/ledger/README.md` 「흔들림 기록」).
|
||||
|
||||
**브라우저 테스트에서 반복된 원인.**
|
||||
|
||||
|
||||
Reference in New Issue
Block a user