2026-11-12~13 백엔드 runner에서 흔들린 시험은 넷이다. 그런데 기록이 공유 노트와 세션 메시지에 흩어져 있다. 같은 모양(벽시계 상한, 스레드 시작 순서)이 다시 들어와도 리뷰 기준에는 「스레드 없음」 단언만 적혀 있어서 막을 근거가 없다. - `docs/ledger/flaky-tests.jsonl`: 흔들림 하나가 한 줄이다. 칸과 범주의 정본은 design-docs `ci/manual.md` 8.5절이다. 첫 네 줄: - compose 기동 경쟁(run 100, #13으로 고침) - gRPC 서버 deadline(run 221, #34) - HTTP client slow drip JDK(run 228, #34) - JPA 동시 writer replay 순서(run 260, #39 열림) `.gitattributes`에 `merge=union`을 준다. `scripts/tests/test_ledger.py`가 칸·범주·날짜 형식을 본다. - review-criteria.md 「타이밍에 기대지 않나」: 벽시계 상한 단언과 스레드 시작 순서 단언을 더하고, 매뉴얼 8.4절을 가리킨다. - gates.md 「원래 있던 실패 가리기」: 반복마다 시작 부하를 적게 한다. runner 실패면 그 시각에 잠금 아래 돈 desktop 실행도 적는다(runner는 잠금 밖이다). 흔들림이면 장부에 한 줄을 더하고, 상한을 늘리거나 재시도를 붙이지 않고 8.4절대로 고친다. PR #12가 실패했다는 HTTP/2 흔들림은 넣지 않았다. 그 PR의 runner run은 모두 cancelled라 어느 시험인지 특정할 수 없다. 검증: scripts/verify.sh docs(노트북) rc=0. test_ledger의 새 시험이 잘못된 범주를 잡는지 한 줄을 바꿔 실패를 확인하고 되돌렸다. Refs: design-docs ci/03-time-reduction-plan.md FLAKY-1
This commit is contained in:
@@ -149,7 +149,7 @@ for k in tests skipped failures errors; do cat $(find "$x" -name 'TEST-*.xml') |
|
||||
|
||||
**smoke 이미지가 이 트리에서 만들어졌음을 보이기.** smoke·compose lane은 Docker 레이어 캐시를 쓴다. 이미지 생성 시각은 runtime 레이어가 캐시에서 오면 증거가 못 된다. 앱 jar를 복사하는 단계가 smoke 로그의 build 출력에서 `CACHED`가 아닌지 본다. 앱 jar가 이 트리에서 새로 만들어졌으면 그 단계는 캐시가 될 수 없다. 결과 표 「실제 실행」 칸에 그 줄과 이미지 id를 적는다.
|
||||
|
||||
**원래 있던 실패 가리기.** 시간·자원에 기대는 실패(OOM, 시간 초과, 순서 의존)는 기준 커밋과 이번 트리에서 같은 명령을 각각 세 번 돌린다. 기준에서 한 번이라도 같은 원인(같은 테스트, 로그의 같은 OOM·시간 초과)으로 실패하면 이전부터의 실패로 적는다. 기준에서 세 번 다 통과하고 이번 트리에서만 실패하면 이번 변경 몫이다. 순서 의존을 재현하려면 그 테스트 클래스를 `--tests <클래스> --rerun`으로 열 번 돌리고, 부하가 필요하면 잠금을 쥔 채 `nproc`개의 `yes > /dev/null &`를 띄웠다가 끝나면 끈다. 실패한 반복 수를 적는다.
|
||||
**원래 있던 실패 가리기.** 시간·자원에 기대는 실패(OOM, 시간 초과, 순서 의존)는 기준 커밋과 이번 트리에서 같은 명령을 각각 세 번 돌린다. 기준에서 한 번이라도 같은 원인(같은 테스트, 로그의 같은 OOM·시간 초과)으로 실패하면 이전부터의 실패로 적는다. 기준에서 세 번 다 통과하고 이번 트리에서만 실패하면 이번 변경 몫이다. 순서 의존을 재현하려면 그 테스트 클래스를 `--tests <클래스> --rerun`으로 열 번 돌리고, 부하가 필요하면 잠금을 쥔 채 `nproc`개의 `yes > /dev/null &`를 띄웠다가 끝나면 끈다. 실패한 반복 수와 각 반복을 시작할 때의 부하(`uptime`)를 적는다. runner에서 실패했으면 그 job이 돈 시각에 desktop에서 잠금 아래 돈 실행도 적는다(runner는 잠금 밖이다). 흔들림으로 판정하면 `docs/ledger/flaky-tests.jsonl`에 한 줄을 더하고, 상한을 늘리거나 재시도를 붙이지 않고 design-docs `ci/manual.md` 8.4절대로 고친다.
|
||||
|
||||
**공유 잠금 기다리기.** 순서는 `flock`이 정한다(먼저 잡은 쪽). 따로 순번을 정하지 않는다. 기다리는 명령은 background로 두고 다른 일을 하며, 대기는 완료나 첫 실패에서 끝나는 것 하나로 둔다. 30분 넘게 못 잡으면 `ps -o pid,etime,args -C flock`으로 쥔 쪽을 보고 맡긴 쪽에 알린다([operate.md](../operate.md) 7절).
|
||||
|
||||
|
||||
@@ -159,7 +159,7 @@
|
||||
| 규칙 테스트가 위반·허용 fixture를 둘 다 가지나 | 위반 fixture만 있어 거짓 양성을 못 봄 |
|
||||
| `// when`이 하나인가 | 두 동작을 한 테스트가 봄 |
|
||||
| 테스트 코드도 정적 분석을 통과하나 | 게이트 밖에서 실패한 채 방치 |
|
||||
| 타이밍에 기대지 않나 | 부하가 높으면 실패하는 "스레드 없음" 단언 |
|
||||
| 타이밍에 기대지 않나 | 부하가 높으면 실패하는 "스레드 없음" 단언, PR·main 단계 시험의 벽시계 상한(「1.5초 안에」) 단언, 스레드 시작 순서를 결과 순서로 보는 단언. 시계 주입·조건 대기·결과 단언으로 쓴다(design-docs `ci/manual.md` 8.4절) |
|
||||
|
||||
fake와 공유 계약: 포트마다 hand-rolled fake 하나를 포트 소유 leaf의 `testFixtures`에 두고, fake와 실제 adapter가 같은 추상 계약(`XxxContract`)을 상속한다. 계약 밖 fake, 소비자 없는 fake, 계약과 겹친 adapter 손 사본 테스트는 만들지 않는다. fake 동작을 바꾸면 계약 케이스를 같이 바꾼다. 포트를 더하거나 계약을 옮기면 `docs/testing/TESTING_STRATEGY.md`의 현황표를 고친다.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user