fix(compose): smoke 판정을 시험 있는 스크립트로 옮기고 빈 시작 로그를 막는다 #77

Merged
donghyeon.kang merged 2 commits from test/compose-smoke-judgements into main 2026-11-21 08:28:11 +00:00
Owner

무엇을, 왜

scripts/run-compose-runtime-smoke.sh(nightly compose smoke)는 게이트인데 판정이 셸 분기라 시험이 없다. 「startup log is silent」 단계는 docker compose logs app을 || true로 받고 시작 줄 앞의 WARN·ERROR만 찾는다. 그래서 logs가 실패해 오류 문구만 남거나 로그가 비어도 통과한다. 같은 스크립트에서 빈 ps(d904d680)와 무시된 단계 실패(2dd4acc6)가 이미 같은 꼴로 초록을 냈다(REV-BE-0016).

이 PR은 항목의 smoke 쪽이다. 판정 셋(시작 로그, 재시작·OOM, matrix 집계)을 scripts/compose-smoke-verdict.py로 옮기고 scripts/tests/에서 고장 난 입력으로 시험한다. compose contract 스크립트와 build.gradle 주석은 다음 PR(G2b)이다.

고른 방법과 버린 대안

  • 셸은 docker를 부르고 답을 증거 파일에 쓰기만 한다. 판정은 그 파일을 읽어 rc로 답한다.
    • startup-log: Spring Boot 시작 줄(Started <앱> in <n> seconds)이 없으면 실패, 그 앞의 WARN·ERROR도 실패. 앱 이름은 고정하지 않는다(클래스 이름을 바꾼 파생 서비스도 같은 검사). logs 호출이 실패하면 판정 전에 lane이 실패한다.
    • restarts: 기록한 phase마다 컨테이너 줄이 하나 이상, 재시작 0·OOM 아님. handoff lane은 1단계 기록 직후에도 본다.
    • matrix: 계약의 blocking lane마다 상태 줄이 정확히 하나이고 0. 빠짐·중복·계약 밖 lane은 실패.
  • scripts/tests/test_compose_smoke_verdict.py(27개): 판정마다 실패 꼴과 정상 꼴, 그리고 smoke 스크립트가 판정을 자리마다 부르고 그 실패에서 멈추는지, logs 실패를 삼키지 않는지, lane 상태 줄에 실제 rc를 쓰는지(set -e 앞에서 읽는지). prCheck의 testDocumentChecks가 돌린다.
  • 버린 안: bats(desktop·runner 둘 다 새 도구). 가짜 docker로 셸 전체를 돌리는 시험(정적 계약 스크립트가 실제 렌더 결과를 요구해 게이트 스크립트에 시험용 분기가 필요).
  • gates.md 7절 9번(같은 장치에서 결함이 거듭되면 장치가 필요한지 다시 본다): 시작 로그 무음은 Wave 4 조건이고 lane 스위치를 실제로 켠 컨테이너에서만 보인다(StartupWarningZeroTest는 all-off 조합만). 장치는 두고 판정을 시험 가능한 곳으로 옮겼다.

위험과 영향

  • 시작 줄이 로그에 꼭 있어야 한다. 지금 lane은 로그 샘플링 1.0이라 INFO가 다 남는다. lane이나 파생 서비스가 INFO를 버리는 샘플링 값을 쓰면 lane이 시작 줄 없음으로 실패한다(조용히 통과하지는 않는다). 리뷰가 넘긴 것으로 아래 「넘길 것」에 둔다.
  • lane rc가 셸 안에서 0으로 바뀌는 일(2dd4acc6의 if ( run_lane ))은 matrix 판정이 볼 수 없다. 그 자리는 전처럼 subshell rc를 조건 밖에서 읽고, 시험이 그 줄 모양을 고정한다.
  • 증거에 lanes-<run>.txt(lane별 rc)가 하나 더 생긴다.

검증

탐침은 desktop 공유 잠금 아래 detached worktree에서 --lane off-local로 돌렸다(be-lane-g/g2a-probe.sh). 변이: A = 시작 로그 logs --no-color app을 app-missing으로, T = logs --no-color --tail 0 app(빈 출력, rc=0), W = 앱 env에 JDK_JAVA_OPTIONS=-Dprobe.injected=WARN(launcher가 시작 전에 WARN이 든 줄을 찍는다), P = ps -a -q --status paused(빈 결과).

  • RED(main 056dd6c0)
    • A+W: rc=0, 「== off-local: passed」. logs가 실패했는데 「startup log is silent」가 통과했다. 빈틈 재현.
    • W만: rc=1, 「failed in step 'startup log is silent'」「the startup log is not silent」. W가 로그에 보이면 잡힌다는 대조.
  • GREEN(1차 트리 f5dd9ab2 = 리뷰 반영 전)
    • 변이 없음: rc=0.
    • A+W: rc=1, 「docker compose logs app failed, so there is no startup log to check」.
    • T+W: rc=1, 「the log never reaches Spring Boot's 'Started in seconds' line」.
    • W만: rc=1, 「the startup log is not silent」.
    • P: rc=1, 「failed in step 'no restart, no OOM kill'」「no container was recorded for phase 'final'」.
    • 두 lane(off-local·off-dev) matrix + W: rc=1, 「run-compose-runtime-smoke: 2 lane(s) failed: off-local off-dev」.
    • nightly job과 같은 명령 bash scripts/run-compose-runtime-smoke.sh --matrix src/bootstrap/app/compose-lanes/compose-profile-contracts.json: rc=0, 「all 18 blocking lanes passed」, 944초. main 전용 lane 줄이다.
  • GREEN(이 PR 트리 0723d905): 1차 트리와 다른 곳은 시험·주석과 재시작 판정의 label(${id} (${PROJECT}))이다. 그 자리를 다시 봤다.
    • 변이 없음: rc=0, 「== off-local: passed」.
    • P: rc=1, 「off-local (casmoke-off-local-…): no container was recorded for phase 'final'」.
  • 노트북: python3 -m unittest discover -s scripts/tests 220개 통과. 판정의 시작 줄·phase·rc 검사 삭제, logs에 || true 되돌림, 판정 호출 || true, final 재시작 판정 삭제, lane rc 대신 0 쓰기, rc를 set -e 뒤에 읽기 — 변이 8개 모두 새 시험이 실패.
  • verify(깨끗한 detached worktree, 트리 0723d905 = 이 PR head, 첫 줄 「HEAD 트리와 같음」)
    • desktop scripts/verify.sh pr --no-cache: rc=0, tests=7329 failures=0 errors=0 skipped=35
    • 노트북 scripts/verify.sh docs: rc=0
    • leaf: 바뀐 파일이 registry leaf 밖(scripts/)이라 해당 leaf가 없다. 새 시험은 prCheck의 testDocumentChecks에서 돈다.

리뷰 반영

종류 B, 리뷰 1회(reviewer, 렌즈 be-build-ci·be-testing, 세션 기본 모델). 발견 Medium 1·Low 2·Minor 1, 모두 반영. 확인 리뷰 0회(변이로 증명).

  • Medium: 재시작 판정 연결 시험이 파일 어딘가에 호출 하나만 보면 통과해, handoff 없는 lane의 유일한 검사인 final 판정을 지워도 초록이었다 → 호출 자리마다 앞줄(record_restarts phase1/final)과 함께 단언. 그 변이가 이제 실패.
  • Low: 실패한 lane의 rc가 상태 파일에 들어가는지 아무 시험도 보지 않았고, docstring이 11-07 사고를 matrix 판정 몫으로 적었다 → subshell 다음 줄의 lane_status=$?·set -e·printf 모양을 단언, docstring을 「판정이 못 보는 것」으로 고침.
  • Low: record_restarts 위에 지운 검사를 설명하는 옛 주석이 남았다 → 정리.
  • Minor: 빈 ps 실패 문구에 project 이름이 빠졌다(11-13 사고 단서) → --label "${id} (${PROJECT})".
  • 반영 중 제 치환 실수로 겹친 줄을 연결 시험이 통과시킨 것을 보고 label 패턴을 인자 하나로 좁혔다(그 줄 변이가 이제 실패).

리뷰어가 볼 곳

  • scripts/compose-smoke-verdict.py — 판정 셋.
  • scripts/run-compose-runtime-smoke.sh — 「startup log is silent」(if ! … logs), record_restarts와 두 판정 호출, matrix 루프의 상태 파일.
  • scripts/tests/test_compose_smoke_verdict.py — SmokeScriptWiringTest.

넘길 것

  • be-observability: 시작 줄이 INFO라 로그 샘플링이 INFO를 버리면 lane이 실패한다. lane 설정에 샘플링 1.0을 박을지(리뷰).
  • diff 밖, 원래 있던 것: handoff lane은 1단계 컨테이너의 시작 로그를 판정하지 않는다(--force-recreate 뒤 logs app은 새 컨테이너만).

관련

  • Refs: REV-BE-0016(smoke 쪽). 다음: G2b(compose contract 스크립트, build.gradle:205-206 주석).
## 무엇을, 왜 `scripts/run-compose-runtime-smoke.sh`(nightly compose smoke)는 게이트인데 판정이 셸 분기라 시험이 없다. 「startup log is silent」 단계는 `docker compose logs app`을 `|| true`로 받고 시작 줄 앞의 WARN·ERROR만 찾는다. 그래서 `logs`가 실패해 오류 문구만 남거나 로그가 비어도 통과한다. 같은 스크립트에서 빈 `ps`(d904d680)와 무시된 단계 실패(2dd4acc6)가 이미 같은 꼴로 초록을 냈다(REV-BE-0016). 이 PR은 항목의 smoke 쪽이다. 판정 셋(시작 로그, 재시작·OOM, matrix 집계)을 `scripts/compose-smoke-verdict.py`로 옮기고 `scripts/tests/`에서 고장 난 입력으로 시험한다. compose contract 스크립트와 `build.gradle` 주석은 다음 PR(G2b)이다. ## 고른 방법과 버린 대안 - 셸은 docker를 부르고 답을 증거 파일에 쓰기만 한다. 판정은 그 파일을 읽어 rc로 답한다. - `startup-log`: Spring Boot 시작 줄(`Started <앱> in <n> seconds`)이 없으면 실패, 그 앞의 WARN·ERROR도 실패. 앱 이름은 고정하지 않는다(클래스 이름을 바꾼 파생 서비스도 같은 검사). `logs` 호출이 실패하면 판정 전에 lane이 실패한다. - `restarts`: 기록한 phase마다 컨테이너 줄이 하나 이상, 재시작 0·OOM 아님. handoff lane은 1단계 기록 직후에도 본다. - `matrix`: 계약의 blocking lane마다 상태 줄이 정확히 하나이고 0. 빠짐·중복·계약 밖 lane은 실패. - `scripts/tests/test_compose_smoke_verdict.py`(27개): 판정마다 실패 꼴과 정상 꼴, 그리고 smoke 스크립트가 판정을 자리마다 부르고 그 실패에서 멈추는지, `logs` 실패를 삼키지 않는지, lane 상태 줄에 실제 rc를 쓰는지(`set -e` 앞에서 읽는지). `prCheck`의 `testDocumentChecks`가 돌린다. - 버린 안: bats(desktop·runner 둘 다 새 도구). 가짜 docker로 셸 전체를 돌리는 시험(정적 계약 스크립트가 실제 렌더 결과를 요구해 게이트 스크립트에 시험용 분기가 필요). - `gates.md` 7절 9번(같은 장치에서 결함이 거듭되면 장치가 필요한지 다시 본다): 시작 로그 무음은 Wave 4 조건이고 lane 스위치를 실제로 켠 컨테이너에서만 보인다(`StartupWarningZeroTest`는 all-off 조합만). 장치는 두고 판정을 시험 가능한 곳으로 옮겼다. ## 위험과 영향 - 시작 줄이 로그에 꼭 있어야 한다. 지금 lane은 로그 샘플링 1.0이라 INFO가 다 남는다. lane이나 파생 서비스가 INFO를 버리는 샘플링 값을 쓰면 lane이 시작 줄 없음으로 실패한다(조용히 통과하지는 않는다). 리뷰가 넘긴 것으로 아래 「넘길 것」에 둔다. - lane rc가 셸 안에서 0으로 바뀌는 일(2dd4acc6의 `if ( run_lane )`)은 matrix 판정이 볼 수 없다. 그 자리는 전처럼 subshell rc를 조건 밖에서 읽고, 시험이 그 줄 모양을 고정한다. - 증거에 `lanes-<run>.txt`(lane별 rc)가 하나 더 생긴다. ## 검증 탐침은 desktop 공유 잠금 아래 detached worktree에서 `--lane off-local`로 돌렸다(`be-lane-g/g2a-probe.sh`). 변이: A = 시작 로그 `logs --no-color app`을 `app-missing`으로, T = `logs --no-color --tail 0 app`(빈 출력, rc=0), W = 앱 env에 `JDK_JAVA_OPTIONS=-Dprobe.injected=WARN`(launcher가 시작 전에 WARN이 든 줄을 찍는다), P = `ps -a -q --status paused`(빈 결과). - RED(main 056dd6c0) - A+W: rc=0, 「== off-local: passed」. `logs`가 실패했는데 「startup log is silent」가 통과했다. 빈틈 재현. - W만: rc=1, 「failed in step 'startup log is silent'」「the startup log is not silent」. W가 로그에 보이면 잡힌다는 대조. - GREEN(1차 트리 f5dd9ab2 = 리뷰 반영 전) - 변이 없음: rc=0. - A+W: rc=1, 「docker compose logs app failed, so there is no startup log to check」. - T+W: rc=1, 「the log never reaches Spring Boot's 'Started <application> in <n> seconds' line」. - W만: rc=1, 「the startup log is not silent」. - P: rc=1, 「failed in step 'no restart, no OOM kill'」「no container was recorded for phase 'final'」. - 두 lane(off-local·off-dev) matrix + W: rc=1, 「run-compose-runtime-smoke: 2 lane(s) failed: off-local off-dev」. - nightly job과 같은 명령 `bash scripts/run-compose-runtime-smoke.sh --matrix src/bootstrap/app/compose-lanes/compose-profile-contracts.json`: rc=0, 「all 18 blocking lanes passed」, 944초. main 전용 lane 줄이다. - GREEN(이 PR 트리 0723d905): 1차 트리와 다른 곳은 시험·주석과 재시작 판정의 label(`${id} (${PROJECT})`)이다. 그 자리를 다시 봤다. - 변이 없음: rc=0, 「== off-local: passed」. - P: rc=1, 「off-local (casmoke-off-local-…): no container was recorded for phase 'final'」. - 노트북: `python3 -m unittest discover -s scripts/tests` 220개 통과. 판정의 시작 줄·phase·rc 검사 삭제, `logs`에 `|| true` 되돌림, 판정 호출 `|| true`, final 재시작 판정 삭제, lane rc 대신 0 쓰기, rc를 `set -e` 뒤에 읽기 — 변이 8개 모두 새 시험이 실패. - verify(깨끗한 detached worktree, 트리 0723d905 = 이 PR head, 첫 줄 「HEAD 트리와 같음」) - desktop `scripts/verify.sh pr --no-cache`: rc=0, tests=7329 failures=0 errors=0 skipped=35 - 노트북 `scripts/verify.sh docs`: rc=0 - leaf: 바뀐 파일이 registry leaf 밖(`scripts/`)이라 해당 leaf가 없다. 새 시험은 `prCheck`의 `testDocumentChecks`에서 돈다. ## 리뷰 반영 종류 B, 리뷰 1회(reviewer, 렌즈 be-build-ci·be-testing, 세션 기본 모델). 발견 Medium 1·Low 2·Minor 1, 모두 반영. 확인 리뷰 0회(변이로 증명). - Medium: 재시작 판정 연결 시험이 파일 어딘가에 호출 하나만 보면 통과해, handoff 없는 lane의 유일한 검사인 final 판정을 지워도 초록이었다 → 호출 자리마다 앞줄(`record_restarts phase1`/`final`)과 함께 단언. 그 변이가 이제 실패. - Low: 실패한 lane의 rc가 상태 파일에 들어가는지 아무 시험도 보지 않았고, docstring이 11-07 사고를 matrix 판정 몫으로 적었다 → subshell 다음 줄의 `lane_status=$?`·`set -e`·printf 모양을 단언, docstring을 「판정이 못 보는 것」으로 고침. - Low: `record_restarts` 위에 지운 검사를 설명하는 옛 주석이 남았다 → 정리. - Minor: 빈 `ps` 실패 문구에 project 이름이 빠졌다(11-13 사고 단서) → `--label "${id} (${PROJECT})"`. - 반영 중 제 치환 실수로 겹친 줄을 연결 시험이 통과시킨 것을 보고 label 패턴을 인자 하나로 좁혔다(그 줄 변이가 이제 실패). ## 리뷰어가 볼 곳 - `scripts/compose-smoke-verdict.py` — 판정 셋. - `scripts/run-compose-runtime-smoke.sh` — 「startup log is silent」(`if ! … logs`), `record_restarts`와 두 판정 호출, matrix 루프의 상태 파일. - `scripts/tests/test_compose_smoke_verdict.py` — `SmokeScriptWiringTest`. ## 넘길 것 - be-observability: 시작 줄이 INFO라 로그 샘플링이 INFO를 버리면 lane이 실패한다. lane 설정에 샘플링 1.0을 박을지(리뷰). - diff 밖, 원래 있던 것: handoff lane은 1단계 컨테이너의 시작 로그를 판정하지 않는다(`--force-recreate` 뒤 `logs app`은 새 컨테이너만). ## 관련 - Refs: REV-BE-0016(smoke 쪽). 다음: G2b(compose contract 스크립트, `build.gradle:205-206` 주석).
donghyeon.kang added 1 commit 2026-11-21 08:09:39 +00:00
scripts/run-compose-runtime-smoke.sh는 nightly 게이트인데 판정이 셸 분기라
시험이 없다. 「startup log is silent」 단계는 `docker compose logs app`을
`|| true`로 받고 시작 줄 앞의 WARN·ERROR만 찾는다. 그래서 `logs`가 실패해
오류 문구만 남거나 로그가 비어도 WARN이 없으니 통과한다. 같은 스크립트에서
빈 `ps`(d904d680)와 무시된 단계 실패(2dd4acc6)가 이미 같은 꼴로 초록을 냈다.

판정 셋을 scripts/compose-smoke-verdict.py로 옮긴다. 셸은 docker를 부르고 그
답을 증거 파일에 쓰기만 하고, 판정은 그 파일을 읽어 rc로 답한다.
- startup-log: Spring Boot의 시작 줄(Started <앱> in <n> seconds)이 없으면
  실패, 그 앞의 WARN·ERROR도 실패. `logs` 호출이 실패하면 판정 전에 lane이
  실패한다.
- restarts: 기록한 phase마다 컨테이너 줄이 하나 이상이고 재시작 0·OOM 아님.
  handoff lane은 1단계를 기록한 직후에도 본다.
- matrix: 계약의 blocking lane마다 상태 줄이 정확히 하나이고 0. 빠지거나
  겹치거나 계약 밖 lane이면 실패.
scripts/tests/test_compose_smoke_verdict.py가 각 판정을 고장 난 입력과 정상
입력으로 보고, smoke 스크립트가 세 판정을 부르고 그 실패에서 멈추는지,
`logs` 실패를 삼키지 않는지 본다. prCheck의 testDocumentChecks가 돌린다.

버린 안: bats는 desktop과 runner 둘 다에 새 도구를 깔아야 한다. 가짜 docker로
셸 전체를 돌리는 시험은 정적 계약 스크립트가 실제 렌더 결과를 요구해서,
게이트 스크립트에 시험용 분기를 넣어야 한다.

위험·한계: lane rc가 셸 안에서 0으로 바뀌는 일(2dd4acc6의 `if ( run_lane )`)은
matrix 판정이 볼 수 없다. 그 자리는 전처럼 subshell rc를 조건 밖에서 읽는다.
시작 줄 꼴은 Spring Boot 문구에 기댄다. 문구가 바뀌면 모든 lane이 시작 줄 없음으로
실패한다(조용히 통과하지 않는다).

검증: 노트북 `python3 -m unittest discover -s scripts/tests` 220개 통과. 판정의
시작 줄 검사·phase 검사·lane rc 검사를 지우거나 셸의 `logs`에 `|| true`를 되돌리거나
판정 호출을 `|| true`로 바꾸거나, 판정 호출을 자리마다 지우거나, lane rc 대신 0을
쓰거나 rc를 `set -e` 뒤에 읽으면 새 시험이 실패한다(변이 8개 모두). desktop RED·GREEN
lane 변이와 nightly smoke matrix 결과는 PR 본문에 있다.

Refs: REV-BE-0016
donghyeon.kang added 1 commit 2026-11-21 08:24:50 +00:00
Merge branch 'main' into test/compose-smoke-judgements
pr / done (pull_request) Successful in 2m29s
3c8f84cddd
donghyeon.kang merged commit a776c8cbab into main 2026-11-21 08:28:11 +00:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/clean-architecture-backend-template#77