docs(work): 운영 playbook 시험에서 나온 게이트 실행 빈틈 여섯을 닫는다
문제: 2026-11-07 합친 브랜치 전체 게이트를 매뉴얼만 보고 돌리게 했더니
(1회차 수정 전 매뉴얼) 여섯 곳에서 답이 없었다.
- gates.md 3절 묶음에 main job(configuration-cache, compose smoke,
http3, notification pr)과 경로 필터 PR lane이 없어 "workflow와 같은
명령"이 아니었다
- 합친 트리가 어떤 경로 필터 lane을 켜는지 정하는 절차가 없었다
- 집계 태스크 전체가 실제로 돌았음을 보이는 법이 없었다(--rerun은
앞 태스크 하나만)
- lychee 대체 명령(--links docs)이 lychee 범위보다 좁았고, buf와
dependency review는 대체 안내가 없었다
- compose bind mount가 tmp/heap-dumps를 root로 만들어 git worktree
remove가 실패했다
- 결과 기록 형식이 게이트 하나 = Gradle 명령 하나를 가정했다
고른 방법:
- gates.md 3절을 (가) 늘 도는 것, (나) 바뀐 파일로 켜지는 것,
(다) 로컬 도구가 없는 것으로 나눈다. (가)에 workflow의 run 줄을
더하고, (나)는 git diff --name-only를 on.pull_request.paths(glob)와
pr-adapters.yml emit 줄(정규식)에 맞추는 절차로, (다)는 job마다
로컬 대체와 대체가 못 보는 것을 적은 표로 둔다
- 실제 실행 증명: 새 worktree와 --no-build-cache, 로그의 FROM-CACHE 0
- 링크 검사 대체는 lychee와 같은 glob을 git ls-files로 넘긴다
- operate.md 4.1에 compose down과 root 폴더 지우기 한 줄
- gates.md 4절은 한 줄 = 명령 하나, 여러 명령 job은 순번, 「실제
실행」 칸
- 처리 표(evidence.md 9절)에 T6 여섯 행
버린 대안: workflow의 모든 job 명령을 gates.md에 옮겨 적기. workflow가
정본이라 옮긴 사본이 낡는다. 경로 필터 lane은 절차만 둔다.
위험·한계:
- (가)의 명령은 workflow의 사본이다. workflow를 바꾸면 이 블록도 고쳐야
한다
- 경로 필터 맞추기는 손으로 한다. glob을 기계로 맞추는 도구는 없다
- 같은 범위 링크 검사는 지금 rc=1이다. src/README.md와 fileserver·
objectstorage README의 상대 링크 3건이 기준 커밋부터 깨져 있다(이번
범위 밖)
검증:
- python3 scripts/check-work-docs.py rc=0. improve.md 141/150,
delegate.md 121/150, operate.md 131/150, 진입 경로 최대 290/350,
본문 이력 0줄
- 바꾼 문서를 읽는 테스트: grep 결과 0(delivery-evidence.md 이름만
걸림)
- desktop: 바꾼 것을 패치로 73d39212 위에 얹어 이 커밋과 같은 트리
7e28874c를 만들고, flock 아래 :app-bootstrap:documentContractTest
--rerun --no-build-cache rc=0, 66건 실패 0 건너뜀 0, FROM-CACHE 0,
직전 1분 부하 5.64. 같은 트리에서 check-work-docs.py rc=0,
--history docs/manual 16줄 rc=1(기대대로)
(desktop ~/manual-gap-fix-2-logs/final-*.log)
- 링크 검사(lychee와 같은 범위) rc=1, 깨진 3건은 위 위험·한계의 것
(desktop ~/manual-gap-fix-2-logs/links-lychee-scope.log)
This commit is contained in:
@@ -58,34 +58,75 @@
|
||||
|
||||
어떤 테스트가 그 문서를 읽는지는 `grep -rn -e '<파일 이름>' -e '<폴더 경로>' src --include=*.java`로 찾는다. 걸리는 테스트가 없으면(주석만 걸려도 없음이다) document-contract lane은 돌리지 않고 grep 명령과 결과를 보고에 적는다. 리뷰 기록(`docs/reviews/**`)도 같다.
|
||||
|
||||
**링크 검사**: workflow `link-check.yml`(lychee)이 PR에서 `README.md`, `src/README.md`, `src/**/README.md`, `src/**/CLAUDE.md`, `docs/**/*.md`, `.github/**/*.md`를 검사한다. 루트 `CLAUDE.md`는 그 범위 밖이라 `scripts/check-work-docs.py`가 본다. lychee가 없는 곳에서는 `python3 scripts/check-work-docs.py --links docs`로 상대 링크만 확인한다. 저장소 밖 경로와 `file:line`은 링크로 쓰지 않는다(lychee가 따라가지 못한다).
|
||||
**링크 검사**: workflow `link-check.yml`(lychee)이 PR에서 `README.md`, `src/README.md`, `src/**/README.md`, `src/**/CLAUDE.md`, `docs/**/*.md`, `.github/**/*.md`를 검사한다. 루트 `CLAUDE.md`는 그 범위 밖이라 `scripts/check-work-docs.py`가 본다. lychee가 없는 곳에서는 저장소 루트에서 같은 범위의 상대 링크만 확인한다(외부 URL은 보지 못한다):
|
||||
|
||||
```bash
|
||||
python3 scripts/check-work-docs.py --links $(git ls-files ':(glob)README.md' ':(glob)src/**/README.md' ':(glob)src/**/CLAUDE.md' ':(glob)docs/**/*.md' ':(glob).github/**/*.md')
|
||||
```
|
||||
|
||||
`--links docs`만 돌리면 `src/**/README.md`·`src/**/CLAUDE.md`·`.github/**/*.md`를 빠뜨린다. 저장소 밖 경로와 `file:line`은 링크로 쓰지 않는다(lychee가 따라가지 못한다).
|
||||
|
||||
## 3. 라운드 끝 — 합친 트리의 전체 묶음
|
||||
|
||||
여러 묶음을 합친 트리는 workflow와 같은 명령으로 검증한다. 한 번에 하나씩, 공유 잠금 아래에서 돌린다.
|
||||
여러 묶음을 합친 트리는 workflow가 PR과 main push에서 돌리는 것을 모두 돌린다. 정본은 `.github/workflows/`다. (가)는 늘 도는 것, (나)는 바뀐 파일로 켜지는 것, (다)는 로컬에 도구가 없는 것이다. 한 번에 하나씩, 공유 잠금 아래에서 돌린다.
|
||||
|
||||
**실제로 돌았음을 보이기.** 새 detached worktree에서 시작하고 모든 Gradle 명령에 `--no-build-cache`를 붙인다. 로그마다 `grep -c 'FROM-CACHE' <로그>`가 0이어야 한다. UP-TO-DATE는 같은 worktree에서 앞 명령이 만든 출력일 때만 받아들인다. `--rerun`은 바로 앞 태스크 하나에만 걸려 `ci` 같은 집계 태스크의 증거가 되지 않는다.
|
||||
|
||||
(가) 늘 도는 것:
|
||||
|
||||
```bash
|
||||
cd src
|
||||
./gradlew :ci :verifyDependencyLocks --warning-mode=fail --console=plain
|
||||
./gradlew :sample-portfolio:check :sample-portfolio:qualityCheck --console=plain
|
||||
# PR: ci-quality-gates.yml
|
||||
./gradlew :ci :verifyDependencyLocks --warning-mode=fail --no-build-cache --console=plain
|
||||
./gradlew :verifyStrictLaneStages --dry-run --console=plain
|
||||
./gradlew :sample-portfolio:check :sample-portfolio:qualityCheck --no-build-cache --console=plain
|
||||
./gradlew -p optional-platforms ci --no-build-cache --console=plain
|
||||
./gradlew -p optional-platforms :verifyStrictLaneStages --dry-run --console=plain
|
||||
./gradlew :mainCheck --continue --warning-mode=fail --console=plain
|
||||
./gradlew :integrationCheck --continue --console=plain
|
||||
./gradlew -p optional-platforms ci integrationCheck performanceCheck --console=plain
|
||||
./gradlew :performanceCheck --continue --console=plain
|
||||
./gradlew :releaseCheck -PgitRevision="$(git rev-parse HEAD)" --console=plain
|
||||
cd .. && bash scripts/verify-compose-profile-contracts.sh
|
||||
# main push: integration-main.yml
|
||||
./gradlew :mainCheck --continue --warning-mode=fail --no-build-cache --console=plain
|
||||
./gradlew :integrationCheck --continue --no-build-cache --console=plain
|
||||
./gradlew :performanceCheck --continue --no-build-cache --console=plain
|
||||
./gradlew -p optional-platforms performanceCheck --continue --no-build-cache --console=plain
|
||||
./gradlew -p optional-platforms integrationCheck --no-build-cache --console=plain
|
||||
./gradlew :adapter:outbound:httpclient:test -Phttp3.tests.enabled=true --no-build-cache --console=plain # 실험 job, 실패해도 workflow는 통과
|
||||
# 태그: release.yml (CI는 GITHUB_SHA로 커밋을 받는다. 손으로 돌릴 때는 -PgitRevision)
|
||||
./gradlew :releaseCheck -PgitRevision="$(git rev-parse HEAD)" --no-build-cache --console=plain
|
||||
./gradlew -p optional-platforms releaseCheck -PgitRevision="$(git rev-parse HEAD)" --no-build-cache --console=plain
|
||||
cd ..
|
||||
bash scripts/verify-compose-profile-contracts.sh
|
||||
bash scripts/run-compose-runtime-smoke.sh --matrix src/config/runtime/compose-profile-contracts.json
|
||||
```
|
||||
|
||||
- 여러 명령으로 된 main job 둘은 그 job의 `run` 줄을 차례로 그대로 돌린다: `integration-main.yml`의 `configuration-cache`(로그에 "Reusing configuration cache."가 있어야 한다), `notification-platform.yml`의 `pr`(main push마다 경로와 상관없이 돈다).
|
||||
- 첫 실행이 실패하면 고치고 다시 돌린다. 둘 다 기록한다.
|
||||
- 합친 뒤에만 드러나는 결함이 있다. 묶음별 검증으로 이 단계를 대신하지 않는다.
|
||||
|
||||
(나) 바뀐 파일로 켜지는 것 — brief의 "바뀐 영역의 lane"은 이것이다:
|
||||
|
||||
1. 바뀐 파일 목록을 만든다: `git diff --name-only <기준 커밋> <합친 커밋>`.
|
||||
2. 그 목록을 두 종류의 패턴과 맞춘다.
|
||||
- `on.pull_request.paths`가 있는 workflow(`grep -l 'paths:' .github/workflows/*.yml`). 패턴은 glob이다(`**`는 폴더 여러 단계).
|
||||
- `pr-adapters.yml`의 `changes` job에 있는 `emit` 줄. lane(web·websocket·httpclient·jpa)마다 정규식이고, `grep -E`로 맞춘다.
|
||||
3. 걸린 workflow·job의 `run` 줄을 그대로 돌린다. matrix가 있으면 값마다 한 번이다(예: jpa는 PostgreSQL 버전마다, httpclient는 transport마다). compose가 필요한 job은 그 job의 `docker compose … up`·`down` 단계도 같이 한다.
|
||||
4. 걸리지 않은 workflow는 이름과 "경로 안 걸림"을, nightly·수동 전용 job은 "PR·main 단계 아님"을 결과 표에 적는다.
|
||||
|
||||
(다) 로컬에 도구가 없는 것:
|
||||
|
||||
| job | 로컬에서 | 대체가 못 보는 것 |
|
||||
| --- | --- | --- |
|
||||
| `link-check.yml`(lychee) | 2절 끝의 같은 범위 상대 링크 검사 | 외부 URL |
|
||||
| `ci-quality-gates.yml` `grpc-proto-buf`(`buf lint`·`buf breaking`) | buf가 있으면 job의 `run` 줄 그대로. 없으면 못 돌림으로 적는다. diff에 `.proto`·`buf*.yaml`이 없으면 "해당 없음 — proto 변경 없음" | 전부 |
|
||||
| `dependency-vulnerability.yml` `dependency-review`·`dependency-submission` | GitHub에서만 돈다. diff에 lockfile·`src/gradle/libs.versions.toml` 변경이 없으면 "해당 없음", 있으면 PR 결과를 보고 남은 문제로 적는다 | 전부 |
|
||||
| `dependency-vulnerability.yml` `trivy-fs` | trivy가 있으면 job의 `run` 줄 그대로, 없으면 못 돌림 | — |
|
||||
|
||||
## 4. 결과 기록
|
||||
|
||||
| 게이트 | 결과 | 시간 | 실행 직전 1분 부하 | 로그 |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| `:ci :verifyDependencyLocks --warning-mode=fail` | rc=0 | 5분 42초 | 2.65 | desktop `~/<작업 이름>-logs/ci.log` |
|
||||
| 단계 | 게이트(명령) | 결과 | 시간 | 실행 직전 1분 부하 | 실제 실행 | 로그 |
|
||||
| --- | --- | --- | --- | --- | --- | --- |
|
||||
| PR | `:ci :verifyDependencyLocks --warning-mode=fail --no-build-cache` | rc=0 | 6분 32초 | 0.39 | 태스크 756 executed, FROM-CACHE 0, 테스트 7298 실패 0 | desktop `~/<작업 이름>-logs/ci.log` |
|
||||
|
||||
- 한 줄은 명령 하나다. 여러 명령으로 된 job(`configuration-cache`, notification `pr`)은 명령마다 한 줄을 쓰고 「게이트」 칸에 `<job> 1/7`처럼 순번을 붙인다. Gradle의 태스크 집계 줄은 명령마다 하나씩 나오므로 로그도 명령마다 나눈다.
|
||||
- 「실제 실행」 칸은 로그의 `> Task` 줄에서 센다: executed(꼬리 없음), UP-TO-DATE, FROM-CACHE. 테스트 수는 그 명령이 새로 쓴 JUnit XML에서 센다.
|
||||
|
||||
함께 적는다:
|
||||
|
||||
@@ -126,7 +167,7 @@ cd .. && bash scripts/verify-compose-profile-contracts.sh
|
||||
| 게이트 밖에서 실패한 채 방치된 검사 | `testQualityCheck`(`mainCheck`) |
|
||||
| 실서버 계약이 어느 게이트에도 없음 | lane을 단계에 연결 |
|
||||
| 시간 단언을 끈 채 performance lane 실행 | convention이 단언을 켜고, 끄는 값이나 skip이 있으면 테스트 전에 실패(5절) |
|
||||
| 캐시에서 가져온 결과를 지금 통과한 것으로 셈 | 기준 상태 확인과 시간·환경에 민감한 테스트는 그 태스크를 `--rerun`으로 다시 돌린다. `--rerun`은 바로 앞 태스크 하나에만 걸리므로 태스크마다 붙인다 |
|
||||
| 캐시에서 가져온 결과를 지금 통과한 것으로 셈 | 기준 상태 확인과 시간·환경에 민감한 테스트는 그 태스크를 `--rerun`으로 다시 돌린다. `--rerun`은 바로 앞 태스크 하나에만 걸리므로 태스크마다 붙인다. 집계 태스크는 새 worktree와 `--no-build-cache`로 돌리고 FROM-CACHE 0을 보인다(3절) |
|
||||
| 외부 이미지가 사라져 다른 lane 결과까지 가림 | 테스트 이미지를 `src/config/testing/container-images.properties` 한 곳에 digest로 고정, main 단계는 `--continue` |
|
||||
|
||||
게이트 장치 자체를 바꿨으면 일부러 망가뜨린 입력으로 실패하는 것을 본다. 판독기를 바꿨으면 바꾸기 전후로 실제 workflow의 판정이 같은지 비교한다.
|
||||
|
||||
Reference in New Issue
Block a user