fix(compose): heap dump 경로를 컨테이너 메모리 한계 안의 tmpfs에 두지 않는다 #24

Closed
donghyeon.kang wants to merge 0 commits from claude/r9-compose-ops into main
Owner

무엇을, 왜

round9 리뷰 RR9-01-21(Medium)과 고치며 찾은 RR9-03-30(Medium)을 고친다.

  • heap dump를 메모리 한계 안의 tmpfs에 썼다(RR9-01-21). 기본 compose.yaml은 -XX:HeapDumpPath=/var/tmp/heap을 512m tmpfs로 붙였다. 컨테이너는 mem_limit 512m·swap 없음이고 힙은 그 75%다. tmpfs에 쓴 페이지는 같은 메모리 한계에 잡혀, OutOfMemoryError 때 덤프를 쓰다 OOM kill(137)이 났다. runbook이 기대하는 깨끗한 끝(코드 3)이 사라지고, 덤프가 써져도 컨테이너와 함께 사라졌다. Dockerfile 주석은 그 경로를 tmpfs로 붙이라고 했고, runbook은 없는 파일 이름(heapdump-<pid>.hprof)을 적었다.
  • compose 병합 특성 시험이 어느 lane에서도 돌지 않았다(RR9-03-30). integrationTest lane은 requires로 적은 클래스 넷만 고른다. ComposeMergeCharacterizationTest는 그 넷에 없어 돈 적이 없고, build.gradle은 그 lane 입력에 compose 파일을 선언해 돈다고 믿었다.

고른 방법과 버린 대안

  • 기본 compose.yaml은 그 경로에 아무것도 붙이지 않는다. 루트가 읽기 전용이라 JVM은 파일을 못 만들고 바로 코드 3으로 끝난다. 덤프를 남기는 dev lane(named volume heap-dumps)은 그대로다.
  • scripts/verify-compose-profile-contracts.sh(PR 단계 verifyComposeProfiles)가 모든 lane에서 그 경로의 tmpfs를 거절한다. 경로는 Dockerfile의 -XX:HeapDumpPath에서 읽는다.
  • Dockerfile 주석과 runbook 둘(runtime-jvm-oom.md 「진단」, internal-error-spike.md)에 덤프를 남기는 법(Kubernetes는 medium: Memory 없는 emptyDir나 PV, dev lane은 volume)과 실제 파일 이름(java_pid<pid>.hprof)을 적었다.
  • 버린 안: 기본 compose에 named volume을 붙이기. 기본 조립은 디스크에 아무것도 남기지 않는다는 결정(compose.yaml 「No volume」 주석)과 다르다.
  • 죽은 시험은 지웠다. 그 시험이 보던 기본·dev 조합 렌더링과 계약 스크립트는 verifyComposeProfiles가 18개 lane(off-local=기본, off-dev=기본+dev 포함)으로 이미 본다. lane에 requires로 더하는 안은 같은 검사를 두 번 돌리는 것이라 버렸다.

위험과 영향

  • 기본 compose로 띄운 앱은 OOM 때 덤프를 남기지 않는다. 전에도 컨테이너와 함께 사라져 읽을 수 없었다.
  • 지운 시험의 「제거된 코드」 기록 행은 docs/capability-status.md가 병렬 그룹 C 파일이라 그 묶음에 넘겼다.

검증

desktop, 로그 ~/r9-be-logs/b19-{red,probe,green2}.log.

  • RED: 기준 ca1fbfde + 검사 스크립트만으로 :verifyComposeProfiles 실패(기본 compose를 쓰는 lane마다 「heap dump path /var/tmp/heap as a tmpfs」).

  • 탐침(eclipse-temurin:21-jdk-noble, 읽기 전용 루트, 메모리 192m·swap 없음, -Xmx96m으로 OutOfMemoryError):

    dump 경로 결과
    아무것도 없음 Unable to create /var/tmp/heap: Read-only file system, 코드 3
    tmpfs 덤프를 쓰다 코드 137(OOM kill)
    디스크 마운트 덤프 101MB가 남고 코드 3
  • GREEN(--no-build-cache): :verifyComposeProfiles(18 lane), :app-bootstrap:integrationTest, repositoryContractTest, spotlessCheck — 71건 실패 0, skip 1, rc=0.

  • 노트북(main fe0f8141 병합 뒤): check-docs.py·check-work-docs.py·check-repo-layout.py rc=0.

리뷰어가 볼 곳

  • verify-compose-profile-contracts.sh의 9번 검사와 HEAP_DUMP_PATH를 Dockerfile에서 읽는 줄.

관련

  • 리뷰 기록: PR #17 docs/reviews/2026-11-12-round9-review/ RR9-01-21, RR9-03-30.
## 무엇을, 왜 round9 리뷰 RR9-01-21(Medium)과 고치며 찾은 RR9-03-30(Medium)을 고친다. - **heap dump를 메모리 한계 안의 tmpfs에 썼다(RR9-01-21).** 기본 `compose.yaml`은 `-XX:HeapDumpPath=/var/tmp/heap`을 512m tmpfs로 붙였다. 컨테이너는 `mem_limit` 512m·swap 없음이고 힙은 그 75%다. tmpfs에 쓴 페이지는 같은 메모리 한계에 잡혀, OutOfMemoryError 때 덤프를 쓰다 OOM kill(137)이 났다. runbook이 기대하는 깨끗한 끝(코드 3)이 사라지고, 덤프가 써져도 컨테이너와 함께 사라졌다. Dockerfile 주석은 그 경로를 tmpfs로 붙이라고 했고, runbook은 없는 파일 이름(`heapdump-<pid>.hprof`)을 적었다. - **compose 병합 특성 시험이 어느 lane에서도 돌지 않았다(RR9-03-30).** `integrationTest` lane은 `requires`로 적은 클래스 넷만 고른다. `ComposeMergeCharacterizationTest`는 그 넷에 없어 돈 적이 없고, `build.gradle`은 그 lane 입력에 compose 파일을 선언해 돈다고 믿었다. ## 고른 방법과 버린 대안 - 기본 `compose.yaml`은 그 경로에 아무것도 붙이지 않는다. 루트가 읽기 전용이라 JVM은 파일을 못 만들고 바로 코드 3으로 끝난다. 덤프를 남기는 dev lane(named volume `heap-dumps`)은 그대로다. - `scripts/verify-compose-profile-contracts.sh`(PR 단계 `verifyComposeProfiles`)가 모든 lane에서 그 경로의 tmpfs를 거절한다. 경로는 Dockerfile의 `-XX:HeapDumpPath`에서 읽는다. - Dockerfile 주석과 runbook 둘(`runtime-jvm-oom.md` 「진단」, `internal-error-spike.md`)에 덤프를 남기는 법(Kubernetes는 `medium: Memory` 없는 emptyDir나 PV, dev lane은 volume)과 실제 파일 이름(`java_pid<pid>.hprof`)을 적었다. - 버린 안: 기본 compose에 named volume을 붙이기. 기본 조립은 디스크에 아무것도 남기지 않는다는 결정(`compose.yaml` 「No volume」 주석)과 다르다. - 죽은 시험은 지웠다. 그 시험이 보던 기본·dev 조합 렌더링과 계약 스크립트는 `verifyComposeProfiles`가 18개 lane(`off-local`=기본, `off-dev`=기본+dev 포함)으로 이미 본다. lane에 `requires`로 더하는 안은 같은 검사를 두 번 돌리는 것이라 버렸다. ## 위험과 영향 - 기본 compose로 띄운 앱은 OOM 때 덤프를 남기지 않는다. 전에도 컨테이너와 함께 사라져 읽을 수 없었다. - 지운 시험의 「제거된 코드」 기록 행은 `docs/capability-status.md`가 병렬 그룹 C 파일이라 그 묶음에 넘겼다. ## 검증 desktop, 로그 `~/r9-be-logs/b19-{red,probe,green2}.log`. - RED: 기준 `ca1fbfde` + 검사 스크립트만으로 `:verifyComposeProfiles` 실패(기본 compose를 쓰는 lane마다 「heap dump path /var/tmp/heap as a tmpfs」). - 탐침(`eclipse-temurin:21-jdk-noble`, 읽기 전용 루트, 메모리 192m·swap 없음, `-Xmx96m`으로 OutOfMemoryError): | dump 경로 | 결과 | |---|---| | 아무것도 없음 | `Unable to create /var/tmp/heap: Read-only file system`, 코드 3 | | tmpfs | 덤프를 쓰다 코드 137(OOM kill) | | 디스크 마운트 | 덤프 101MB가 남고 코드 3 | - GREEN(`--no-build-cache`): `:verifyComposeProfiles`(18 lane), `:app-bootstrap:integrationTest`, `repositoryContractTest`, `spotlessCheck` — 71건 실패 0, skip 1, rc=0. - 노트북(main `fe0f8141` 병합 뒤): `check-docs.py`·`check-work-docs.py`·`check-repo-layout.py` rc=0. ## 리뷰어가 볼 곳 - `verify-compose-profile-contracts.sh`의 9번 검사와 `HEAP_DUMP_PATH`를 Dockerfile에서 읽는 줄. ## 관련 - 리뷰 기록: PR #17 `docs/reviews/2026-11-12-round9-review/` RR9-01-21, RR9-03-30.
donghyeon.kang added 2 commits 2026-11-12 18:56:01 +00:00
문제: 기본 compose.yaml은 -XX:HeapDumpPath=/var/tmp/heap을 512m tmpfs로
붙였다. 컨테이너는 mem_limit 512m·swap 없음이고 힙은 그 75%(384m)다.
tmpfs에 쓴 페이지는 같은 컨테이너 메모리 한계에 잡힌다. 그래서
OutOfMemoryError 때 덤프를 쓰는 동안 컨테이너가 OOM kill(137)될 수 있었고,
runbook이 기대하는 깨끗한 끝(코드 3, ExitOnOutOfMemoryError)이 사라졌다.
덤프가 끝까지 써져도 tmpfs는 컨테이너가 끝나면 함께 사라져 읽을 수 없었다.
Dockerfile 주석은 오케스트레이터에 그 경로를 tmpfs로 붙이라고 했고,
internal-error-spike runbook은 없는 파일 이름(heapdump-<pid>.hprof)을 적었다.

고른 방법:
- 기본 compose.yaml은 그 경로에 아무것도 붙이지 않는다. 루트가 읽기
  전용이라 JVM은 파일을 만들지 못하고 바로 코드 3으로 끝난다. 덤프를 남기는
  dev lane(named volume heap-dumps)은 그대로다.
- scripts/verify-compose-profile-contracts.sh(prCheck의
  verifyComposeProfiles)가 모든 lane에서 그 경로의 tmpfs를 거절한다. 경로는
  Dockerfile의 -XX:HeapDumpPath에서 읽는다.
- Dockerfile 주석과 runbook 둘(runtime-jvm-oom 「진단」, internal-error-spike)에
  덤프를 남기는 법(Kubernetes emptyDir without medium: Memory·PV, dev lane
  volume)과 실제 파일 이름(java_pid<pid>.hprof)을 적었다.
- 버린 대안: 기본 compose에 named volume을 붙이기 — 기본 조립은 디스크에
  아무것도 남기지 않는다는 결정(compose.yaml 「No volume」 주석)과 다르다.
- 고치며 찾은 것(RR9-03-30): ComposeMergeCharacterizationTest는 어느 lane에서도
  돌지 않았다. integrationTest lane은 requires로 적은 클래스 넷만 고른다
  (StrictTestLanePlugin). 그 시험이 보던 기본·dev 조합 렌더링과 계약 스크립트는
  verifyComposeProfiles가 18개 lane으로 이미 본다. 시험과, 그 lane에 compose
  파일을 입력으로 선언하던 블록을 지웠다.

검증(desktop):
- RED: 기준 ca1fbfde + 검사 스크립트만으로 :verifyComposeProfiles 실패
  (기본 compose를 쓰는 lane마다 「heap dump path ... as a tmpfs」).
- 탐침(eclipse-temurin:21-jdk, 읽기 전용 루트, 메모리 192m·swap 없음,
  -Xmx96m으로 OutOfMemoryError):
  경로에 아무것도 없음 → "Unable to create /var/tmp/heap: Read-only file
  system", 코드 3. tmpfs → 덤프를 쓰다 코드 137(OOM kill). 디스크 마운트 →
  덤프 101MB가 남고 코드 3.
- GREEN: :verifyComposeProfiles(18 lane), :app-bootstrap:integrationTest,
  repositoryContractTest, spotlessCheck — 71건 실패 0, skip 1, rc=0.
donghyeon.kang added 1 commit 2026-11-12 18:59:11 +00:00
Merge branch 'main' into claude/r9-compose-ops
pr / done (pull_request) Canceled after 0s
46a57bfcc4
donghyeon.kang added 1 commit 2026-11-12 19:48:35 +00:00
검사 스크립트 머리말이 누가 부르는지 말하지 않아, 고치는 사람이 그 검사가 어느 단계에서
도는지 build.gradle과 workflow를 뒤져야 했다. prCheck의 verifyComposeProfiles와 runtime
smoke 스크립트(실행마다 한 번)를 적는다.

Refs: RR9-04-17
donghyeon.kang added 1 commit 2026-11-12 19:48:44 +00:00
앞 커밋이 「실행마다 한 번」이라고 적었지만 smoke는 아직 lane마다 부른다. 그 변경은 따로 온다.

Refs: RR9-04-17
Author
Owner

#28로 병합됐다(main 3d31896a). 이 PR의 head 5a68b29c가 #28 브랜치에 merge 커밋으로 들어 있고, #28의 runner pr / done이 그 합친 트리로 초록이었다. runner 대기를 줄이려고 이번만 쓴 방식이다(소유자 승인, 2026-11-13).

#28로 병합됐다(main `3d31896a`). 이 PR의 head `5a68b29c`가 #28 브랜치에 merge 커밋으로 들어 있고, #28의 runner `pr / done`이 그 합친 트리로 초록이었다. runner 대기를 줄이려고 이번만 쓴 방식이다(소유자 승인, 2026-11-13).
donghyeon.kang closed this pull request 2026-11-12 23:28:33 +00:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: donghyeon.kang/clean-architecture-backend-template#24