문제: 기본 compose.yaml은 -XX:HeapDumpPath=/var/tmp/heap을 512m tmpfs로
붙였다. 컨테이너는 mem_limit 512m·swap 없음이고 힙은 그 75%(384m)다.
tmpfs에 쓴 페이지는 같은 컨테이너 메모리 한계에 잡힌다. 그래서
OutOfMemoryError 때 덤프를 쓰는 동안 컨테이너가 OOM kill(137)될 수 있었고,
runbook이 기대하는 깨끗한 끝(코드 3, ExitOnOutOfMemoryError)이 사라졌다.
덤프가 끝까지 써져도 tmpfs는 컨테이너가 끝나면 함께 사라져 읽을 수 없었다.
Dockerfile 주석은 오케스트레이터에 그 경로를 tmpfs로 붙이라고 했고,
internal-error-spike runbook은 없는 파일 이름(heapdump-<pid>.hprof)을 적었다.
고른 방법:
- 기본 compose.yaml은 그 경로에 아무것도 붙이지 않는다. 루트가 읽기
전용이라 JVM은 파일을 만들지 못하고 바로 코드 3으로 끝난다. 덤프를 남기는
dev lane(named volume heap-dumps)은 그대로다.
- scripts/verify-compose-profile-contracts.sh(prCheck의
verifyComposeProfiles)가 모든 lane에서 그 경로의 tmpfs를 거절한다. 경로는
Dockerfile의 -XX:HeapDumpPath에서 읽는다.
- Dockerfile 주석과 runbook 둘(runtime-jvm-oom 「진단」, internal-error-spike)에
덤프를 남기는 법(Kubernetes emptyDir without medium: Memory·PV, dev lane
volume)과 실제 파일 이름(java_pid<pid>.hprof)을 적었다.
- 버린 대안: 기본 compose에 named volume을 붙이기 — 기본 조립은 디스크에
아무것도 남기지 않는다는 결정(compose.yaml 「No volume」 주석)과 다르다.
- 고치며 찾은 것(RR9-03-30): ComposeMergeCharacterizationTest는 어느 lane에서도
돌지 않았다. integrationTest lane은 requires로 적은 클래스 넷만 고른다
(StrictTestLanePlugin). 그 시험이 보던 기본·dev 조합 렌더링과 계약 스크립트는
verifyComposeProfiles가 18개 lane으로 이미 본다. 시험과, 그 lane에 compose
파일을 입력으로 선언하던 블록을 지웠다.
검증(desktop):
- RED: 기준 ca1fbfde + 검사 스크립트만으로 :verifyComposeProfiles 실패
(기본 compose를 쓰는 lane마다 「heap dump path ... as a tmpfs」).
- 탐침(eclipse-temurin:21-jdk, 읽기 전용 루트, 메모리 192m·swap 없음,
-Xmx96m으로 OutOfMemoryError):
경로에 아무것도 없음 → "Unable to create /var/tmp/heap: Read-only file
system", 코드 3. tmpfs → 덤프를 쓰다 코드 137(OOM kill). 디스크 마운트 →
덤프 101MB가 남고 코드 3.
- GREEN: :verifyComposeProfiles(18 lane), :app-bootstrap:integrationTest,
repositoryContractTest, spotlessCheck — 71건 실패 0, skip 1, rc=0.
49 lines
2.5 KiB
Markdown
49 lines
2.5 KiB
Markdown
---
|
|
title: Runbook — JVM_OOM (JVM OutOfMemoryError)
|
|
category: INTERNAL
|
|
error_codes: [JVM_OOM]
|
|
severity: P1
|
|
owner: oncall
|
|
last_updated: 2026-11-07
|
|
status: 초안
|
|
---
|
|
|
|
# Runbook: JVM_OOM (`runbook://runtime/jvm-oom`)
|
|
|
|
## 증상
|
|
|
|
- 컨테이너가 코드 3으로 끝나고, stderr 마지막 줄이 `Terminating due to java.lang.OutOfMemoryError: <종류>`다
|
|
(예: `Java heap space`). 이미지의 `JAVA_TOOL_OPTIONS`가 `-XX:+ExitOnOutOfMemoryError`를 켜기 때문이다(`Dockerfile`).
|
|
- 앱은 끝나기 전에 `error.code=JVM_OOM` 로그를 남기지 않는다. 이 코드를 로그에 쓰는 코드가 없다.
|
|
- 코드 137(SIGKILL)과 `OOMKilled: true`는 이 runbook의 일이 아니다. 프로세스 전체 메모리가 컨테이너 한계를 넘어 커널이
|
|
죽인 것이다. 힙과 그 밖의 네이티브 메모리(스레드 스택, 라이브러리의 네이티브 할당 등)를 합친 크기를 보고,
|
|
`-XX:MaxRAMPercentage`가 힙 밖에 남긴 몫이 모자라는지 본다. JVM이 손쓸 틈 없이 죽으므로 힙 덤프도 없다.
|
|
|
|
## 진단
|
|
|
|
- 힙 덤프를 본다. 이미지의 `JAVA_TOOL_OPTIONS`가 `-XX:+HeapDumpOnOutOfMemoryError`와
|
|
`-XX:HeapDumpPath=/var/tmp/heap`을 켠다(`Dockerfile`). 파일은 `/var/tmp/heap/java_pid<pid>.hprof`다.
|
|
- 덤프는 그 경로에 디스크 볼륨을 붙였을 때만 남는다.
|
|
- Kubernetes: `medium: Memory`가 없는 emptyDir나 PersistentVolume. emptyDir는 컨테이너가 다시 떠도 남는다.
|
|
`kubectl cp <pod>:/var/tmp/heap/java_pid1.hprof .`로 꺼낸다.
|
|
- compose dev lane: named volume `heap-dumps`. `docker compose cp app:/var/tmp/heap/<파일> .`로 꺼낸다.
|
|
- 기본 `compose.yaml`: 그 경로에 아무것도 붙이지 않는다. 루트가 읽기 전용이라 JVM이 파일을 못 만들고 바로
|
|
코드 3으로 끝난다. tmpfs는 쓰지 않는다. 컨테이너 메모리 한계에 함께 잡혀 덤프 중 OOM kill(코드 137)이 나고,
|
|
컨테이너가 끝나면 함께 사라진다.
|
|
- 죽기 전 메모리 사용 추세를 본다.
|
|
- 메모리 누수를 찾는다: 커지기만 하는 캐시, 상한 없는 목록, 쌓이는 세션.
|
|
|
|
## 조치
|
|
|
|
- 컨테이너를 바로 다시 띄운다(k8s는 liveness probe로 알아서 다시 띄운다).
|
|
- 반복되면 힙(`-Xmx`, 이미지는 `-XX:MaxRAMPercentage`)을 늘리거나 누수를 고친다.
|
|
|
|
## 에스컬레이션
|
|
|
|
- P1: 여러 pod가 동시에 죽으면 즉시.
|
|
- 힙 분석은 SRE·인프라 팀을 부른다.
|
|
|
|
---
|
|
|
|
> **초안**: 서비스가 도메인을 채운 뒤 본문을 쓴다.
|