Files
document-haness/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-memory-symptom-needs-layer-separation.md
T

9.1 KiB

id, kind, slug, title, topic, topicName, project, status, studio, sourceRevision, source
id kind slug title topic topicName project status studio sourceRevision source
63fa33e5-9957-4d28-8d3c-c75735a73bd6 REFERENCE memory-symptom-needs-layer-separation 메모리 증상 하나로 계층을 단정하지 않는다 memory-virtualization 메모리 가상화 virtualization 초안 https://hyeonworks.com/studio/documents/63fa33e5-9957-4d28-8d3c-c75735a73bd6/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
final/document.md#86-문제를-진단할-때의-분류
final/document.md#63-swap-used만-보고-장애를-판단하면-안-된다
final/document.md#78-numa는-실제-장비-topology부터-확인한다
final/document.md#88-결론
final/document.md#61-guest-swap과-host-swap
final/document.md#72-guest-oom과-host-oom

메모리 증상 하나로 계층을 단정하지 않는다

메모리 지연이나 OOM 이 보이면 「메모리 부족」으로 닫지 말고 「문제를 진단할 때의 분류」의 다섯 갈래로 먼저 가른다. Guest Virtual Memory · Virtualization Translation · Host Memory · Dynamic Memory · NUMA 다섯이다. 「Swap Used만 보고 장애를 판단하면 안 된다」· 「NUMA는 실제 장비 topology부터 확인한다」· 「결론」에서는 따로 요구한 판독도 이 한 절차로 묶었다.

메모리 증상 하나로 결론내리면 안 되는 이유

이 기준은 증상 하나를 원인으로 바로 옮기는 판독을 막는다. 「문제를 진단할 때의 분류」에서는 든 예가 메모리 지연과 OOM(Out Of Memory, 커널이 필요한 메모리를 확보하지 못해 프로세스를 종료할 수 있는 상태)인데, 둘 다 다섯 계층 어디서든 나올 수 있다.

다섯 갈래를 개념 한 편 안에 넣지 않고 따로 세운 것은 갈래마다 받는 개념이 다르기 때문이다. 어느 한 개념 안에 두면 그 글이 나머지 넷을 가리키지 못한다.

「Swap Used만 보고 장애를 판단하면 안 된다」와 「NUMA는 실제 장비 topology부터 확인한다」, 「결론」 부분을 따로 기준으로 세우지 않은 것은 보는 대상만 다를 뿐 「문제를 진단할 때의 분류」와 같은 말을 하기 때문이다. 규칙이 세 벌이면 판독하는 사람이 어느 것을 따르는지가 갈린다. Swap Used 값 하나로 판단하지 않는 것(「Swap Used만 보고 장애를 판단하면 안 된다」), 토폴로지를 재기 전에 NUMA 최적화를 정하지 않는 것(「NUMA는 실제 장비 topology부터 확인한다」), 게스트 하나의 free -h 로 닫지 않는 것(「결론」)은 각각 2 번과 5 번, 6 번 규칙이다.

좁히는 것과 확정하는 것을 갈라 둔 이유도 여기 있다. 이 기준은 어느 갈래인지까지만 좁히고, 원인 확정은 「실험 시 반드시 같이 기록할 것」의 조건을 함께 남긴 측정이 한다.

Guest · Host · cgroup을 나눠 본다

1. 증상을 다섯 갈래로 먼저 가른다

「문제를 진단할 때의 분류」의 분류는 메모리 지연이나 OOM 을 다섯으로 나누고, 갈래마다 볼 것을 함께 적었다.

Guest Virtual Memory : Page Fault · Guest reclaim · Guest swap · Guest OOM Virtualization Translation : EPT-related event · TLB pressure · Huge-page/mapping 특성 Host Memory : Host reclaim · Host swap · Host major fault · Host OOM Dynamic Memory : Balloon target · Guest pressure · Hotplug/virtio-mem 여부 NUMA : vCPU placement · memory placement · remote access

마지막 갈래의 NUMA(Non-Uniform Memory Access, 비균일 메모리 접근)는 어느 CPU 가 어느 RAM 에 접근하느냐에 따라 비용이 달라질 수 있는 구조다.

2. Swap Used 값 하나로 메모리 압박을 단정하지 않는다

「Swap Used만 보고 장애를 판단하면 안 된다」에서는 Swap Used = 2 GiB 라는 값만으로 지금 메모리 압박이 심하다고 단정할 수 없다고 적었다. 과거에 swap-out 된 cold page 가 남아 있을 수도 있기 때문이다.

같은 절이 대신 물으라고 한 것은 넷이다.

현재 swap-in/out 이 지속되는가? reclaim pressure 가 증가하는가? major fault 가 증가하는가? storage latency 가 같이 증가하는가?

이 넷은 게스트와 호스트를 동시에 확인해야 한다고 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 못박았고, 확인 명령으로 free -h 와 vmstat 1 을 들었다.

3. 게스트 스왑과 호스트 스왑을 한 값으로 세지 않는다

「Guest Swap과 Host Swap」에서는 두 스왑이 서로 다른 경로라고 적었다. 게스트 스왑은 게스트 메모리 압박에서 시작해 게스트 커널과 게스트 스왑을 지나 /dev/vda 로 내려가고, virtio-blk 와 QEMU 를 거쳐 호스트 스토리지에 닿는다. 호스트 스왑은 게스트 RAM 의 QEMU memory backing 이 호스트 메모리 압박을 만나 호스트 커널의 스왑으로 내려가는 경로다.

경로가 이렇게 갈리다 보니, 게스트는 메모리에 여유가 있어 보이는데 호스트에서는 스왑과 reclaim 이 심할 수도 있다.

4. OOM 은 발생 계층을 확인한 뒤에 부른다

「Guest OOM과 Host OOM」에서는 게스트 OOM 과 호스트 OOM 을 갈랐다. 게스트 RAM 이 모자라서 게스트 커널이 프로세스를 죽이면 Keycloak 프로세스 종료 같은 결과가 된다. 호스트 물리 RAM 이 모자라서 호스트 커널이 QEMU 를 victim 으로 고르면 그 VM 전체가 중단될 수 있다.

cgroup memory limit 이 걸린 환경은 예외로 둔다. 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다고 같은 절이 적었다.

5. NUMA 갈래는 토폴로지를 잰 뒤에 순위를 매긴다

「NUMA는 실제 장비 topology부터 확인한다」에서는 호스트가 NUMA node 한 개면 cross-node remote-memory 문제가 주요 이슈가 아닐 수 있어서, 실제 환경에서는 먼저 토폴로지를 재고 NUMA 최적화가 필요한지 판단하라고 했다.

확인 명령으로는 lscpu 와 numactl --hardware 를 들었다. QEMU 프로세스별 메모리 분포는 numastat -p <QEMU_PID>, vCPU 배치는 virsh vcpupin <VM_NAME> 과 virsh vcpuinfo <VM_NAME> 을 들었다.

6. 게스트 하나의 free -h 로 닫지 않는다

「결론」에서는 실제 테스트 서버에서 게스트 하나의 free -h 만 보고 메모리 상태를 판단하지 않는다고 적었다. Guest → QEMU → Host → NUMA → Storage 영향을 같은 시간축에서 관측해야 한다고 했다.

Prometheus가 긁는 node-exporter는 게스트 안에서 돌아 게스트 커널이 내놓는 값을 읽고, 물리 host의 메모리 지표까지 자동으로 수집하지는 않는다(「단계 06 — Prometheus 와 Grafana」· 「이 구축이 제1~4부의 어느 구조에 닿나」). 그래서 host 계층은 별도로 측정해야 한다. 2026-09-21 memory pressure 실험에서는 host vmstat·fault·iostat와 guest OIDC latency를 같은 실행에 묶어 이 시간축을 실제로 만들었다.

이 구분이 필요한 증상

메모리 증상을 원인으로 옮기려는 판독 전부에 걸린다. 지연 증가, 스왑 관측, OOM, fault 증가가 여기 들어간다.

가르는 축은 다섯이고, 갈래마다 무엇을 볼지는 1 번 규칙에 적혀 있다.

한 층의 값만으로 충분하지 않은 경우

cgroup memory limit 이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 경계에서 OOM 이 나기 때문에, Host Memory 갈래를 곧바로 지우면 안 된다(「Guest OOM과 Host OOM」).

이 실험대의 Keycloak은 K3s 파드로 돈다. 파드가 종료됐을 때 kubectl describe의 Exit Code가 137이면 OOM 또는 강제 종료 가능성을 먼저 확인하고, 그때는 파드의 memory limit도 함께 본다. 다만 현재 저장소에는 해당 매니페스트 원본이 없어 실제 limit 값을 문서와 대조할 수 없다.

NUMA node 가 하나인 호스트에서는 NUMA 갈래의 우선순위를 낮춰도 된다고 「NUMA는 실제 장비 topology부터 확인한다」에서는 적었다. 그것도 토폴로지를 잰 뒤의 이야기다.

이 기준은 갈래를 좁힐 뿐 원인을 확정하지 않는다. 확정은 「실험 시 반드시 같이 기록할 것」의 조건을 남긴 측정이 한다.

증상별로 처음 볼 지표

  • 게스트에서 Swap Used 만 보고 「메모리 부족」으로 닫은 판독 : swap-in/out 이 지속되는지를 재지 않았다
  • 게스트 free -h 에 여유가 보여 호스트를 보지 않은 판독 : 호스트 reclaim 과 호스트 스왑을 확인하지 않았다
  • Keycloak 프로세스가 죽었는데 호스트 커널 로그를 보지 않은 판독 : 게스트 OOM 인지 호스트 OOM 인지 갈리지 않는다
  • 호스트 RAM 에 여유가 있다는 이유로 OOM 을 다른 갈래로 넘긴 판독 : cgroup 경계를 확인하지 않았다
  • 토폴로지를 재지 않고 vCPU pinning 부터 손댄 조치 : NUMA 갈래가 이 호스트에 걸리는지 모른다
  • 게스트와 호스트를 다른 시각에 찍어 한 표로 놓은 기록 : 같은 시간축이 아니다