--- id: 63fa33e5-9957-4d28-8d3c-c75735a73bd6 kind: REFERENCE slug: memory-symptom-needs-layer-separation title: 메모리 증상 하나로 계층을 단정하지 않는다 topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 studio: "https://hyeonworks.com/studio/documents/63fa33e5-9957-4d28-8d3c-c75735a73bd6/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 source: - final/document.md#86-문제를-진단할-때의-분류 - final/document.md#63-swap-used만-보고-장애를-판단하면-안-된다 - final/document.md#78-numa는-실제-장비-topology부터-확인한다 - final/document.md#88-결론 - final/document.md#61-guest-swap과-host-swap - final/document.md#72-guest-oom과-host-oom --- # 메모리 증상 하나로 계층을 단정하지 않는다 메모리 지연이나 OOM 이 보이면 「메모리 부족」으로 닫지 말고 「문제를 진단할 때의 분류」의 다섯 갈래로 먼저 가른다. Guest Virtual Memory · Virtualization Translation · Host Memory · Dynamic Memory · NUMA 다섯이다. 「Swap Used만 보고 장애를 판단하면 안 된다」· 「NUMA는 실제 장비 topology부터 확인한다」· 「결론」에서는 따로 요구한 판독도 이 한 절차로 묶었다. ## 메모리 증상 하나로 결론내리면 안 되는 이유 이 기준은 증상 하나를 원인으로 바로 옮기는 판독을 막는다. 「문제를 진단할 때의 분류」에서는 든 예가 메모리 지연과 OOM(Out Of Memory, 커널이 필요한 메모리를 확보하지 못해 프로세스를 종료할 수 있는 상태)인데, 둘 다 다섯 계층 어디서든 나올 수 있다. 다섯 갈래를 개념 한 편 안에 넣지 않고 따로 세운 것은 갈래마다 받는 개념이 다르기 때문이다. 어느 한 개념 안에 두면 그 글이 나머지 넷을 가리키지 못한다. 「Swap Used만 보고 장애를 판단하면 안 된다」와 「NUMA는 실제 장비 topology부터 확인한다」, 「결론」 부분을 따로 기준으로 세우지 않은 것은 보는 대상만 다를 뿐 「문제를 진단할 때의 분류」와 같은 말을 하기 때문이다. 규칙이 세 벌이면 판독하는 사람이 어느 것을 따르는지가 갈린다. Swap Used 값 하나로 판단하지 않는 것(「Swap Used만 보고 장애를 판단하면 안 된다」), 토폴로지를 재기 전에 NUMA 최적화를 정하지 않는 것(「NUMA는 실제 장비 topology부터 확인한다」), 게스트 하나의 free -h 로 닫지 않는 것(「결론」)은 각각 2 번과 5 번, 6 번 규칙이다. 좁히는 것과 확정하는 것을 갈라 둔 이유도 여기 있다. 이 기준은 어느 갈래인지까지만 좁히고, 원인 확정은 「실험 시 반드시 같이 기록할 것」의 조건을 함께 남긴 측정이 한다. ## Guest · Host · cgroup을 나눠 본다 ### 1. 증상을 다섯 갈래로 먼저 가른다 「문제를 진단할 때의 분류」의 분류는 메모리 지연이나 OOM 을 다섯으로 나누고, 갈래마다 볼 것을 함께 적었다. Guest Virtual Memory : Page Fault · Guest reclaim · Guest swap · Guest OOM Virtualization Translation : EPT-related event · TLB pressure · Huge-page/mapping 특성 Host Memory : Host reclaim · Host swap · Host major fault · Host OOM Dynamic Memory : Balloon target · Guest pressure · Hotplug/virtio-mem 여부 NUMA : vCPU placement · memory placement · remote access 마지막 갈래의 NUMA(Non-Uniform Memory Access, 비균일 메모리 접근)는 어느 CPU 가 어느 RAM 에 접근하느냐에 따라 비용이 달라질 수 있는 구조다. ### 2. Swap Used 값 하나로 메모리 압박을 단정하지 않는다 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 Swap Used = 2 GiB 라는 값만으로 지금 메모리 압박이 심하다고 단정할 수 없다고 적었다. 과거에 swap-out 된 cold page 가 남아 있을 수도 있기 때문이다. 같은 절이 대신 물으라고 한 것은 넷이다. 현재 swap-in/out 이 지속되는가? reclaim pressure 가 증가하는가? major fault 가 증가하는가? storage latency 가 같이 증가하는가? 이 넷은 게스트와 호스트를 동시에 확인해야 한다고 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 못박았고, 확인 명령으로 free -h 와 vmstat 1 을 들었다. ### 3. 게스트 스왑과 호스트 스왑을 한 값으로 세지 않는다 「Guest Swap과 Host Swap」에서는 두 스왑이 서로 다른 경로라고 적었다. 게스트 스왑은 게스트 메모리 압박에서 시작해 게스트 커널과 게스트 스왑을 지나 /dev/vda 로 내려가고, virtio-blk 와 QEMU 를 거쳐 호스트 스토리지에 닿는다. 호스트 스왑은 게스트 RAM 의 QEMU memory backing 이 호스트 메모리 압박을 만나 호스트 커널의 스왑으로 내려가는 경로다. 경로가 이렇게 갈리다 보니, 게스트는 메모리에 여유가 있어 보이는데 호스트에서는 스왑과 reclaim 이 심할 수도 있다. ### 4. OOM 은 발생 계층을 확인한 뒤에 부른다 「Guest OOM과 Host OOM」에서는 게스트 OOM 과 호스트 OOM 을 갈랐다. 게스트 RAM 이 모자라서 게스트 커널이 프로세스를 죽이면 Keycloak 프로세스 종료 같은 결과가 된다. 호스트 물리 RAM 이 모자라서 호스트 커널이 QEMU 를 victim 으로 고르면 그 VM 전체가 중단될 수 있다. cgroup memory limit 이 걸린 환경은 예외로 둔다. 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다고 같은 절이 적었다. ### 5. NUMA 갈래는 토폴로지를 잰 뒤에 순위를 매긴다 「NUMA는 실제 장비 topology부터 확인한다」에서는 호스트가 NUMA node 한 개면 cross-node remote-memory 문제가 주요 이슈가 아닐 수 있어서, 실제 환경에서는 먼저 토폴로지를 재고 NUMA 최적화가 필요한지 판단하라고 했다. 확인 명령으로는 lscpu 와 numactl --hardware 를 들었다. QEMU 프로세스별 메모리 분포는 numastat -p , vCPU 배치는 virsh vcpupin 과 virsh vcpuinfo 을 들었다. ### 6. 게스트 하나의 free -h 로 닫지 않는다 「결론」에서는 실제 테스트 서버에서 게스트 하나의 free -h 만 보고 메모리 상태를 판단하지 않는다고 적었다. Guest → QEMU → Host → NUMA → Storage 영향을 같은 시간축에서 관측해야 한다고 했다. Prometheus가 긁는 node-exporter는 게스트 안에서 돌아 게스트 커널이 내놓는 값을 읽고, 물리 host의 메모리 지표까지 자동으로 수집하지는 않는다(「단계 06 — Prometheus 와 Grafana」· 「이 구축이 제1~4부의 어느 구조에 닿나」). 그래서 host 계층은 별도로 측정해야 한다. 2026-09-21 memory pressure 실험에서는 host `vmstat`·fault·`iostat`와 guest OIDC latency를 같은 실행에 묶어 이 시간축을 실제로 만들었다. ## 이 구분이 필요한 증상 메모리 증상을 원인으로 옮기려는 판독 전부에 걸린다. 지연 증가, 스왑 관측, OOM, fault 증가가 여기 들어간다. 가르는 축은 다섯이고, 갈래마다 무엇을 볼지는 1 번 규칙에 적혀 있다. ## 한 층의 값만으로 충분하지 않은 경우 cgroup memory limit 이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 경계에서 OOM 이 나기 때문에, Host Memory 갈래를 곧바로 지우면 안 된다(「Guest OOM과 Host OOM」). 이 실험대의 Keycloak은 K3s 파드로 돈다. 파드가 종료됐을 때 `kubectl describe`의 Exit Code가 137이면 OOM 또는 강제 종료 가능성을 먼저 확인하고, 그때는 파드의 memory limit도 함께 본다. 다만 현재 저장소에는 해당 매니페스트 원본이 없어 실제 limit 값을 문서와 대조할 수 없다. NUMA node 가 하나인 호스트에서는 NUMA 갈래의 우선순위를 낮춰도 된다고 「NUMA는 실제 장비 topology부터 확인한다」에서는 적었다. 그것도 토폴로지를 잰 뒤의 이야기다. 이 기준은 갈래를 좁힐 뿐 원인을 확정하지 않는다. 확정은 「실험 시 반드시 같이 기록할 것」의 조건을 남긴 측정이 한다. ## 증상별로 처음 볼 지표 - 게스트에서 Swap Used 만 보고 「메모리 부족」으로 닫은 판독 : swap-in/out 이 지속되는지를 재지 않았다 - 게스트 free -h 에 여유가 보여 호스트를 보지 않은 판독 : 호스트 reclaim 과 호스트 스왑을 확인하지 않았다 - Keycloak 프로세스가 죽었는데 호스트 커널 로그를 보지 않은 판독 : 게스트 OOM 인지 호스트 OOM 인지 갈리지 않는다 - 호스트 RAM 에 여유가 있다는 이유로 OOM 을 다른 갈래로 넘긴 판독 : cgroup 경계를 확인하지 않았다 - 토폴로지를 재지 않고 vCPU pinning 부터 손댄 조치 : NUMA 갈래가 이 호스트에 걸리는지 모른다 - 게스트와 호스트를 다른 시각에 찍어 한 표로 놓은 기록 : 같은 시간축이 아니다