refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 16:24:58 +09:00
parent 1549e62b5e
commit f3bed70991
158 changed files with 4381 additions and 832 deletions
@@ -2,7 +2,7 @@
id: 2f2ffafc-91ff-4971-a6a8-7c0e7d844ca2
kind: CONCEPT
slug: guest-memory-address-translation
title: Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA
title: 게스트 가상 주소가 물리 메모리 주소로 변환되는 과정
topic: memory-virtualization
topicName: 메모리 가상화
project: virtualization
@@ -37,14 +37,14 @@ source:
- final/document.md#88-결론
---
# Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA
# 게스트 가상 주소가 물리 메모리 주소로 변환되는 과정
가상 머신 안의 프로세스가 메모리를 한 번 읽으면 그 주소는 이름이 두 번 바뀐다. 게스트 페이지 테이블이 GVA(Guest Virtual Address)를 GPA(Guest Physical Address)로 바꾼다. 그 GPA 를 EPT 가 다시 HPA(Host Physical Address)로 바꾼 뒤에야 접근이 실제 호스트 RAM 에 닿는다. 게스트 Linux 는 GPA 를 자기 물리 주소로 여기지만, 그 값이 서버 RAM 의 주소와 같을 필요는 없다. 메모리를 마련하는 쪽과 주소를 바꾸는 쪽도 갈린다. QEMU 가 게스트 RAM 을 자기 호스트 가상 주소 공간에 마련해 KVM 에 등록하고, 접근마다 일어나는 변환은 CPU 의 MMU 가 맡는다. 가상 머신 위에서 Keycloak 실험을 돌리는 동안 「가상 머신에 RAM 을 몇 GiB 줬다」가 호스트 RAM 에서 무엇을 뜻하는지 가르려면 이 경로가 먼저 필요하다.
<!-- body:start -->
## GVA · GPA · HPA — 주소 이름이 두 번 바뀐다
## GVA가 GPA를 거쳐 HPA로 변환된다
KVM/QEMU 가상 머신에서 게스트 애플리케이션이 메모리를 한 번 읽는 길을 가장 단순하게 그리면 이렇다.
@@ -74,7 +74,7 @@ Physical RAM
게스트 안에서 도는 Keycloak 이 변수 하나를 읽는다고 하면, 그 한 번의 접근이 세 주소를 차례로 지난다.
```text label="Guest 안의 Keycloak 이 변수를 읽을 때 (기존 문서의 예시 주소)"
```text label="Guest 안의 Keycloak 이 변수를 읽을 때의 예시 주소"
Keycloak
│
│ GVA 0x7f001234
@@ -90,7 +90,7 @@ EPT
Physical RAM
```
게스트 Linux 는 GPA 를 자기 실제 물리 주소라고 여긴다. 가상 머신이므로 그 GPA 가 실제 서버의 HPA 와 같을 필요는 없고, KVM 과 CPU 가상화 계층이 둘을 갈라 둔다. 위 주소 값은 원문이 설명하려고 든 예시이고 이 서버에서 읽은 값이 아니다.
게스트 Linux는 GPA를 자신의 물리 주소 공간으로 사용하지만, 그 값이 실제 서버의 HPA와 같을 필요는 없다. 위 주소 값은 변환 과정을 설명하기 위한 예시이며 이 서버에서 직접 읽은 값은 아니다.
## 일반 Linux 프로세스도 물리 주소를 직접 쓰지 않는다
@@ -166,7 +166,7 @@ TLB 에 없으면 TLB Miss 가 나고, 페이지 테이블을 조회해 정상
게스트 페이지 테이블과 EPT 는 같은 테이블이 아니다. 하나는 게스트 OS 가 자기 프로세스를 위해 관리하고, 다른 하나는 가상화 계층이 게스트 전체의 물리 주소 공간을 호스트 RAM 에 이으려고 관리한다.
두 번째 변환이 왜 필요한지는 가상 머신 두 대를 놓고 보면 드러난다. 원문이 든 예에서는 각각 8 GiB RAM 을 가진 VM1 과 VM2 가 둘 다 GPA `0x1000` 을 쓸 수 있고, EPT 가 그 둘을 서로 다른 HPA 로 잇는다. 그래서 게스트가 보는 물리 메모리 주소 공간을 실제 호스트 RAM 에서 격리해 구현할 수 있다.
두 번째 변환이 필요한 이유는 가상 머신 두 대를 놓고 보면 분명하다. 각각 8 GiB RAM을 가진 VM1과 VM2가 둘 다 GPA `0x1000`을 사용할 수 있고, EPT는 두 GPA를 서로 다른 HPA에 매핑한다. 이 방식으로 각 게스트의 물리 주소 공간을 실제 호스트 RAM에서 서로 분리할 수 있다.
하드웨어가 두 번째 변환을 맡아 주지 않던 시절에는 방식이 달랐다. 하이퍼바이저가 게스트 페이지 테이블 변경을 추적하면서, GVA 에서 실제 호스트 메모리까지 이어지는 shadow mapping 을 관리하는 방식이 쓰일 수 있었다. 게스트 페이지 테이블이 바뀔 때마다 하이퍼바이저가 관련 매핑을 유지해야 하므로 관리 비용과 복잡성이 커질 수 있다. EPT 와 NPT 는 그 두 단계 변환을 CPU 가 하드웨어로 지원하게 한다.
@@ -234,9 +234,9 @@ HPA
## 정상 메모리 접근은 매번 VM Exit 하지 않는다
원문은 이 대목을 「잘못된 이해」라고 이름 붙인 그림으로 먼저 연다.
일반 메모리 접근이 매번 VM Exit을 일으킨다고 이해하면 실제 동작과 다르다.
```text label="원문이 먼저 놓은 「잘못된 이해」"
```text label="일반 메모리 접근을 잘못 이해한 예"
잘못된 이해
Guest Memory Access
@@ -248,7 +248,7 @@ KVM
RAM
```
게스트의 메모리 접근이 곧장 VM Exit 을 거쳐 KVM 으로 가고 거기서 RAM 에 닿는 경로다. 제1부에서 VM Exit 을 읽고 온 사람이 메모리 접근에 그대로 옮겨 붙일 그림이라, 원문은 맞는 경로를 그리기 전에 이것부터 아니라고 적었다. 정상 매핑이 있으면 CPU 하드웨어가 직접 변환을 수행한다.
일반적인 게스트 메모리 접근이 매번 VM Exit을 일으켜 KVM을 거친 뒤 RAM에 도달하는 것은 아니다. 페이지 테이블과 EPT 매핑이 준비돼 있으면 CPU의 MMU가 주소 변환을 하드웨어에서 직접 수행한다.
```text label="정상 mapping 이 있을 때의 실행 경로"
Guest instruction
@@ -295,7 +295,7 @@ QEMU
![Guest 구역 안의 Keycloak 과 PostgreSQL 에서 나온 GVA 가 Guest TLB 를 지나고, TLB Miss 이면 Guest Page Table 을 조회해 GPA 가 되며, 그 GPA 가 VM Boundary 를 넘어 EPT 에서 HPA 로 바뀐 뒤 Host RAM 구역의 Host Physical Memory 에 닿고 마지막에 NUMA Node 0 과 NUMA Node 1 로 갈라지는 주소 변환 경로도. 상자 안의 작은 글씨는 그 단계가 어느 계층인지와 무엇을 무엇으로 바꾸는지를 적은 것이다.](../../../final/assets/diagrams/guest-memory-address-translation-path/guest-memory-address-translation-path.svg)
위쪽 점선 상자 안에서 끝나는 것이 첫 번째 변환이고, 그 상자를 나온 뒤의 EPT 가 두 번째 변환을 맡는다. 관리 경로는 이 그림에 없다 — 위의 `virsh` 목록이 그쪽을 그린 것이다.
게스트 페이지 테이블이 GVA를 GPA로 바꾸는 것이 첫 번째 변환이고, EPT가 GPA를 HPA로 바꾸는 것이 두 번째 변환이다. QEMU가 메모리를 할당하고 KVM에 등록하는 관리 경로는 주소 변환 경로와 구분한다.
## 이 호스트에서 실제로 확인한 메모리 크기
@@ -309,7 +309,7 @@ virsh dommemstat <VM_NAME>
ps -o pid,rss,vsz,cmd -p <QEMU_PID>
```
원문이 커널·QEMU·libvirt 버전을 한 번도 적지 않아 이 글도 특정 버전에 고정하지 않았다. 여기 적은 것은 그 문서가 서술한 구성이고, 버전이 달라져 서술이 낡았는지는 위 확인을 실제 호스트에서 돌릴 때 드러난다.
이 설명은 특정 커널·QEMU·libvirt 버전에 고정하지 않는다. 실제 환경에서는 사용 중인 버전과 domain XML, QEMU 메모리 매핑 상태를 함께 확인해 구현 차이를 검증한다.
범위 밖으로 미룬 것도 있다. 호스트 메모리 압박과 회수, 스왑, ballooning, OOM(Out Of Memory), NUMA 배치는 이 경로 위에서 벌어지는 자원 압박 쪽이라 각각 다른 글이 다룬다. Huge Page 도 마찬가지로 이 경로의 두 변환 단계에 걸리는 선택이어서 따로 뺐다.
@@ -2,7 +2,7 @@
id: efce9a6e-5f5d-45ec-86e5-056d8cb1b8d2
kind: CONCEPT
slug: huge-pages-in-a-vm
title: Huge Page 를 VM 에서 볼 때 갈라지는 세 자리
title: 가상 머신에서 Huge Page를 확인할 때 구분해야 하는 세 계층
topic: memory-virtualization
topicName: 메모리 가상화
project: virtualization
@@ -21,7 +21,7 @@ source:
- final/document.md#82-핵심-claim-registry
---
# Huge Page 를 VM 에서 볼 때 갈라지는 세 자리
# 가상 머신에서 Huge Page를 확인할 때 구분해야 하는 세 계층
페이지 크기를 키우면 같은 메모리 범위를 더 적은 매핑으로 표현할 수 있고, TLB(Translation Lookaside Buffer, 주소 변환 캐시) 엔트리 하나가 덮는 범위도 넓어진다. 그런데 가상 머신에는 주소 변환 단계가 둘이라 「Huge Page 를 쓴다」는 말만으로는 어디를 말하는지 정해지지 않는다. 게스트 페이지 테이블 단계인지, QEMU 가 마련한 호스트 쪽 메모리인지, EPT(Extended Page Tables) 매핑인지를 나누어 물어야 그 말이 뜻을 갖는다. Linux 가 큰 페이지를 마련하는 방법도 THP(Transparent Huge Pages)와 HugeTLB 두 가지인데, 둘은 관리 주체도 사전 예약 여부도 다르다.
@@ -30,7 +30,7 @@ source:
## 페이지가 커지면 매핑 수가 준다
같은 메모리 범위라도 페이지 크기에 따라 필요한 매핑 수가 달라진다. 원문은 8 GiB 를 예로 들어 셋을 나란히 계산했다.
같은 메모리 범위라도 페이지 크기에 따라 필요한 매핑 수가 달라진다. 8 GiB를 예로 들면 페이지 크기별 차이를 바로 비교할 수 있다.
| 페이지 크기 | 8 GiB 를 표현하는 데 필요한 페이지 수 |
|---|---|
@@ -38,7 +38,7 @@ source:
| 2 MiB | 4,096 pages |
| 1 GiB | 8 pages |
큰 페이지는 더 적은 매핑으로 넓은 메모리 범위를 표현할 수 있다. 위 8 GiB 는 계산을 보이려고 원문이 든 예시 값이고 이 서버 가상 머신의 설정이 아니다.
큰 페이지는 더 적은 매핑으로 넓은 메모리 범위를 표현할 수 있다. 위 8 GiB는 계산을 위한 예시 값이며 이 서버 가상 머신의 실제 설정은 아니다.
## TLB 엔트리 하나가 덮는 범위
@@ -76,7 +76,7 @@ HPA
게스트와 호스트의 페이지 크기 선택을 같은 설정 하나로 묶어 다루면 안 된다. 게스트 안에서 THP 가 켜져 있어도 그것은 첫 질문에 대한 답이고, 그 가상 머신의 RAM 을 호스트가 무엇으로 받치는지는 두 번째 질문이 따로 받는다.
## THP — 커널이 조건이 맞을 때 알아서 쓰는 방식
## THP는 커널이 조건에 따라 큰 페이지를 사용한다
THP 는 Linux 가 가능한 메모리 영역에 대해 Huge Page 를 투명하게 활용하려는 기능이다. 애플리케이션이 평소처럼 `malloc()` 이나 `mmap()` 을 부르면 커널이 조건이 맞는 영역에 Huge Page 활용을 시도한다. 애플리케이션이 큰 페이지를 달라고 따로 요청하지 않는다는 뜻에서 투명하다.
@@ -90,7 +90,7 @@ cat /sys/kernel/mm/transparent_hugepage/enabled
always [madvise] never
```
이 값은 커널과 배포판, 호스트 설정에 따라 다르므로 실제 시스템에서 확인한다. 그래서 원문은 메모리 실험마다 반드시 같이 남길 조건 목록에 THP policy 를 Host 항목으로, Memory backing 설정을 VM 항목으로 넣어 두었다. 조건을 남기지 않으면 "Memory pressure에서 느려졌다"는 결과를 다른 환경에 재사용하기 어렵다는 것이 그 목록에 붙은 이유다.
THP policy와 VM memory backing 설정은 커널과 호스트 구성에 따라 달라질 수 있으므로 메모리 실험마다 함께 기록한다. 이 조건이 빠지면 같은 memory pressure 결과를 다른 환경과 비교하기 어렵다.
## THP 가 치르는 비용
@@ -108,9 +108,9 @@ Compaction 가능
Latency 영향 가능
```
그래서 THP 는 항상 성능을 높인다고 단정할 수 없다. 특히 지연에 민감한 워크로드에서는 측정이 필요하다고 원문이 직접 적었고, 이 서버에서 그 측정을 하지 않았다.
THP가 항상 성능을 높인다고 단정할 수는 없다. 특히 지연에 민감한 워크로드에서는 실제 latency를 비교해야 하며, 이 서버에서는 THP on/off 성능 비교를 수행하지 않았다.
## HugeTLB — 미리 확보해 둔 풀
## HugeTLB는 큰 페이지를 미리 예약한다
HugeTLB 는 Huge Page 풀을 명시적으로 두고 쓸 수 있는 Linux 메커니즘이다. 커널이 알아서 활용하는 THP 와 달리, 관리자가 풀을 준비하고 애플리케이션이나 가상 머신이 그 풀을 명시적으로 쓴다.
@@ -137,7 +137,7 @@ Physical RAM
| 관리 | 커널이 투명하게 활용 | 명시적인 풀 |
| 애플리케이션 개입 | 상대적으로 적음 | 명시적 구성 가능 |
| 유연성 | 상대적으로 높음 | 상대적으로 낮음 |
| 사전 예약 | 핵심 방식 아님 | 가능 |
| 사전 예약 | 기본 동작 아님 | 가능 |
| compaction 영향 | 발생 가능 | 미리 확보해 일부 상황 회피 가능 |
| 가상 머신 RAM backing | 사용 가능 | 명시적으로 사용 가능 |
@@ -28,7 +28,7 @@ source:
# Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 클 수 있다. 설정한 용량과 지금 실제로 쓰는 양이 같지 않다 보니 그런 구성이 성립하는데, 가상 머신들의 수요가 동시에 오르면 Linux 는 회수와 스왑으로 대응한다. CPU 가 모자랄 때는 스케줄러가 실행 시간을 나눠 주지만, RAM 이 모자랄 때는 나눌 시간이 없고 지금 존재해야 하는 페이지를 어디에 둘 것인가만 남는다. 그래서 호스트의 메모리 압박은 게스트 안에서 단순한 메모리 접근으로 보이던 동작을 스토리지 I/O 대기로 바꾸고, 여러 갈래의 I/O 가 한 물리 장치로 몰리면 DB 와 애플리케이션 지연까지 올린다. 회수로도 모자라면 OOM(Out Of Memory)으로 가는데, 그것을 게스트 커널이 처리했는지 호스트 커널이 처리했는지에 따라 멈추는 범위가 다르다.
가상 머신에 설정한 메모리와 호스트에서 실제로 사용하는 메모리는 같은 값이 아니다. 여러 VM의 메모리 수요가 동시에 증가하면 Linux는 reclaim과 swap으로 물리 RAM을 확보하려고 한다. 이 과정에서 파일 재읽기나 swap I/O가 발생하면 메모리 압박이 스토리지 지연으로 이어질 수 있다. 메모리를 더 확보하지 못하면 OOM이 발생하며, guest OOM인지 host OOM인지에 따라 영향을 받는 범위도 달라진다.
<!-- body:start -->
@@ -37,7 +37,7 @@ source:
## CPU 가 모자랄 때와 RAM 이 모자랄 때
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 원문은 이 구성을 예시 숫자로 설명한다.
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 설정 메모리의 합이 물리 RAM보다 크더라도 각 VM이 동시에 최대치까지 사용하지 않으면 실행 자체는 가능하다.
```text label="설정 총량이 Host RAM 을 넘는 구성 — 개념 예시"
Host Physical RAM = 32 GiB
@@ -71,11 +71,11 @@ QEMU 가 게스트 RAM 으로 잡아 둔 호스트 물리 페이지가 스왑으
게스트 스왑은 게스트 애플리케이션의 메모리 압박을 게스트 커널이 받아 `/dev/vda` 로 내려보내는 경로다. 그 요청은 `virtio-blk` 와 virtqueue 를 거쳐 QEMU 로 가고 호스트 스토리지에 닿는다. 호스트 스왑은 시작하는 곳이 다르다. QEMU 가 게스트 RAM 으로 잡아 둔 호스트 메모리가 호스트 메모리 압박 아래에서 호스트 커널에 눌려 호스트 스왑으로 나간다. 시작하는 곳도 지나는 계층도 달라서 한쪽 값으로 다른 쪽을 짐작할 수 없다. 게스트가 메모리에 여유가 있어 보이는 동안에도 호스트에서는 스왑과 회수가 심할 수 있다.
## 네 갈래 I/O 가 한 장치로 몰릴 때
## 여러 I/O가 같은 저장장치를 공유할 때
게스트와 호스트가 동시에 메모리 압박을 겪으면 게스트 스왑 I/O 와 호스트 스왑 I/O, DB I/O, 파일 시스템 writeback 이 하나의 물리 NVMe 로 몰릴 수 있다. 그러면 호스트 메모리 압박이 회수와 스왑을 부르고, 늘어난 스토리지 I/O 가 스토리지 경쟁이 되고, DB 지연이 오르고, 그 위의 애플리케이션 지연까지 오른다.
메모리는 CPU 와 네트워크, 스토리지 실행을 모두 받치는 계층이라 압박이 메모리 안에서 끝나지 않는다. CPU 사용률이 낮은 구간에도 이 경로가 돌고 있을 수 있다.
호스트 메모리가 부족해 reclaim이나 swap이 발생하면 스토리지 I/O가 늘어날 수 있고, 그 영향이 게스트 응답 지연으로 이어질 수도 있다. 따라서 CPU 사용률이 낮더라도 메모리와 스토리지 지표를 함께 확인해야 한다.
그림에서는 호스트 메모리 압박 뒤에 갈라지는 경로만 남겼다. 깨끗한 파일 페이지 회수, 호스트 스왑과 스토리지 경쟁, 호스트 OOM은 같은 시작점에서 갈라지지만 게스트 OOM은 다른 커널에서 일어난다. 그래서 게스트 OOM은 같은 화살표에 억지로 붙이지 않고 아래에서 따로 구분한다.
@@ -43,7 +43,7 @@ RAM 을 하나의 균일한 자원처럼 다루면 어느 CPU 가 읽든 비용
한 가상 머신의 vCPU 스레드가 노드 0 의 CPU 에서 실행되는데 그 가상 머신을 받치는 호스트 물리 페이지가 노드 1 에 있다고 하자. 그러면 노드 0 의 CPU 가 인터커넥트를 지나 노드 1 의 RAM 을 읽게 된다. 게스트 안에서는 그냥 메모리 접근 한 번이고 게스트 OS 는 그 요청이 소켓을 건넜는지 알지 못하는데, 비용은 그 아래 하드웨어에서 붙는다.
## vCPU pinning 만으로는 끝나지 않는다
## NUMA에서는 vCPU와 메모리 배치를 함께 맞춘다
vCPU 를 특정 CPU 집합에 묶는 설정을 pinning 이라고 한다. 어떤 가상 머신의 vCPU 를 노드 0 의 CPU 에 pinning 했는데 그 가상 머신의 RAM 이 주로 노드 1 에 배치되어 있으면, pinning 이후에도 원격 접근이 많아질 수 있다. 묶은 것은 실행 위치이고 메모리가 어디에 있는지는 그 설정이 정하지 않기 때문이다.
@@ -47,7 +47,7 @@ Page Table을 조회
Page Fault 는 조건이 다르다. 페이지 테이블 상태로는 지금 접근을 정상으로 끝낼 수 없어서, 커널이 끼어들어 페이지를 마련하거나 매핑을 고쳐야 명령을 다시 시도할 수 있다. TLB Miss 는 테이블을 한 번 더 읽으면 풀리는데, 이쪽은 커널 처리를 부른다.
## 첫 번째 단계 — Guest Page Fault
## 게스트 페이지 폴트
이 fault 는 GVA 를 GPA 로 바꾸는 첫 번째 변환 단계에서 일어난다.
@@ -87,7 +87,7 @@ Instruction 재시도
## Guest Page Fault 를 부르는 다섯 가지
원문은 대표적인 원인을 다섯으로 나눈다. 앞의 넷은 커널이 처리해 실행이 이어지고, 마지막 하나만 프로세스로 신호가 간다.
게스트 page fault의 대표적인 원인은 demand paging, copy-on-write, file-backed page 재읽기, swap-in, 잘못된 주소 접근으로 나눌 수 있다. 앞의 경우들은 커널이 페이지를 준비한 뒤 실행을 이어갈 수 있지만, 유효하지 않은 주소 접근은 프로세스에 신호가 전달될 수 있다.
| 원인 | 게스트 커널이 무엇을 하나 |
|---|---|
@@ -108,7 +108,7 @@ Executable: 0
이 엔트리로 매핑된 페이지에 쓰기가 들어가면 fault 가 날 수 있고, Copy-on-Write 는 그 성질을 거꾸로 이용해 쓰기가 들어온 순간에만 페이지를 복제한다. 다섯 가운데 Invalid Access 만 결과가 다르다. 게스트 커널이 정상적인 매핑으로 해결할 수 없는 접근이면 `SIGSEGV` 로 이어질 수 있고, 그래서 Page Fault 와 Segmentation Fault 는 같은 것이 아니다.
## 두 번째 단계 — EPT Violation
## EPT Violation
이번에는 게스트 페이지 테이블 변환이 성공해 GPA 까지 얻었다고 하자. 그런데 그 GPA 에 대한 두 번째 단계 접근을 지금 EPT(Extended Page Tables) 조건으로 끝낼 수 없으면 EPT Violation 이 된다.
@@ -142,7 +142,7 @@ KVM
Guest Page Fault 는 게스트가 자기 가상 메모리를 처리하는 사건이고, EPT Violation 은 두 번째 단계 가상화 변환에서 하이퍼바이저 처리가 필요한 사건이다. 마지막 줄이 둘 다 「반드시 아님」인 까닭은 앞에서 본 대로다. demand paging 이나 copy-on-write 처럼 정상 동작이 두 계층 모두에서 fault 를 만든다.
## 세 번째 — Host Page Fault
## 호스트 페이지 폴트
QEMU 도 호스트의 일반 사용자 공간 프로세스이므로 QEMU 가 마련한 메모리에는 호스트의 가상 메모리 관리가 그대로 적용된다. 게스트 RAM 을 담고 있는 그 영역도 호스트 페이지 테이블을 지나 호스트 물리 주소로 이어지고, 그 경로에서 demand allocation 이나 reclaim, swap 때문에 fault 가 날 수 있다.
@@ -45,7 +45,7 @@ source:
2026-09-21 재검증에서 세 VM의 domain XML에 모두 `<memballoon model='virtio'>`가 있었고, worker guest 둘에서는 `/sys/bus/virtio/drivers/virtio_balloon` 아래에 `virtio5`가 bind된 것도 확인했다. 따라서 이 프로젝트의 가상 머신에는 virtio-balloon 장치가 실제로 붙어 있다.
## Inflate — 게스트 안의 balloon 이 커진다
## Inflate에서 게스트 메모리가 balloon에 할당된다
호스트가 게스트 메모리를 회수하려고 하면 balloon target 을 조정해 balloon 을 부풀린다. 이 동작을 inflate 라고 한다. 그 요청이 `virtio-balloon` 을 지나 게스트 안의 balloon 드라이버에 닿으면 드라이버가 게스트 페이지를 확보한다. 게스트 안의 balloon 이 커지기 때문에 게스트가 쓸 수 있는 RAM 이 그만큼 줄고, 호스트 쪽에서는 회수할 수 있는 메모리가 는다.
@@ -53,7 +53,7 @@ source:
![virtio-balloon Driver 와 virtqueue, QEMU virtio-balloon Device, Host Memory Management 네 참여자 사이를 여섯 개의 메시지가 오가는 순서도. 1번부터 3번까지는 Host 쪽에서 정한 balloon target 조정이 QEMU device 와 virtqueue 를 지나 VM Boundary 를 넘어 Guest kernel 의 driver 에 닿는 방향이고, 4번부터 6번까지는 driver 가 확보한 Guest page 가 같은 경계를 반대로 건너 Host 의 회수 가능 backing 이 되는 방향이다.](../../../final/assets/diagrams/virtio-balloon-inflate-deflate/virtio-balloon-inflate-deflate.svg)
## Deflate — target 을 줄이면 되돌아온다
## Deflate에서 balloon 메모리를 게스트에 돌려준다
호스트가 게스트에게 메모리를 다시 내줄 수 있으면 balloon target 을 줄인다. 그러면 게스트 balloon 드라이버가 붙잡고 있던 페이지를 반환하고 게스트가 쓸 수 있는 메모리가 늘어난다.
@@ -21,7 +21,7 @@ source:
# 게스트 page fault 증가는 workload 변화를 따라가는가
2026-09-21 `kc-lab-2`에서 anonymous 512 MiB를 `mmap()`한 뒤 4 KiB마다 한 번씩 touch하는 workload를 실행했다. 131,072 page를 처음 접근하는 동안 해당 Python process의 minor fault는 131,073 증가했고 major fault는 증가하지 않았다. 같은 구간의 guest 전체 `pgfault`는 131,177 증가했지만 `pgmajfault`, `pswpin`, `pswpout`은 0 증가였다. **workload가 새 page를 실제로 접근하자 정상 demand paging에 해당하는 minor fault가 함께 증가**하는 것을 확인했다.
2026-09-21 `kc-lab-2`에서 anonymous 512 MiB를 `mmap()`한 뒤 4 KiB마다 한 번씩 touch하는 workload를 실행했다. 131,072 page를 처음 접근하는 동안 해당 Python process의 minor fault는 131,073 증가했고 major fault는 증가하지 않았다. 같은 구간의 guest 전체 `pgfault`는 131,177 증가했지만 `pgmajfault`, `pswpin`, `pswpout`은 0 증가였다. workload가 새 page를 실제로 접근하자 정상 demand paging에 해당하는 minor fault가 함께 증가하는 것을 확인했다.
## 512MiB demand paging 결과
@@ -25,7 +25,7 @@ source:
# 호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가
2026-09-21 단계형 host memory pressure 실험에서 major fault, swap 상태, NVMe `iostat`, guest OIDC latency를 같은 실행으로 기록했다. host major fault는 증가했지만 zswap이 swap-out을 압축 메모리에서 흡수해 NVMe 지연이 함께 상승하지 않았다. 따라서 **현재 압박 수준에서는 major fault 증가와 storage latency 상승의 동행이 관측되지 않았다.**
2026-09-21 단계형 host memory pressure 실험에서 major fault, swap 상태, NVMe `iostat`, guest OIDC latency를 같은 실행으로 기록했다. host major fault는 증가했지만 zswap이 swap-out을 압축 메모리에서 흡수해 NVMe 지연이 함께 상승하지 않았다. 따라서 현재 압박 수준에서는 major fault 증가와 storage latency 상승의 동행이 관측되지 않았다.
## host major fault와 storage를 같이 본 결과
@@ -2,7 +2,7 @@
id: a05fe2a6-eb7c-4bcc-a7da-58e729436468
kind: QUESTION
slug: host-memory-pressure-vs-guest-latency
title: 호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가
title: 호스트 메모리 압박이 게스트 애플리케이션 지연에 영향을 주는가
topic: memory-virtualization
topicName: 메모리 가상화
project: virtualization
@@ -27,9 +27,9 @@ source:
- final/document.md#62-memory-pressure와-storage-contention의-연결
---
# 호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가
# 호스트 메모리 압박이 게스트 애플리케이션 지연에 영향을 주는가
2026-09-21 host에서 anonymous memory를 256 MiB씩 늘려 최대 3.5 GiB를 추가 할당했고 `MemAvailable`을 약 512 MiB까지 낮춘 뒤 12초 유지했다. 이 구간에서 host swap 사용량과 major fault는 증가했지만, zswap이 swap-out을 압축 메모리에서 흡수해 NVMe storage pressure로 크게 이어지지 않았고 OIDC discovery 지연도 baseline보다 악화되지 않았다. 따라서 **현재 압박 수준에서는 host memory pressure가 guest application latency를 밀어 올리는 경로가 재현되지 않았다.**
2026-09-21 host에서 anonymous memory를 256 MiB씩 늘려 최대 3.5 GiB를 추가 할당했고 `MemAvailable`을 약 512 MiB까지 낮춘 뒤 12초 유지했다. 이 구간에서 host swap 사용량과 major fault는 증가했지만, zswap이 swap-out을 압축 메모리에서 흡수해 NVMe storage pressure로 크게 이어지지 않았고 OIDC discovery 지연도 baseline보다 악화되지 않았다. 현재 압박 수준에서는 host memory pressure와 함께 guest application latency가 증가하는 현상은 관측되지 않았다.
## 압박 전후 guest latency 결과
@@ -22,7 +22,7 @@ source:
# NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가
2026-09-21 현재 `test-server`는 NUMA node가 하나뿐이다. CPU `0-7`과 QEMU memory가 모두 `node0`에 있으므로 이 host에서는 local 배치와 remote 배치를 만들어 비교하는 실험 자체가 성립하지 않는다. 따라서 이 질문은 **현재 환경에는 적용되지 않는 것으로 해소**한다.
2026-09-21 현재 `test-server`는 NUMA node가 하나뿐이다. CPU `0-7`과 QEMU memory가 모두 `node0`에 있으므로 이 host에서는 local 배치와 remote 배치를 만들어 비교하는 실험 자체가 성립하지 않는다. 이 호스트에서는 remote NUMA 배치를 만들 수 없으므로 local/remote NUMA에 따른 지연 차이를 비교할 수 없다.
## 이 호스트에서 실험이 성립하지 않는 이유
@@ -2,7 +2,7 @@
id: fa5b3782-9fcf-4113-8f51-a55c8023b2db
kind: QUESTION
slug: qemu-resident-memory-distribution
title: QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가
title: QEMU 프로세스의 호스트 메모리 사용량은 얼마인가
topic: memory-virtualization
topicName: 메모리 가상화
project: virtualization
@@ -20,7 +20,7 @@ source:
- final/document.md#42-configured-memory와-실제-physical-ram-사용량은-같지-않을-수-있다
---
# QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가
# QEMU 프로세스의 호스트 메모리 사용량은 얼마인가
2026-09-21 세 QEMU 프로세스의 `smaps_rollup`을 직접 읽었다. configured memory와 host RSS는 같지 않았고, resident memory의 대부분은 anonymous이며 큰 부분이 THP `AnonHugePages`로 backing돼 있었다. exact RSS는 workload와 시점에 따라 달라지는 관측값이다.
@@ -60,7 +60,7 @@ smaps_rollup 을 읽을 권한이 있다고 전제한다. 다른 사용자의
2026-09-21에는 세 QEMU 프로세스의 RSS를 실제로 읽었다. `kc-lab-1`은 약 3.73GiB, `kc-lab-2`는 약 2.91GiB, edge는 약 0.84GiB였다. 개념 설명에 쓰인 8GiB·16GiB 예시는 이 측정값과 구분한다.
설정한 메모리를 옆에 놓지 않으면 얼마나 벌어져 있는지 적을 수 없다. 그 값은 「이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가」가 받는다.
QEMU RSS는 VM에 설정한 메모리와 함께 기록해야 차이를 해석할 수 있다. configured/current memory와 RSS는 같은 시각에 측정하되 서로 다른 지표로 남긴다.
「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 게스트 사용량과 호스트 resident 를 다른 값으로 갈라 놓았기 때문에, resident 크기 하나로는 게스트가 그 메모리를 지금 쓰고 있는지 알 수 없다.
@@ -22,7 +22,7 @@ source:
# 지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가
2026-09-21 짧은 관측 구간에서 worker guest 둘의 swap은 0이고, host에는 약 260 MiB의 swap 사용량이 남아 있었지만 `vmstat 1 5`의 `si/so`는 host와 worker 둘 모두 계속 0이었다. 따라서 **swap 사용량이 남아 있다는 사실과 현재 swap I/O가 진행 중이라는 사실은 다르다**는 것을 이 host에서 직접 확인했다.
2026-09-21 짧은 관측 구간에서 worker guest 둘의 swap은 0이고, host에는 약 260 MiB의 swap 사용량이 남아 있었지만 `vmstat 1 5`의 `si/so`는 host와 worker 둘 모두 계속 0이었다. 따라서 swap 사용량이 남아 있다는 사실과 현재 swap I/O가 진행 중이라는 사실은 다르다는 것을 이 host에서 직접 확인했다.
## host와 guest swap 관찰 결과
@@ -23,7 +23,7 @@ source:
# 이 가상 머신들에 virtio-balloon 이 붙어 있는가
2026-09-21 세 domain XML 모두 `<memballoon model='virtio'>`를 가지고 있고, worker guest 둘에서도 virtio-balloon driver에 `virtio5` 장치가 bind돼 있었다. 따라서 장치 구성 여부는 확인됐다. 다만 현재 `dommemstat actual`은 configured/current memory와 같아서 **장치가 존재한다는 사실만으로 지금 balloon이 메모리를 회수 중이라고 말할 수는 없다.**
2026-09-21 세 domain XML 모두 `<memballoon model='virtio'>`를 가지고 있고, worker guest 둘에서도 virtio-balloon driver에 `virtio5` 장치가 bind돼 있었다. 따라서 장치 구성 여부는 확인됐다. 다만 현재 `dommemstat actual`은 configured/current memory와 같아서 장치가 존재한다는 사실만으로 지금 balloon이 메모리를 회수 중이라고 말할 수는 없다.
## 세 VM의 balloon 장치 상태
@@ -41,7 +41,7 @@ source:
- 「자원 — 할당과 실사용은 다르다」에서는 virsh dommemstat 으로 k3s 게스트 두 대를 재서 아래 값을 받았다. k3s 만 떠 있고 Keycloak 은 올리기 전 상태다.
kc-lab-1 : 할당 5120MB · 실사용 353MB
kc-lab-2 : 할당 3120MB · 실사용 301MB
- 2026-09-10 historical snapshot에서는 `virt-install --memory 4096`으로 만든 `kc-lab-2`의 `dommemstat actual`이 3120MB였다. 당시 문서는 balloon 가능성을 추론했지만 원인을 검증하지 않았다. 2026-09-21 재검증에서는 actual이 4096MiB로 configured/current와 같았다.
- 2026-09-10 기록에서는 `virt-install --memory 4096`으로 만든 `kc-lab-2`의 `dommemstat actual`이 3120MB였다. 당시 문서는 balloon 가능성을 추론했지만 원인을 검증하지 않았다. 2026-09-21 재검증에서는 actual이 4096MiB로 configured/current와 같았다.
- 「자원 — 할당과 실사용은 다르다」에서는 dommemstat 의 actual 이 현재 할당이고 선언한 상한은 virsh dominfo 의 Max memory 에 있다고 적으면서, 이 실험대에서 그 두 값을 나란히 찍어 보지 않았다고 미측정으로 남겼다.
- 「단계 01 — 게스트 세 대」에 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대이고, 「자원 — 할당과 실사용은 다르다」의 측정에 kc-lab-edge 는 들어 있지 않다.
- 이 호스트의 가상 머신 설정에서 balloon 관련 요소를 읽은 기록이 개념 문서에 없다.
@@ -81,7 +81,7 @@ Configured RAM과 Current RAM은 이후 memory pressure나 balloon 실험에서
이 질문에서 확인한 것은 configured/current와 실제 점유가 다르다는 사실까지다. 메모리 압박이 생겼을 때 reclaim·swap·guest latency가 어떻게 변하는지는 별도 pressure 실험에서 본다.
QEMU 프로세스 쪽 값은 여기서 닫지 않는다. virsh 가 보고하는 값과 프로세스가 실제로 잡고 있는 크기는 다른 관측이고, 그것은 「QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가」가 받는다.
`virsh`가 보고하는 configured/current memory와 QEMU 프로세스의 RSS는 서로 다른 값이다. 여기서는 VM 설정값과 guest-visible memory를 확인하고, QEMU RSS는 같은 시각에 별도 호스트 지표로 기록한다.
## 설정값과 live 값, guest-visible memory를 나란히 봤다
@@ -101,7 +101,7 @@ VM 하나로 표 모양을 먼저 정하는 방법은 가능하지만, VM별 값
호스트에 한 번 붙는 김에 ps 로 QEMU 프로세스의 크기까지 받아 적자는 방법이다. 실행 횟수는 줄어든다.
QEMU 쪽은 별도의 물음이 이미 받고 있고 그쪽은 anonymous 인지 huge page 인지까지 보기 때문에, 여기서 함께 읽으면 어느 물음의 기준으로 닫혔는지가 남지 않는다. 두 물음의 실행 시각을 맞추고 싶으면 같은 접속에서 순서대로 돌리고 각각의 기록에 남긴다.
QEMU RSS의 anonymous memory와 `AnonHugePages` 구성은 VM 설정값과 구분해 기록한다. 두 값을 비교하려면 같은 시각에 순서대로 측정해 시점 차이를 줄인다.
## 메모리를 바꾸면 설정값·현재값·guest 값을 다시 비교한다
@@ -21,7 +21,7 @@ source:
# 가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가
2026-09-21 현재 세 VM은 **명시적 HugeTLB backing을 사용하지 않는다.** domain XML에 `memoryBacking/hugepages`가 없고 host는 `HugePages_Total=0`, `Hugetlb=0 kB`다. QEMU `smaps_rollup`의 큰 `AnonHugePages` 값은 THP이며 HugeTLB pool 사용의 증거가 아니다.
2026-09-21 현재 세 VM은 명시적 HugeTLB backing을 사용하지 않는다. domain XML에 `memoryBacking/hugepages`가 없고 host는 `HugePages_Total=0`, `Hugetlb=0 kB`다. QEMU `smaps_rollup`의 큰 `AnonHugePages` 값은 THP이며 HugeTLB pool 사용의 증거가 아니다.
## 현재 HugeTLB backing 상태
@@ -20,7 +20,7 @@ source:
# 메모리 증상 하나로 계층을 단정하지 않는다
메모리 지연이나 OOM 이 보이면 「메모리 부족」으로 닫지 말고 「문제를 진단할 때의 분류」의 다섯 갈래로 먼저 가른다. Guest Virtual Memory · Virtualization Translation · Host Memory · Dynamic Memory · NUMA 다섯이다. 「Swap Used만 보고 장애를 판단하면 안 된다」· 「NUMA는 실제 장비 topology부터 확인한다」· 「결론」에서는 따로 요구한 판독도 이 한 절차로 묶었다.
메모리 지연이나 OOM을 분석할 때는 게스트 가상 메모리, 주소 변환, 호스트 메모리, 동적 메모리 회수, NUMA를 구분해서 본다. 예를 들어 swap 사용량이 남아 있다는 사실과 현재 swap I/O가 발생한다는 사실은 다르고, NUMA 문제도 실제 호스트가 여러 NUMA node를 가질 때만 비교할 수 있다.
## 메모리 증상 하나로 결론내리면 안 되는 이유
@@ -67,7 +67,7 @@ storage latency 가 같이 증가하는가?
### 4. OOM 은 발생 계층을 확인한 뒤에 부른다
「Guest OOM과 Host OOM」에서는 게스트 OOM 과 호스트 OOM 을 갈랐다. 게스트 RAM 이 모자라서 게스트 커널이 프로세스를 죽이면 Keycloak 프로세스 종료 같은 결과가 된다. 호스트 물리 RAM 이 모자라서 호스트 커널이 QEMU 를 victim 으로 고르면 그 VM 전체가 중단될 수 있다.
「Guest OOM과 Host OOM」에서는 게스트 OOM 과 호스트 OOM 을 갈랐다. 게스트 RAM이 부족해 게스트 커널의 OOM killer가 프로세스를 종료하면 Keycloak 프로세스가 종료될 수 있다. 호스트 물리 RAM 이 모자라서 호스트 커널이 QEMU 를 victim 으로 고르면 그 VM 전체가 중단될 수 있다.
cgroup memory limit 이 걸린 환경은 예외로 둔다. 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다고 같은 절이 적었다.
@@ -103,7 +103,7 @@ NUMA node 가 하나인 호스트에서는 NUMA 갈래의 우선순위를 낮춰
- 게스트에서 Swap Used 만 보고 「메모리 부족」으로 닫은 판독 : swap-in/out 이 지속되는지를 재지 않았다
- 게스트 free -h 에 여유가 보여 호스트를 보지 않은 판독 : 호스트 reclaim 과 호스트 스왑을 확인하지 않았다
- Keycloak 프로세스가 죽었는데 호스트 커널 로그를 보지 않은 판독 : 게스트 OOM 인지 호스트 OOM 인지 갈리지 않는다
- Keycloak 프로세스가 종료됐는데 호스트 커널 로그를 확인하지 않은 판독 : 게스트 OOM 인지 호스트 OOM 인지 갈리지 않는다
- 호스트 RAM 에 여유가 있다는 이유로 OOM 을 다른 갈래로 넘긴 판독 : cgroup 경계를 확인하지 않았다
- 토폴로지를 재지 않고 vCPU pinning 부터 손댄 조치 : NUMA 갈래가 이 호스트에 걸리는지 모른다
- 게스트와 호스트를 다른 시각에 찍어 한 표로 놓은 기록 : 같은 시간축이 아니다
@@ -17,7 +17,7 @@ source:
# 메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다
메모리 측정은 값만 남기면 다음 사람이 그 값을 어디에 쓸 수 있는지 알 수 없다. 「실험 시 반드시 같이 기록할 것」에서는 실험마다 함께 적을 조건을 Host 여덟 · VM 일곱 · Workload 다섯으로 못박았다. 이유도 한 줄로 적었는데, 조건을 남기지 않으면 「Memory pressure에서 느려졌다」는 결과를 다른 환경에 재사용하기 어렵다는 것이다.
메모리 실험 결과에는 측정값과 함께 호스트, VM, 워크로드 조건을 남긴다. 같은 메모리 압박이라도 호스트 RAM, swap·zswap 상태, VM 메모리 설정, NUMA 구성, 워크로드가 다르면 결과가 달라질 수 있기 때문이다.
## 조건표가 결과만큼 중요한 이유