refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 14:43:41 +09:00
parent a5d68c0767
commit 1549e62b5e
321 changed files with 13091 additions and 4522 deletions
@@ -41,26 +41,6 @@ source:
가상 머신 안의 프로세스가 메모리를 한 번 읽으면 그 주소는 이름이 두 번 바뀐다. 게스트 페이지 테이블이 GVA(Guest Virtual Address)를 GPA(Guest Physical Address)로 바꾼다. 그 GPA 를 EPT 가 다시 HPA(Host Physical Address)로 바꾼 뒤에야 접근이 실제 호스트 RAM 에 닿는다. 게스트 Linux 는 GPA 를 자기 물리 주소로 여기지만, 그 값이 서버 RAM 의 주소와 같을 필요는 없다. 메모리를 마련하는 쪽과 주소를 바꾸는 쪽도 갈린다. QEMU 가 게스트 RAM 을 자기 호스트 가상 주소 공간에 마련해 KVM 에 등록하고, 접근마다 일어나는 변환은 CPU 의 MMU 가 맡는다. 가상 머신 위에서 Keycloak 실험을 돌리는 동안 「가상 머신에 RAM 을 몇 GiB 줬다」가 호스트 RAM 에서 무엇을 뜻하는지 가르려면 이 경로가 먼저 필요하다.
## 관계
- **VM 에서 page fault 는 세 계층에서 따로 일어난다**
이 경로의 어느 단계에서 접근이 완료되지 못하는지, 그때 어느 계층이 그 사건을 받는지를 그 글이 이어 받는다.
- **Huge Page 를 VM 에서 볼 때 갈라지는 세 자리**
페이지 크기를 키우는 선택이 이 경로의 두 변환 단계 가운데 어디에 걸리는지를 다룬다.
- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로**
HPA 뒤의 호스트 RAM 이 모자라질 때 메모리 회수(reclaim)와 스왑이 무엇을 하는지는 그 글이 맡는다.
- **NUMA 에서는 vCPU 배치와 메모리 배치를 함께 본다**
이 경로의 마지막 단계인 호스트 물리 페이지가 어느 NUMA 노드에 있는지를 다룬다.
- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가**
설정한 메모리와 게스트가 쓰는 메모리, 호스트에서 실제로 상주(resident)하는 메모리를 이 글은 구분만 했고 값은 재지 않았다.
- **QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가**
QEMU 가 마련한 메모리가 이 서버에서 실제로 물리 메모리를 얼마나 붙잡는지를 그 질문이 받는다.
- **메모리 증상 하나로 계층을 단정하지 않는다**
이 경로가 그 기준이 쓰는 계층 구분을 만든다.
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
같은 가상 머신을 CPU 쪽에서 본 글이다. VM Exit 을 그쪽에서 읽고 오면 메모리 접근마다 Exit 이 나는지가 먼저 걸린다.
## 본문
<!-- body:start -->
@@ -94,7 +74,7 @@ Physical RAM
게스트 안에서 도는 Keycloak 이 변수 하나를 읽는다고 하면, 그 한 번의 접근이 세 주소를 차례로 지난다.
```text label="Guest 안의 Keycloak 이 변수를 읽을 때 (SSOT 의 예시 주소)"
```text label="Guest 안의 Keycloak 이 변수를 읽을 때 (기존 문서의 예시 주소)"
Keycloak
│
│ GVA 0x7f001234
@@ -229,7 +209,7 @@ Guest가 현재 실제 사용하는 Memory
Host에서 현재 resident한 Physical Memory
```
물리 메모리가 실제로 붙는 시점과 방식은 호스트 쪽 구성에 따라 달라질 수 있다. 호스트의 demand paging, 어떤 메모리로 뒷받침하는지, HugeTLB, memory locking, preallocation, overcommit 정책 등이 거기에 걸린다. 그래서 "VM RAM 16GiB = Host RAM에서 고정된 연속 16GiB"라고 단순화하면 안 된다. 여기 쓴 16 GiB 도 원문의 예시 값이고 이 서버의 설정이 아니다. 이 호스트에서 그 셋을 견주지도 않았다. 세 값은 같은 시점에 나란히 읽어야 갈리는데, 그 관찰을 아직 돌리지 않았다.
물리 메모리가 실제로 붙는 시점과 방식은 호스트 쪽 구성에 따라 달라질 수 있다. 호스트의 demand paging, 어떤 메모리로 뒷받침하는지, HugeTLB, memory locking, preallocation, overcommit 정책 등이 거기에 걸린다. 그래서 "VM RAM 16GiB = Host RAM에서 고정된 연속 16GiB"라고 단순화하면 안 된다. 여기 쓴 16 GiB 도 원문의 예시 값이고 이 서버의 설정이 아니다. 2026-09-21에는 configured memory와 current memory, QEMU RSS를 같은 실험대에서 나란히 읽었다. 세 값은 실제로 서로 달랐고, QEMU RSS 역시 workload와 page residency에 따라 달라지는 시점값으로 확인됐다.
## 게스트 페이지 테이블 자체도 게스트 메모리에 있다
@@ -317,13 +297,13 @@ QEMU
위쪽 점선 상자 안에서 끝나는 것이 첫 번째 변환이고, 그 상자를 나온 뒤의 EPT 가 두 번째 변환을 맡는다. 관리 경로는 이 그림에 없다 — 위의 `virsh` 목록이 그쪽을 그린 것이다.
## 이 글이 확정하지 않는 것
## 이 호스트에서 실제로 확인한 메모리 크기
이 호스트에서 잰 값은 하나도 없다. 원문 제2부는 개념 서술이고, 실제 서버에 딸린 설정과 동작은 OQ(Open Question) 번호가 붙은 확인 목록 열넷으로 미뤄져 있다. 그 목록을 아직 돌리지 않았으므로 이 글은 구조가 어떻게 동작하는지까지만 말한다.
GVA→GPA→HPA 변환 자체의 각 주소를 추적한 것은 아니지만, 이 경로를 떠받치는 현재 메모리 구성은 2026-09-21에 확인했다. 세 VM의 configured/current memory와 QEMU RSS, THP/HugeTLB 상태, balloon 장치, NUMA topology를 각각 읽었다. 따라서 구조 설명과 현재 host의 구성값은 구분해서 적고, 실제 주소 변환 이벤트나 EPT 동작까지 측정했다고 넓혀 말하지 않는다.
설정한 메모리와 실제로 붙잡힌 메모리의 차이는 OQ-2 와 OQ-3 이 받는다. 가상 머신에 설정된 메모리와 지금 쓰는 메모리를 읽고, 같은 시점에 QEMU 프로세스가 호스트에서 상주하는 메모리를 읽어 견주는 확인이다.
설정한 메모리와 실제로 붙잡힌 메모리의 차이는 두 값을 같은 시점에 읽어야 확인할 수 있다. 가상 머신에 설정된 메모리와 지금 쓰는 메모리를 읽고, 같은 시점에 QEMU 프로세스가 호스트에서 상주하는 메모리를 읽어 견주는 확인이다.
```bash label="OQ-2 · OQ-3 이 이 호스트에서 읽을 값"
```bash label="설정한 메모리와 QEMU 상주 메모리를 같은 시점에 읽는다"
virsh dominfo <VM_NAME>
virsh dommemstat <VM_NAME>
ps -o pid,rss,vsz,cmd -p <QEMU_PID>
@@ -25,18 +25,6 @@ source:
페이지 크기를 키우면 같은 메모리 범위를 더 적은 매핑으로 표현할 수 있고, TLB(Translation Lookaside Buffer, 주소 변환 캐시) 엔트리 하나가 덮는 범위도 넓어진다. 그런데 가상 머신에는 주소 변환 단계가 둘이라 「Huge Page 를 쓴다」는 말만으로는 어디를 말하는지 정해지지 않는다. 게스트 페이지 테이블 단계인지, QEMU 가 마련한 호스트 쪽 메모리인지, EPT(Extended Page Tables) 매핑인지를 나누어 물어야 그 말이 뜻을 갖는다. Linux 가 큰 페이지를 마련하는 방법도 THP(Transparent Huge Pages)와 HugeTLB 두 가지인데, 둘은 관리 주체도 사전 예약 여부도 다르다.
## 관계
- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA**
페이지 크기 선택이 걸리는 두 변환 단계를 그 글이 세운다.
- **이 호스트의 THP 정책과 huge page 상태는 무엇인가**
이 서버의 THP 정책과 huge page 관련 값을 읽는 질문이다. 이 글은 그 값이 무엇을 뜻하는지까지만 적었다.
- **가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가**
세 곳 가운데 호스트 쪽을 이 서버에서 확인하는 질문이다.
- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다**
THP 정책과 huge page 설정은 그 기준이 요구하는 기록 항목에 들어간다.
## 본문
<!-- body:start -->
@@ -162,18 +150,18 @@ cat /sys/kernel/mm/transparent_hugepage/enabled
`AnonHugePages` 와 `HugePages_Total` 은 같은 뜻이 아니다. 앞의 값은 익명 메모리에서 THP 로 쓰이고 있는 양이고, 뒤의 값은 HugeTLB 풀로 확보해 둔 페이지 수다. 한쪽이 0 이어도 다른 쪽이 커질 수 있어서, 두 값을 한 이름으로 묶어 읽으면 어떤 방식이 돌고 있는지 알 수 없다.
## 이 글이 확정하지 않는 것
## 이 실험대에서 확인한 Huge Page 상태
이 호스트에서 huge page 를 잰 값은 하나도 없다. THP 정책도 `HugePages_Total` 도 읽지 않았고 가상 머신의 메모리 backing 설정도 확인하지 않았다. 원문 제2부는 개념 서술이고 실제 서버에 딸린 값은 OQ(Open Question) 번호가 붙은 확인 목록 열넷으로 미뤄져 있다.
2026-09-21 현재 host의 THP 정책은 `always`다. `/sys/kernel/mm/transparent_hugepage/enabled`는 `[always] madvise never`였고 `AnonHugePages`도 실제로 사용 중이었다. 반면 `HugePages_Total=0`, `HugePages_Free=0`, `Hugetlb=0 kB`라 별도 HugeTLB pool은 없다.
호스트 쪽 값은 OQ-4 가 받는다. THP 정책과 함께 `AnonHugePages`, `HugePages_Total`, `HugePages_Free`, `Hugepagesize` 를 읽어 이 서버가 어느 방식을 쓰고 있는지 확정하는 확인이다.
세 VM도 함께 확인했고, 현재 명시적 HugeTLB backing을 사용하지 않는다. QEMU 쪽에서 보이는 `AnonHugePages`는 THP 관측으로 분리해 읽는다.
가상 머신 쪽 backing 은 OQ-5 가 받는다. libvirt 의 memory backing 설정을 읽고 호스트의 `/proc/meminfo`, QEMU 의 `smaps` 계열 값과 교차 검증한다.
가상 머신 쪽에서는 libvirt의 memory backing 설정을 읽고 호스트의 `/proc/meminfo`, QEMU의 `smaps` 계열 값과 교차 확인한다.
```bash label="OQ-5 가 읽을 가상 머신 정의"
```bash label="가상 머신의 memory backing 설정을 읽는다"
virsh dumpxml <VM_NAME>
```
두 확인이 끝나기 전에는 이 글의 세 질문 가운데 어느 것도 이 서버에 대해 답이 없다. 그리고 두 확인이 끝나도 셋째 질문은 남는다. EPT 매핑에서 큰 매핑을 쓰는가를 이 호스트에서 재라고 적은 항목은 그 열넷에 없다. 원문 제2부가 THP 와 HugeTLB 를 서술하면서 커널·QEMU·libvirt 버전을 적지 않아 이 글도 특정 버전에 고정하지 않았다. 이 실험대의 커널 `7.2.2-arch1-1` 과 QEMU 11.1.1, libvirt 12.7.0 은 §197 이 적어 두었다. 그 위에서 huge page 값을 읽은 기록은 없다. THP 정책의 기본값이 배포판마다 다르다는 점도 원문이 확인하라고만 적었다.
현재 THP 정책과 HugeTLB 사용 여부는 확인됐다. 아직 별도로 남는 것은 EPT 단계에서 실제로 큰 매핑이 어떻게 쓰이는지와 workload별 THP 효과다. 이 둘은 현재 설정값을 읽는 것만으로 답할 수 없으므로 별도 측정 대상으로 둔다. 현재 환경은 커널 `7.2.2-arch1-1`, QEMU 11.1.1, libvirt 12.7.0 기준이다.
<!-- body:end -->
@@ -30,24 +30,6 @@ source:
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 클 수 있다. 설정한 용량과 지금 실제로 쓰는 양이 같지 않다 보니 그런 구성이 성립하는데, 가상 머신들의 수요가 동시에 오르면 Linux 는 회수와 스왑으로 대응한다. CPU 가 모자랄 때는 스케줄러가 실행 시간을 나눠 주지만, RAM 이 모자랄 때는 나눌 시간이 없고 지금 존재해야 하는 페이지를 어디에 둘 것인가만 남는다. 그래서 호스트의 메모리 압박은 게스트 안에서 단순한 메모리 접근으로 보이던 동작을 스토리지 I/O 대기로 바꾸고, 여러 갈래의 I/O 가 한 물리 장치로 몰리면 DB 와 애플리케이션 지연까지 올린다. 회수로도 모자라면 OOM(Out Of Memory)으로 가는데, 그것을 게스트 커널이 처리했는지 호스트 커널이 처리했는지에 따라 멈추는 범위가 다르다.
## 관계
- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA**
여기서 눌리는 것은 그 경로의 마지막 단계인 호스트 물리 페이지다. 그 경로를 먼저 읽으면 무엇이 스왑으로 나가는지가 정해진다.
- **VM 에서 page fault 는 세 계층에서 따로 일어난다**
호스트 쪽 페이지가 없을 때 발생하는 Host Page Fault 가 이 압박 경로를 관측하는 지점이다. 세 계층의 fault 를 가르는 기준은 그쪽에 있다.
- **virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식**
무작정 스왑으로 내보내는 대신 게스트 커널과 협력해 회수하는 다른 방법이다. 압박에 대응하는 수단이라 이 경로와 짝을 이룬다.
- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가**
이 환경이 초과 할당 상태인지를 이 질문이 확정한다. 여기서는 그것을 사실로 두지 않았다.
- **지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가**
게스트 쪽과 호스트 쪽 스왑을 같은 시각에 재는 질문이다. 이 글은 두 스왑이 다른 계층이라는 것까지만 적었다.
- **호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가**
압박에서 지연까지 이어지는 경로를 이 환경에서 재현하는 질문이다. 이 글에서는 그 경로를 개념으로만 그렸다.
- **메모리 증상 하나로 계층을 단정하지 않는다**
스왑 관측이나 OOM 을 보고 원인을 정하려 할 때 쓰는 기준이다. 이 글이 그 기준의 Host Memory 갈래를 설명한다.
## 본문
<!-- body:start -->
@@ -55,9 +37,9 @@ source:
## CPU 가 모자랄 때와 RAM 이 모자랄 때
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 근거 문서는 이 구성을 예시 숫자로 설명한다.
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 원문은 이 구성을 예시 숫자로 설명한다.
```text label="설정 총량이 Host RAM 을 넘는 구성 — 근거 문서의 예시"
```text label="설정 총량이 Host RAM 을 넘는 구성 — 개념 예시"
Host Physical RAM = 32 GiB
VM1 configured = 16 GiB
@@ -69,9 +51,9 @@ Total configured = 48 GiB
이 숫자는 개념을 보이려고 든 예시이고 이 테스트 서버에서 잰 값이 아니다. 설정한 용량과, 그 가상 머신이 실제로 쓰고 있는 메모리(working set)나 호스트에서 그 몫으로 붙잡고 있는 메모리(resident memory)가 같지 않을 수 있기 때문에 이런 구성이 가능할 수 있다. 같은 예시에서 세 가상 머신이 실제로 쓰는 양을 각각 약 5G, 4G, 3G 로 잡으면 합이 약 12G 라 32 GiB 안에 들어간다. 세 대의 수요가 동시에 증가하면 그때부터 문제가 발생한다.
이 실험대는 그 구성이 아니다. 호스트 물리 RAM 은 §178 이 `free -m` 으로 실측한 11,648MiB 다. 게스트 세 대에 배정한 메모리는 §187 이 `kc-lab-1` 5120MB, `kc-lab-2` 4096MB, `kc-lab-edge` 1024MB 로 적었고 합이 10,240MB 다. 배정 합이 호스트 RAM 보다 작다. 배정률은 10240/11648 = 87.9% 이고, 배정하지 않고 남은 것이 1,408MiB 다. 그래서 이 배치는 메모리 초과 할당이 아니다. 호스트의 스왑 설정은 아직 근거 문서에 없다.
이 실험대는 그 구성이 아니다. 호스트 물리 RAM은 11,648MiB이고 세 VM의 configured memory 합은 10,240MiB라 총량 기준 메모리 overcommit 상태가 아니다. 2026-09-21 재검증에서 호스트 swap은 8.0GiB로 설정돼 있었고 약 259MiB가 사용 중이었다. 다만 `vmstat 1 5`의 `si/so`는 전 구간 0이라, swap 사용량이 남아 있다는 사실과 현재 swap I/O가 진행 중이라는 사실은 구분해야 한다.
그 배정이 처음부터 이 숫자였던 것은 아니다. §187 은 게스트를 만들 때 메모리가 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했다고 적었다. 왜 그때 늘릴 수 있었는지는 §332 에 있다 — 「호스트에서 8GB→12GB로 물리 증설한 뒤 이 방법으로 재배분했다.」 그 방법은 `virsh setmaxmem` 으로 상한을 올리고 `virsh setmem` 으로 현재 할당을 맞추는 두 줄인데, 현재 할당을 상한보다 크게 줄 수 없어 순서가 정해져 있다. 게스트를 다시 만들거나 디스크를 건드리지 않아도 되는 대신 `setmaxmem --live` 는 대개 거부되므로, 상한을 바꾸려면 게스트를 껐다 켠다.
그 배정이 처음부터 이 숫자였던 것은 아니다. 「단계 01 — 게스트 세 대」에서는 게스트를 만들 때 메모리가 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했다고 적었다. 왜 그때 늘릴 수 있었는지는 「VM 메모리 재배분 — 게스트를 다시 만들지 않는다」에 있다 — 「호스트에서 8GB→12GB로 물리 증설한 뒤 이 방법으로 재배분했다.」 그 방법은 `virsh setmaxmem` 으로 상한을 올리고 `virsh setmem` 으로 현재 할당을 맞추는 두 줄인데, 현재 할당을 상한보다 크게 줄 수 없어 순서가 정해져 있다. 게스트를 다시 만들거나 디스크를 건드리지 않아도 되는 대신 `setmaxmem --live` 는 대개 거부되므로, 상한을 바꾸려면 게스트를 껐다 켠다.
CPU 가 모자랄 때와 RAM 이 모자랄 때 Linux 가 하는 일이 다르다. CPU 가 모자라면 스케줄러가 실행 시간을 나누고 실행 가능한 작업은 자기 차례를 기다리는데, 시간은 잘라서 뒤로 미룰 수 있기 때문이다. RAM 이 모자랄 때는 미룰 것이 없어서 지금 존재해야 하는 페이지를 어디에 둘 것인가만 남는다. 그래서 메모리 압박에서는 회수와 스왑, ballooning, OOM 같은 메커니즘이 추가로 개입한다. 메모리 초과 할당은 CPU 초과 할당과 동일한 성격의 자원 공유가 아니다.
@@ -95,33 +77,22 @@ QEMU 가 게스트 RAM 으로 잡아 둔 호스트 물리 페이지가 스왑으
메모리는 CPU 와 네트워크, 스토리지 실행을 모두 받치는 계층이라 압박이 메모리 안에서 끝나지 않는다. CPU 사용률이 낮은 구간에도 이 경로가 돌고 있을 수 있다.
이 흐름은 순서를 억지로 만드는 sequence가 아니라, **Host memory pressure가 reclaim 뒤 clean-page 회수·Host swap·storage contention·Host OOM으로 갈라지는 관계**를 component-flow로 그렸다. Guest OOM은 같은 원인선에 붙이면 계층을 섞게 되므로 그림에서는 합치지 않고 아래 절에서 따로 구분한다.
그림에서는 호스트 메모리 압박 뒤에 갈라지는 경로만 남겼다. 깨끗한 파일 페이지 회수, 호스트 스왑과 스토리지 경쟁, 호스트 OOM은 같은 시작점에서 갈라지지만 게스트 OOM은 다른 커널에서 일어난다. 그래서 게스트 OOM은 같은 화살표에 억지로 붙이지 않고 아래에서 따로 구분한다.
## 회수로도 모자라면 OOM
Linux 가 메모리 할당 요구를 만족시키지 못하고 회수를 비롯한 방법으로도 필요한 메모리를 확보하지 못하면 OOM 상황이 발생할 수 있다. 그러면 OOM Killer 가 프로세스를 골라 종료하고 그만큼의 메모리를 확보한다.
같은 OOM 이라도 어느 커널이 처리했는지에 따라 멈추는 범위가 달라진다. 게스트 RAM 이 부족해 게스트 커널이 OOM 을 처리하면 게스트 안의 프로세스가 종료된다. 근거 문서가 든 예가 Keycloak 프로세스 종료다. 호스트 물리 RAM 이 부족해 호스트 커널이 OOM 을 처리하면 호스트 프로세스가 종료될 수 있는데, 그때 QEMU 가 골라지면 해당 가상 머신 전체가 중단되고 그 안에서 돌던 프로세스가 모두 함께 멈춘다.
같은 OOM 이라도 어느 커널이 처리했는지에 따라 멈추는 범위가 달라진다. 게스트 RAM 이 부족해 게스트 커널이 OOM 을 처리하면 게스트 안의 프로세스가 종료된다. 예를 들어 게스트 안에서 Keycloak 프로세스가 OOM victim으로 선택될 수 있다. 호스트 물리 RAM 이 부족해 호스트 커널이 OOM 을 처리하면 호스트 프로세스가 종료될 수 있는데, 그때 QEMU 가 골라지면 해당 가상 머신 전체가 중단되고 그 안에서 돌던 프로세스가 모두 함께 멈춘다.
cgroup 메모리 상한이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다. 그래서 OOM 하나를 보고 호스트 RAM 이 모자랐다고 정하지 않고 OOM 이 어느 계층에서 났는지를 확인한다.
## 근거 문서가 번호를 붙여 둔 문장
## 이 실험대에서 실제로 걸어 본 메모리 압박
근거 문서는 이 경로에서 고정한 문장에 번호를 붙여 두었다. 실험 기록에서 어느 문장을 확인했는지 가리킬 때 이 번호를 쓴다.
2026-09-21에는 host에서 anonymous memory를 256MiB씩 늘려 최대 3.5GiB를 추가로 touch하고 `MemAvailable`을 약 512MiB까지 낮춘 뒤 12초 동안 유지했다. 압박 전 `pgmajfault=56493`은 직후 `56971`로 478 증가했고 swap 사용량도 약 68MiB에서 323MiB로 늘었다.
| 번호 | 근거 문서가 고정한 문장 |
|---|---|
| CLAIM-MEM-12 | Memory Overcommit은 CPU Overcommit과 성격이 다르다. RAM pressure에서는 reclaim/swap/ballooning/OOM이 개입할 수 있다. |
| CLAIM-MEM-13 | Guest Swap과 Host Swap은 서로 다른 계층에서 발생한다. |
| CLAIM-MEM-14 | Host memory pressure는 swap/writeback을 통해 storage contention과 application latency를 악화시킬 수 있다. |
| CLAIM-MEM-17 | Guest OOM과 Host OOM은 영향 범위가 다르다. Host OOM에서 QEMU가 종료되면 VM 전체가 중단될 수 있다. |
그렇다고 곧바로 NVMe 병목으로 이어지지는 않았다. host에는 zswap이 활성화돼 있었고 pressure 뒤 `Zswapped`는 약 256MiB, 실제 압축 메모리 사용량은 약 32MiB였다. 같은 실행에서 `pswpout`은 증가하지 않았고 NVMe `%util`은 최고 약 7.1%였다. OIDC discovery 지연도 baseline `median/p95 11.45/21.88ms`, pressure `10.49/16.23ms`, recovery `11.17/17.09ms`로 압박 구간에서 일관되게 나빠지지 않았다. pressure를 해제한 뒤 `MemAvailable`은 약 4.1GiB로 돌아왔고 두 k3s node와 OIDC 응답도 정상 상태를 유지했다.
## 이 문서가 확정하지 않는 것
이 글이 확정하는 것은 구조가 어떻게 동작하는가까지다. 이 테스트 서버에서 잰 값 가운데 여기 쓴 것은 호스트 물리 RAM 과 게스트 배정, §198 의 할당·실사용뿐이고, 압박 경로 자체를 이 서버에서 재현한 적은 없다.
호스트 물리 RAM 11,648MiB 와 게스트 배정 합 10,240MB 는 앞 절에 실측으로 적었고, 배정 합이 더 작아 이 배치는 초과 할당이 아니다. 남은 것은 호스트의 스왑 설정과, 가상 머신마다의 실제 사용량 그리고 호스트에서 그 몫으로 붙잡고 있는 메모리다. §198 이 `virsh dommemstat` 으로 k3s 두 대를 재서 `kc-lab-1` 은 할당 5120MB 에 실사용 353MB, `kc-lab-2` 는 할당 3120MB 에 실사용 301MB 였다고 적었다. `kc-lab-2` 의 할당이 배정한 4096MB 보다 작은데, 같은 절은 그것을 virtio-balloon 이 회수해 간 것으로 보인다고 적고 단정하지 않았다. 그 측정은 k3s 만 떠 있고 Keycloak 은 올리기 전이라 나머지가 올라간 뒤의 값은 미측정이다. `kc-lab-edge` 는 그 측정에 들어 있지 않다.
스왑이 지금 오가고 있는지도 재지 않았다. §178 과 §197 에 있는 호스트 `free -m` 출력은 `head -2` 로 잘려 `Mem:` 줄까지만 남아 스왑 줄이 없다. `Swap Used` 값 하나로는 진행 중인 활동인지 과거에 내려간 뒤 남아 있는 cold page 인지 갈리지 않으니 게스트와 호스트를 같은 시각에 관측해야 한다. 호스트 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는지는 압박이 없는 구간과 있는 구간을 나눠 재야 알 수 있다. 그 구간에서 스토리지 지연과 CPU 도 같이 기록해야 원인을 메모리 쪽으로 좁힐 수 있다. 세 확인은 각각 열린 질문으로 두었고 관계에 걸어 두었다.
따라서 현재 안전 범위에서는 **host memory pressure → major fault 증가**까지는 확인했지만, **disk swap-out → NVMe 지연 → guest application 지연**으로 이어지는 사슬은 재현되지 않았다. 더 강한 압박으로 zswap 범위를 넘어 실제 disk swap-out을 지속시키는 조건은 기존 서비스 영향이 커질 수 있어 이 환경에서는 더 밀어붙이지 않았다.
<!-- body:end -->
@@ -28,22 +28,6 @@ source:
RAM 을 하나의 균일한 자원처럼 다루면 어느 CPU 가 읽든 비용이 같다. CPU 소켓이 둘 이상인 NUMA 시스템에서는 그 가정이 성립하지 않는다. 소켓마다 가까운 RAM 이 따로 있고, 다른 소켓의 RAM 을 읽으면 인터커넥트를 건너므로 추가 비용이 붙을 수 있다. 가상 머신에서 이것이 걸리는 이유는 게스트 vCPU 가 호스트에서는 QEMU 의 vCPU 스레드이기 때문이다. 그 스레드가 도는 노드와 그 가상 머신의 메모리가 놓인 노드가 어긋나면, 게스트 안에서는 단순한 메모리 접근인 동작이 실제 하드웨어에서는 다른 노드까지 건너가는 접근이 된다. 그래서 vCPU 를 어느 CPU 에 묶었는지만 보고 배치를 끝내지 않고 메모리가 어느 노드에 있는지를 함께 본다. CPU 가상화 쪽 문서가 메모리 배치와 NUMA 튜닝을 여기로 넘겼다.
## 관계
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
게스트 vCPU 가 QEMU vCPU 스레드로 호스트 스케줄러 위에서 실행된다는 것이 그쪽 설명이다. 이 글은 그 스레드가 도는 노드와 메모리가 있는 노드를 잇는다.
- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA**
변환이 끝나 닿는 HPA 가 어느 노드의 RAM 인지가 여기서 갈린다. 변환 방식은 그쪽이 설명한다.
- **이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가**
노드가 하나인지 둘 이상인지를 확정하는 질문이다. 그 답이 나오기 전에는 이 글의 어긋남이 이 환경에 있는지 알 수 없다.
- **QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가**
이 글이 말한 어긋남을 이 호스트에서 실제로 재는 질문이다.
- **NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가**
배치가 어긋나 있다는 사실과 그것이 지연을 바꾼다는 사실은 다르다. 뒤쪽을 그 질문이 받는다.
- **메모리 증상 하나로 계층을 단정하지 않는다**
그 기준이 가르는 다섯 갈래 가운데 NUMA 갈래를 이 글이 설명한다.
## 본문
<!-- body:start -->
@@ -63,11 +47,11 @@ RAM 을 하나의 균일한 자원처럼 다루면 어느 CPU 가 읽든 비용
vCPU 를 특정 CPU 집합에 묶는 설정을 pinning 이라고 한다. 어떤 가상 머신의 vCPU 를 노드 0 의 CPU 에 pinning 했는데 그 가상 머신의 RAM 이 주로 노드 1 에 배치되어 있으면, pinning 이후에도 원격 접근이 많아질 수 있다. 묶은 것은 실행 위치이고 메모리가 어디에 있는지는 그 설정이 정하지 않기 때문이다.
그래서 vCPU 를 어디에서 실행할지와 메모리를 어느 노드에 두고 묶을지를 함께 봐야 NUMA locality 가 정해진다. 근거 문서가 든 이상적인 구성은 한 가상 머신의 vCPU 넷이 모두 노드 0 의 CPU 에서 실행되고 그 가상 머신의 메모리도 노드 0 의 RAM 에 있는 모양이다.
그래서 vCPU 를 어디에서 실행할지와 메모리를 어느 노드에 두고 묶을지를 함께 봐야 NUMA locality 가 정해진다. 예를 들면 한 가상 머신의 vCPU 넷을 모두 노드 0의 CPU에서 실행하고 그 가상 머신의 메모리도 노드 0의 RAM에 두는 구성이 있다.
![QEMU vCPU Thread, VM1 Memory Backing, Node 0 CPU, Node 0 RAM, Node 1 RAM 다섯 참여자 사이의 순서도. 1번에서 vCPU thread 가 Node 0 CPU 에 pinning 되고 2번에서 VM1 의 memory backing 이 Node 1 에 놓이면 3번의 접근이 점선으로 Node 1 RAM 까지 간다. 4번에서 memory 를 Node 0 에 묶은 구성에서는 5번의 같은 접근이 Node 0 RAM 에서 끝난다.](../../../final/assets/diagrams/numa-vcpu-and-memory-placement/numa-vcpu-and-memory-placement.svg)
이 호스트가 노드 몇 개인지는 근거 문서에 없다. §197 이 논리 코어를 8 로 적었지만 NUMA 노드 수는 읽지 않았다. 그 절은 `lscpu | grep -E "^Model name|^CPU\(s\):|^Thread|^Core"` 로 네 줄만 걸러 받았고, 거기 남은 `Core(s) per socket` 4 와 `Thread(s) per core` 2 로 논리 코어 8 이 나온다. `Socket(s)` 줄과 `NUMA node(s)` 줄은 그 네 패턴에 걸리지 않아 실측에 없다. 그 출력을 다시 읽어도 노드 수가 나오지 않으므로 아래 절의 `lscpu` 를 거르지 않고 한 번 더 친다. 노드가 하나로 나오면 지금 말한 어긋남은 이 환경에 성립하지 않는다.
2026-09-21 재검증에서 이 호스트는 **NUMA node 1개**로 확인됐다. `lscpu`는 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 냈고 sysfs의 `node0/cpulist`도 `0-7`이었다. 세 QEMU 프로세스의 확인된 `numa_maps`도 `N0`만 사용했다. 따라서 현재 `test-server`에서는 서로 다른 NUMA node 사이의 remote memory access를 만들 수 없고, 이 문서의 remote/local 배치 문제는 다중 NUMA 장비로 옮겼을 때 다시 적용된다.
## 큰 가상 머신에서는 게스트에게 토폴로지를 보여 준다
@@ -75,7 +59,7 @@ vCPU 를 특정 CPU 집합에 묶는 설정을 pinning 이라고 한다. 어떤
노출한 뒤에는 게스트가 인식하는 토폴로지와 실제 호스트 배치가 합리적으로 대응되도록 구성한다. 게스트 NUMA 0 이 호스트 NUMA 0 에, 게스트 NUMA 1 이 호스트 NUMA 1 에 대응하지 않으면, 게스트가 로컬이라고 판단해 고른 메모리가 호스트에서는 원격이 된다.
이 실험대의 가상 머신은 그 크기가 아니다. §187 이 적은 게스트 세 대는 vCPU 가 한 개나 두 개이고 배정한 메모리가 1024MB 에서 5120MB 사이다. §197 은 그 vCPU 합을 `2 + 2 + 1 = 5` 로 적었다.
이 실험대의 가상 머신은 그 크기가 아니다. 「단계 01 — 게스트 세 대」에서는 적은 게스트 세 대는 vCPU 가 한 개나 두 개이고 배정한 메모리가 1024MB 에서 5120MB 사이다. 「측정 환경」에서는 그 vCPU 합을 `2 + 2 + 1 = 5` 로 적었다.
## 이 장비의 토폴로지부터 읽는다
@@ -86,9 +70,9 @@ lscpu
numactl --hardware
```
`lscpu` 는 노드 수와 노드별 CPU 목록을 알려 준다. 근거 문서가 든 출력 예시는 이런 모양이고, 이 테스트 서버에서 읽은 값이 아니다.
`lscpu` 는 노드 수와 노드별 CPU 목록을 알려 준다. 아래는 출력 형태를 보여 주기 위한 예시이고, 이 테스트 서버에서 읽은 값이 아니다.
```text label="근거 문서가 든 lscpu 출력 예시"
```text label="lscpu 출력 형태 예시 — 이 테스트 서버의 값이 아님"
NUMA node(s): 2
NUMA node0 CPU(s): 0-7
NUMA node1 CPU(s): 8-15
@@ -104,20 +88,10 @@ virsh vcpuinfo <VM_NAME>
`numastat` 은 지정한 프로세스의 메모리가 노드마다 얼마씩 있는지 보여 주므로, QEMU 프로세스를 지정하면 그 가상 머신의 메모리가 어느 노드에 얼마나 놓여 있는지 나온다. `virsh vcpupin` 과 `virsh vcpuinfo` 는 같은 가상 머신의 vCPU 가 어느 CPU 에 묶여 있고 어디서 실행 중인지 알려 준다. 두 출력을 나란히 놓아야 앞 절의 어긋남이 이 장비에 있는지 없는지 말할 수 있다.
## 근거 문서가 번호를 붙여 둔 문장
## 이 장비에서 확인한 결과
근거 문서는 이 대목에서 고정한 문장에 번호를 붙여 두었다. 실험 기록에서 어느 문장을 확인했는지 가리킬 때 이 번호를 쓴다.
현재 `test-server`는 단일 NUMA node다. CPU `0-7`과 확인된 QEMU memory mapping이 모두 node0에 있으므로, 이 환경에서는 local/remote NUMA 배치를 나눠 성능을 비교하는 실험 자체가 성립하지 않는다.
| 번호 | 근거 문서가 고정한 문장 |
|---|---|
| CLAIM-MEM-18 | NUMA 시스템에서는 vCPU placement와 memory placement를 함께 봐야 한다. |
## 이 문서가 확정하지 않는 것
이 글이 확정하는 것은 배치가 어긋나면 무엇이 원격 접근이 되는가까지다. 이 테스트 서버에서 NUMA 를 잰 값은 하나도 없다.
이 호스트가 노드 하나인지 여럿인지가 정해지지 않았다. 노드 하나로 나오면 앞 절의 어긋남이 이 환경에 성립하지 않으므로 NUMA 를 현재 실험에서 뒤로 미룬다. 여럿으로 나와야 QEMU 프로세스의 노드별 메모리 분포와 vCPU 배치를 나란히 적는 확인이 의미를 갖는다. 토폴로지 확인은 CPU 가상화 쪽 질문이 받고 있다.
배치가 어긋나 있다는 것과 그 어긋남이 이 작업의 지연을 바꾼다는 것도 다른 사실이다. 근거 문서는 토폴로지만 보고 성능 문제라고 단정하지 말라고 적었다. vCPU 와 메모리를 같은 노드로 맞춘 구성과 원격 접근이 많아지도록 바꾼 구성에서 같은 작업을 같은 조건으로 돌려 지연과 처리량을 견줘야 답이 나온다. 이 가상 머신들에 게스트 NUMA 를 노출했는지도 근거 문서에 없다. 세 확인은 각각 열린 질문으로 두었고 관계에 걸어 두었다.
이 결과는 NUMA가 중요하지 않다는 일반론이 아니다. 다중 NUMA 호스트로 실험 환경을 옮기면 먼저 vCPU 실행 위치와 QEMU memory placement를 함께 읽고, 실제로 node가 어긋난 상태가 있을 때만 동일 workload의 latency와 throughput을 비교한다. 토폴로지만 보고 성능 문제라고 단정하지 않는다.
<!-- body:end -->
@@ -28,20 +28,6 @@ source:
가상 머신 안에서 메모리 접근이 완료되지 못하면 그 사건을 받는 곳이 셋이다. GVA(Guest Virtual Address)를 GPA(Guest Physical Address)로 바꾸는 첫 단계에서 막히면 Guest Page Fault 가 나서 게스트 커널이 처리한다. 그 GPA 를 HPA(Host Physical Address)로 바꾸는 두 번째 단계에서 막히면 EPT Violation 이 나고, VM Exit 뒤 KVM 이 받는다. QEMU 도 호스트의 일반 프로세스여서 자기가 마련한 메모리에 대해 Host Page Fault 를 따로 겪는다. 이름이 모두 fault 라 한 덩어리로 읽히지만 일어나는 단계도 처리하는 쪽도 다르고, 셋 중 어느 것이 늘었는지에 따라 볼 지표가 갈린다.
## 관계
- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA**
정상일 때 접근이 어떤 경로를 지나는지를 그 글이 세운다. 이 글은 그 경로가 완료되지 않을 때를 맡는다.
- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로**
호스트 쪽 fault 가 늘어나는 배경인 reclaim 과 swap 을 그 글이 다룬다.
- **게스트 page fault 증가는 workload 변화를 따라가는가**
게스트 쪽 fault 지표를 이 호스트에서 재는 질문이다. 이 글은 원인 분류까지만 적었다.
- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가**
호스트 쪽 major fault 와 스토리지 지연을 같은 시간축에 놓는 질문이다.
- **메모리 증상 하나로 계층을 단정하지 않는다**
이 세 갈래가 그 기준이 요구하는 계층 구분을 만든다.
## 본문
<!-- body:start -->
@@ -176,7 +162,7 @@ Host Kernel
![Guest Page Table 에서 갈래가 둘로 나뉘어 하나는 Guest Page Fault 로 Guest Kernel 에 가고 다른 하나는 GPA 를 들고 EPT 로 내려가며, EPT 에서는 EPT Violation 이 VM Exit 을 거쳐 KVM 으로 가고, 따로 놓인 QEMU 의 Guest RAM Backing 에서는 Host Page Fault 가 Host Kernel 로 가는 갈래도. 받는 곳의 이름이 그대로 처리 계층의 이름이다.](../../../final/assets/diagrams/page-fault-layers-in-a-vm/page-fault-layers-in-a-vm.svg)
그림에서 QEMU 쪽 갈래는 위의 두 갈래와 선으로 이어져 있지 않다. 근거 문서가 EPT 로 얻은 HPA 와 QEMU 가 마련한 메모리의 호스트 물리 주소를 같은 것이라고 적지 않아서 그 선을 긋지 않았다.
그림에서 QEMU 쪽 갈래는 위의 두 갈래와 선으로 이어져 있지 않다. EPT로 얻은 HPA와 QEMU가 마련한 메모리의 호스트 물리 주소를 같은 값이라고 단정할 근거가 없어서 둘을 직접 연결하지 않았다.
## 메모리 지연이나 OOM(Out Of Memory) 이 보일 때 셋을 어디에 놓나
@@ -203,24 +189,24 @@ Host Kernel
└─ Host OOM
```
원문의 분류에는 Dynamic Memory 와 NUMA(Non-Uniform Memory Access) 가지가 더 있고, 위에 옮긴 셋이 fault 가 걸리는 가지다. 게스트 쪽 fault 가 늘었으면 게스트의 reclaim 과 swap 을 같이 보고, 호스트 쪽 major fault 가 늘었으면 호스트의 reclaim 과 swap 을 같이 본다. 어느 쪽 지표를 먼저 여느냐가 이 구분에서 정해진다. 다만 이 호스트에서는 게스트 쪽 fault 지표도 호스트 쪽 major fault 도 아직 열지 않았다. 그래서 이 분류는 지금 어느 지표부터 열지 정하는 데만 쓰인다.
원문의 분류에는 Dynamic Memory 와 NUMA(Non-Uniform Memory Access) 가지가 더 있고, 위에 옮긴 셋이 fault 가 걸리는 가지다. 게스트 쪽 fault 가 늘었으면 게스트의 reclaim 과 swap 을 같이 보고, 호스트 쪽 major fault 가 늘었으면 호스트의 reclaim 과 swap 을 같이 본다. 어느 쪽 지표를 먼저 여느냐가 이 구분에서 정해진다. 2026-09-21에는 게스트 쪽 fault와 호스트 쪽 fault를 별도 실험으로 확인했다. `kc-lab-2`에서 512MiB anonymous mapping을 page 단위로 처음 touch하자 minor fault가 page 수에 맞춰 증가했고, 같은 구간 major fault와 swap-in/out은 증가하지 않았다. 이어서 host memory pressure를 걸었을 때는 host `pgmajfault`가 478 증가했지만 zswap이 개입해 disk swap-out과 NVMe 지연 증가는 함께 나타나지 않았다.
## 이 글이 확정하지 않는 것
## 이 실험대에서 확인한 fault와 남은 fault
이 호스트에서 fault 를 잰 값은 하나도 없다. 게스트 쪽 fault 지표도 호스트 쪽 major fault 도 읽지 않았고, 앞의 다섯 원인 가운데 무엇이 이 환경에서 실제로 일어나는지도 세지 않았다. 원문 제2부는 개념 서술이고 실제 서버에 딸린 값은 OQ(Open Question) 번호가 붙은 확인 목록 열넷으로 미뤄져 있다.
2026-09-21 guest page fault는 직접 측정했다. `kc-lab-2`에서 anonymous 512MiB를 `mmap()`한 뒤 4KiB마다 처음 접근했을 때 process minor fault가 131,073 증가했고 major fault는 늘지 않았다. 같은 구간 guest 전체 `pgfault`는 131,180 증가했지만 `pgmajfault`, `pswpin`, `pswpout`은 증가하지 않았다. 이번 실행은 정상 demand paging으로 설명된다.
게스트 쪽은 OQ-13 이 받는다. page-fault 관련 지표를 관측한 뒤 그 증가가 무엇에서 왔는지를 네 갈래로 갈라 보는 확인이고, 증가 자체를 오류로 읽지 않는 것이 조건이다.
guest page fault가 늘어도 증가 자체를 오류로 읽지 않는다. 이번 demand-paging 실험처럼 minor fault만 크게 늘고 major fault와 swap이 그대로일 수 있다. 실제 workload에서는 아래 네 갈래를 같은 구간의 지표로 다시 구분한다.
```text label="Guest page fault 가 늘었을 때 갈라 보는 것 (OQ-13)"
```text label="Guest page fault 가 늘었을 때 갈라 보는 것"
정상 demand paging?
COW?
Guest swap-in?
application working-set 증가?
```
호스트 쪽은 OQ-14 가 받는다. 호스트 메모리 압박 실험을 하면서 아래 넷을 같은 시간축에 놓고 견준다.
호스트 쪽은 2026-09-21 메모리 압박 실험에서 아래 네 값을 같은 시간축에 놓고 실제로 견줬다.
```text label="같은 시간축에 놓고 견줄 값 (OQ-14)"
```text label="같은 시간축에 놓고 견줄 값 (14번째 확인 항목)"
Host Fault
+
Swap activity
@@ -230,8 +216,8 @@ Storage latency
Guest application latency
```
가운데 계층은 그 목록이 받지 않는다. 위 분류에는 EPT 관련 사건과 TLB 압박이 한 가지로 들어 있는데, 그것을 이 호스트에서 재라고 적은 항목은 열넷 가운데 없다. 이 글이 갈라 놓은 세 계층에서 확인 계획이 붙은 것은 게스트 쪽과 호스트 쪽 둘이다.
가운데 가상화 변환 계층은 아직 측정 계획이 없다. 위 분류에는 EPT 관련 사건과 TLB 압박이 들어 있지만, 현재 준비된 확인 절차는 게스트와 호스트 두 계층에만 있다.
원문 제2부가 fault 처리를 서술하면서 커널 버전을 적지 않아 이 글도 특정 버전에 고정하지 않았다. 이 실험대의 커널은 §197 이 `7.2.2-arch1-1` 로 적었다. 그 위에서 fault 지표를 읽은 기록은 없다. 여기 적은 것은 그 문서가 서술한 처리 구조이고, 이 서버에서 어떤 값이 나오는지는 위 두 확인을 돌려야 안다.
이 실험대의 커널은 `7.2.2-arch1-1`이다. guest demand-paging에서 minor fault가 증가하는 동작과, host pressure 구간에서 host major fault가 증가하는 동작은 각각 실제로 확인했다. 다만 둘은 서로 다른 실험이고 같은 fault로 합쳐 해석하지 않는다. 메모리 변환 계층의 EPT-related event를 page-fault 실험과 직접 연결하는 측정은 아직 하지 않았으므로, guest fault 결과를 가상화 translation까지 확장하지 않는다.
<!-- body:end -->
@@ -28,18 +28,6 @@ source:
호스트는 QEMU 가 마련한 게스트 RAM 을 볼 수 있지만 그 안에서 어떤 메모리가 중요한지는 알지 못한다. 그 구분을 아는 쪽은 게스트 커널이라, 호스트가 그 메모리를 그냥 스왑으로 밀어내는 대신 게스트와 협력해 필요 없는 몫을 돌려받는 방법이 따로 있다. `virtio-balloon` 이 그 협력에 쓰는 가상 장치다. 게스트 안의 드라이버와 QEMU 쪽 장치가 virtqueue 로 맞물려 있어서, 호스트가 balloon target 을 올리면 게스트 안의 balloon 이 커지고 게스트가 쓸 수 있는 메모리가 줄며 호스트가 회수할 수 있는 몫이 는다. 값을 낮추면 반대 방향으로 움직인다. 이 장치는 게스트에 RAM 을 더 주는 장치가 아니라 이미 준 용량 안에서 쓸 수 있는 양을 옮기는 장치이고, 과도하게 회수하면 호스트 RAM 을 확보하려던 조치가 게스트를 압박한다.
## 관계
- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로**
ballooning 은 그 압박에 대응하는 수단 가운데 하나다. 호스트가 무작정 스왑으로 밀어낼 때 무엇이 일어나는지는 그쪽에 적혀 있다.
- **이 가상 머신들에 virtio-balloon 이 붙어 있는가**
이 프로젝트의 가상 머신에 이 장치가 구성돼 있는지는 근거 문서에 없다. 그것을 확인하는 질문이다.
- **balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가**
부풀리고 줄이는 방향은 이 글이 적었고, 이 환경에서 얼마나 어떤 속도로 반영되는지는 그 질문이 잰다.
- **메모리 증상 하나로 계층을 단정하지 않는다**
balloon target 은 그 기준이 가르는 다섯 갈래 중 Dynamic Memory 갈래다. 게스트 안의 압박을 보고 호스트 RAM 부족으로 넘기기 전에 이 값을 본다.
## 본문
<!-- body:start -->
@@ -55,13 +43,13 @@ source:
이 장치는 게스트 RAM 자체를 제공하지 않는다. 이미 존재하는 게스트 RAM 을 호스트와 게스트가 협력해 회수하고 반환하는 데 쓰는 가상 장치다.
이 프로젝트의 가상 머신에 이 장치가 붙어 있는지는 libvirt 설정을 읽어야 정해지고 그 기록이 아직 없다. 아래 두 절이 적는 것은 장치가 있을 때 어느 방향으로 움직이는가다.
2026-09-21 재검증에서 세 VM의 domain XML에 모두 `<memballoon model='virtio'>`가 있었고, worker guest 둘에서는 `/sys/bus/virtio/drivers/virtio_balloon` 아래에 `virtio5`가 bind된 것도 확인했다. 따라서 이 프로젝트의 가상 머신에는 virtio-balloon 장치가 실제로 붙어 있다.
## Inflate — 게스트 안의 balloon 이 커진다
호스트가 게스트 메모리를 회수하려고 하면 balloon target 을 조정해 balloon 을 부풀린다. 이 동작을 inflate 라고 한다. 그 요청이 `virtio-balloon` 을 지나 게스트 안의 balloon 드라이버에 닿으면 드라이버가 게스트 페이지를 확보한다. 게스트 안의 balloon 이 커지기 때문에 게스트가 쓸 수 있는 RAM 이 그만큼 줄고, 호스트 쪽에서는 회수할 수 있는 메모리가 는다.
드라이버가 하는 일은 확보한 페이지를 일반적인 게스트 작업이 쓰지 못하도록 붙잡아 두고 그 사실을 호스트 쪽에 알리는 것까지다. 그 뒤 호스트가 그 메모리를 실제로 언제 어떻게 놓아주는지는 QEMU/KVM 버전과 backing 종류 및 설정에 따라 달라질 수 있다. 근거 문서는 그 동작을 하나로 단정하지 않았고 이 환경에서도 확인하지 않았다. 이 실험대의 버전은 §197 이 적어 두었다 — QEMU 11.1.1 과 libvirt 12.7.0, 커널 `7.2.2-arch1-1` 이다. 버전은 정해졌지만 그 위에서 호스트가 언제 놓아주는지를 잰 기록도, backing 설정을 읽은 기록도 없다.
드라이버가 하는 일은 확보한 페이지를 일반적인 게스트 작업이 쓰지 못하도록 붙잡아 두고 그 사실을 호스트 쪽에 알리는 것까지다. 그 뒤 호스트가 그 메모리를 실제로 언제 어떻게 놓아주는지는 QEMU/KVM 버전과 backing 종류 및 설정에 따라 달라질 수 있다. 이 실험대는 QEMU 11.1.1, libvirt 12.7.0, 커널 `7.2.2-arch1-1`이고, VM들은 explicit HugeTLB backing을 사용하지 않는 것까지 확인했다. 다만 balloon target 변화와 host resident memory 감소가 정확히 어떤 시점 관계로 이어지는지는 아직 별도로 측정하지 않았다.
![virtio-balloon Driver 와 virtqueue, QEMU virtio-balloon Device, Host Memory Management 네 참여자 사이를 여섯 개의 메시지가 오가는 순서도. 1번부터 3번까지는 Host 쪽에서 정한 balloon target 조정이 QEMU device 와 virtqueue 를 지나 VM Boundary 를 넘어 Guest kernel 의 driver 에 닿는 방향이고, 4번부터 6번까지는 driver 가 확보한 Guest page 가 같은 경계를 반대로 건너 Host 의 회수 가능 backing 이 되는 방향이다.](../../../final/assets/diagrams/virtio-balloon-inflate-deflate/virtio-balloon-inflate-deflate.svg)
@@ -84,38 +72,25 @@ source:
ballooning 은 게스트에 이미 설정된 메모리 용량 안에서 호스트와 게스트 사이의 쓸 수 있는 양을 회수하고 반환한다. 용량 자체는 그대로다. memory hotplug 는 기존 게스트 RAM 에 메모리 장치나 영역을 더해 게스트가 늘어난 용량을 인식하게 한다. 하나는 이미 준 용량 안에서 쓸 수 있는 양을 옮기고 다른 하나는 용량을 더한다.
현대 가상화에는 `virtio-mem` 같은 다른 동적 메모리 관리 방식도 있어서, 가상 머신의 동적 메모리 관리를 ballooning 하나로 일반화하지 않는다. 근거 문서에 있는 것은 그런 방식이 존재한다는 사실까지다.
현대 가상화에는 `virtio-mem` 같은 다른 동적 메모리 관리 방식도 있어서, 가상 머신의 동적 메모리 관리를 ballooning 하나로 일반화하지 않는다. 원문도 그런 방식이 존재한다는 사실까지만 다룬다.
## 이 실험대에서 할당이 줄어 있던 값 하나
## 이 실험대에서 실제로 확인한 inflate와 deflate
앞에서 적었듯 balloon 장치가 붙어 있는지를 설정으로 확인한 기록은 아직 없다. 대신 값이 하나 나와 있다 — §198 이 k3s 게스트 두 대에 `virsh dommemstat` 을 돌려 받은 출력이다.
과거 기록에는 `kc-lab-2`의 `dommemstat actual`이 3120MB로 내려가 있던 스냅샷이 있었다. 당시에는 장치 설정과 target 변경을 직접 확인하지 않아 그 차이를 balloon 때문이라고 단정하지 않았다.
```text label="§198 의 실측 — k3s 만 떠 있고 Keycloak 은 올리기 전"
```text label="「자원 — 할당과 실사용은 다르다」의 실측 — k3s 만 떠 있고 Keycloak 은 올리기 전"
kc-lab-1 할당 5120MB 실사용 353MB
kc-lab-2 할당 3120MB 실사용 301MB
```
`kc-lab-2` 는 `virt-install --memory 4096` 으로 만들었는데 현재 할당이 3120MB 로 나왔다. §198 은 이것을 virtio-balloon 이 회수해 간 것으로 보인다고 적고 거기서 멈췄다. 같은 절은 `dommemstat` 의 `actual` 이 현재 할당이지 선언한 상한이 아니라고 덧붙였다. 상한은 `virsh dominfo` 의 `Max memory` 에 있는데, 이 실험대는 그 두 값을 나란히 찍어 보지 않았다.
2026-09-21에는 `kc-lab-2`에서 `4096 MiB → 3584 MiB → 4096 MiB`로 live target을 직접 왕복시켰다. baseline은 libvirt `actual=4194304 KiB`, guest `MemTotal=4022024 kB`, `MemAvailable=2810504 kB`였다. `virsh setmem kc-lab-2 3584MiB --live` 뒤에는 `actual=3670016 KiB`, `MemTotal=3497736 kB`, `MemAvailable=2273060 kB`로 줄었고, 다시 4096MiB로 복원하자 `actual=4194304 KiB`, `MemTotal=4022024 kB`, `MemAvailable=2785496 kB`로 돌아왔다. 이 구간에서 `vmstat`의 `si/so`는 계속 0이었고 k3s node도 `Ready`를 유지했다.
§198 은 이 값이 언제의 값인지도 함께 적었다 — 「다만 이것은 지금 k3s 만 떠 있어서다」이고, Keycloak 2 파드와 PostgreSQL, Redis, Prometheus 가 올라간 뒤의 값은 미측정이다. 게스트 세 대 가운데 `kc-lab-edge` 는 이 측정에 들어 있지 않다.
따라서 이 환경에서는 target을 낮추면 guest-visible memory가 줄고, 원복하면 다시 늘어나는 방향을 실제 값으로 확인했다. `MemAvailable`은 workload 영향도 받으므로 target과 정확히 같은 크기로 움직여야 하는 값으로 해석하지 않는다.
이 숫자로 알 수 있는 것은 `kc-lab-2` 의 현재 할당이 선언값보다 작다는 것까지다. 그 차이가 balloon 회수 때문인지와 이 가상 머신들에 장치가 실제로 붙어 있는지는 설정과 게스트 쪽 드라이버 상태를 읽어야 갈린다.
## 이 실험대에서 확인한 것과 남은 것
## 근거 문서가 번호를 붙여 둔 문장
장치 존재와 guest driver binding, 정상 범위의 inflate/deflate 방향, 원복까지는 확인했다. 따라서 이 환경에서 virtio-balloon이 구성돼 있고 live target 변경이 guest-visible memory에 반영된다는 점은 더 이상 가정이 아니다.
근거 문서는 이 장치에서 고정한 문장에 번호를 붙여 두었다. 실험 기록에서 어느 문장을 확인했는지 가리킬 때 이 번호를 쓴다.
| 번호 | 근거 문서가 고정한 문장 |
|---|---|
| CLAIM-MEM-15 | virtio-balloon은 Guest와 Host가 memory 회수/반환에 협력하기 위한 가상 장치이며 RAM 자체를 제공하는 장치는 아니다. |
| CLAIM-MEM-16 | Balloon inflate가 과도하면 Guest reclaim/swap/OOM을 유발할 수 있다. |
## 이 문서가 확정하지 않는 것
이 글이 확정하는 것은 balloon 이 어떤 구조로 어느 방향으로 동작하는가까지다. 이 테스트 서버에서 잰 값 가운데 여기 쓴 것은 §198 의 할당과 실사용뿐이고, balloon 을 움직여 본 적은 없다.
이 프로젝트의 가상 머신에 `virtio-balloon` 이 붙어 있는지를 설정으로 확인한 기록이 없다. 앞 절의 §198 실측은 inflate 방향과 들어맞지만 근거 문서도 그것을 단정하지 않았다. libvirt 설정에 balloon 관련 요소가 있는지, 있다면 게스트 안에서 그 드라이버가 어떤 이름으로 올라와 있는지를 먼저 확인해야 한다. 장치가 없으면 balloon target 실험은 성립하지 않는다.
값을 한 단계 바꿨을 때 게스트가 쓸 수 있는 메모리가 얼마나 움직이는지, 그 반영이 즉시인지 늦는지, 어느 값부터 게스트 안에서 회수와 스왑이 시작되는지도 재지 않았다. 호스트가 그 메모리를 언제 놓아주는지가 QEMU 11.1.1 과 이 backing 설정에서 어떻게 되는지도 마찬가지다. 두 확인은 각각 열린 질문으로 두었고 관계에 걸어 두었다.
남은 것은 압박 구간이다. 어느 target부터 guest reclaim·swap·latency 증가가 시작되는지, 과도한 inflate에서 OOM까지 이어지는지, 그리고 target 변화가 host resident memory 회수와 어떤 시간 관계를 갖는지는 아직 측정하지 않았다. 이 값들은 정상적인 round-trip 확인과 분리해 별도 pressure 실험으로 다룬다.
<!-- body:end -->