Files
document-haness/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-virtio-balloon-memory-reclaim.md
T

9.7 KiB

id, kind, slug, title, topic, topicName, project, status, basisVersion, studio, sourceRevision, assets, source
id kind slug title topic topicName project status basisVersion studio sourceRevision assets source
ebdf93d7-2dcb-4fc8-91b9-2364ac8196e6 CONCEPT virtio-balloon-memory-reclaim virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식 memory-virtualization 메모리 가상화 virtualization 초안 virtio-balloon — Guest kernel 쪽 driver 와 QEMU 쪽 device 가 virtqueue 로 맞물린 구성 · libvirt 의 balloon target https://hyeonworks.com/studio/documents/ebdf93d7-2dcb-4fc8-91b9-2364ac8196e6/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
key file
virtio-balloon-inflate-deflate ../../../final/assets/diagrams/virtio-balloon-inflate-deflate/virtio-balloon-inflate-deflate.svg
final/document.md#64-ballooning이-필요한-이유
final/document.md#65-virtio-balloon-구조
final/document.md#66-balloon-inflate
final/document.md#67-balloon-page-반환의-의미
final/document.md#68-balloon-deflate
final/document.md#69-ballooning을-과도하게-하면-guest가-압박을-받는다
final/document.md#70-ballooning과-memory-hotplug
final/document.md#82-핵심-claim-registry

virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식

호스트는 QEMU 가 마련한 게스트 RAM 을 볼 수 있지만 그 안에서 어떤 메모리가 중요한지는 알지 못한다. 그 구분을 아는 쪽은 게스트 커널이라, 호스트가 그 메모리를 그냥 스왑으로 밀어내는 대신 게스트와 협력해 필요 없는 몫을 돌려받는 방법이 따로 있다. virtio-balloon 이 그 협력에 쓰는 가상 장치다. 게스트 안의 드라이버와 QEMU 쪽 장치가 virtqueue 로 맞물려 있어서, 호스트가 balloon target 을 올리면 게스트 안의 balloon 이 커지고 게스트가 쓸 수 있는 메모리가 줄며 호스트가 회수할 수 있는 몫이 는다. 값을 낮추면 반대 방향으로 움직인다. 이 장치는 게스트에 RAM 을 더 주는 장치가 아니라 이미 준 용량 안에서 쓸 수 있는 양을 옮기는 장치이고, 과도하게 회수하면 호스트 RAM 을 확보하려던 조치가 게스트를 압박한다.

호스트는 게스트 안에서 무엇이 중요한지 알지 못한다

호스트는 QEMU 가 마련한 게스트 RAM 을 볼 수 있다. 그러나 그 안에서 어떤 메모리가 중요한지는 게스트 밖에서 완전히 알 수 없다. 게스트는 자기 메모리를 애플리케이션이 실제로 쓰는 몫(working set)과 JVM heap, 페이지 캐시, 비어 있는 몫처럼 의미가 다른 묶음으로 구분해 알고 있다. 호스트가 보는 것은 같은 크기의 익명 메모리라서 그 안에서 페이지 캐시를 눌렀는지 실제로 쓰는 몫을 눌렀는지 가려낼 수 없다.

그래서 호스트가 그 메모리를 무작정 스왑으로 밀어내기보다 게스트 커널과 협력해 필요 없는 몫을 돌려받는 편이 유리할 수 있다. 그 협력에 쓰는 대표적인 메커니즘이 virtio-balloon 이다.

게스트 드라이버와 QEMU 장치가 virtqueue 로 맞물린다

virtio-balloon 은 게스트 커널 쪽의 balloon 드라이버와 QEMU 쪽의 balloon 장치가 virtqueue 로 이어진 구성이다. virtqueue 는 게스트와 QEMU 가 요청과 응답을 주고받는 공유 큐이고, balloon 관련 요청도 이 큐를 지나 VM 경계를 넘는다. QEMU 쪽 장치는 받은 내용을 호스트의 메모리 관리로 넘긴다.

이 장치는 게스트 RAM 자체를 제공하지 않는다. 이미 존재하는 게스트 RAM 을 호스트와 게스트가 협력해 회수하고 반환하는 데 쓰는 가상 장치다.

2026-09-21 재검증에서 세 VM의 domain XML에 모두 <memballoon model='virtio'>가 있었고, worker guest 둘에서는 /sys/bus/virtio/drivers/virtio_balloon 아래에 virtio5가 bind된 것도 확인했다. 따라서 이 프로젝트의 가상 머신에는 virtio-balloon 장치가 실제로 붙어 있다.

Inflate에서 게스트 메모리가 balloon에 할당된다

호스트가 게스트 메모리를 회수하려고 하면 balloon target 을 조정해 balloon 을 부풀린다. 이 동작을 inflate 라고 한다. 그 요청이 virtio-balloon 을 지나 게스트 안의 balloon 드라이버에 닿으면 드라이버가 게스트 페이지를 확보한다. 게스트 안의 balloon 이 커지기 때문에 게스트가 쓸 수 있는 RAM 이 그만큼 줄고, 호스트 쪽에서는 회수할 수 있는 메모리가 는다.

드라이버가 하는 일은 확보한 페이지를 일반적인 게스트 작업이 쓰지 못하도록 붙잡아 두고 그 사실을 호스트 쪽에 알리는 것까지다. 그 뒤 호스트가 그 메모리를 실제로 언제 어떻게 놓아주는지는 QEMU/KVM 버전과 backing 종류 및 설정에 따라 달라질 수 있다. 이 실험대는 QEMU 11.1.1, libvirt 12.7.0, 커널 7.2.2-arch1-1이고, VM들은 explicit HugeTLB backing을 사용하지 않는 것까지 확인했다. 다만 balloon target 변화와 host resident memory 감소가 정확히 어떤 시점 관계로 이어지는지는 아직 별도로 측정하지 않았다.

virtio-balloon Driver 와 virtqueue, QEMU virtio-balloon Device, Host Memory Management 네 참여자 사이를 여섯 개의 메시지가 오가는 순서도. 1번부터 3번까지는 Host 쪽에서 정한 balloon target 조정이 QEMU device 와 virtqueue 를 지나 VM Boundary 를 넘어 Guest kernel 의 driver 에 닿는 방향이고, 4번부터 6번까지는 driver 가 확보한 Guest page 가 같은 경계를 반대로 건너 Host 의 회수 가능 backing 이 되는 방향이다.

Deflate에서 balloon 메모리를 게스트에 돌려준다

호스트가 게스트에게 메모리를 다시 내줄 수 있으면 balloon target 을 줄인다. 그러면 게스트 balloon 드라이버가 붙잡고 있던 페이지를 반환하고 게스트가 쓸 수 있는 메모리가 늘어난다.

호스트가 balloon target 을 게스트가 쓸 수 있는 메모리는
올린다 (Inflate) 감소
내린다 (Deflate) 증가

과도한 inflate 가 게스트를 압박한다

게스트 애플리케이션이 실제로 쓰는 메모리가 큰데 balloon 을 과도하게 부풀리면, 게스트가 쓸 수 있는 메모리가 줄면서 게스트 안에 메모리 압박이 생긴다. 그러면 게스트 안에서 회수가 돌고 페이지 캐시가 회수되고 게스트 스왑이 시작되며, 심하면 게스트 OOM(Out Of Memory)까지 간다.

호스트 RAM 을 확보하려는 조치가 게스트의 스토리지 I/O 와 애플리케이션 지연을 늘릴 수 있다는 뜻이다. 회수한 만큼 호스트가 편해지는 대신 게스트가 그 압박을 받으므로, balloon target 을 어디까지 올릴지는 게스트가 실제로 쓰는 메모리를 보고 정한다.

ballooning 과 memory hotplug 는 같은 것이 아니다

ballooning 은 게스트에 이미 설정된 메모리 용량 안에서 호스트와 게스트 사이의 쓸 수 있는 양을 회수하고 반환한다. 용량 자체는 그대로다. memory hotplug 는 기존 게스트 RAM 에 메모리 장치나 영역을 더해 게스트가 늘어난 용량을 인식하게 한다. 하나는 이미 준 용량 안에서 쓸 수 있는 양을 옮기고 다른 하나는 용량을 더한다.

현대 가상화에는 virtio-mem 같은 다른 동적 메모리 관리 방식도 있어서, 가상 머신의 동적 메모리 관리를 ballooning 하나로 일반화하지 않는다. 원문도 그런 방식이 존재한다는 사실까지만 다룬다.

이 실험대에서 실제로 확인한 inflate와 deflate

과거 기록에는 kc-lab-2의 dommemstat actual이 3120MB로 내려가 있던 스냅샷이 있었다. 당시에는 장치 설정과 target 변경을 직접 확인하지 않아 그 차이를 balloon 때문이라고 단정하지 않았다.

kc-lab-1   할당 5120MB  실사용 353MB
kc-lab-2   할당 3120MB  실사용 301MB

2026-09-21에는 kc-lab-2에서 4096 MiB → 3584 MiB → 4096 MiB로 live target을 직접 왕복시켰다. baseline은 libvirt actual=4194304 KiB, guest MemTotal=4022024 kB, MemAvailable=2810504 kB였다. virsh setmem kc-lab-2 3584MiB --live 뒤에는 actual=3670016 KiB, MemTotal=3497736 kB, MemAvailable=2273060 kB로 줄었고, 다시 4096MiB로 복원하자 actual=4194304 KiB, MemTotal=4022024 kB, MemAvailable=2785496 kB로 돌아왔다. 이 구간에서 vmstat의 si/so는 계속 0이었고 k3s node도 Ready를 유지했다.

따라서 이 환경에서는 target을 낮추면 guest-visible memory가 줄고, 원복하면 다시 늘어나는 방향을 실제 값으로 확인했다. MemAvailable은 workload 영향도 받으므로 target과 정확히 같은 크기로 움직여야 하는 값으로 해석하지 않는다.

이 실험대에서 확인한 것과 남은 것

장치 존재와 guest driver binding, 정상 범위의 inflate/deflate 방향, 원복까지는 확인했다. 따라서 이 환경에서 virtio-balloon이 구성돼 있고 live target 변경이 guest-visible memory에 반영된다는 점은 더 이상 가정이 아니다.

남은 것은 압박 구간이다. 어느 target부터 guest reclaim·swap·latency 증가가 시작되는지, 과도한 inflate에서 OOM까지 이어지는지, 그리고 target 변화가 host resident memory 회수와 어떤 시간 관계를 갖는지는 아직 측정하지 않았다. 이 값들은 정상적인 round-trip 확인과 분리해 별도 pressure 실험으로 다룬다.