Files
document-haness/docs/virtualization/tech-log-studio/lab-environment-build/case/case-declared-memory-and-disk-are-ceilings-not-occupancy.md
T

14 KiB

kind, slug, title, topic, topicName, project, status, lastVerifiedOn, evidence, sourceRevision, source
kind slug title topic topicName project status lastVerifiedOn evidence sourceRevision source
CASE declared-memory-and-disk-are-ceilings-not-occupancy 설정한 메모리·디스크 크기와 실제 사용량을 구분해서 본다 lab-environment-build 실험대 환경 구성 virtualization 게시 전 2026-09-21
../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt
import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
final/document.md#198-자원-할당과-실사용은-다르다
final/document.md#199-디스크-오버레이는-얼마나-쓰나
final/document.md#202-철거-실제-출력-전문
final/document.md#197-측정-환경
final/document.md#195-이-부의-출처와-범위
final/document.md#211-이-부의-출처와-범위

설정한 메모리·디스크 크기와 실제 사용량을 구분해서 본다

2026-09-10 기록에는 kc-lab-1의 dommemstat actual-unused 차이가 353MB, kc-lab-2가 301MB로 남아 있고, 두 qcow2 overlay의 ls -l 파일 길이는 1.4GiB와 665MiB였다. 당시 문서는 이 값을 ‘실사용/실제 점유’라고 불렀지만 서로 다른 계층의 지표다. dommemstat 차이는 host RSS가 아니고, ls -l 파일 길이도 host가 실제로 할당한 disk block 양과 같지 않을 수 있다. 2026-09-21 재검증에서는 configured/current memory·guest-visible memory·QEMU RSS와 qcow2 virtual size·disk allocation·file length를 따로 읽어 이 구분을 명확히 했다.

설정값과 실제 사용량은 서로 다른 지표였다

제1~4부에는 이 호스트에서 잰 값이 하나도 없다. 제5·6부는 버전과 주소와 명령까지만 적었다.

게스트에 설정한 메모리와 디스크 용량만으로는 호스트에서 실제로 사용하는 RAM과 디스크 공간을 알 수 없었다. 추가 게스트를 띄울 수 있는지 판단하려면 libvirt의 메모리 설정값과 QEMU RSS를 구분하고, qcow2의 가상 크기와 호스트 파일시스템 할당량도 따로 측정해야 했다.

메모리와 qcow2는 측정하는 값이 각각 다르다

메모리의 configured/current 값과 qcow2의 virtual size는 용량을 설명하는 값이고, host RAM RSS나 host filesystem allocation과는 다른 계층의 지표다. k3s만 떠 있고 Keycloak은 아직 안 올린 상태에서 당시 문서가 여러 값을 한 번에 쟀는데, 지금은 각 값이 무엇을 뜻하는지 분리해 읽는다.

측정 항목 2026-09-10에 기록한 값 해석
kc-lab-1 actual-unused 353MB host QEMU RSS가 아니라 libvirt가 제공한 guest memory 통계의 차이
kc-lab-2 actual-unused 301MB 위와 동일
두 값의 합 654MB host physical RSS 합계로 사용하지 않음
kc-lab-1.qcow2 ls -l 길이 1.4GiB 파일 길이
kc-lab-2.qcow2 ls -l 길이 665MiB 파일 길이
base.qcow2 virtual size 3GiB, disk size 335MiB backing image의 가상 크기와 할당량
게스트 삭제 전후 df -h / 11G → 7.9G 파일시스템 전체 사용량이 약 3.1GB 감소

2026-09-10에는 virt-install --memory 4096으로 만든 kc-lab-2의 dommemstat actual이 3120MB로 보였다. 당시 current allocation과 선언값이 달랐다는 관측은 맞지만, 원인을 virtio-balloon 회수로 확정할 근거는 없었다. 2026-09-21 재검증에서는 dominfo와 dommemstat을 나란히 읽었고 configured/current/actual이 모두 4096MiB였다. virtio-balloon 장치는 실제로 존재하지만, 장치 존재와 active inflation은 같은 사실이 아니다.

2026-09-10 측정 환경

항목 값
측정일 2026-09-10
호스트 test-server, Arch Linux
CPU 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz, 논리 코어 8
RAM 11,648MiB
루트 파일시스템 226G 가운데 9.9G 사용
QEMU 11.1.1
libvirt 12.7.0
커널 7.2.2-arch1-1
중첩 가상화 nested=Y, 이 실험에서는 사용하지 않음
게스트 Debian 12 genericcloud 3대: Edge VM 1대, k3s 노드 2대
당시 워크로드 k3s만 실행, Keycloak·PostgreSQL·Redis·Prometheus는 배포 전

메모리와 디스크를 계층별 지표로 나눠 재는 방법

  1. k3s 두 노드만 띄우고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리지 않는다.
  2. 게스트마다 virsh dommemstat을 돌려 actual과 unused를 읽는다. 두 값의 차이는 당시 libvirt가 보고한 guest-side memory 지표의 차이로 기록하고, host QEMU RSS나 물리 RAM 점유량으로 바꾸어 부르지 않는다.
  3. qemu-img info로 각 qcow2의 virtual size와 disk size를 읽고, du와 ls -l을 함께 사용해 호스트 할당량과 파일 길이를 구분한다. 2026-09-10 기록에는 overlay의 ls -l 값만 남아 있어 그 시점의 VM별 실제 블록 할당량은 다시 계산할 수 없다.
  4. 철거하기 전에 df -h / 를 읽어 둔다.
  5. virsh destroy 와 virsh undefine --remove-all-storage 로 게스트 셋을 지우고 df -h / 를 다시 읽는다.

호스트 자원 사용량을 실제 값으로 확인했다

초기 구축 기록에는 버전과 주소, 명령은 있었지만 호스트에서 실제로 사용하는 메모리와 디스크 양은 측정돼 있지 않았다. 2026-09-10에 처음으로 자원 사용량을 측정했고, 이후 2026-09-21에 같은 항목을 다시 확인했다.

여기 적힌 숫자는 전부 2026-09-10 에 test-server 에서 실제로 돌려 받은 출력이다. 추정값·예상값은 없다. 없는 값은 「미측정」이라고 쓴다.

측정 환경부터 읽어 둔다. 논리 코어가 8 이고 게스트 셋에 vCPU 를 2 + 2 + 1 로 잡아 여유를 뒀다.

               total        used        free      shared  buff/cache   available
Mem:           11648        5642        2599           4        3776        6005

available 이 6005 로 free 2599 보다 훨씬 큰데, buff/cache 3776 이 필요해지면 회수되기 때문이다. 게스트를 몇 대 더 띄울 수 있는지는 free 가 아니라 available 로 읽는다.

dommemstat 값은 QEMU RSS와 같지 않았다

당시 기록은 dommemstat의 actual에서 unused를 뺀 값을 ‘실사용’이라고 불렀다. 지금은 그 표현을 그대로 쓰지 않는다. actual은 libvirt가 보는 현재 memory target이고 unused는 guest balloon 통계에서 온 값이므로, 그 차이는 그 시점의 guest memory 상태를 보는 한 지표이지 host QEMU RSS와 같은 값이 아니다.

kc-lab-1   actual 5120MB   actual-unused 차이 353MB
kc-lab-2   actual 3120MB   actual-unused 차이 301MB

두 VM의 actual-unused 차이를 합치면 당시 654MB였다. 이 숫자는 k3s만 올라간 guest memory 상태가 가벼웠다는 참고값으로는 쓸 수 있지만, 호스트가 두 QEMU에 실제로 내준 물리 RAM이 654MB였다는 뜻은 아니다. 2026-09-21에는 이 계층을 분리해 QEMU RSS를 따로 읽었고 kc-lab-1≈3.73GiB, kc-lab-2≈2.91GiB가 나왔다.

kc-lab-2 의 할당이 4096 이 아니라 3120 이다

kc-lab-2 는 virt-install --memory 4096 으로 만들었는데 dommemstat 이 3120 을 낸다.

dommemstat 의 actual 은 현재 할당이지 선언한 상한이 아니라서, 상한을 보려면 virsh dominfo 의 Max memory 를 읽어야 한다. 둘을 같은 값으로 읽으면 「메모리가 왜 줄었지」가 된다.

당시에는 virtio-balloon 회수 가능성을 추론했지만, 3120MB의 직접 원인은 확인되지 않았다. 2026-09-21에는 세 domain에 virtio-balloon 장치가 있고 worker guest에도 driver가 bind된 것을 확인했지만, kc-lab-2의 configured/current/actual은 모두 4096MiB였다. 따라서 과거의 3120MB를 현재도 지속되는 balloon 회수 상태로 설명하지 않는다.

qcow2의 가상 크기와 호스트 파일 크기는 달랐다

게스트 디스크는 공통 base.qcow2를 backing image로 사용하는 오버레이다. 각 오버레이를 20GiB로 만들더라도 base 이미지를 복제하는 것이 아니라 변경된 블록이 오버레이에 추가된다.

image: /var/lib/libvirt/images/base.qcow2
file format: qcow2
virtual size: 3 GiB (3221225472 bytes)
disk size: 335 MiB
-rw-r--r--  base.qcow2              351404032   (335 MiB)
-rw-------  kc-lab-1.qcow2         1521025024   (1.4 GiB)   ← 선언 20GB
-rw-------  kc-lab-2.qcow2          697499648   (665 MiB)   ← 선언 20GB
-rw-------  seed-kc-lab-1.iso          378880   (370 KiB)
-rw-------  seed-kc-lab-2.iso          378880   (370 KiB)

base 이미지는 virtual size가 3GiB였고 qemu-img info의 disk size가 335MiB였다. 두 overlay는 각각 20GiB virtual size로 만들었지만 당시 ls -l 파일 길이는 1.4GiB와 665MiB였다. 이 둘의 합 2.1GiB는 파일 길이 합이지 sparse 파일이 host block을 실제로 2.1GiB 할당했다는 측정은 아니다. host allocation을 말하려면 같은 시점의 qemu-img info disk size나 du를 따로 읽어야 한다. kc-lab-1 쪽 파일이 더 컸다는 관측은 남기되, 그 차이를 컨트롤 플레인과 SQLite 하나로 확정하지 않는다.

virsh pool-info 의 Allocation 은 VM 사용량이 아니다

같은 날 virsh pool-info default 도 읽었다.

Name:           default
State:          running
Persistent:     yes      Autostart:  yes
Capacity:       225.31 GiB
Allocation:     7.84 GiB
Available:      217.46 GiB

Allocation 7.84 GiB는 directory storage pool이 놓인 호스트 파일시스템의 사용 상태를 반영하는 풀 단위 값이다. VM별 실제 block allocation을 말해 주는 값이 아니다. 반대로 위의 ls -l은 VM별 파일 길이를 보여 줄 뿐 sparse qcow2가 host block을 얼마나 실제 할당했는지는 말해 주지 않는다. VM별 host allocation을 비교하려면 qemu-img info의 disk size나 du처럼 그 기준을 직접 읽는 명령을 쓴다.

게스트를 삭제한 뒤 파일시스템 사용량이 11G에서 7.9G로 줄었다

게스트 셋을 virsh destroy 로 내리고 virsh undefine --remove-all-storage 로 지웠다. 한 대분 출력은 이렇다.

Domain 'kc-lab-edge' destroyed
Domain 'kc-lab-edge' has been undefined
Volume 'vda'(/var/lib/libvirt/images/kc-lab-edge.qcow2) removed.
Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed.

Volume 줄이 두 개 나오는데, 오버레이 디스크 vda 와 시드 ISO vdb 다.

무엇을 읽었나 철거 전 철거 후
virsh list --all 3 대 running (없음)
virsh vol-list default 7 개 base.qcow2 1 개
DHCP 예약 3 줄 0 줄
df -h / 11G 7.9G
virbr0 UP DOWN

df -h / 기준으로 철거 전후 사용량은 11G에서 7.9G로 내려 약 3.1GB 차이가 보였다. 다만 이 3.1GB를 위의 ls -l 파일 길이들로 정확히 분해하지 않는다. sparse qcow2의 파일 길이와 실제 block allocation은 다를 수 있고, df는 파일시스템 전체 변화를 본 값이기 때문이다. base.qcow2는 게스트 삭제 뒤에도 남아 다음 overlay의 backing image로 사용됐다.

측정 날짜가 다르면 같은 항목의 값도 달라진다

같은 실험대라도 측정 날짜가 다르면 값이 달라진다. 「실험대 전체 배치」는 2026-09-03 스냅샷이고, 여기서 비교하는 값은 2026-09-10 스냅샷이다.

무엇 2026-09-03 2026-09-10
호스트 RAM RAM 7.4Gi Mem: 11648
kc-lab-1 RAM 3584M · vCPU 2 할당 5120MB
kc-lab-2 RAM 2560M · vCPU 2 할당 3120MB (선언 4096)
게스트 수 2 (엣지 없음) 3 (엣지 추가)

그사이에 호스트 RAM 이 8GB 에서 12GB 로 물리 증설됐고 setmaxmem 과 setmem 으로 게스트 메모리가 재배분됐다. 두 값이 어긋나 보이면 틀린 것이 아니라 다른 날이다.

날짜가 아니라 단위로 갈리는 것도 하나 있다. 「자원 — 할당과 실사용은 다르다」에서는 같은 호스트의 RAM 을 11.6GB 로도 적는데, 그 표기가 원 가이드에서 온 것이라 고쳐 쓰지 않고 어긋남을 적어 둔다고 스스로 밝힌다. free -m 의 Mem: 11648 은 MiB 단위이므로 11,648MiB, 약 11.4GiB 다.

2026-09-21 재검증에서 추가로 확인한 것

2026-09-10 값은 당시 측정값으로 그대로 남기고, 2026-09-21에는 현재 실험대에서 같은 항목을 다시 측정했다.

  • configured/current memory: kc-lab-1=5120MiB, kc-lab-2=4096MiB, kc-lab-edge=1024MiB
  • 같은 시점 QEMU RSS: 약 3.73GiB / 2.91GiB / 0.84GiB
  • qcow2 virtual/disk size: kc-lab-1 20GiB / 약 3.43GiB, kc-lab-2 20GiB / 약 2.66GiB, edge 10GiB / 약 345MiB

이 값들도 측정 시점의 상태를 나타낸다. 2026-09-10 값을 새 수치로 덮어쓰지 않고, 실험대에 워크로드가 추가되면서 실제 사용량이 달라진 결과로 별도 기록한다.

여전히 모르는 것은 2026-09-10의 kc-lab-2 actual=3120MB가 정확히 무엇 때문에 만들어졌는지다. 현재 남아 있는 증거만으로는 원인을 특정할 수 없으므로, 그 원인은 확인되지 않은 상태로 남긴다.