refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 16:24:58 +09:00
parent 1549e62b5e
commit f3bed70991
158 changed files with 4381 additions and 832 deletions
@@ -41,7 +41,7 @@ source:
실제 점유량 : du -h
파일 크기 : ls -lh
- 백엔드가 파일이라는 것은 「단계 01 — 게스트 세 대」의 `virt-install` 세 줄과 「디스크 — 오버레이는 얼마나 쓰나」의 `ls -l` 출력이 보여 준다.
- 형식과 바닥 이미지의 크기는 「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다.
- 형식과 base image의 크기는 「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다.
- 같은 절의 `ls -l /var/lib/libvirt/images/` 가 선언한 크기와 파일 크기를 나란히 보인다.
base.qcow2 : 351404032 (335 MiB)
kc-lab-1.qcow2 : 1521025024 (1.4 GiB) — 선언 20GB
@@ -49,7 +49,7 @@ source:
시드 ISO 두 장 : 각 378880 (370 KiB)
- 「디스크 — 오버레이는 얼마나 쓰나」에서는 그 결과를 한 줄로 정리했다. 20GB 씩 둘, 합쳐 40GB 를 선언했지만 실제로는 2.1GB 를 썼다.
- 「디스크 — 오버레이는 얼마나 쓰나」에서는 두 오버레이가 두 배 넘게 갈린 이유도 함께 적었다. k3s server 가 agent 보다 두 배 이상 쓰는 것은 컨트롤 플레인 바이너리와 SQLite 때문이다. 그래서 오버레이 크기는 이미지 형식이 아니라 그 게스트가 무엇을 도는지를 따라간다.
- 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 같은 바닥 이미지에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, 바닥 쪽 차이에는 희소 할당과 압축이 겹쳐 있다. 오버레이에 쌓이는 클러스터는 압축되지 않는다.
- 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 같은 base image에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB가 할당되지 않은 희소 영역이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, base image의 크기 차이에는 희소 할당과 압축이 함께 영향을 준다. 오버레이에 쌓이는 클러스터는 압축되지 않는다.
## virtual size와 host 사용량은 같은 시점에 재었다
@@ -69,7 +69,7 @@ source:
- 측정 조건에 캐시 모드와 백엔드 형식과 장치 이름을 함께 적는다. 이 셋이 없으면 같은 값을 다른 환경과 견줄 수 없다.
- 측정하는 동안 다른 스토리지 실험을 같은 장치 위에서 겹쳐 돌리지 않는다.
- 호스트 지연이 오른 이유까지 이 물음이 가르지 않는다. 다른 가상 머신의 부하인지 호스트 메모리 압박인지는 그것을 재는 두 물음이 받는다.
- host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim이 storage를 밀어 올리는지 보고, 여기서는 guest `fsync()`/DB write 구간이 host storage latency와 연결되는지를 본다.
- host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim 구간에서 host storage latency가 함께 증가하는지를 보고, 여기서는 guest `fsync()`/DB write 지연과 host storage latency가 같은 시간 구간에서 함께 변하는지를 본다.
## 어떻게 겹쳐 봤나
@@ -33,8 +33,8 @@ source:
그 요청은 Host Kernel, Host Filesystem, Host Block Layer, NVMe Driver 를 지나 Physical NVMe 로 내려간다. 게스트의 스토리지 스택 아래에 호스트의 스토리지 스택이 한 번 더 존재할 수 있다.
- 「Host Block Layer」에서는 qcow2 와 RAW 의 파일 입출력이 호스트 파일시스템을 거쳐 실제 호스트 블록 입출력이 된다고 적고 경로를 이렇게 그렸다.
QEMU, vm1.qcow2, Host ext4/XFS, Host Block Layer, /dev/nvme0n1
- 「Host Block Layer」에서는 Host Block Layer 가 그 입출력을 가상 머신 안의 PostgreSQL 이 냈는지 호스트 프로세스가 냈는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 모두 호스트의 블록 요청이다.
- 「여러 VM이 하나의 NVMe를 공유하면」의 핵심은 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer와 물리 NVMe로 수렴한다는 점이다. 초기 그림에는 Host Nginx가 따로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 그 I/O도 edge QEMU 경로에 포함된다.
- Host Block Layer에 도달한 I/O는 게스트의 PostgreSQL에서 시작했든 호스트 프로세스에서 시작했든 호스트의 블록 요청으로 처리된다.
- 여러 QEMU와 호스트 프로세스의 I/O는 같은 Host Block Layer를 거쳐 물리 NVMe로 전달된다. 초기 그림에는 Host Nginx가 따로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 그 I/O도 edge QEMU 경로에 포함된다.
- 「실제 테스트 서버에서 확인할 확인할 항목」의 5번째 확인 항목에서는 확인 명령으로 lsblk 와 findmnt 를 들었다.
- 「Storage 관측 명령어」의 호스트 관측 명령 목록에도 lsblk 가 들어 있다.
- 「Host Block Layer」의 vm1.qcow2 와 /dev/nvme0n1 은 경로를 설명하려고 든 예시 이름이고 이 호스트에서 읽은 값이 아니다.
@@ -59,7 +59,7 @@ source:
- 확인만 한다. 마운트를 바꾸거나 이미지를 다른 장치로 옮기지 않는다. 배치를 바꾸면 지금 구성에서 무엇을 공유하는지 못 본다.
- 「Host Block Layer」에서는 예로 든 이름을 이 호스트의 값으로 옮겨 적지 않는다. 출력에 나온 이름만 적는다.
- 여기서 나온 장치 이름이 다음 두 물음의 입력이므로, 가상 머신마다 한 행으로 남기고 어느 이미지에서 나온 이름인지 함께 적는다.
- 장치를 나눌지 말지는 이 물음이 정하지 않는다. 공유하고 있다는 사실과 그것이 지연을 실제로 밀어 올리는지는 다른 물음이 받는다.
- 여기서는 세 VM이 같은 NVMe를 공유한다는 사실까지만 확인한다. 이 공유가 지연에 미치는 영향은 별도 부하 실험에서 측정한다.
- VM의 `vda → qcow2` mapping과 `qcow2 → host block device` mapping은 서로 다른 계층이다. 앞쪽은 libvirt/QEMU 설정으로, 뒤쪽은 host mount와 block topology로 확인한다.
## 어떻게 따라 내려갔나
@@ -23,7 +23,7 @@ source:
# 이 호스트의 I/O Scheduler 는 무엇인가
이미지가 올라간 host 장치는 `nvme0n1`이고, 2026-09-21 `/sys/block/nvme0n1/queue/scheduler`의 현재 선택값은 **`none`**이다. 같은 출력에 `mq-deadline`, `kyber`, `bfq`가 선택지로 보였다.
이미지가 올라간 host 장치는 `nvme0n1`이고, 2026-09-21 `/sys/block/nvme0n1/queue/scheduler`의 현재 선택값은 `none`이다. 같은 출력에 `mq-deadline`, `kyber`, `bfq`가 선택지로 보였다.
## 현재 nvme0n1 scheduler
@@ -31,7 +31,7 @@ source:
- 2026-09-21 재검증에서 `kc-lab-1`·`kc-lab-2`·`kc-lab-edge`의 QEMU monitor `info block`을 읽었다. 주 qcow2 디스크 모두 `Cache mode: writeback`과 `Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1)`가 나왔고, domain XML의 `<driver>`에는 `cache=` 속성이 없었다.
「QEMU Cache Mode」에서는 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. 이름만 보고 none = cache 자체가 없음 · writeback = 무조건 위험으로 해석하면 부정확하다. 핵심은 QEMU 가 Host Page Cache 와 write completion/flush semantics 를 어떤 방식으로 사용할 것인가라고 적었다.
「QEMU Cache Mode」에서는 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. `cache=none`은 캐시가 전혀 없다는 뜻이 아니고, `writeback`도 그 자체로 영속성 실패를 뜻하지 않는다. 각 모드는 QEMU가 Host Page Cache를 어떻게 사용하고 write completion과 flush를 어떻게 처리하는지에 차이가 있다.
「`cache=none`」에서는 cache=none 을 개념적으로 Host Page Cache 를 우회하는 방향의 I/O 구성으로 놓았다. 이중 caching 은 줄일 수 있지만, Host Page Cache 우회가 무조건 즉시 durable media 반영을 뜻하지는 않는다.
@@ -43,13 +43,13 @@ source:
그 `virt-install` 세 줄은 게스트마다 디스크를 둘씩 붙인다. 하나는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 로 만든 오버레이이고, 다른 하나는 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 으로 붙인 시드 볼륨이다. 엣지만 `--disk size=10` 이다.
「VM 한 대의 디스크 구성」에서는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대가 그 바닥 하나를 공유한다.
「VM 한 대의 디스크 구성」에서는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대의 overlay가 같은 `base.qcow2`를 backing image로 사용한다.
「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `ls -l /var/lib/libvirt/images/` 를 돌린 출력을 남겼고 거기에 `base.qcow2`, `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, 시드 ISO 둘이 파일로 보이므로 이 호스트의 백엔드는 「Host Block Device를 직접 backend로 사용 가능」에서는 가른 셋 가운데 파일 쪽이다.
「그래서 마이그레이션과 스냅샷이 된다」에서는 그 파일들이 게스트에 어떻게 붙는지를 한 줄로 적었다. 이 실험대의 게스트는 `vda`(qcow2 오버레이)와 `vdb`(raw 시드 ISO) 두 디스크다. 그래서 한 게스트 안에서도 Target 둘의 형식이 갈리고, 한 행만 읽고 백엔드를 정하면 나머지 한 행이 빠진다.
시드에 `bus=virtio` 가 붙은 이유는 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 확정된 함정으로 적어 두었다. `virt-install --cloud-init` 은 시드 ISO 를 SATA CD-ROM 으로 붙이는데 Debian `genericcloud` 변종에는 물리 하드웨어 드라이버가 빠져 있어 게스트가 그 장치를 보지 못하고, 오류 메시지는 어디에도 남지 않은 채 hostname 이 `localhost` 로 남는 것으로만 드러난다. 그래서 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 이 확인의 성공 판정을 시드 ISO 가 `sda` 가 아니라 `vdb` 로 보이는 것이라고 적었다. Target 이름 자체가 판정 대상이다.
cloud-init 시드는 현재 `bus=virtio` 디스크로 연결돼 있고 게스트에서는 `vdb`로 보인다. 이 구성에서는 `cloud-init status --long`에 `DataSourceNoCloud [seed=/dev/vdb]`가 남아 실제로 시드를 읽은 것을 확인했다. 과거 `--cloud-init` 연결에서는 기대한 NoCloud 데이터소스를 확인하지 못했지만, 그 원인을 Debian genericcloud의 드라이버 구성으로 특정할 근거는 없다. 따라서 여기서는 현재 동작하는 `vdb` 연결만 확인된 사실로 사용한다.
2026-09-21에는 `virsh domblklist --details`와 live XML을 직접 읽어 Target·Source·format·backing chain을 현재 세 VM 기준으로 다시 확인했다.
@@ -2,7 +2,7 @@
id: ed64d4ff-aa01-48cc-ae68-6a683b025cde
kind: QUESTION
slug: vm1-storage-load-vs-vm2-latency
title: VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가
title: VM1의 스토리지 부하가 VM2의 지연에 영향을 주는가
topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
@@ -22,11 +22,11 @@ source:
- final/document.md#168-cpu가-정상이어도-storage-때문에-느릴-수-있다
---
# VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가
# VM1의 스토리지 부하가 VM2의 지연에 영향을 주는가
2026-09-21 VM1(`kc-lab-1`)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 `fdatasync`하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(`kc-lab-2`)에서 128회 `fsync()` microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. **현재 환경에서 한 VM의 storage 부하가 다른 VM의 durability latency를 실제로 밀어 올릴 수 있음을 확인했다.**
2026-09-21 VM1(`kc-lab-1`)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 `fdatasync`하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(`kc-lab-2`)에서 128회 `fsync()` microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. 현재 환경에서는 VM1의 스토리지 부하와 겹친 구간에서 VM2의 `fsync()` 지연이 크게 증가했다.
## VM1 load가 VM2 fsync를 밀어 올린 결과
## VM1 부하 구간에서 VM2 fsync 지연이 증가했다
- 2026-09-21 재검증에서 VM2 isolated fsync 평균은 반복 3회에서 `8.2397 / 8.2676 / 9.1264 ms`였다.
- 2026-09-21 재검증에서 VM1 load는 64 MiB 파일을 10초 동안 20회 overwrite+fdatasync했다. 같은 시간 VM2 first run은 평균 `58.4576 ms`, p95 `314.0799 ms`, max `631.0144 ms`였다.
@@ -45,7 +45,7 @@ Storage Contention : IOPS / bandwidth / queue / device 처리시간 경쟁
「Storage 관측 명령어」에서는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다.
실험의 핵심은 VM1의 별도 테스트 파일이나 디스크에 controlled I/O load를 만들고, 같은 시간에 VM2 latency와 host `iostat`을 보는 것이다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다.
VM1에 controlled I/O load를 만들고 같은 시간에 VM2 latency와 host `iostat`을 기록했다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다.
2026-09-21 `findmnt`와 `lsblk`로 `/var/lib/libvirt/images/`가 `/dev/nvme0n1p3`의 ext4 루트 파일시스템에 있고, 상위 물리 장치가 `nvme0n1`임을 확인했다. 세 VM의 주 디스크가 같은 장치를 공유한다는 전제는 더 이상 가정이 아니다.
@@ -67,7 +67,7 @@ host와 guest clock은 실제로 약 90초 어긋나 있었다. 따라서 절대
## load 종료 뒤 회복한 값
이번 controlled load에서 VM1 storage pressure가 VM2 fsync latency를 크게 밀어 올리고, host storage latency/util도 같은 overlap 구간에서 상승하며, load 종료 직후 VM2 지연이 baseline 수준으로 회복하는 것까지 확인됐다.
이번 controlled load에서는 VM1 부하 구간에 VM2 fsync latency와 host storage latency/util이 함께 증가했고, 부하가 끝난 뒤 VM2 지연이 baseline 수준으로 돌아왔다.
어느 IOPS/throughput 임계점부터 간섭이 시작되는지와 실제 Keycloak/PostgreSQL request latency가 얼마나 영향을 받는지는 별도 단계 부하 실험으로 남긴다.