refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 14:43:41 +09:00
parent a5d68c0767
commit 1549e62b5e
321 changed files with 13091 additions and 4522 deletions
@@ -37,24 +37,6 @@ source:
가상 머신 안의 PostgreSQL 이 파일에 데이터를 기록하면, 그 요청은 게스트 Linux 안에서만 VFS 와 ext4·XFS, 페이지 캐시, 블록 I/O 계층, virtio-blk 를 지난 뒤에야 virtqueue 에 실려 가상 머신 경계에 닿는다. 계층마다 무엇을 하고 무엇이 바뀌는지 차례로 살펴본다. 계층 이름과 게스트·호스트 구분을 아는 사람을 독자로 둔다. Keycloak 멀티 노드 실험을 가상 머신 두 대 위에서 돌리고 있다 보니, 이 경로를 알아 두면 게스트에서 본 저장소 지연을 애플리케이션 문제와 가상 머신 경계 아래의 문제로 갈라 볼 수 있다.
## 관계
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
이 글은 virtqueue 까지만 따라간다. 그 요청을 받은 QEMU 가 무엇에 연결돼 있는지는 그 글이 이어받는다.
- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존**
여기서는 write() 성공이 SSD 영속화가 아니라는 데까지만 적었다. 그 응답이 어디까지 보장하는지는 그 글이 나눈다.
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
게스트 블록 계층과 같은 이름의 계층이 호스트에도 한 번 더 있고, 그쪽에서는 다른 가상 머신의 요청과 섞인다.
- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다**
게스트에 /dev/vda 가 보인다는 관측이 그 규칙의 근거가 된다.
- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가**
이 글은 게스트가 보는 이름까지만 말한다. 이 장비에서 그 이름에 무엇이 붙는지는 그 물음이 출력으로 확정한다.
- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가**
경로는 적었지만 각 구간의 지연을 이 호스트에서 재지 않았다.
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
virtqueue 라는 같은 구조를 패킷 쪽에서 설명한 글이다.
## 본문
<!-- body:start -->
@@ -86,7 +68,7 @@ VFS(Virtual File System, 가상 파일 시스템)는 Linux 커널 안에서 여
SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저장장치가 보는 것은 번호가 붙은 블록 단위 공간인데 사람과 프로그램이 보는 것은 파일과 디렉터리 계층이다. 그 둘을 잇는 계층이 `ext4` 나 `XFS` 같은 파일시스템이다. 파일시스템이 관리하는 것은 파일 이름과 디렉터리 구조, 파일 크기, 소유자와 권한, 시각 정보, `inode` 와 메타데이터, 파일 데이터가 저장될 블록, 남은 공간, 파일시스템 일관성이다.
`inode` 는 파일 메타데이터와 저장 위치 정보를 관리하는 자료구조다. 디렉터리 항목이 파일 이름을 `inode` 번호로 옮기고, 그 `inode` 가 소유자와 권한, 크기, 시각 정보, 파일 데이터가 저장된 블록 정보를 들고 있다. 그래서 파일 이름과 `inode` 는 같은 것이 아니다. 어디까지 들어갈지는 SSOT 가 직접 그어 두었다.
`inode`는 파일 메타데이터와 저장 위치 정보를 관리하는 자료구조다. 디렉터리 항목이 파일 이름을 `inode` 번호로 연결하고, 그 `inode`가 소유자와 권한, 크기, 시각 정보, 파일 데이터가 저장된 블록 정보를 들고 있다. 여기서는 filesystem이 파일과 block을 연결한다는 수준까지만 다룬다.
> Storage 가상화를 이해하기 위해 inode 내부 구현까지 파고들 필요는 없지만, filesystem이 파일과 block을 연결한다는 점은 알아야 한다.
@@ -102,7 +84,7 @@ SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저
파일시스템이 파일과 블록 할당을 관리하면, Linux 의 블록 I/O 서브시스템이 그 요청을 아래의 블록 장치 드라이버가 처리할 수 있는 I/O 요청으로 바꿔 전달한다. 파일시스템 세계에서 내려오는 것은 `/users/data.db` 의 오프셋 8192 에 4KB 를 쓰라는 요청이다. 블록 장치 세계에서는 그것이 `/dev/vda` 의 특정 위치에 `READ` 나 `WRITE`, `FLUSH` 를 거는 요청이 된다. 대표 요청은 넷이다 — `READ`, `WRITE`, `FLUSH`, `DISCARD`.
이 계층 안에는 `bio` 와 `request`, `queue`, `blk-mq` 가 실제로 있다. SSOT 는 `blk-mq` 의 tag allocator 같은 내부 구현을 별도 문서로 미뤘고 이 글도 이름까지만 적는다.
이 계층 안에는 `bio`, `request`, `queue`, `blk-mq`가 실제로 있다. 여기서는 각 구조의 내부 구현까지 내려가지 않고 블록 요청이 다음 계층으로 전달된다는 점까지만 본다.
## /dev/vda 는 게스트가 보는 이름이다
@@ -112,16 +94,16 @@ SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저
lsblk
```
```text label="SSOT 가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다"
```text label="기존 문서가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다"
NAME SIZE TYPE MOUNTPOINT
vda 100G disk
├─vda1 1G part /boot
└─vda2 99G part /
```
게스트에 이렇게 보여도 그 장치가 호스트의 실제 SSD 인지는 게스트 안에서 알 수 없는데, 이 장비의 `/dev/vda` 에 무엇이 붙어 있는지를 `virsh domblklist` 로 읽은 출력도 아직 없다. 게스트가 보는 것은 `/dev/vda` 에서 파티션으로, 파티션에서 파일시스템으로, 파일시스템에서 마운트 지점으로 이어지는 연결까지다. `cd /var/lib/postgresql` 로 디렉터리를 옮기는 동작은 파일시스템 세계를 지나고, `lsblk` 의 `vda` 는 블록 장치 세계를 보여 준다.
게스트만 봐서는 `/dev/vda` 뒤에 무엇이 붙어 있는지 알 수 없다. 2026-09-21 재검증에서는 host의 `virsh domblklist --details`와 live XML을 대조해 세 VM의 `vda`가 각각 qcow2 overlay 파일에 연결돼 있음을 확인했다. guest는 `/dev/vda → partition → filesystem → mount point`까지만 보고, 그 아래 host backend는 host에서 확인해야 한다.
SSOT 의 실험대 배치 절이 2026-09-03 에 그려 둔 이 실험대의 게스트는 위 예시와 다르게 생겼다. `vda` 는 20G 이고 루트를 `ext4` 로 담아 거기서 부팅하는데, 그 옆의 `vdb` 는 370K 짜리 `iso9660` 이고 레이블이 `CIDATA` 라 마운트되지 않는다. `/dev/vdb` 가 붙어 있다고 게스트가 그것을 파일시스템으로 쓰는 것은 아니다.
이 실험대의 worker guest는 `vda`를 주 디스크로 사용하고 `vdb`에는 cloud-init seed ISO가 붙는다. `vdb`가 block device로 보인다고 해서 애플리케이션 데이터용 파일시스템으로 쓰는 것은 아니다.
이름 둘이 가리키는 대상도 다르다. `/dev/vda` 가 게스트 Linux 에 보이는 블록 장치를 가리키고, `virtio-blk` 는 그 가상 블록 장치를 제어하는 게스트 커널 드라이버를 가리킨다. 네트워크 쪽의 `ens3` 와 `virtio-net` 이 같은 짝이다.
@@ -152,12 +134,12 @@ SSOT 의 실험대 배치 절이 2026-09-03 에 그려 둔 이 실험대의 게
| Guest TCP/IP Stack | Guest VFS/Filesystem/Block Layer |
| send/recv | read/write/fsync |
SSOT 는 이 표를 학습용 대응으로 두었고, 두 열의 각 요소가 `1:1` 로 같은 종류라는 데까지는 말하지 않는다.
이 표는 계층을 비교하기 위한 대응표다. 두 열의 각 요소가 내부 구현까지 `1:1`로 같은 종류라는 뜻은 아니다.
## 확인하지 못한 것과 범위 밖으로 둔 것
## 이 호스트에서 확인한 것과 범위 밖으로 둔 것
SSOT 는 이 부에서 다룰 것과 미룰 것을 먼저 갈라 두었다. `qcow2` 내부의 L1/L2 테이블과 `blk-mq` 의 tag allocator, NVMe 의 submission/completion 큐는 필요할 때 별도 문서에서 다루기로 했다.
2026-09-21 재검증에서 세 VM의 `vda`는 모두 qcow2 overlay file backend이고, 각 overlay는 공통 `base.qcow2`를 backing store로 사용한다는 것을 확인했다. 따라서 이 환경에서 guest `/dev/vda` 아래에 QEMU block backend와 host filesystem/block stack이 이어진다는 연결은 실제 구성과 맞는다.
이 경로를 이 호스트에서 재 본 값은 없다. 게스트의 `/dev/vda` 가 호스트에서 무엇에 붙어 있는지는 SSOT 가 적어 둔 열린 질문 가운데 첫 번째인데, `virsh domblklist` 로 그 대응을 읽은 출력이 아직 없다. 게스트 쪽 파일시스템으로 남아 있는 것은 SSOT 의 실험대 배치 절이 `vda` 의 루트를 `ext4` 로 적어 둔 2026-09-03 스냅샷 하나뿐이고, 이 글은 `ext4` 와 `XFS` 가 같은 계층을 지난다는 데까지만 말한다. 요청 수나 지연을 재려면 게스트의 `fsync()` 지연과 호스트 저장소 지연을 같은 시간축에서 함께 보는 관찰이 먼저 돌아야 한다.
다만 이 문서는 guest `write()`가 virtqueue에 실리기까지의 계층을 설명하는 데 집중한다. qcow2 L1/L2 table, `blk-mq` tag allocator, NVMe submission/completion queue 내부 구현은 범위 밖이다. 2026-09-21에는 guest `fsync()`와 host `iostat`을 같은 구간에 놓고 재서, guest fsync가 느려질 때 host NVMe의 `w_await`·`%util`·iowait도 함께 상승하는 구간을 실제로 확인했다. 이 결과는 경로의 존재를 보여 주지만, 모든 fsync 지연을 host storage 하나의 원인으로 일반화하지 않는다.
<!-- body:end -->
@@ -29,26 +29,8 @@ source:
# VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe
게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 가상 머신 두 대와 호스트의 Nginx 와 나머지 프로세스를 같은 큐로 받는다. 그 큐에서 blk-mq 와 I/O 스케줄러를 지나 NVMe 로 나가기까지를 따라가고, 거기서 생기는 스토리지 경쟁(Storage Contention)을 다투는 자원이 다른 CPU 경쟁과 갈라 놓는다. 블록 계층과 스케줄러 이름을 아는 사람을 독자로 둔다. 가상 머신 위에서 Keycloak 의 지연을 볼 때 이 계층을 CPU 계층과 갈라 두면 어느 쪽을 재야 하는지가 먼저 정해진다.
게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 여러 QEMU 프로세스와 host의 SSH·관측·파일 작업 같은 I/O를 같은 아래쪽 장치로 받는다. 그 큐에서 blk-mq 와 I/O 스케줄러를 지나 NVMe 로 나가기까지를 따라가고, 거기서 생기는 스토리지 경쟁(Storage Contention)을 다투는 자원이 다른 CPU 경쟁과 갈라 놓는다. 블록 계층과 스케줄러 이름을 아는 사람을 독자로 둔다. 가상 머신 위에서 Keycloak 의 지연을 볼 때 이 계층을 CPU 계층과 갈라 두면 어느 쪽을 재야 하는지가 먼저 정해진다.
## 관계
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
virtqueue 까지가 게스트 쪽 경로이고, 이 글은 그 요청이 가상 머신 경계를 넘어온 뒤를 잇는다.
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
백엔드가 파일인지 블록 장치인지에 따라 이 글이 설명하는 계층 위에 호스트 파일시스템이 한 겹 더 놓인다.
- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존**
같은 계층을 영속성 쪽에서 본 글이다. 이 글은 요청이 어떻게 줄을 서고 누구와 섞이는지를 본다.
- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다**
이 글이 가른 두 경쟁을 진단 순서로 편 규칙이다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
이 호스트의 디스크 이미지 아래를 마운트와 파티션과 장치까지 잇는 출력을 그 물음이 낸다.
- **이 호스트의 I/O Scheduler 는 무엇인가**
스케줄러 값을 읽는 방법은 여기 적었고, 이 호스트의 값은 그 질문이 확인한다.
- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가**
스토리지 경쟁은 이 글에서 구조로만 설명했다. 이 환경에서 실제로 겹치는지는 그 질문이 잰다.
## 본문
<!-- body:start -->
@@ -69,9 +51,11 @@ source:
## 한 NVMe 로 여러 곳의 요청이 들어온다
가상 머신 둘의 QEMU 프로세스와 호스트의 Nginx, 그리고 호스트의 다른 프로세스에서 동시에 I/O 가 들어올 수 있다. VM1 이 X 를 쓰고 Y 를 읽고 Z 를 쓰는 동안 VM2 는 A 를 읽고 B 를 쓰고, 호스트 프로세스는 C 를 읽는 식이다. 이 요청들은 호스트 블록 계층의 큐에서 관리되다가 장치로 나간다.
가상 머신들의 QEMU 프로세스와 호스트의 다른 프로세스에서 동시에 I/O가 들어올 수 있다. VM1 이 X 를 쓰고 Y 를 읽고 Z 를 쓰는 동안 VM2 는 A 를 읽고 B 를 쓰고, 호스트 프로세스는 C 를 읽는 식이다. 이 요청들은 호스트 블록 계층의 큐에서 관리되다가 장치로 나간다.
![VM1 QEMU 와 VM2 QEMU, Nginx, Host 기타 네 곳에서 나온 화살표가 하나의 Host Block Layer 로 모이고 거기서 NVMe 로 dispatch 되는 수렴 흐름도. VM1 QEMU 아래에는 WRITE X 와 READ Y, WRITE Z 가, VM2 QEMU 아래에는 READ A 와 WRITE B 가 적혀 있고, Host Block Layer 는 그것들을 모두 Host block request 로 다룬다.](../../../final/assets/diagrams/vms-sharing-one-nvme/vms-sharing-one-nvme.svg)
이 그림의 `Nginx`는 현재 실험대의 배치를 뜻하지 않는다. 원래 개념 문서가 host process의 한 예로 둔 이름이다. 현재 Nginx는 Edge VM 안에 있으므로 실제 I/O 경로에서는 edge QEMU 쪽으로 들어온다.
![VM1 QEMU 와 VM2 QEMU, 호스트의 Nginx와 다른 프로세스에서 나온 화살표가 하나의 Host Block Layer 로 모이고 거기서 NVMe 로 dispatch 되는 개념 흐름도. VM1 QEMU 아래에는 WRITE X 와 READ Y, WRITE Z 가, VM2 QEMU 아래에는 READ A 와 WRITE B 가 적혀 있다.](../../../final/assets/diagrams/vms-sharing-one-nvme/vms-sharing-one-nvme.svg)
## `blk-mq` 는 CPU 마다 큐를 둔다
@@ -91,9 +75,7 @@ cat /sys/block/nvme0n1/queue/scheduler
출력이 `[none] mq-deadline` 이면 대괄호 안의 `none` 이 지금 선택된 스케줄러다. SATA 나 SCSI 장치라면 `cat /sys/block/sda/queue/scheduler` 처럼 장치 이름을 바꿔 읽는다.
위에 적은 `[none] mq-deadline` 은 SSOT 가 읽는 법을 보이려고 든 출력이다. 이 호스트에서 그 명령을 아직 돌리지 않아서 이 장비의 스케줄러가 무엇인지는 이 글이 말하지 않는다.
넣을 이름도 아직 정해져 있지 않다. SSOT 의 측정 환경 절이 2026-09-10 에 `df -h /` 로 받은 이 호스트의 루트는 `/dev/nvme0n1p3` 인데, 위 경로에 든 예시 이름은 `nvme0n1` 과 `sda` 처럼 파티션이 아니라 장치 쪽이다. 어느 쪽을 넣어야 하는지는 이미지 아래를 `lsblk` 로 따라 내려가 상위 장치를 본 뒤에 갈린다.
2026-09-21 재검증에서 이미지가 놓인 상위 장치는 `nvme0n1`로 확인됐고, `/sys/block/nvme0n1/queue/scheduler`는 `[none] mq-deadline kyber bfq`를 냈다. 현재 선택값은 `none`이다. 같은 장치의 `rotational`은 `0`이었다.
## NVMe 드라이버는 호스트 커널의 장치 드라이버다
@@ -115,8 +97,10 @@ Storage Contention
CPU 경쟁은 호스트 논리 CPU 의 실행 시간을 두고 벌어지고, 스토리지 경쟁은 IOPS 와 대역폭, 큐, 장치 처리시간을 두고 벌어진다. 애플리케이션에서는 둘 다 「느리다」로 관찰되지만 다투는 자원이 달라서 따로 잰다.
## 이 호스트에서 확인하지 않은 것
## 이 호스트에서 확인한 공유 스토리지와 contention
이 글에도 이 테스트 호스트에서 잰 값은 없다. 이 호스트의 I/O 스케줄러는 `/sys/block` 아래를 읽은 출력이 없어 무엇으로 설정돼 있는지 알 수 없고, 디스크 이미지 아래를 마운트에서 파티션과 장치까지 이은 출력도 없다. 가상 머신 두 대와 호스트 프로세스의 I/O 가 이 환경에서 실제로 같은 시간에 겹치는지도 재지 않았다. VM1 의 대량 I/O 가 VM2 의 스토리지 지연을 올린다는 것은 이 계층 구성에서 나오는 가능성이고 이 서버에서 관측한 값이 아니다. 이 글은 요청이 호스트에서 어떤 순서로 어느 계층을 지나는지까지 설명하고, 이 서버가 그 계층에서 실제로 막히는지는 재지 않았다.
2026-09-21 `findmnt`와 `lsblk`로 base와 세 overlay가 모두 `/dev/nvme0n1p3`의 ext4 루트 파일시스템 위에 있고, 상위 물리 장치가 `SAMSUNG MZVLQ256HAJD-00000` NVMe `nvme0n1`임을 확인했다. 현재 scheduler는 `none`이다. 따라서 세 VM의 주 디스크 I/O가 같은 host block stack과 같은 물리 NVMe를 공유한다는 점은 실제 구성으로 확인됐다.
2026-09-21에는 contention도 baseline·load·recovery로 나눠 직접 재현했다. VM1에 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 대기 시간이 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 실행에서는 공유 NVMe의 load와 다른 VM의 지연이 함께 악화되는 경로를 확인했다.
<!-- body:end -->
@@ -30,34 +30,16 @@ source:
게스트 안에서 /dev/vda 를 보는 것만으로는 호스트에 무엇이 있는지 알 수 없다. 가상 머신 경계를 넘으면 QEMU 의 virtio-blk 장치 모델과 블록 백엔드가 그 요청을 받는데, 그 백엔드는 qcow2 파일일 수도, RAW 파일일 수도, 호스트의 실제 블록 장치일 수도 있다. 파일 백엔드면 게스트 스토리지 계층 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓이고, qcow2 면 게스트가 보는 크기와 호스트가 실제로 쓰는 크기가 갈린다. 무엇에 붙어 있는지는 게스트가 아니라 호스트에서 virsh domblklist 로 확인한다. 가상 머신에 디스크를 붙여 본 사람을 독자로 둔다.
## 관계
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
게스트 안에서 virtqueue 까지 내려온 요청을 이 글이 이어받는다.
- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존**
파일 백엔드면 호스트 페이지 캐시가 한 겹 더 생기고, 그 위에서 완료가 무엇을 보장하는지가 갈린다.
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
이 글은 백엔드 형태까지만 본다. 그 아래에서 요청이 어떻게 줄을 서는지는 그 글이 본다.
- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다**
이 글이 적은 세 갈래가 그 규칙의 근거다.
- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가**
세 갈래 가운데 어느 것인지를 그 물음이 이 장비에서 출력으로 확정한다.
- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가**
이 글이 든 크기 차이는 SSOT 의 예시 값이고, 이 장비의 값은 그 질문이 잰다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
파일 백엔드라면 그 파일이 놓인 호스트 장치까지 따라가야 경로가 끝난다.
## 본문
<!-- body:start -->
![Guest의 /dev/vda가 virtio-blk와 virtqueue를 지나 QEMU block backend에 도착한 뒤 qcow2 파일, RAW 파일, Host block device 세 갈래로 나뉘는 구조도. 그 아래 Host block stack은 별도 Concept이 맡아 이 그림에서는 다시 합치지 않는다.](../../../final/assets/diagrams/qemu-block-backend-forms/qemu-block-backend-forms.svg)
![Guest의 /dev/vda가 virtio-blk와 virtqueue를 지나 QEMU block backend에 도착한 뒤 qcow2 파일, RAW 파일, Host block device 세 갈래로 나뉘는 구조도. 그 아래 Host block stack은 별도 개념 문서가 맡아 이 그림에서는 다시 합치지 않는다.](../../../final/assets/diagrams/qemu-block-backend-forms/qemu-block-backend-forms.svg)
## 가상 머신 경계를 넘으면 QEMU 가 받는다
게스트의 `virtio-blk` 가 `virtqueue` 에 게시한 요청은 가상 머신 경계를 넘어 호스트 사용자 공간의 QEMU 로 간다. QEMU 안에서는 `virtio-blk` 장치 모델과 블록 백엔드가 그 요청을 받는다. QEMU 는 게스트에게 가상 블록 장치를 노출하고, 게스트의 가상 I/O 를 호스트 백엔드에 연결한다.
SSOT 는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하나로 따로 뽑아 두었다.
기존 문서는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하나로 따로 뽑아 두었다.
> Guest는 `/dev/vda`를 실제 block device처럼 보지만, Host에서는 그 disk가 qcow2 파일, RAW 파일, 또는 실제 block device에 연결되어 있을 수 있다.
@@ -73,7 +55,7 @@ SSOT 는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하
## qcow2 는 게스트가 보는 크기와 호스트가 쓰는 크기가 다르다
`qcow2` 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수 있다. SSOT 가 든 예시에서는 게스트가 `/dev/vda` 를 100 GB 로 보는 동안 호스트의 `vm1.qcow2` 가 3GB 를 쓴다. 게스트가 데이터를 기록하면서 가상 크기 100GB 는 그대로인 채 실제 할당량이 1GB 에서 10GB 로, 다시 40GB 로 늘 수 있다. 이 숫자들은 SSOT 가 설명하려고 든 값이고 이 호스트에서 잰 값이 아니다.
`qcow2`는 가상 디스크 크기와 실제 host allocation이 다를 수 있다. 예를 들어 virtual size를 100GB로 잡아도 실제로 기록한 block이 적다면 host에서는 훨씬 적은 공간만 차지할 수 있다. guest가 데이터를 쓰면 virtual size는 그대로인 채 host allocation이 늘어난다.
```bash label="qcow2 의 virtual size 와 실제 할당량"
qemu-img info vm1.qcow2
@@ -81,21 +63,21 @@ qemu-img info vm1.qcow2
출력의 `virtual size` 와 실제 할당량은 서로 다른 값이다.
SSOT 의 실측 절이 2026-09-10 에 이 호스트의 바닥 이미지에 그 명령을 돌린 출력을 남겼다. `file format: qcow2` 에 `virtual size: 3 GiB (3221225472 bytes)` 이고 `disk size: 335 MiB` 다. 같은 절의 목록에서 20GB 로 선언한 게스트 오버레이 둘은 `1521025024` 와 `697499648` 바이트, 곧 1.4 GiB 와 665 MiB 였다.
2026-09-21에는 실행 중 VM을 끄지 않고 `qemu-img info --force-share`, `du -h`, `ls -lh`를 같은 이미지에 이어서 실행했다. `base.qcow2`는 virtual 3GiB / disk 323MiB, `kc-lab-1.qcow2`는 20GiB / 3.43GiB, `kc-lab-2.qcow2`는 20GiB / 2.66GiB, `kc-lab-edge.qcow2`는 10GiB / 345MiB였다. 세 overlay 모두 `base.qcow2`를 qcow2 backing file로 가리켰다.
바닥 쪽 차이가 안 쓴 공간만으로 생기지는 않는다. SSOT 의 qcow2 내부 절이 같은 파일에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간을 606개, 전체를 1236개로 셌다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 zlib 로 압축해 324 MiB 가 된다. 배포본 이미지가 배포 시점에 이미 압축된 채로 오기 때문이고, 게스트가 그 클러스터에 쓰면 압축하지 않은 형태로 오버레이에 새로 할당된다. 바닥은 작은데 오버레이가 상대적으로 커 보이는 이유 가운데 하나가 그것이라고 SSOT 는 적었다.
base image가 작은 이유가 sparse allocation 하나뿐인 것은 아니다. 기존 `qemu-img map --output=json` 결과에서는 compressed extent와 hole이 함께 존재했다. 배포본 base image는 압축된 block을 포함할 수 있고, guest가 새로 쓰는 내용은 overlay에 별도 cluster로 쌓이므로 base와 overlay의 host 사용량은 같은 방식으로 증가하지 않는다.
## RAW 와 qcow2 를 성능으로 먼저 가르지 않는다
RAW 는 `qcow2` 보다 구조가 단순하다. 게스트의 블록 요청이 `qcow2` 에서는 QEMU 의 매핑과 메타데이터 처리를 지나 `qcow2` 파일 I/O 가 되고, RAW 에서는 상대적으로 직접적인 오프셋 대응을 지나 RAW 파일 I/O 가 된다. `qcow2` 는 Copy-on-Write 와 sparse allocation, 스냅샷에 유리하지만 그 대신 매핑과 메타데이터 처리가 붙는다.
그렇다고 RAW 가 무조건 빠르고 `qcow2` 가 무조건 느리다고 일반화하면 안 된다. SSOT 는 실제 성능이 캐시 모드와 스토리지 백엔드, 작업 부하 패턴, 큐 깊이, 스냅샷 체인, 그 아래 파일시스템, 물리 장치에 영향을 받는다고 적었다. 형식 이름만으로는 어느 쪽이 빠른지 정해지지 않는다.
그렇다고 RAW가 무조건 빠르고 `qcow2`가 무조건 느리다고 일반화하면 안 된다. 실제 성능은 cache mode, storage backend, workload pattern, queue depth, snapshot chain, host filesystem, physical device에 함께 영향을 받는다. 형식 이름만으로 어느 쪽이 빠른지 정해지지 않는다.
그 목록 가운데 스냅샷 체인이 왜 걸리는지는 SSOT 의 qcow2 내부 절이 따로 풀었다. 매핑 항목이 0 인 클러스터를 만날 때마다 한 층 아래로 내려가야 해서 체인이 깊으면 읽기가 느려지고, 그래서 이 실험대는 층을 두세 겹 넘게 쌓지 않는다. 굳힐 때는 `qemu-img commit` 으로 아래층에 병합하거나 `qemu-img convert` 로 단일 파일로 평탄화한다.
그 목록 가운데 스냅샷 체인이 왜 걸리는지는 기존 문서의 qcow2 내부 절이 따로 풀었다. 매핑 항목이 0 인 클러스터를 만날 때마다 한 층 아래로 내려가야 해서 체인이 깊으면 읽기가 느려지고, 그래서 이 실험대는 층을 두세 겹 넘게 쌓지 않는다. 굳힐 때는 `qemu-img commit` 으로 아래층에 병합하거나 `qemu-img convert` 로 단일 파일로 평탄화한다.
## 백엔드가 파일이 아니라 호스트 블록 장치일 수도 있다
백엔드는 파일이 아니어도 된다. 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 호스트의 `/dev/nvme0n1p3` 같은 블록 장치에 바로 연결될 수 있고, SSOT 가 그린 이 경로에는 호스트 파일시스템이 없다. 같은 이름 아래에서 경로가 세 갈래로 갈리기 때문에, 게스트에 `/dev/vda` 가 있다는 정보만으로는 백엔드 구조를 알 수 없다.
백엔드는 파일이 아니어도 된다. 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 호스트의 `/dev/nvme0n1p3` 같은 블록 장치에 바로 연결될 수 있고, 기존 문서가 그린 이 경로에는 호스트 파일시스템이 없다. 같은 이름 아래에서 경로가 세 갈래로 갈리기 때문에, 게스트에 `/dev/vda` 가 있다는 정보만으로는 백엔드 구조를 알 수 없다.
## 세 갈래가 각각 바꾸는 것
@@ -103,7 +85,7 @@ RAW 는 `qcow2` 보다 구조가 단순하다. 게스트의 블록 요청이 `qc
|---|---|
| `qcow2` 파일 | 게스트 파일시스템 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓인다. Copy-on-Write 와 sparse allocation, 스냅샷을 쓸 수 있고 매핑과 메타데이터 처리가 붙는다. 게스트가 보는 가상 크기와 호스트 실제 할당량이 갈린다 |
| RAW 파일 | 게스트 파일시스템 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓인다. 블록 위치가 파일 오프셋에 상대적으로 직접 대응한다 |
| 호스트 블록 장치 | SSOT 가 그린 경로에 호스트 파일시스템이 없다 |
| 호스트 블록 장치 | QEMU가 파일을 통하지 않고 block device를 backend로 쓰므로 host filesystem 계층이 빠진다 |
## 무엇에 붙어 있는지는 호스트에서 확인한다
@@ -117,7 +99,7 @@ lsblk
virsh domblklist <VM_NAME>
```
```text label="SSOT 가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다"
```text label="기존 문서가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다"
Target Source
-----------------------------------------------
vda /var/lib/libvirt/images/vm1.qcow2
@@ -125,12 +107,12 @@ vda /var/lib/libvirt/images/vm1.qcow2
이 출력이 나오면 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 `/var/lib/libvirt/images/vm1.qcow2` 에 닿는 연결이 확인된다.
## 확인하지 못한 것
## 이 호스트에서 확인한 것과 남은 것
이 글은 백엔드가 셋으로 갈린다는 데까지 말하고, 이 호스트가 그중 무엇인지는 여기서 정하지 않는다. SSOT 의 실험대 구축 절과 실측 절이 게스트마다 `base.qcow2` 위의 오버레이 파일을 붙였다고 적었으므로 파일 쪽 갈래이지만, 그 대응을 `virsh domblklist` 로 읽은 출력은 아직 없다. 형식이 무엇인지, 가상 크기와 실제 사용량이 얼마나 다른지, 그 이미지가 어느 호스트 블록 장치 위에 있는지는 관계로 걸어 둔 질문 셋이 출력으로 확정한다.
2026-09-21 재검증에서 세 VM의 `vda` source는 모두 qcow2 overlay file이고, 각 overlay는 공통 `base.qcow2`를 backing store로 사용한다는 것을 확인했다. host block device passthrough 구성은 아니다. base와 overlay의 format, virtual size, allocated disk size, file length도 같은 시점에 읽어 virtual size와 실제 host 점유가 다르다는 점을 실제 값으로 확인했다.
앞에서 든 100 GB 와 3GB, 1GB 에서 40GB 까지의 증가는 SSOT 가 설명하려고 든 예시 값이고 이 호스트에서 잰 값이 아니다. 이 호스트에서 `qemu-img info` 가 돌아간 것은 바닥 `base.qcow2` 하나여서, 오버레이 둘은 `ls -l` 의 파일 크기로만 남아 있고 그 안의 `virtual size` 는 읽히지 않았다.
또한 이 이미지들은 모두 host ext4 `/dev/nvme0n1p3` 위에 있고 상위 장치는 `nvme0n1`이다. 따라서 이 실험대의 현재 경로는 `Guest /dev/vda → virtio-blk → QEMU qcow2 backend → host ext4 → host block layer → NVMe`로 정리할 수 있다.
`qcow2` 와 RAW 의 성능 비교도 이 저장소에 없다. SSOT 는 실제 성능을 가르는 조건만 열거했고 어느 쪽이 이 환경에서 빠른지는 재지 않았다.
남은 것은 성능 비교다. `qcow2`와 RAW를 동일 workload로 비교한 측정은 없으므로 현재 qcow2 구성이 RAW보다 빠르다거나 느리다고 결론내리지 않는다.
<!-- body:end -->
@@ -34,22 +34,6 @@ source:
buffered I/O 에서 write() 는 페이지 캐시까지만 내려가고, 가상 머신에서는 그 페이지 캐시가 게스트와 호스트 양쪽에 두 번 나타날 수 있다. 게스트가 성공을 돌려받은 데이터가 호스트 메모리에 머무는 동안 호스트 전원이 나가면 물리 SSD 에는 이전 상태가 남는다. 그래서 완료라는 말이 네 단계로 갈린다 — write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 영속성. Direct I/O 와 QEMU 캐시 모드가 이 가운데 어디까지 가는지를 바꾼다. 페이지 캐시와 fsync 를 아는 사람을 독자로 둔다. Keycloak 과 PostgreSQL 을 가상 머신 위에서 돌리는 실험에서는 이 구분을 먼저 세워야 지연을 재는 것과 데이터가 남는지를 재는 것이 한 실험에 섞이지 않는다.
## 관계
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
게스트 쪽 경로를 VFS 부터 virtqueue 까지 이어 그린 글이다. 이 글은 그 경로 위에서 완료 응답이 무엇을 보장하는지만 본다.
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
백엔드가 파일이면 게스트 파일시스템 아래에 호스트 파일시스템과 호스트 페이지 캐시가 한 겹 더 놓인다. 두 번째 페이지 캐시가 왜 생기는지를 그 글이 설명한다.
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
fsync 요구가 호스트로 내려간 뒤 어느 계층을 지나는지는 그 글이 맡는다.
- **빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다**
이 개념이 세운 네 경계를 설정 선택과 성능 개선의 판정에 적용하는 규칙이다.
- **이 VM 들의 QEMU disk cache mode 는 무엇인가**
이 호스트가 cache=none 구성인지 cache=writeback 구성인지 SSOT 에 적혀 있지 않다.
- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가**
fsync() 지연 값은 그 질문이 게스트와 호스트를 같은 시간축으로 잰 뒤에 이 글에 들어온다.
## 본문
<!-- body:start -->
@@ -104,7 +88,7 @@ FLUSH
반영하고 완료 상태를 보장해라"
```
실제 순서 보장과 영속성의 의미는 이 두 줄보다 복잡하다. SSOT 도 그렇게 밝혀 두었고, 이 글은 두 요청의 구분까지만 말한다.
실제 순서 보장과 영속성의 의미는 이 두 줄보다 복잡하다. 여기서는 `WRITE`와 `FLUSH`가 요구하는 계약이 다르다는 수준까지만 구분한다.
## Direct I/O 가 우회하는 대상은 페이지 캐시다
@@ -121,13 +105,13 @@ QEMU 와 libvirt 로 정의한 디스크에서 대표적으로 볼 수 있는
호스트 페이지 캐시를 우회한다고 해서 쓰기가 곧바로 영속 매체에 반영되지는 않는다. `cache=writeback` 으로 두어도 게스트의 `fsync()` 와 `FLUSH` 가 무시되지 않는다. 정상적인 계층이라면 게스트의 `fsync` 와 `FLUSH` 가 virtio `FLUSH` 로 이어진다. QEMU 와 백엔드에서 호스트 동기화와 플러시로 이어지고, 저장장치에서 필요한 완료를 확인한 뒤 게스트 완료로 돌아온다.
`cache=writeback` 을 위험하다는 한 낱말로 줄이지 않으려고 SSOT 는 정확한 표현을 따로 적어 두었다.
`cache=writeback`을 단순히 "위험하다"로 줄이면 부정확하다.
> writeback caching에서는 volatile cache가 존재할 수 있으므로, Guest의 flush/fsync semantics가 전체 backend/storage stack에서 올바르게 보존되는지가 중요하다.
그래서 확인할 것은 게스트가 요구한 영속성이 게스트 파일시스템에서 게스트 블록 계층과 virtio, QEMU 와 백엔드, 호스트 스토리지를 지나 장치까지 가는 동안 그 의미가 깨지지 않는지다.
두 설정 가운데 어느 쪽을 쓸지 이 프로젝트는 정하지 않았다. SSOT 는 두 설정의 뜻과 각각의 오해를 갈라 놓기만 했고, 어느 쪽을 쓰기로 했다고도 그렇게 해서 무엇을 감수했다고도 적지 않았다. 게스트를 만든 `virt-install` 세 줄을 SSOT 의 실험대 구축 절이 그대로 옮겨 적었는데 거기에도 캐시 옵션이 없다. 디스크는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 와 시드 볼륨 둘로만 지정돼 있어서, 이 호스트의 디스크 정의에 값이 적혀 있는지부터가 확인되지 않았다. 관계로 걸어 둔 질문이 그것에 먼저 답한다.
현재 세 VM의 주 qcow2 디스크는 2026-09-21 QEMU monitor `info block`에서 모두 `Cache mode: writeback`으로 확인됐다. domain XML에는 `cache=` 속성이 명시되지 않았기 때문에 XML 기본값을 추정하지 않고 runtime 값을 기준으로 삼는다. 이 사실은 현재 구성을 설명할 뿐, `writeback`을 계속 쓸지에 대한 선택까지 대신하지 않는다. 변경 여부는 실제 `fsync()`/FLUSH latency와 durability 조건을 함께 본 뒤 판단한다.
## 호스트 페이지 캐시를 우회해도 장치 안에 캐시가 있다
@@ -141,7 +125,7 @@ Device에 command가 전달됐다
전원이 끊겨도 살아남는 상태가 됐다
```
운영에서는 장치의 플러시와 FUA(Force Unit Access) 의미, 전원 손실 보호(power-loss protection)를 갖췄는지도 확인 대상이 된다. SSOT 는 그것이 중요할 수 있다고만 적었고, 이 호스트의 장치가 무엇을 갖췄는지는 적지 않았다.
운영에서는 장치의 flush/FUA(Force Unit Access) 의미와 power-loss protection 지원 여부도 확인 대상이다. 현재 host storage가 `nvme0n1`이라는 점과 QEMU runtime cache가 `writeback`이라는 점까지는 확인했지만, 장치의 전원 손실 보호와 flush/FUA 동작을 장애 실험으로 검증하지는 않았다.
## 거짓 완료는 성능 문제가 아니다
@@ -161,8 +145,10 @@ COMMIT;
PostgreSQL 은 WAL(Write-Ahead Log) 등의 영속성 프로토콜을 쓰며 필요한 시점에 스토리지 동기화를 수행한다. WAL 쓰기는 게스트 페이지 캐시와 `fsync` 를 지나 게스트 파일시스템과 게스트 블록 계층, `virtio-blk`, QEMU, 호스트 스토리지를 거쳐 물리 저장장치까지 간다. 그 완료가 되돌아와야 필요한 영속성 조건이 충족됐다고 보고 `COMMIT` 을 성공으로 처리한다. 가상 머신 스토리지 계층이 플러시와 `fsync` 의 의미를 제대로 보존하지 않으면, PostgreSQL 의 영속성 가정과 실제 저장장치 동작이 어긋날 수 있다.
## 이 호스트에서 확인하지 않은 것
## 이 호스트에서 확인한 것과 아직 확인하지 않은 것
이 글에 이 테스트 호스트에서 잰 값은 하나도 없다. 두 가상 머신의 디스크 캐시 모드가 무엇으로 설정돼 있는지 SSOT 에 없어서, 이 호스트가 `cache=none` 구성인지 `cache=writeback` 구성인지 여기서 말하지 않는다. 거짓 완료가 이 환경에서 실제로 일어나는지도 재현하지 않았다. 장치의 플러시와 FUA 의미가 어떻게 동작하는지, 전원 손실 보호를 갖췄는지도 확인하지 않았다. `fsync()` 지연 값은 관계로 걸어 둔 질문이 게스트 지연과 호스트 스토리지 지연을 같은 시간축으로 잰 뒤에 이 글에 들어온다. 이 글은 이 구조에서 완료 응답이 무엇을 보장하는지까지 설명하고, 이 서버가 그 보장을 지키는지는 재지 않았다.
2026-09-21 현재 주 디스크 backend는 qcow2이고 QEMU runtime cache mode는 세 VM 모두 `writeback`이다. 이미지가 놓인 host block device는 `nvme0n1`, scheduler는 `none`으로 확인됐다. 따라서 이 문서에서 설명한 **guest page cache + host page cache가 함께 존재할 수 있는 구성**과 현재 환경이 맞닿아 있다.
2026-09-21에는 guest `fsync()` latency와 host storage latency를 같은 구간에 놓고 측정했고, cross-VM load에서 둘이 함께 악화됐다가 부하 종료 후 회복되는 것을 확인했다. 하지만 이것은 latency 경로를 확인한 결과이지 durability 끝단을 검증한 결과는 아니다. 장치가 flush/FUA를 어떤 의미로 처리하는지, power-loss 상황에서 완료 응답 뒤 데이터가 실제로 살아남는지는 여전히 별도 검증이 필요하다. 현재 `writeback`이라는 값만으로 거짓 완료가 일어난다고 단정하지 않는다.
<!-- body:end -->
@@ -7,9 +7,12 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/ae69e2e1-1a3b-4ae3-ae2a-572af07b95d7/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-3
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-2
@@ -20,20 +23,12 @@ source:
# 이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가
§199 가 2026-09-10 에 이 호스트에서 읽어 둔 값이 있다. 바닥 이미지 `base.qcow2` 의 형식은 qcow2 이고, 20GB 로 선언한 게스트 오버레이 둘의 실제 파일은 1.4 GiB 와 665 MiB 였다. 오버레이마다 세 명령을 돌려 형식과 세 크기를 나란히 읽은 값은 아직 없다. 이 물음은 이미지마다 그것을 한 표로 적는 데서 끝나고, 성능 판단은 여기서 하지 않는다.
2026-09-21 실행 중 VM을 끄지 않고 `qemu-img info --force-share`, `du -h`, `ls -lh`를 같은 이미지에 이어서 실행했다. base와 세 overlay는 모두 qcow2이고, guest가 보는 virtual size와 host의 실제 allocation/file length는 크게 다르다. 이 값은 workload가 쓰는 블록 양에 따라 계속 변하므로 현재 관측값으로 기록한다.
## 관계
## base와 overlay의 실제 크기
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
형식이 어디에서 갈리고 각 형식이 무엇을 더 하는지를 그 글이 설명한다.
- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다**
이 물음이 그 기준의 형식 확인과 용량 확인 항목을 이 호스트에서 채운다.
- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가**
명령을 돌릴 경로를 그 물음이 확정한다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
같은 경로를 받아 그 파일 아래를 잇는 물음이다.
## 사실
- 2026-09-21 재검증에서 `base.qcow2`는 virtual 3 GiB / disk 323 MiB, `kc-lab-1.qcow2`는 virtual 20 GiB / disk 3.43 GiB, `kc-lab-2.qcow2`는 virtual 20 GiB / disk 2.66 GiB, `kc-lab-edge.qcow2`는 virtual 10 GiB / disk 345 MiB였다. 세 overlay 모두 `base.qcow2`를 qcow2 backing file로 가리켰다.
- 2026-09-21 재검증에서 `qemu-img info`의 disk size와 `ls -lh`의 file length도 같지 않았다. 예를 들어 edge overlay는 disk size 345 MiB, file length 420 MiB였다. sparse allocation과 qcow2 metadata 때문에 서로 다른 값을 센다.
- 개념 문서는 같은 대상이 호스트에서는 파일 하나이고 게스트에서는 /dev/vda 라는 디스크이며 둘 다 맞다고 놓았다.
- qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수 있다. 개념 문서가 든 그림은 게스트가 보는 공간 100 GB 에 호스트 실제 할당 3GB 였다.
@@ -45,38 +40,35 @@ source:
형식과 크기 : qemu-img info
실제 점유량 : du -h
파일 크기 : ls -lh
- 백엔드가 파일이라는 것은 §187 의 `virt-install` 세 줄과 §199 의 `ls -l` 출력이 보여 준다.
- 형식과 바닥 이미지의 크기는 §199 가 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다.
- 백엔드가 파일이라는 것은 「단계 01 — 게스트 세 대」의 `virt-install` 세 줄과 「디스크 — 오버레이는 얼마나 쓰나」의 `ls -l` 출력이 보여 준다.
- 형식과 바닥 이미지의 크기는 「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다.
- 같은 절의 `ls -l /var/lib/libvirt/images/` 가 선언한 크기와 파일 크기를 나란히 보인다.
base.qcow2 : 351404032 (335 MiB)
kc-lab-1.qcow2 : 1521025024 (1.4 GiB) — 선언 20GB
kc-lab-2.qcow2 : 697499648 (665 MiB) — 선언 20GB
시드 ISO 두 장 : 각 378880 (370 KiB)
- §199 는 그 결과를 한 줄로 정리했다. 20GB 씩 둘, 합쳐 40GB 를 선언했지만 실제로는 2.1GB 를 썼다.
- §199 는 두 오버레이가 두 배 넘게 갈린 이유도 함께 적었다. k3s server 가 agent 보다 두 배 이상 쓰는 것은 컨트롤 플레인 바이너리와 SQLite 때문이다. 그래서 오버레이 크기는 이미지 형식이 아니라 그 게스트가 무엇을 도는지를 따라간다.
- §231 은 같은 바닥 이미지에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, 바닥 쪽 차이에는 희소 할당과 압축이 겹쳐 있다. 오버레이에 쌓이는 클러스터는 압축되지 않는다.
- 「디스크 — 오버레이는 얼마나 쓰나」에서는 그 결과를 한 줄로 정리했다. 20GB 씩 둘, 합쳐 40GB 를 선언했지만 실제로는 2.1GB 를 썼다.
- 「디스크 — 오버레이는 얼마나 쓰나」에서는 두 오버레이가 두 배 넘게 갈린 이유도 함께 적었다. k3s server 가 agent 보다 두 배 이상 쓰는 것은 컨트롤 플레인 바이너리와 SQLite 때문이다. 그래서 오버레이 크기는 이미지 형식이 아니라 그 게스트가 무엇을 도는지를 따라간다.
- 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 같은 바닥 이미지에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, 바닥 쪽 차이에는 희소 할당과 압축이 겹쳐 있다. 오버레이에 쌓이는 클러스터는 압축되지 않는다.
## 가정
## virtual size와 host 사용량은 같은 시점에 재었다
- §199 가 목록으로 보인 경로가 지금도 그 가상 머신들이 쓰는 이미지라고 본다. 도메인 정의와 대조한 출력은 없다.
- 오버레이도 바닥과 같은 qcow2 라고 본다. §187 이 `backing_store` 로 만들었다고 적었지만 오버레이에 `qemu-img info` 를 돌린 출력은 없다. §232 는 그 출력의 `backing file:` 줄이 없으면 바닥 이미지이고 있으면 오버레이라고 적었으므로, 오버레이에 한 번 돌리면 형식과 이 가정이 같은 출력에서 함께 갈린다.
- 2026-09-21에는 live domain mapping과 이미지 경로를 함께 확인했으므로 현재 세 overlay 경로를 실제 VM disk source로 사용할 수 있다.
- 2026-09-21 `qemu-img info --force-share`로 base와 세 overlay를 직접 읽었다. 모두 qcow2이고 세 overlay는 공통 `base.qcow2`를 backing file로 가리킨다.
- 세 명령을 같은 시점에 돌린다고 본다. 실제 사용량은 게스트가 기록하면서 늘 수 있어서, 시점이 벌어지면 한 표에 서로 다른 시각의 값이 들어간다.
## 미지수
## virtual size와 host allocation은 다르다
- 오버레이 `kc-lab-1.qcow2` 와 `kc-lab-2.qcow2` 의 `qemu-img info` 값. 형식과 virtual size, disk size 를 이미지마다 읽은 기록이 없고, §199 가 읽은 것은 바닥 `base.qcow2` 하나다.
- `du -h` 의 실제 점유량이 §199 의 `ls -l` 바이트 수와 얼마나 벌어지는지. 두 명령은 서로 다른 것을 센다.
- 엣지 게스트의 이미지. §199 는 엣지를 만들기 전 시점이라 목록에 `kc-lab-edge.qcow2` 가 없다.
- 지금 시점의 값. §199 는 2026-09-10 값이고 그 뒤로 오버레이가 얼마나 자랐는지는 재지 않았다. 증가를 볼 수 있는 구간은 그 앞 한 주뿐이다 — §215 가 2026-09-03 에 그린 배치에서 `kc-lab-1.qcow2` 는 264M 이고 일주일 뒤 §199 의 같은 파일이 1.4 GiB 다. 두 값은 어긋난 것이 아니라 다른 날의 것이라고 §211 이 스냅샷 날짜로 못박았다.
현재 이미지 형식과 virtual size, allocated disk size, file length는 해소됐다. 값은 2026-09-21 관측 시점의 스냅샷이며 VM이 쓰기를 계속하면 달라진다. `qemu-img info --force-share`는 실행 중 이미지를 읽기 위해 사용했고, `cleanly shut down: no`가 나온 overlay에 수정 작업은 하지 않았다.
## 제약
## 수치를 읽는 범위
- 성능 결론을 여기서 내지 않는다. 형식만으로 일반화하지 말라고 개념 문서가 적었고, 성능은 부하와 지연을 재는 다른 물음들이 받는다.
- 한 시점의 세 값만 적는다. 그 차이가 시간에 따라 어떻게 자라는지는 별도 측정으로 넘긴다.
- qcow2 파일 안이 어떻게 생겼는지는 여기서 다루지 않는다. 매핑표와 클러스터와 refcount 는 §231 이 맡고, 이 물음은 명령이 내놓는 값만 받는다.
- 개념 문서는 형식을 묻는 물음과 세 크기를 묻는 물음을 따로 적었는데 여기서는 하나로 받았다. 형식은 qemu-img info 출력의 첫 줄이고 세 값을 견주는 일의 전제라 같은 출력으로 함께 닫힌다. 같은 측정으로 닫히는 물음을 두 편으로 두지 않는다.
- qcow2 파일 안이 어떻게 생겼는지는 여기서 다루지 않는다. 매핑표와 클러스터와 refcount 는 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 맡고, 이 물음은 명령이 내놓는 값만 받는다.
- format과 virtual size, allocated disk size는 같은 `qemu-img info`에서 함께 나오므로 한 표에서 비교한다. `du`와 `ls` 값까지 붙여 같은 파일을 서로 다른 기준으로 센 결과를 구분한다.
## 선택지
## 세 크기를 읽은 방법
### 1. 이미지마다 세 명령을 이어서 돌리고 한 표로 남긴다
@@ -96,10 +88,6 @@ qemu-img info 한 번이면 file format 이 나오므로 qcow2 인지 RAW 인지
그 값에는 이미지가 아닌 파일도 함께 들어가 있어서 이미지 하나가 얼마를 쓰는지 갈라 주지 않는다. 개념 문서가 비교하라고 한 것은 같은 이미지에 대한 세 값이고, 합계로는 virtual size 와의 차이도 나오지 않는다.
## 다음 검증
## qcow2의 virtual size와 host 점유량은 서로 달랐다
1. 앞선 물음이 확정한 Source 경로마다 qemu-img info 를 돌려 file format 과 virtual size 와 disk size 를 적는다.
2. 같은 경로에 du -h 와 ls -lh 를 돌려 두 값을 나란히 적는다.
3. 가상 머신이 여럿이면 이미지마다 한 행으로 한 표에 모으고 세 명령의 출력을 그대로 증거로 둔다.
닫는 조건 : 이미지마다 형식과 세 크기가 한 표로 적히면 닫는다. qcow2 이고 세 값이 벌어져 있으면 개념 문서가 예시로만 든 차이가 이 호스트에서 얼마인지 확정한 것이고, 그 차이가 자라는 모습은 별도 측정으로 넘긴다. RAW 이면 그 갈래가 이 환경이라고 적고 sparse 인지 아닌지만 세 값의 차이로 판정한다.
형식은 모두 qcow2이고 virtual size와 host allocation/file length의 차이를 실제 값으로 확인했다. 이후에는 용량 증가 추세를 볼 필요가 있을 때 같은 세 명령을 다시 실행해 시점별 스냅샷으로 비교한다.
@@ -7,9 +7,16 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/be3c2c58-1ed4-4eae-876a-3114faa61c94/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-8
- final/document.md#150-fsync-가-필요한-이유
@@ -21,86 +28,67 @@ source:
# Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가
게스트 안의 fsync() 는 게스트 파일시스템, 블록 계층, virtio-blk, QEMU 를 지나 호스트 스토리지까지 의미가 전달되어야 하는 요청이다. 그 전달이 이 호스트에서 실제로 이어지는지는 두 계열을 같은 시간축에 놓고 봐야 갈린다. 이 물음은 게스트 쪽 애플리케이션 지연과 호스트 쪽 스토리지 지연을 같은 타임스탬프로 남겨, 둘이 함께 움직이는지를 확인한다.
2026-09-21 `kc-lab-2`에서 256 KiB write 뒤 `fsync()`를 128회 반복하고 host `nvme0n1`의 `iostat -xz 1`을 같은 실행에서 기록했다. VM2 단독 구간의 fsync 평균은 약 8~9 ms였다. 같은 NVMe를 쓰는 VM1에 controlled write+fdatasync 부하를 겹치자 VM2 첫 실행의 fsync 평균이 58.46 ms, p95 314 ms, max 631 ms까지 증가했고 host `w_await`도 수십~184 ms, `%util` 92~98%로 함께 상승했다. VM1 부하 종료 뒤 VM2 fsync는 다시 약 8 ms로 회복했다.
## 관계
## guest fsync와 host NVMe가 함께 오른 구간
- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존**
게스트가 받은 완료 응답이 어느 뜻인지를 그 개념이 가른다.
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
fsync() 가 전달되어야 하는 앞쪽 경로를 그 개념이 단계로 설명한다.
- **빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다**
두 계열이 갈렸을 때 지연을 줄이는 방향으로 가려면 그 기준을 지나야 한다.
- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다**
게스트 지연이 올랐을 때 CPU 가 아니라 스토리지를 먼저 보는 순서를 그 기준이 요구한다.
- **이 VM 들의 QEMU disk cache mode 는 무엇인가**
그 값이 이 측정의 조건이므로 같은 기록에 함께 적는다.
- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가**
같은 호스트 지표를 보지만 그쪽은 다른 가상 머신의 부하가 넘어오는지를 묻는다.
- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가**
호스트 쪽에서 스토리지를 미는 다른 원인을 그 물음이 따로 본다.
- 2026-09-21 재검증에서 VM2 단독 fsync 반복 3회의 평균은 `8.2397 / 8.2676 / 9.1264 ms`였다. 첫 단독 실행의 p95는 11.18 ms였다.
- 2026-09-21 재검증에서 VM1 storage load와 겹친 VM2 첫 실행은 평균 `58.4576 ms`, p95 `314.0799 ms`, max `631.0144 ms`였다. VM1 load가 끝난 뒤 이어진 VM2 run 2/3은 평균 `7.9038 / 8.0636 ms`로 회복했다.
- 2026-09-21 재검증에서 겹침 구간 host `nvme0n1`은 `w_await` 약 50~184 ms, `%util` 약 92~98%, host `%iowait` 약 18~23% 구간이 나타났다. 단독 VM2 fsync 구간은 `w_await`이 주로 약 1 ms, flush await 약 2~3 ms였다.
- 2026-09-21 재검증에서 host clock은 guest보다 약 90초 빠르고 `NTPSynchronized=no`였다. 따라서 절대 timestamp끼리 직접 join하지 않고, 한 host shell이 VM1 load 시작→VM2 fsync 실행→iostat 종료를 orchestration한 실행 순서로 overlap을 판정했다.
## 사실
- §150 은 write(fd, data, size) 의 성공만으로는 정전 이후 생존을 보장하지 않고, 필요한 시점에 fsync(fd) 로 변경 내용을 필요한 영속성 경계까지 반영하도록 요청한다고 적었다.
- §150 은 가상 머신에서 그 요청이 지나야 하는 경로를 이렇게 그렸다.
- 「`fsync()`가 필요한 이유」에서는 write(fd, data, size) 의 성공만으로는 정전 이후 생존을 보장하지 않고, 필요한 시점에 fsync(fd) 로 변경 내용을 필요한 영속성 경계까지 반영하도록 요청한다고 적었다.
- 「`fsync()`가 필요한 이유」에서는 가상 머신에서 그 요청이 지나야 하는 경로를 이렇게 그렸다.
PostgreSQL, fsync(), Guest Filesystem, Guest Block Layer, FLUSH 등, virtio-blk, QEMU/Backend, Host Storage Stack, Physical Storage
- §148 은 write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 durability 가 서로 같지 않다고 못박았다.
- §170 은 PostgreSQL 이 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다고 적었다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 PostgreSQL 이 전제한 영속성과 실제 스토리지 동작이 어긋날 수 있다.
- §171 은 모든 쓰기에서 스토리지 동기화를 기다리면 지연이 커질 수 있고, 특히 DB 부하에서는 fsync() 지연이 트랜잭션 지연과 연결될 수 있다고 적었다.
- §171 은 더 적극적인 캐싱으로 쓰기 지연을 개선할 수 있지만 durability semantics 는 반드시 보존해야 한다고 덧붙였다. fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다.
- §169 는 호스트 관측으로 iostat -xz 1 과 iotop 을 들고, 게스트 쪽 확인 명령으로 lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1 을 적었다.
- §175 OQ-8 은 게스트의 애플리케이션 지연과 호스트 iostat 를 시간축으로 함께 관찰하라고 했다.
- 이 호스트에서 두 계열을 재 본 값은 개념 문서에 없다.
- 「`write()` 완료와 영속화는 다르다」에서는 write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 durability 가 서로 같지 않다고 못박았다.
- 「PostgreSQL 예시: WAL과 Durability」에서는 PostgreSQL 이 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다고 적었다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 PostgreSQL 이 전제한 영속성과 실제 스토리지 동작이 어긋날 수 있다.
- 「성능과 Durability의 Trade-off」에서는 모든 쓰기에서 스토리지 동기화를 기다리면 지연이 커질 수 있고, 특히 DB 부하에서는 fsync() 지연이 트랜잭션 지연과 연결될 수 있다고 적었다.
- 「성능과 Durability의 Trade-off」에서는 더 적극적인 캐싱으로 쓰기 지연을 개선할 수 있지만 durability semantics 는 반드시 보존해야 한다고 덧붙였다. fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다.
- 「Storage 관측 명령어」에서는 호스트 관측으로 iostat -xz 1 과 iotop 을 들고, 게스트 쪽 확인 명령으로 lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1 을 적었다.
- guest 애플리케이션 또는 DB 지연과 host `iostat -xz 1`을 같은 시간축에 기록해야 guest-side 대기와 host storage 대기를 비교할 수 있다.
- 2026-09-21 `kc-lab-2`의 synthetic fsync workload와 host `iostat -xz 1`을 같은 orchestration 구간에 기록해 guest fsync latency와 host NVMe latency/util 변화를 직접 비교했다.
## 가정
## guest fsync와 host NVMe를 같은 시간축에 놓았다
- 게스트에서 애플리케이션이나 데이터베이스의 지연을 시간축으로 기록할 수 있다고 본다. 그 기록에 fsync() 자체의 지연이 따로 나오는지, 아니면 트랜잭션 지연으로만 보이는지는 해 보기 전에 알 수 없다.
- 호스트와 게스트의 시계가 맞아 두 계열을 같은 타임스탬프에 놓을 수 있다고 전제한다. 어긋나 있으면 함께 움직였다는 판정 자체가 성립하지 않는다.
- 부하가 없는 구간과 있는 구간을 만들 수 있고, 두 구간에서 같은 방법으로 잴 수 있다고 본다.
- 측정 중에 캐시 모드를 비롯한 디스크 설정이 바뀌지 않는다고 두고 두 구간을 견준다.
- 같은 장치를 쓰는 다른 가상 머신이나 호스트 프로세스의 입출력이 섞일 수 있다고 보고, 어느 프로세스가 입출력을 내는지 iotop 으로 함께 남긴다.
- 이번 실행에서는 애플리케이션 전체 latency 대신 guest 안에서 256KiB write + `fsync()` 128회를 직접 측정해 durability path의 지연을 분리했다. PostgreSQL WAL/transaction latency는 후속 실제 workload에서 별도로 본다.
- 실제 확인 결과 host와 guest의 절대 시계는 약 90초 어긋나 있었다. 이 실험은 절대 timestamp join 대신 한 host shell에서 load와 measurement를 순서대로 시작·종료해 overlap을 보장했다. 장시간 분산 시계열 분석 전에 host NTP 동기화는 별도로 해결해야 한다.
- VM2 단독 baseline과 VM1 storage load가 겹친 구간, load 종료 뒤 recovery 구간을 같은 fsync microbenchmark와 host `iostat`으로 비교했다.
- 측정 동안 backend는 qcow2, runtime cache mode는 `writeback`, host device는 `nvme0n1`, scheduler는 `none`으로 유지했다.
- interference source를 명확히 하기 위해 VM1에 별도 임시 파일 write+fdatasync workload를 걸고 종료 뒤 파일을 삭제했다.
## 미지수
## 두 latency가 같은 숫자일 필요는 없다
- 게스트의 fsync() 나 트랜잭션 지연이 커지는 구간과 호스트 스토리지 지연이 커지는 구간이 시간축에서 겹치는지.
- 겹친다면 두 값이 같은 크기로 움직이는지, 게스트 쪽이 더 크게 벌어지는지.
- 게스트 지연은 오르는데 호스트 스토리지 지연이 따라 오르지 않는 구간이 있는지. 있다면 그 차이가 게스트 쪽 대기에서 생기는지 QEMU 와 백엔드 쪽에서 생기는지.
- 이때 걸려 있던 캐시 모드가 무엇인지. 그 값은 별도 물음이 읽는다.
- 게스트 쪽 지연을 무엇으로 어떤 단위로 기록할지. §169 가 게스트 쪽에 적은 명령은 장치 입출력과 마운트를 보는 것이라, 애플리케이션이나 트랜잭션 지연은 거기서 나오지 않는다.
현재 synthetic fsync workload에서는 guest fsync latency 상승과 host NVMe latency/util 상승이 같은 controlled overlap 구간에서 함께 나타났다. 두 값의 크기는 같지 않았다. guest fsync는 guest filesystem, virtio/QEMU/qcow2, host flush까지 포함하는 end-to-end latency이고 `iostat`의 `w_await`은 host block device request 관점의 값이므로 동일 수치일 필요가 없다.
## 제약
남은 것은 PostgreSQL WAL 같은 실제 application workload에서 같은 상관이 어느 정도 재현되는지이며, 이는 이 질문의 경로 확인을 넘어 애플리케이션 성능 실험으로 분리한다.
- 이 물음은 영속성을 줄여 지연을 낮추는 방향을 검토하지 않는다. §171 이 fsync() 를 없애 빨라진 것을 최적화로 부르지 말라고 적었고, 그런 방향은 별도 기준을 지나야 한다.
- 두 계열을 같은 시각에 남기지 못하면 이 물음은 닫히지 않는다. 나중에 따로 잰 값을 겹쳐 놓고 함께 올랐다고 적지 않는다.
## durability를 줄이지 않는 범위
- 이 물음은 영속성을 줄여 지연을 낮추는 방향을 검토하지 않는다. 「성능과 Durability의 Trade-off」에서는 fsync() 를 없애 빨라진 것을 최적화로 부르지 말라고 적었고, 그런 방향은 별도 기준을 지나야 한다.
- 두 계열은 반드시 같은 구간에서 남긴다. 서로 다른 시점의 값을 나중에 겹쳐 놓고 상관관계가 있다고 판단하지 않는다.
- 측정 조건에 캐시 모드와 백엔드 형식과 장치 이름을 함께 적는다. 이 셋이 없으면 같은 값을 다른 환경과 견줄 수 없다.
- 측정하는 동안 다른 스토리지 실험을 같은 장치 위에서 겹쳐 돌리지 않는다.
- 호스트 지연이 오른 이유까지 이 물음이 가르지 않는다. 다른 가상 머신의 부하인지 호스트 메모리 압박인지는 그것을 재는 두 물음이 받는다.
- 그 가운데 메모리 압박 쪽 물음과는 호스트 스토리지 지표를 같이 본다. 그래도 한 물음으로 합치지 않았다. 그쪽은 호스트에서 major fault 를 유도해 그것이 스토리지를 미는지를 보고, 이쪽은 게스트의 fsync() 가 호스트까지 전달되는지를 본다. 유도 방법도 견주는 계열도 달라서 한 실행으로 닫히지 않는다.
- host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim이 storage를 밀어 올리는지 보고, 여기서는 guest `fsync()`/DB write 구간이 host storage latency와 연결되는지를 본다.
## 선택지
## 어떻게 겹쳐 봤나
### 1. 부하 없는 구간과 있는 구간을 각각 찍어 두 계열을 겹친다
게스트 쪽 애플리케이션과 데이터베이스의 지연을 기록하면서 같은 시각에 호스트에서 iostat -xz 1 을 돌린다. 두 구간을 같은 방법으로 남기면 부하가 들어왔을 때 두 계열이 함께 움직였는지 그 자료에서 읽힌다. §175 OQ-8 이 적은 방법 그대로다.
guest 애플리케이션과 DB 지연을 기록하면서 같은 시각에 host에서 `iostat -xz 1`을 돌린다. baseline과 write-heavy load 구간을 같은 방법으로 남기면 두 계열이 같은 시점에 움직였는지 비교할 수 있다.
게스트 쪽 지연을 무엇으로 기록할지 먼저 정해야 한다.
### 2. 데이터베이스 트랜잭션 부하만 걸고 fsync 쪽만 본다
§170 이 그린 WAL 경로를 따라 쓰기 위주의 트랜잭션을 돌리면 fsync() 가 지연에 직접 걸리는 구간을 만들기 쉽다. 두 계열이 어긋나는 구간을 찾기에도 이 부하가 낫다.
「PostgreSQL 예시: WAL과 Durability」에서 그린 WAL 경로를 따라 쓰기 위주의 트랜잭션을 돌리면 fsync() 가 지연에 직접 걸리는 구간을 만들기 쉽다. 두 계열이 어긋나는 구간을 찾기에도 이 부하가 낫다.
읽기 위주 구간에서는 어떻게 움직이는지 못 본다. §171 은 DB 부하를 예로 들었을 뿐 다른 부하를 배제하지 않았다.
읽기 위주 구간에서는 어떻게 움직이는지 못 본다. 「성능과 Durability의 Trade-off」에서는 DB 부하를 예로 들었을 뿐 다른 부하를 배제하지 않았다.
### 3. 제외 — 캐시 모드를 바꿔 가며 두 계열을 비교한다
cache=none 과 cache=writeback 에서 두 계열이 어떻게 달라지는지 보면 전달 경로의 모양이 더 뚜렷해진다. 그러나 지금 필요한 것은 현재 구성에서 경로가 이어지는지 하나이고, 설정을 바꾸면 두 구간이 서로 다른 구성에서 나온 값이 된다. 현재 값이 무엇인지도 아직 읽지 않았다.
현재 runtime mode는 `writeback`으로 확인됐다. 먼저 이 구성에서 guest와 host 지연의 관계를 측정한다. `cache=none`과 비교하면 다른 질문이 되므로 durability 조건과 변경 비용을 정한 뒤 별도 실험으로 분리한다.
## 다음 검증
## storage pressure 동안 guest fsync와 host 지연이 함께 올랐다
1. 캐시 모드를 묻는 물음의 결과를 측정 조건으로 먼저 적는다. 함께 적을 것은 백엔드 형식과 이미지가 놓인 장치 이름이다.
2. 게스트에서 애플리케이션이나 데이터베이스의 지연을 시간축으로 기록한다. 무엇으로 어떻게 기록했는지 함께 남긴다.
3. 같은 시각에 호스트에서 iostat -xz 1 을 돌려 두 계열을 같은 타임스탬프로 남긴다 (§175 OQ-8).
4. 부하가 없는 구간과 있는 구간을 모두 찍고, 어느 프로세스가 입출력을 내는지 iotop 으로 함께 적는다 (§169).
닫는 조건 : 두 계열이 같은 구간에서 함께 오르면 §150 이 그린 전달 경로가 이 환경에서 이어진다는 것을 확인한 것이고, 그 시계열이 Case 가 된다. 게스트의 fsync() 지연은 오르는데 호스트 스토리지 지연이 따라 오르지 않으면 그 차이가 어느 계층에서 생기는지 — 게스트 쪽 대기인지 QEMU 와 백엔드 쪽인지 — 를 다음 물음으로 넘기고 닫는다. 어느 쪽이든 성능을 위해 영속성을 줄이는 방향은 「빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다」를 지나야 한다.
현재 qcow2/writeback 구성에서 guest `fsync()` latency와 host NVMe latency/util이 controlled storage-pressure 구간에서 함께 상승하고, pressure가 사라지면 guest fsync latency도 baseline 수준으로 회복하는 것을 확인했다. 실제 DB WAL workload에서의 크기는 별도 성능 실험으로 남긴다.
@@ -7,9 +7,12 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/eead2379-94fe-463a-9e5e-06a01bf2105d/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-5
- final/document.md#158-host-block-layer
@@ -20,67 +23,50 @@ source:
# disk image 는 최종적으로 어느 Host block device 위에 있는가
이 호스트의 루트가 `/dev/nvme0n1p3` 이고 이미지가 `/var/lib/libvirt/images/` 에 모여 있다는 것까지는 §197 과 §199 가 적었다. 남은 것은 그 디렉터리가 그 파티션 위에 있다는 것을 `findmnt` 와 `lsblk` 출력으로 잇는 일이다. 두 가상 머신의 이미지가 같은 장치를 쓰는지가 거기서 갈리고, 그 출력에 나온 장치 이름이 스케줄러를 묻는 물음의 입력이 된다.
세 VM의 qcow2와 공통 base는 모두 host 루트 파일시스템의 `/dev/nvme0n1p3` 위에 있다. 그 파티션은 `SAMSUNG MZVLQ256HAJD-00000` NVMe 장치 `nvme0n1`의 ext4 파티션이다. 따라서 현재 세 VM의 주 디스크 I/O는 같은 물리 NVMe를 공유한다.
## 관계
## image 아래의 실제 block device
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
이미지 파일 아래에서 무엇이 그 입출력을 받는지를 그 개념이 설명한다.
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
백엔드가 파일인지 장치인지에 따라 여기서 따라 내려갈 경로의 시작이 달라진다.
- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가**
그 물음이 확정한 Source 경로가 이 확인의 입력이다.
- **이 호스트의 I/O Scheduler 는 무엇인가**
여기서 확정한 장치 이름을 넣어야 그 물음의 명령이 완성된다.
- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가**
두 가상 머신이 같은 장치를 쓰는지가 그 실험의 전제다.
- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다**
게스트 쪽 이름에서 물리 장치를 추정하지 않고 호스트에서 따라 내려가는 순서를 그 기준이 요구한다.
- 2026-09-21 재검증에서 `findmnt -T /var/lib/libvirt/images/kc-lab-1.qcow2`는 `/dev/nvme0n1p3 ext4 /`를 냈고, `lsblk`에서 상위 장치는 `nvme0n1`, 모델은 `SAMSUNG MZVLQ256HAJD-00000`이었다. base와 세 overlay는 모두 같은 `/var/lib/libvirt/images/` 아래에 있다.
## 사실
- §141 은 백엔드가 qcow2 파일이면 QEMU 가 결국 호스트 리눅스에 파일 입출력을 요청한다고 적었다.
- 「QEMU가 물리 SSD를 직접 제어하는 것은 아니다」에서는 백엔드가 qcow2 파일이면 QEMU 가 결국 호스트 리눅스에 파일 입출력을 요청한다고 적었다.
그 요청은 Host Kernel, Host Filesystem, Host Block Layer, NVMe Driver 를 지나 Physical NVMe 로 내려간다. 게스트의 스토리지 스택 아래에 호스트의 스토리지 스택이 한 번 더 존재할 수 있다.
- §158 은 qcow2 와 RAW 의 파일 입출력이 호스트 파일시스템을 거쳐 실제 호스트 블록 입출력이 된다고 적고 경로를 이렇게 그렸다.
- 「Host Block Layer」에서는 qcow2 와 RAW 의 파일 입출력이 호스트 파일시스템을 거쳐 실제 호스트 블록 입출력이 된다고 적고 경로를 이렇게 그렸다.
QEMU, vm1.qcow2, Host ext4/XFS, Host Block Layer, /dev/nvme0n1
- §158 은 Host Block Layer 가 그 입출력을 가상 머신 안의 PostgreSQL 이 냈는지 호스트 프로세스가 냈는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 모두 호스트의 블록 요청이다.
- §159 는 VM1 의 QEMU 와 VM2 의 QEMU 와 Nginx 와 호스트의 다른 프로세스가 같은 Host Block Layer 를 지나 하나의 NVMe 로 간다고 그렸다.
- §175 OQ-5 는 확인 명령으로 lsblk 와 findmnt 를 들었다.
- §169 의 호스트 관측 명령 목록에도 lsblk 가 들어 있다.
- §158 의 vm1.qcow2 와 /dev/nvme0n1 은 경로를 설명하려고 든 예시 이름이고 이 호스트에서 읽은 값이 아니다.
- §197 은 2026-09-10 에 `df -h /` 를 돌려 `/dev/nvme0n1p3 226G 9.9G 204G 5% /` 를 받았다. 이 호스트의 루트 파일시스템이 그 파티션 위에 있다.
- §199 의 `ls -l` 은 이미지가 `/var/lib/libvirt/images/` 아래에 모여 있는 것을 보였고, 같은 절의 `virsh pool-info default` 는 Capacity 225.31 GiB, Allocation 7.84 GiB, Available 217.46 GiB 를 냈다. §199 는 그 Allocation 이 풀 전체, 곧 호스트 루트 파일시스템의 사용량이라고 적었다.
- 「Host Block Layer」에서는 Host Block Layer 가 그 입출력을 가상 머신 안의 PostgreSQL 이 냈는지 호스트 프로세스가 냈는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 모두 호스트의 블록 요청이다.
- 「여러 VM이 하나의 NVMe를 공유하면」의 핵심은 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer와 물리 NVMe로 수렴한다는 점이다. 초기 그림에는 Host Nginx가 따로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 그 I/O도 edge QEMU 경로에 포함된다.
- 「실제 테스트 서버에서 확인할 확인할 항목」의 5번째 확인 항목에서는 확인 명령으로 lsblk 와 findmnt 를 들었다.
- 「Storage 관측 명령어」의 호스트 관측 명령 목록에도 lsblk 가 들어 있다.
- 「Host Block Layer」의 vm1.qcow2 와 /dev/nvme0n1 은 경로를 설명하려고 든 예시 이름이고 이 호스트에서 읽은 값이 아니다.
- 「측정 환경」에서는 2026-09-10 에 `df -h /` 를 돌려 `/dev/nvme0n1p3 226G 9.9G 204G 5% /` 를 받았다. 이 호스트의 루트 파일시스템이 그 파티션 위에 있다.
- 「디스크 — 오버레이는 얼마나 쓰나」의 `ls -l` 은 이미지가 `/var/lib/libvirt/images/` 아래에 모여 있는 것을 보였고, 같은 절의 `virsh pool-info default` 는 Capacity 225.31 GiB, Allocation 7.84 GiB, Available 217.46 GiB 를 냈다. 「디스크 — 오버레이는 얼마나 쓰나」에서는 그 Allocation 이 풀 전체, 곧 호스트 루트 파일시스템의 사용량이라고 적었다.
- 그래서 `default` 풀이 루트 파일시스템 위에 있고 게스트 두 대의 오버레이가 같은 디렉터리에 있다.
- `findmnt` 와 `lsblk` 출력은 SSOT 에 없다. 이미지 경로가 어느 마운트에 속하고 그 마운트의 장치가 어느 파티션과 상위 장치에 걸려 있는지를 명령으로 확인한 기록이 없다.
- 2026-09-21 재검증에서 이미지 경로를 `findmnt`로 루트 ext4 파티션까지 잇고, `lsblk`로 상위 NVMe 장치와 모델을 확인했다.
## 가정
## 경로 확인 조건
- 이미지 경로가 앞 물음에서 이미 확정되어 있다고 보고 그 경로에서 시작한다. 백엔드가 파일이 아니라 호스트 블록 장치면 이 확인은 장치 이름에서 시작한다.
- 확인하는 동안 마운트 구성과 이미지 위치가 바뀌지 않는다고 전제한다.
- findmnt 가 보여 주는 source 이름이 물리 장치 이름과 다를 수 있다고 보고, 어느 상위 장치에 속하는지까지 lsblk 로 이어서 읽는다.
- 호스트에 붙어 두 명령을 같은 시각에 돌릴 수 있다고 본다.
## 미지수
## 세 VM이 공유하는 장치
- `/var/lib/libvirt/images/` 가 `/` 마운트에 속한다는 것을 `findmnt` 출력으로 확인한 기록. §199 는 풀을 설명하며 그렇게 적었을 뿐 명령 출력을 남기지 않았다.
- `nvme0n1p3` 위에 파티션이 어떻게 놓여 있고 그것이 어느 상위 장치에 속하는지. `lsblk` 출력이 없다.
- 이미지를 담은 파일시스템이 무엇인지. §158 은 ext4 와 XFS 를 예로 들었을 뿐 이 호스트의 값을 적지 않았다.
- 엣지 게스트의 이미지도 같은 장치에 있는지. §199 의 목록은 엣지를 만들기 전 시점이라 그 파일이 없다.
- `base.qcow2` 가 오버레이와 같은 장치에 있는지. §231 은 오버레이의 매핑 항목이 0 인 클러스터를 읽으면 바닥 파일의 같은 위치를 읽는다고 적었고 §215 는 게스트 둘이 그 바닥 하나를 공유한다고 그렸다. 그래서 따라 내려갈 경로가 오버레이 하나로 끝나지 않는다.
현재 image 파일들이 어느 host block device를 공유하는지에 대한 미지수는 해소됐다. base와 세 overlay 모두 ext4 `/dev/nvme0n1p3`를 거쳐 같은 `nvme0n1`을 사용한다. 이 공유가 실제 cross-VM latency 간섭으로 이어지는지는 별도 부하 실험으로 남긴다.
## 제약
## 공유와 contention은 다른 질문이다
- 확인만 한다. 마운트를 바꾸거나 이미지를 다른 장치로 옮기지 않는다. 배치를 바꾸면 지금 구성에서 무엇을 공유하는지 못 본다.
- §158 이 예로 든 이름을 이 호스트의 값으로 옮겨 적지 않는다. 출력에 나온 이름만 적는다.
- 「Host Block Layer」에서는 예로 든 이름을 이 호스트의 값으로 옮겨 적지 않는다. 출력에 나온 이름만 적는다.
- 여기서 나온 장치 이름이 다음 두 물음의 입력이므로, 가상 머신마다 한 행으로 남기고 어느 이미지에서 나온 이름인지 함께 적는다.
- 장치를 나눌지 말지는 이 물음이 정하지 않는다. 공유하고 있다는 사실과 그것이 지연을 실제로 밀어 올리는지는 다른 물음이 받는다.
- 백엔드를 묻는 앞 물음과 이어서 돌리게 되지만 한 물음으로 합치지 않았다. 그쪽은 게스트의 장치가 어느 Source 에 붙어 있는지까지 확정하고 이 물음은 그 경로가 놓인 물리 장치까지 내려간다. 닫는 명령이 다르고 그 출력이 여는 다음 물음도 다르다.
- VM의 `vda → qcow2` mapping과 `qcow2 → host block device` mapping은 서로 다른 계층이다. 앞쪽은 libvirt/QEMU 설정으로, 뒤쪽은 host mount와 block topology로 확인한다.
## 선택지
## 어떻게 따라 내려갔나
### 1. 이미지 경로마다 findmnt 로 마운트를 읽고 lsblk 로 그 아래를 잇는다
경로 하나에서 시작해 마운트, source device, 파티션, 상위 장치까지 한 줄기로 내려간다. §175 OQ-5 가 든 두 명령 그대로이고, 이미지가 여럿이면 경로마다 같은 순서를 되풀이한다.
경로 하나에서 시작해 마운트, source device, 파티션, 상위 장치까지 한 줄기로 내려간다. 「실제 테스트 서버에서 확인할 확인할 항목」의 5번째 확인 항목에서는 든 두 명령 그대로이고, 이미지가 여럿이면 경로마다 같은 순서를 되풀이한다.
가상 머신이 늘어난 만큼 실행 횟수도 늘어난다.
@@ -94,11 +80,6 @@ source:
한 대만 따라 내려가도 경로의 모양은 확인된다. 그러나 이 물음이 답해야 하는 것에는 가상 머신들이 같은 장치를 공유하는지가 들어 있는데, 그것은 한 대의 출력만으로는 갈리지 않는다.
## 다음 검증
## image 경로가 바뀌면 아래 block device도 다시 잇는다
1. 백엔드를 묻는 앞 물음이 확정한 Source 경로를 그대로 가져온다.
2. 경로마다 findmnt 로 그 경로가 속한 마운트와 source device 를 적는다 (§175 OQ-5).
3. 같은 경로에 lsblk 를 돌려 그 장치에 파티션이 어떻게 나뉘어 있고 어느 상위 장치에 속하는지 적는다.
4. 이미지 경로, 마운트, 파티션, 장치를 가상 머신마다 한 행으로 남긴다. 게스트 둘이 공유하는 `base.qcow2` 도 한 행으로 함께 적는다.
닫는 조건 : 이미지마다 최종 블록 장치 이름이 확정되면 닫는다. 가상 머신들이 같은 장치를 공유하면 §159 가 그린 상황이 이 환경이라고 적고, 그것이 지연으로 이어지는지는 VM1 부하와 VM2 지연을 재는 물음이 받는다. 서로 다른 장치면 그 사실을 적고 그 물음의 전제가 이 환경에 없다고 함께 적는다. 어느 쪽이든 여기서 확정한 장치 이름을 I/O Scheduler 를 묻는 물음으로 넘긴다.
libvirt storage pool 위치나 mount 구성이 바뀌면 각 image 경로에서 `findmnt`와 `lsblk`를 다시 잇는다.
@@ -7,9 +7,12 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/77aa0188-5c2b-4f47-bda7-7c66b084968d/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-6
- final/document.md#161-i-o-scheduler
@@ -20,22 +23,13 @@ source:
# 이 호스트의 I/O Scheduler 는 무엇인가
여러 가상 머신과 호스트 프로세스가 낸 입출력은 같은 호스트 블록 계층으로 들어와 장치로 dispatch 되는데, 그 순서를 정하는 정책이 스케줄러다. 정책이 무엇인지에 따라 부하 구간의 지연을 읽는 조건이 달라진다. 값을 읽는 데는 파일 하나를 보면 되고, 그 파일 이름에 넣을 장치는 이미지 아래를 따라 내려간 물음이 확정한다.
이미지가 올라간 host 장치는 `nvme0n1`이고, 2026-09-21 `/sys/block/nvme0n1/queue/scheduler`의 현재 선택값은 **`none`**이다. 같은 출력에 `mq-deadline`, `kyber`, `bfq`가 선택지로 보였다.
## 관계
## 현재 nvme0n1 scheduler
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
스케줄러가 그 스택의 어디에서 무엇을 정하는지를 그 개념이 설명한다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
그 물음이 확정한 장치 이름을 넣어야 이 확인 명령이 완성된다.
- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가**
여기서 읽은 정책이 그 실험의 결과를 읽는 조건이 된다.
- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다**
그 기준이 요구하는 스토리지 쪽 조건 가운데 하나를 이 값이 채운다.
- 2026-09-21 재검증에서 scheduler 출력은 `[none] mq-deadline kyber bfq`였고 같은 장치의 `rotational`은 `0`이었다. qcow2가 놓인 물리 장치는 NVMe `nvme0n1`이다.
## 사실
§161 은 여러 입출력 요청이 있다고 해서 항상 들어온 순서 그대로 장치에 전달되지는 않고 I/O Scheduler 가 dispatch 정책을 갖는다고 적었다. 대표적으로 볼 수 있는 것으로 셋을 들었다.
「I/O Scheduler」에서는 여러 입출력 요청이 있다고 해서 항상 들어온 순서 그대로 장치에 전달되지는 않고 I/O Scheduler 가 dispatch 정책을 갖는다고 적었다. 대표적으로 볼 수 있는 것으로 셋을 들었다.
none
mq-deadline
@@ -43,23 +37,23 @@ bfq
스케줄러마다 목적과 정책이 다르다.
§162 는 none 을 복잡한 스케줄링 정책을 최소화해 비교적 직접 장치 쪽으로 dispatch 하는 방향으로 설명했다. NVMe 처럼 장치 자체가 강한 병렬성과 큐 기능을 가진 경우 이런 단순한 정책이 적합할 수 있다. 다만 none 이 블록 계층이 아무 일도 하지 않는다는 상태를 뜻하지는 않는다.
「`none`」에서는 none 을 복잡한 스케줄링 정책을 최소화해 비교적 직접 장치 쪽으로 dispatch 하는 방향으로 설명했다. NVMe 처럼 장치 자체가 강한 병렬성과 큐 기능을 가진 경우 이런 단순한 정책이 적합할 수 있다. 다만 none 이 블록 계층이 아무 일도 하지 않는다는 상태를 뜻하지는 않는다.
§160 은 blk-mq 를 CPU 마다 큐를 두어 여러 CPU 가 병렬로 블록 입출력을 처리하는 구조로 그렸고, 스토리지 처리도 CPU 스케줄링과 완전히 독립된 세계는 아니라고 덧붙였다.
「blk-mq: Multi-Queue Block Layer」에서는 blk-mq 를 CPU 마다 큐를 두어 여러 CPU 가 병렬로 블록 입출력을 처리하는 구조로 그렸고, 스토리지 처리도 CPU 스케줄링과 완전히 독립된 세계는 아니라고 덧붙였다.
§163 은 호스트 확인 명령으로 cat /sys/block/nvme0n1/queue/scheduler 를 들고 예시 출력을 이렇게 보였다.
「실제 I/O Scheduler 확인」에서는 호스트 확인 명령으로 cat /sys/block/nvme0n1/queue/scheduler 를 들고 예시 출력을 이렇게 보였다.
[none] mq-deadline
대괄호 안이 현재 선택된 스케줄러다. SATA/SCSI device 라면 cat /sys/block/sda/queue/scheduler 처럼 확인한다.
§175 OQ-6 은 같은 파일을 장치 이름을 넣어 읽으라고 했다.
「실제 테스트 서버에서 확인할 확인할 항목」의 6번째 확인 항목에서는 같은 파일을 장치 이름을 넣어 읽으라고 했다.
§197 은 2026-09-10 에 `df -h /` 를 돌려 이 호스트의 루트가 `/dev/nvme0n1p3` 위에 있는 것을 받았고, §199 는 이미지가 `/var/lib/libvirt/images/` 아래에 있다고 적었다. 명령에 넣을 장치 이름의 후보가 거기서 나온다. 다만 §197 이 낸 이름은 파티션이고 §163 이 경로에 넣어 보인 것은 nvme0n1 과 sda 처럼 장치 쪽 이름이다. 둘 가운데 무엇이 들어가는지는 앞 물음의 lsblk 가 상위 장치를 보인 뒤에 갈린다.
「측정 환경」에서는 2026-09-10 에 `df -h /` 를 돌려 이 호스트의 루트가 `/dev/nvme0n1p3` 위에 있는 것을 받았고, 「디스크 — 오버레이는 얼마나 쓰나」에서는 이미지가 `/var/lib/libvirt/images/` 아래에 있다고 적었다. 명령에 넣을 장치 이름의 후보가 거기서 나온다. 다만 「측정 환경」에서는 낸 이름은 파티션이고 「실제 I/O Scheduler 확인」에서는 경로에 넣어 보인 것은 nvme0n1 과 sda 처럼 장치 쪽 이름이다. 둘 가운데 무엇이 들어가는지는 앞 물음의 lsblk 가 상위 장치를 보인 뒤에 갈린다.
이 호스트의 스케줄러 값은 SSOT 에 없다. `/sys/block` 아래의 파일을 읽은 출력이 어디에도 없고, §163 의 nvme0n1 과 sda 는 명령의 모양을 보이려고 든 예시 이름이다.
2026-09-21에는 실제 이미지가 놓인 상위 장치가 `nvme0n1`임을 먼저 확인한 뒤 `/sys/block/nvme0n1/queue/scheduler`를 읽어 현재 선택값 `none`을 확인했다.
## 가정
## 장치를 고르는 기준
호스트에 붙어 sysfs 아래의 파일을 읽을 수 있다고 본다.
@@ -67,25 +61,21 @@ bfq
읽는 시점의 값이 부하를 걸 때도 같다고 전제하는데, 측정 사이에 누가 값을 바꾸면 이 전제가 깨진다.
## 미지수
## 현재값과 최적값은 다르다
이미지를 담고 있는 장치의 현재 스케줄러가 무엇인지.
현재 image가 놓인 장치의 scheduler에 대한 미지수는 해소됐다. `nvme0n1`은 `none`을 사용한다. 다른 scheduler가 이 workload에 더 나은지는 이 질문에서 평가하지 않는다.
그 장치에서 선택할 수 있는 목록에 무엇이 들어 있는지. §161 이 든 셋과 같은지도 확인해야 안다.
## 변경 전후 측정이 필요한 이유
이미지가 놓인 장치가 여럿일 때 장치마다 값이 다른지.
## 제약
스케줄러를 바꿀지 말지는 이 물음이 정하지 않고, 바꾼 전후를 비교한 측정이 나온 뒤에 결정으로 넘긴다.
여기서는 현재 scheduler가 `none`이라는 사실만 확인한다. 다른 scheduler를 적용할지는 동일 workload의 변경 전후 측정이 있을 때 판단한다.
읽기만 한다. 값을 바꾸면 지금 구성에서 부하가 어떻게 처리되는지 못 본다.
§163 의 예시 이름을 이 호스트의 장치 이름으로 옮겨 적지 않고, 앞 물음이 확정한 이름을 넣는다.
「실제 I/O Scheduler 확인」의 예시 이름을 이 호스트의 장치 이름으로 옮겨 적지 않고, 앞 물음이 확정한 이름을 넣는다.
개념 문서가 명령과 출력 읽는 법을 다 적어 두어서 비어 있는 것은 이 호스트의 값 하나다. 그래서 이 물음이 정할 것은 어느 장치에 그 명령을 돌릴지뿐이고, 그 이름은 이 물음이 스스로 내지 않는다.
중요한 것은 파티션 이름이 아니라 이미지가 실제로 올라간 상위 block device를 먼저 찾는 것이다. 현재 환경에서는 그 장치가 `nvme0n1`로 확인됐다.
## 선택지
## 어떻게 읽었나
### 1. 이미지를 담은 장치만 읽는다
@@ -99,11 +89,6 @@ bfq
지금 판단에 쓰이지 않는 장치의 값까지 남게 된다.
## 다음 검증
## scheduler를 바꿀 때만 다시 측정한다
1. 이미지 아래를 따라 내려간 물음이 확정한 장치 이름을 가져온다.
2. 그 이름을 넣어 /sys/block 아래의 queue/scheduler 파일을 읽고 출력을 그대로 적는다 (§175 OQ-6). NVMe 면 cat /sys/block/nvme0n1/queue/scheduler 와 같은 모양이고, SATA/SCSI device 면 cat /sys/block/sda/queue/scheduler 와 같은 모양이다.
3. 대괄호가 붙은 값을 현재 선택된 스케줄러로 적고, 대괄호 밖의 이름은 선택지로 함께 적는다.
4. 이미지가 놓인 장치가 여럿이면 장치마다 되풀이한다.
닫는 조건 : 장치마다 현재 스케줄러와 선택지가 출력으로 적히면 닫는다. none 이면 §162 의 서술이 이 호스트에 적용된다고 적는다. mq-deadline 이나 bfq 면 dispatch 정책이 개입한다는 사실을 VM1 부하와 VM2 지연을 재는 물음의 해석 조건으로 넘긴다.
scheduler를 변경하거나 kernel/block-device 구성이 바뀐 경우에만 다시 확인한다. 성능 비교가 필요하면 변경 전후를 별도 실험 기록으로 남긴다.
@@ -7,9 +7,13 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/480f86ac-86fb-4290-9bf5-584763aa1363/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-4
- final/document.md#153-qemu-cache-mode
@@ -21,74 +25,59 @@ source:
# 이 VM 들의 QEMU disk cache mode 는 무엇인가
이름만 보고 none 을 캐시가 아예 없는 구성으로, writeback 을 무조건 위험한 구성으로 읽으면 부정확하다고 개념 문서가 못박았다. 다만 그 문서는 두 설정이 Host Page Cache 와 완료·flush 의 뜻을 어떻게 바꾸는지까지만 갈라 놓았고, 이 호스트의 가상 머신들이 지금 어느 값으로 돌고 있는지는 적지 않았다. 그래서 이 물음은 값을 고르지 않는다. 지금 걸려 있는 값을 읽고, 그 값이 이 환경에서 무엇을 뜻하는지까지 적는다.
2026-09-21 실행 중 QEMU monitor의 `info block`을 읽었다. 세 VM의 주 qcow2 디스크는 모두 `Cache mode: writeback`이다. libvirt XML에는 cache 속성이 명시되지 않았기 때문에 XML만 보고 기본값을 추정하지 않고 런타임 값을 확인했다.
## 관계
## 세 VM의 runtime cache mode
- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존**
cache 값이 바꾸는 것이 그 네 가지 가운데 어디까지인지를 그 개념이 가른다.
- **빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다**
읽은 값을 근거로 설정을 바꾸려 할 때 그 기준을 지나야 한다.
- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가**
그 측정의 조건으로 여기서 읽은 값을 함께 기록한다.
- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가**
그 물음이 확정한 Source 를 같은 행에 두어야 이 값이 어떤 backend 위의 값인지 읽힌다.
- 2026-09-21 재검증에서 `kc-lab-1`·`kc-lab-2`·`kc-lab-edge`의 QEMU monitor `info block`을 읽었다. 주 qcow2 디스크 모두 `Cache mode: writeback`과 `Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1)`가 나왔고, domain XML의 `<driver>`에는 `cache=` 속성이 없었다.
## 사실
「QEMU Cache Mode」에서는 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. 이름만 보고 none = cache 자체가 없음 · writeback = 무조건 위험으로 해석하면 부정확하다. 핵심은 QEMU 가 Host Page Cache 와 write completion/flush semantics 를 어떤 방식으로 사용할 것인가라고 적었다.
§153 은 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. 이름만 보고 none = cache 자체가 없음 · writeback = 무조건 위험으로 해석하면 부정확하다. 핵심은 QEMU 가 Host Page Cache 와 write completion/flush semantics 를 어떤 방식으로 사용할 것인가라고 적었다.
「`cache=none`」에서는 cache=none 을 개념적으로 Host Page Cache 를 우회하는 방향의 I/O 구성으로 놓았다. 이중 caching 은 줄일 수 있지만, Host Page Cache 우회가 무조건 즉시 durable media 반영을 뜻하지는 않는다.
§154 는 cache=none 을 개념적으로 Host Page Cache 를 우회하는 방향의 I/O 구성으로 놓았다. 이중 caching 은 줄일 수 있지만, Host Page Cache 우회가 무조건 즉시 durable media 반영을 뜻하지는 않는다.
「`cache=writeback`」에서는 cache=writeback 을 Host Page Cache 를 사용할 수 있는 구성으로 놓았다. 일반 write 는 Host RAM 에서 빠르게 완료될 수 있고, 나중에 Host RAM 에서 Storage 로 내려간다. 이 설정이어도 Guest 의 fsync()/FLUSH 가 무시되지는 않는다. 정상적인 stack 이라면 durability 요구가 Guest fsync/FLUSH 에서 virtio FLUSH, QEMU/backend, Host sync/flush, Storage 를 지난다. 거기서 필요한 완료 확인을 받아 Guest completion 까지 전달되어야 한다고 적었다.
§155 는 cache=writeback 을 Host Page Cache 를 사용할 수 있는 구성으로 놓았다. 일반 write 는 Host RAM 에서 빠르게 완료될 수 있고, 나중에 Host RAM 에서 Storage 로 내려간다. 이 설정이어도 Guest 의 fsync()/FLUSH 가 무시되지는 않는다. 정상적인 stack 이라면 durability 요구가 Guest fsync/FLUSH 에서 virtio FLUSH, QEMU/backend, Host sync/flush, Storage 를 지난다. 거기서 필요한 완료 확인을 받아 Guest completion 까지 전달되어야 한다고 적었다.
「`writeback = 위험`이라고 단정하면 안 되는 이유」에서는 그래서 정확한 표현을 이렇게 적었다. writeback caching 에서는 volatile cache 가 존재할 수 있으므로, Guest 의 flush/fsync semantics 가 전체 backend/storage stack 에서 올바르게 보존되는지가 중요하다.
§156 은 그래서 정확한 표현을 이렇게 적었다. writeback caching 에서는 volatile cache 가 존재할 수 있으므로, Guest 의 flush/fsync semantics 가 전체 backend/storage stack 에서 올바르게 보존되는지가 중요하다.
「VM에서는 Page Cache가 두 번 나타날 수 있다」에서는 Guest buffered I/O 와 Host file-backed disk 와 Host Page Cache 를 함께 쓰는 구성을 들었다. 그러면 같은 데이터가 Guest RAM 과 Host RAM 양쪽에 cache 될 수 있다고 밝혔다.
§147 은 Guest buffered I/O 와 Host file-backed disk 와 Host Page Cache 를 함께 쓰는 구성을 들었다. 그러면 같은 데이터가 Guest RAM 과 Host RAM 양쪽에 cache 될 수 있다고 밝혔다.
「실제 테스트 서버에서 확인할 확인할 항목」의 4번째 확인 항목에서는 확인 방법으로 virsh dumpxml <VM_NAME> 을 들고, disk driver 설정의 cache 관련 값을 확인하라고 했다.
§175 OQ-4 는 확인 방법으로 virsh dumpxml <VM_NAME> 을 들고, disk driver 설정의 cache 관련 값을 확인하라고 했다.
「단계 01 — 게스트 세 대」에서는 게스트를 만든 `virt-install` 세 줄을 그대로 적었는데 거기에 cache 옵션이 없다. 디스크는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 와 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 둘로만 지정했다.
§187 은 게스트를 만든 `virt-install` 세 줄을 그대로 적었는데 거기에 cache 옵션이 없다. 디스크는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 와 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 둘로만 지정했다.
「이 부의 출처와 범위」와 「측정 환경」에서는 이 호스트의 판을 적었다. QEMU 11.1.1 과 libvirt 12.7.0 이고 커널은 `7.2.2-arch1-1` 이다. 값이 적혀 있지 않을 때 무엇이 적용되는지는 그 판들이 정한다.
§178 과 §197 이 이 호스트의 판을 적었다. QEMU 11.1.1 과 libvirt 12.7.0 이고 커널은 `7.2.2-arch1-1` 이다. 값이 적혀 있지 않을 때 무엇이 적용되는지는 그 판들이 정한다.
기존 구축 기록만으로는 cache mode를 확정할 수 없었지만, 2026-09-21 런타임 QEMU monitor에서 세 VM 모두 `writeback`을 사용하는 것을 직접 확인했다.
이 호스트의 disk 요소에 어느 값이 걸려 있는지도, 어느 값을 쓰기로 정했다는 기록도 SSOT 에 없다. `virsh dumpxml` 출력이 없다.
## 가정
## XML과 runtime을 구분한다
호스트에 붙어 가상 머신마다 virsh dumpxml <VM_NAME> 을 돌릴 수 있다고 본다.
받아 낸 XML 이 지금 돌고 있는 가상 머신에 실제로 적용된 설정과 같다고 전제한다. 정의만 고치고 다시 시작하지 않은 가상 머신이 있으면 이 전제가 깨진다.
XML에 `cache=`가 명시되지 않은 경우에는 정의만으로 runtime mode를 추정하지 않는다. 현재 적용값은 QEMU monitor에서 직접 확인한다.
가상 머신에 디스크가 여럿이면 디스크마다 값이 다를 수 있어서 요소 단위로 읽는다.
값이 적혀 있지 않은 디스크에도 실제로 적용되는 동작이 있다고 전제한다. 개념 문서는 값이 없을 때 무엇이 적용되는지를 다루지 않았다.
## 미지수
## writeback이 뜻하는 것과 아닌 것
각 가상 머신의 disk driver 에 cache 값이 명시되어 있는지.
현재 세 VM의 주 디스크 cache mode에 대한 미지수는 해소됐다. 모두 `writeback`이다. seed ISO도 같은 monitor 출력에서 `writeback`으로 보였지만 read-only seed의 성능 특성은 이 질문의 대상이 아니다.
명시되어 있다면 그 값이 none 인지 writeback 인지, 아니면 §153 이 들지 않은 다른 값인지.
`writeback`이 이 workload에서 더 빠른지, durability 요구를 실제로 어떻게 만족하는지는 cache mode 이름만으로 판단하지 않고 `fsync()`/FLUSH 실험으로 분리한다.
명시가 없을 때 이 환경에서 실제로 적용되는 값이 무엇이고 그것을 무엇으로 읽는지. 개념 문서가 확인 방법을 적지 않아서 실행하는 쪽이 정한다.
## durability 판단은 별도다
디스크가 여럿인 가상 머신에서 값이 디스크마다 갈리는지.
이 물음은 cache 값을 정하지 않는다. 「`writeback = 위험`이라고 단정하면 안 되는 이유」에서는 이름만 보고 단정하지 말라고 적었을 뿐 어느 쪽을 쓰라고 하지 않았고, 감수할 비용도 개념 문서에 없다. 무엇으로 둘지는 값을 읽고 fsync 쪽 측정이 나온 뒤에 정한다.
읽은 값이 §147 이 그린 이중 caching 이 이 호스트에 있는지를 가르는지. 게스트 쪽 I/O 가 buffered 인지까지 함께 봐야 답이 나온다.
현재 값이 `writeback`이라는 사실과 앞으로 어떤 cache mode를 선택할지는 별개다. 변경 여부는 fsync/FLUSH semantics와 실제 workload 지연을 함께 측정한 뒤 판단한다.
## 제약
이 물음은 cache 값을 정하지 않는다. §156 은 이름만 보고 단정하지 말라고 적었을 뿐 어느 쪽을 쓰라고 하지 않았고, 감수할 비용도 개념 문서에 없다. 무엇으로 둘지는 값을 읽고 fsync 쪽 측정이 나온 뒤에 정한다.
이 프로젝트는 어느 쪽으로 둘지를 아직 결정으로 올리지 않고 미결로 남겨 두었다. 권고가 없는 서술을 결정으로 올리면 그런 설정이 있다는 것을 그것을 고른 이유로 바꾸는 셈이기 때문이다. 게다가 지금 걸려 있는 값조차 확인되지 않았고, 그 확인이 이 물음이다.
읽은 값 하나로는 §156 이 요구한 것 — Guest 의 flush/fsync semantics 가 전체 chain 에서 보존되는가 — 에 답하지 못한다.
읽은 값 하나로는 「`writeback = 위험`이라고 단정하면 안 되는 이유」에서 요구한 것 — Guest 의 flush/fsync semantics 가 전체 chain 에서 보존되는가 — 에 답하지 못한다.
읽는 동안 디스크 설정을 바꾸지 않는다. 바꾸고 받은 XML 은 지금 구성의 값이 아니기 때문이다.
이 호스트에서 확인한 값이 없으므로 다른 장비의 기본값을 이 호스트의 값으로 옮겨 적지 않는다.
현재 값은 다른 장비의 기본값이 아니라 2026-09-21 `test-server`의 QEMU monitor에서 직접 읽은 `writeback`이다.
## 선택지
## live block 정보에서 cache mode를 읽었다
### 1. 가상 머신마다 dumpxml 을 받아 disk 요소를 출력 그대로 인용한다
@@ -106,10 +95,6 @@ source:
none 과 writeback 을 번갈아 걸고 지연을 재면 이 환경에서 무엇이 걸려 있는지 바로 보인다. 그러나 지금 필요한 답은 현재 값 하나이고, 설정을 바꾸는 순간 그 뒤에 읽은 값은 지금 구성의 값이 아니다. 값을 바꿔 비교하는 실험은 durability 쪽 기준을 지난 뒤에 따로 잡는다.
## 다음 검증
## XML이 아니라 런타임 cache mode까지 다시 확인한다
1. 가상 머신마다 virsh dumpxml <VM_NAME> 을 돌리고 disk 요소의 driver 설정을 출력 그대로 남긴다 (§175 OQ-4).
2. cache 관련 값을 가상 머신·디스크 단위로 한 행씩 적는다. 값이 적혀 있지 않으면 없다고 적는다.
3. 같은 행에 그 디스크의 Source 와 형식을 둔다. 두 값은 앞의 두 물음이 확정한다.
닫는 조건 : 가상 머신마다 cache 값이 출력으로 확정되면 닫는다. cache=none 이면 §154 의 서술이, cache=writeback 이면 §155 의 서술이 이 호스트에 적용된다고 적는다. 어느 쪽이든 §156 이 요구한 flush/fsync semantics 보존 여부는 이 값만으로 답하지 않는다고 함께 적는다. 값이 명시되어 있지 않으면 그 사실을 적고, 실제 적용 값을 확인할 방법은 다음 검증으로 넘긴다.
domain disk 설정이나 QEMU/libvirt 버전이 바뀌면 XML만 보지 말고 `virsh qemu-monitor-command <VM> --hmp 'info block'`으로 런타임 cache mode를 다시 확인한다. `writeback`의 성능·durability 비교가 필요하면 별도 실험 기록으로 남긴다.
@@ -7,9 +7,12 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/1f76d54b-bb17-4174-8128-0c2d71d4256f/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-1
- final/document.md#135-dev-vda-guest가-보는-가상-block-device
@@ -20,78 +23,61 @@ source:
# 이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가
게스트 안에서 보이는 디스크 이름 하나는 서로 다른 세 가지 호스트 구성 위에서 똑같이 나온다. qcow2 파일일 수도 있고, RAW 파일일 수도 있고, Host block device 를 그대로 붙인 것일 수도 있다. 그래서 이 물음은 성능이나 용량을 재기 전에 이 호스트의 가상 머신이 그중 어느 구성인지부터 출력으로 확정한다. 여기서 갈린 결과가 이 주제의 다음 물음 둘이 이 환경에 적용되는지를 정한다.
2026-09-21 현재 세 VM의 `vda`는 host의 qcow2 overlay 파일에 연결돼 있고, 각 overlay는 공통 `/var/lib/libvirt/images/base.qcow2`를 backing store로 사용한다. `vdb`는 cloud-init용 raw seed ISO다. host block device를 직접 passthrough한 구성이 아니다.
## 관계
## vda에서 qcow2까지의 mapping
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
이 물음이 가르려는 세 갈래를 그 글이 설명한다.
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
게스트가 보는 그 이름이 어디에서 나왔는지를 그 글이 설명한다.
- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다**
이 확인을 반복 적용할 기준으로 편 글이고, 이 물음이 그 기준의 첫 항목을 이 호스트에서 채운다.
- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가**
Source 가 파일로 나왔을 때 이어지는 물음이다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
같은 조건에서 그 파일 아래를 잇는 물음이다.
- 2026-09-21 재검증에서 `virsh domblklist --details`와 live domain XML을 대조했다. `kc-lab-1/2/edge`의 `vda` source는 각각 `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, `kc-lab-edge.qcow2`이고 format은 qcow2, bus는 virtio였다. 각 `backingStore`는 공통 `base.qcow2`다.
## 사실
「`/dev/vda`: Guest가 보는 가상 Block Device」에서는 virtio-blk 를 쓰는 가상 머신에서 /dev/vda 나 /dev/vdb 같은 이름이 흔히 보인다고 적었다. Guest Linux 는 그 이름을 하나의 block device 로 인식하지만, 그것이 호스트의 실제 SSD 를 뜻하지는 않는다.
§135 는 virtio-blk 를 쓰는 가상 머신에서 /dev/vda 나 /dev/vdb 같은 이름이 흔히 보인다고 적었다. Guest Linux 는 그 이름을 하나의 block device 로 인식하지만, 그것이 호스트의 실제 SSD 를 뜻하지는 않는다.
백엔드가 반드시 파일일 필요도 없다. 「Host Block Device를 직접 backend로 사용 가능」에서는 그 아래에 qcow2 파일, RAW 파일, Host block device 셋이 올 수 있다고 갈라 적고, 게스트에 그 이름이 있다는 정보만으로는 백엔드 구조를 알 수 없다고 못박았다.
백엔드가 반드시 파일일 필요도 없다. §145 는 그 아래에 qcow2 파일, RAW 파일, Host block device 셋이 올 수 있다고 갈라 적고, 게스트에 그 이름이 있다는 정보만으로는 백엔드 구조를 알 수 없다고 못박았다.
「VM Boundary를 넘으면 QEMU가 등장」에서는 가상 머신 경계를 넘으면 QEMU 가 등장한다고 그렸다. QEMU 의 `virtio-blk` 장치 모델과 블록 백엔드가 게스트의 가상 I/O 를 호스트 백엔드에 연결한다.
§140 은 가상 머신 경계를 넘으면 QEMU 가 등장한다고 그렸다. QEMU 의 `virtio-blk` 장치 모델과 블록 백엔드가 게스트의 가상 I/O 를 호스트 백엔드에 연결한다.
확인 방법으로는 「실제 연결 확인」와 「실제 테스트 서버에서 확인할 확인할 항목」의 1번째 확인 항목에서는 같은 둘을 든다. 게스트에서는 lsblk 를 돌리고, 호스트에서는 virsh domblklist <VM_NAME> 을 돌린다.
확인 방법으로는 §146 과 §175 OQ-1 이 같은 둘을 든다. 게스트에서는 lsblk 를 돌리고, 호스트에서는 virsh domblklist <VM_NAME> 을 돌린다.
「실제 연결 확인」의 예시 출력은 Target vda 에 Source /var/lib/libvirt/images/vm1.qcow2 가 붙은 한 행이었다. 그 대응이 나오면 게스트의 /dev/vda 에서 virtio-blk 와 QEMU 를 지나 그 파일까지 이어진다. 그 경로는 대응이 어떻게 읽히는지 보이려고 든 예시이지 이 호스트에서 읽은 값이 아니다.
§146 의 예시 출력은 Target vda 에 Source /var/lib/libvirt/images/vm1.qcow2 가 붙은 한 행이었다. 그 대응이 나오면 게스트의 /dev/vda 에서 virtio-blk 와 QEMU 를 지나 그 파일까지 이어진다. 그 경로는 대응이 어떻게 읽히는지 보이려고 든 예시이지 이 호스트에서 읽은 값이 아니다.
이 호스트의 가상 머신은 libvirt 로 정의되어 있다. §187 이 게스트를 만든 `virt-install` 세 줄을 그대로 적었고 §199 가 `virsh pool-info default` 출력을 남겼다.
이 호스트의 가상 머신은 libvirt 로 정의되어 있다. 「단계 01 — 게스트 세 대」에서는 게스트를 만든 `virt-install` 세 줄을 그대로 적었고 「디스크 — 오버레이는 얼마나 쓰나」에서는 `virsh pool-info default` 출력을 남겼다.
그 `virt-install` 세 줄은 게스트마다 디스크를 둘씩 붙인다. 하나는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 로 만든 오버레이이고, 다른 하나는 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 으로 붙인 시드 볼륨이다. 엣지만 `--disk size=10` 이다.
§215 는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대가 그 바닥 하나를 공유한다.
「VM 한 대의 디스크 구성」에서는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대가 그 바닥 하나를 공유한다.
§199 는 2026-09-10 에 `ls -l /var/lib/libvirt/images/` 를 돌린 출력을 남겼고 거기에 `base.qcow2`, `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, 시드 ISO 둘이 파일로 보이므로 이 호스트의 백엔드는 §145 가 가른 셋 가운데 파일 쪽이다.
「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `ls -l /var/lib/libvirt/images/` 를 돌린 출력을 남겼고 거기에 `base.qcow2`, `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, 시드 ISO 둘이 파일로 보이므로 이 호스트의 백엔드는 「Host Block Device를 직접 backend로 사용 가능」에서는 가른 셋 가운데 파일 쪽이다.
§234 는 그 파일들이 게스트에 어떻게 붙는지를 한 줄로 적었다. 이 실험대의 게스트는 `vda`(qcow2 오버레이)와 `vdb`(raw 시드 ISO) 두 디스크다. 그래서 한 게스트 안에서도 Target 둘의 형식이 갈리고, 한 행만 읽고 백엔드를 정하면 나머지 한 행이 빠진다.
「그래서 마이그레이션과 스냅샷이 된다」에서는 그 파일들이 게스트에 어떻게 붙는지를 한 줄로 적었다. 이 실험대의 게스트는 `vda`(qcow2 오버레이)와 `vdb`(raw 시드 ISO) 두 디스크다. 그래서 한 게스트 안에서도 Target 둘의 형식이 갈리고, 한 행만 읽고 백엔드를 정하면 나머지 한 행이 빠진다.
시드에 `bus=virtio` 가 붙은 이유는 §237 이 확정된 함정으로 적어 두었다. `virt-install --cloud-init` 은 시드 ISO 를 SATA CD-ROM 으로 붙이는데 Debian `genericcloud` 변종에는 물리 하드웨어 드라이버가 빠져 있어 게스트가 그 장치를 보지 못하고, 오류 메시지는 어디에도 남지 않은 채 hostname 이 `localhost` 로 남는 것으로만 드러난다. 그래서 §237 은 이 확인의 성공 판정을 시드 ISO 가 `sda` 가 아니라 `vdb` 로 보이는 것이라고 적었다. Target 이름 자체가 판정 대상이다.
시드에 `bus=virtio` 가 붙은 이유는 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 확정된 함정으로 적어 두었다. `virt-install --cloud-init` 은 시드 ISO 를 SATA CD-ROM 으로 붙이는데 Debian `genericcloud` 변종에는 물리 하드웨어 드라이버가 빠져 있어 게스트가 그 장치를 보지 못하고, 오류 메시지는 어디에도 남지 않은 채 hostname 이 `localhost` 로 남는 것으로만 드러난다. 그래서 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 이 확인의 성공 판정을 시드 ISO 가 `sda` 가 아니라 `vdb` 로 보이는 것이라고 적었다. Target 이름 자체가 판정 대상이다.
`virsh domblklist` 출력은 SSOT 에 없다. Target 과 Source 를 한 행으로 이어 보인 출력이 없고, §215 의 배치는 게스트가 두 대이던 2026-09-03 스냅샷이라 지금 도메인 정의와 대조되지 않았다.
2026-09-21에는 `virsh domblklist --details`와 live XML을 직접 읽어 Target·Source·format·backing chain을 현재 세 VM 기준으로 다시 확인했다.
## 가정
## mapping 확인 조건
호스트와 각 게스트에 붙어 명령을 돌릴 수 있다고 본다.
확인하는 동안 디스크 구성이 바뀌지 않는다고 본다.
§215 가 그린 배치가 지금도 그대로라고 보고 대조할 대상으로 삼는다. §211 은 그 그림이 2026-09-03 값이고 그 뒤에 엣지 게스트가 늘었다고 적었다.
과거 2026-09-03 배치를 그대로 전제하지 않고, 2026-09-21 live domain 상태를 현재 기준으로 사용한다.
## 미지수
## 현재 backend 구조
지금 돌고 있는 도메인에 붙은 디스크가 §187 이 만들 때 준 둘과 같은지.
현재 VM의 block backend mapping은 해소됐다. 세 VM의 주 디스크는 qcow2 file backend이며, `vdb`는 raw seed ISO다. guest 내부 파티션 배치는 재생성 이미지에 따라 달라질 수 있지만 host backend 종류에 대한 질문에는 영향이 없다.
각 Target 의 Source 경로가 `virsh domblklist` 출력에 무엇으로 나오는지.
게스트 안에서 `lsblk` 로 본 장치와 파티션이 §215 가 그린 `vda` 와 `vdb` 에 그대로 대응하는지.
엣지를 더한 뒤의 배치. §215 는 게스트 두 대였을 때의 그림이고 §178 은 지금 게스트가 셋이라고 적었다.
## 제약
## 성능은 여기서 판정하지 않는다
이 물음은 백엔드가 무엇인지까지 답한다. 형식과 크기는 다음 물음이 받고, 성능은 여기서 판정하지 않는다.
게스트 안에서 본 이름은 답이 되지 않는다. §145 가 그 추론을 명시적으로 막았기 때문이다.
게스트 안에서 본 이름은 답이 되지 않는다. 「Host Block Device를 직접 backend로 사용 가능」에서는 그 추론을 명시적으로 막았기 때문이다.
다른 장비의 디스크 구성을 근거로 삼지 않는다. 이 호스트에서 얻은 출력은 §199 의 `ls -l` 과 `virsh pool-info default` 뿐이고, Target 과 Source 의 대응은 그 안에 없다.
다른 장비의 디스크 구성을 근거로 삼지 않는다. 현재 mapping은 2026-09-21 `test-server`의 `domblklist --details`와 live XML을 근거로 한다.
## 선택지
## 어떻게 대조했나
### 1. 게스트와 호스트를 한 번씩 돌고 한 표로 남긴다
§146 이 든 두 명령을 그대로 돌린다. 각 게스트에서 lsblk 로 보이는 block device 와 파티션을 받고, 호스트에서 가상 머신마다 virsh domblklist <VM_NAME> 을 돌려 Target 과 Source 를 받는다. 두 출력이 있으면 게스트가 보는 이름과 호스트의 실제 대상이 가상 머신마다 한 행으로 이어진다.
「실제 연결 확인」에서 든 두 명령을 그대로 돌린다. 각 게스트에서 lsblk 로 보이는 block device 와 파티션을 받고, 호스트에서 가상 머신마다 virsh domblklist <VM_NAME> 을 돌려 Target 과 Source 를 받는다. 두 출력이 있으면 게스트가 보는 이름과 호스트의 실제 대상이 가상 머신마다 한 행으로 이어진다.
로그인할 수 없는 가상 머신이 있으면 그쪽은 호스트 출력만 얻고, 게스트가 그 디스크를 어떤 파티션으로 나눠 쓰는지는 비게 된다.
@@ -101,16 +87,10 @@ virsh domblklist 는 호스트에서만 돌아가고 Target 과 Source 를 한
대신 게스트가 그 디스크를 어떤 이름과 파티션으로 보고 있는지가 빠진다. 나중에 게스트 안에서 잰 스토리지 수치를 이 표에 붙이려면 그때 대응을 다시 확인해야 한다.
### 3. libvirt 정의 전문을 받아 disk 요소를 읽는다 — 제외
### 3. libvirt 정의 전문도 함께 읽는다
virsh dumpxml 은 disk 요소에 source 와 driver 를 함께 담고 있어서 백엔드 경로와 cache 설정을 한 번에 볼 수 있다.
`virsh dumpxml`은 disk source와 driver, backing 정보를 한 번에 보여 준다. 실제 재검증에서는 `domblklist --details`와 live XML을 함께 사용해 짧은 mapping 표와 상세 설정을 교차 확인했다. cache mode는 XML에 값이 없을 수 있으므로 런타임 monitor에서 별도로 확인한다.
§175 는 dumpxml 을 cache mode 를 확인하는 항목에 두었고, 연결 확인에는 §146 과 같은 domblklist 를 들었다. 여기서 dumpxml 을 쓰면 한 출력으로 두 물음이 닫히게 되어 어느 확인이 무엇을 근거로 끝났는지가 흐려진다. cache 값은 그 물음이 받는다.
## disk source가 바뀌면 live mapping을 다시 읽는다
## 다음 검증
1. 각 게스트에서 lsblk 를 돌려 보이는 block device 와 파티션을 적는다.
2. 호스트에서 가상 머신마다 virsh domblklist <VM_NAME> 을 돌려 Target 과 Source 를 적는다.
3. 가상 머신마다 한 행으로 정리하고 두 명령의 출력을 그대로 증거로 둔다.
닫는 조건 : 가상 머신마다 Target 과 Source 의 대응이 출력으로 확정되면 닫는다. Source 가 파일이면 형식과 실제 사용량을 묻는 물음과 그 파일이 올라간 Host block device 를 묻는 물음으로 이어진다. Host block device 면 §145 가 적은 그 갈래가 이 환경이라고 적고, qcow2 를 전제한 후속 물음 둘은 이 호스트에 적용되지 않는다고 함께 적는다.
VM의 disk source나 `virt-install --disk` 구성이 바뀌면 `virsh domblklist --details`와 live XML을 다시 읽는다.
@@ -7,9 +7,14 @@ topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/ed64d4ff-aa01-48cc-ae68-6a683b025cde/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt
source:
- final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-7
- final/document.md#167-storage-contention
@@ -19,85 +24,70 @@ source:
# VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가
한 물리 NVMe 를 나눠 쓰는 구성에서 VM1 이 I/O 를 쏟아내면 VM2 의 지연이 오를 수 있다고 개념 문서가 적었다. 개념 문서가 적은 것은 거기까지이고, 이 호스트에서 재 본 값은 없다. 그래서 이 물음은 VM1 에 controlled I/O load 를 걸고 VM2 의 애플리케이션 지연과 Host storage 지표를 같은 시간축에 놓아, 그 경쟁이 이 구성에서 실제로 관측되는지를 가른다.
2026-09-21 VM1(`kc-lab-1`)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 `fdatasync`하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(`kc-lab-2`)에서 128회 `fsync()` microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. **현재 환경에서 한 VM의 storage 부하가 다른 VM의 durability latency를 실제로 밀어 올릴 수 있음을 확인했다.**
## 관계
## VM1 load가 VM2 fsync를 밀어 올린 결과
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
두 가상 머신의 I/O 가 어디서 만나는지를 그 개념이 설명한다.
- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다**
부하 구간에 CPU 와 스토리지 지표를 함께 찍는 이유가 그 기준이다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
두 가상 머신이 같은 장치를 쓰는지가 이 실험의 전제이고, 그 물음이 그것을 확정한다.
- **이 호스트의 I/O Scheduler 는 무엇인가**
dispatch 정책이 무엇인지가 부하 구간의 값을 읽는 조건이 된다.
- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가**
같은 호스트 지표를 보지만 그쪽은 Guest 가 요구한 durability 가 전달되는지를 묻는다.
- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가**
부하를 거는 모양이 닮았지만 재는 자원이 CPU 라 같은 측정으로 닫히지 않는다. 그래서 하나로 합치지 않고 관계로만 이었다.
- 2026-09-21 재검증에서 VM2 isolated fsync 평균은 반복 3회에서 `8.2397 / 8.2676 / 9.1264 ms`였다.
- 2026-09-21 재검증에서 VM1 load는 64 MiB 파일을 10초 동안 20회 overwrite+fdatasync했다. 같은 시간 VM2 first run은 평균 `58.4576 ms`, p95 `314.0799 ms`, max `631.0144 ms`였다.
- 2026-09-21 재검증에서 VM1 load 종료 후 VM2 run 2/3 평균은 `7.9038 / 8.0636 ms`로 baseline 수준으로 즉시 회복했다.
- 2026-09-21 재검증에서 overlap 구간 host `nvme0n1`은 `%util` 약 92~98%, `w_await` 약 50~184 ms, host `%iowait` 약 18~23%를 보였다. 이후 VM1 load가 사라지자 `w_await`은 약 1 ms 수준으로 내려갔다.
- 2026-09-21 재검증에서 테스트 파일 `/var/tmp/reval-vm1-load.bin`, `/var/tmp/reval-fsync.bin`은 실행 후 모두 삭제됐고 운영 데이터에는 쓰지 않았다.
## 사실
「여러 VM이 하나의 NVMe를 공유하면」의 요지는 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer queue로 들어와 하나의 device로 dispatch된다는 것이다. 초기 그림에는 Host Nginx가 별도 주체로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 edge QEMU의 I/O로 들어온다. VM1의 WRITE와 VM2의 READ/WRITE, host의 다른 파일 I/O가 아래쪽 장치를 공유한다는 구조는 그대로다.
§159 는 VM1 QEMU 와 VM2 QEMU 와 Nginx 와 Host 기타 프로세스가 같은 Host Block Layer queue 로 들어와 device 로 dispatch 된다고 그렸다. VM1 의 WRITE X · READ Y · WRITE Z 와 VM2 의 READ A · WRITE B 와 Host process 의 READ C 가 그 queue 에서 함께 관리된다.
§167 은 여러 가상 머신이 동일한 Physical NVMe 를 사용하면 storage resource 경쟁이 발생할 수 있고, VM1 에서 대량 I/O 가 발생하면 VM2 의 storage latency 가 증가할 수 있다고 적었다. 그러면서 두 경쟁을 이렇게 갈랐다.
「Storage Contention」에서는 여러 가상 머신이 동일한 Physical NVMe 를 사용하면 storage resource 경쟁이 발생할 수 있고, VM1 에서 대량 I/O 가 발생하면 VM2 의 storage latency 가 증가할 수 있다고 적었다. 그러면서 두 경쟁을 이렇게 갈랐다.
CPU Contention : Host logical CPU 실행 시간 경쟁
Storage Contention : IOPS / bandwidth / queue / device 처리시간 경쟁
§168 은 PostgreSQL 이 storage completion 을 기다리는 동안 CPU usage 가 높지 않을 수 있다고 적고, CPU 30% 인데 Request latency 2초 인 상황을 들었다. 그래서 CPU 지표만으로 지연의 원인을 판단하면 안 된다고 했다.
「CPU가 정상이어도 Storage 때문에 느릴 수 있다」에서는 PostgreSQL 이 storage completion 을 기다리는 동안 CPU usage 가 높지 않을 수 있다고 적고, CPU 30% 인데 Request latency 2초 인 상황을 들었다. 그래서 CPU 지표만으로 지연의 원인을 판단하면 안 된다고 했다.
§169 는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다.
「Storage 관측 명령어」에서는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다.
§175 OQ-7 이 적은 실험은 한 문장이다. VM1 에서 별도의 테스트 파일이나 디스크로 controlled I/O load 를 발생시키고 VM2 의 애플리케이션 지연과 Host storage 지표를 동시에 본다. 부하를 무엇으로 만들지, 얼마나 크게 얼마나 오래 걸지는 그 한 문장에 없어서 재는 쪽이 정한다.
실험의 핵심은 VM1의 별도 테스트 파일이나 디스크에 controlled I/O load를 만들고, 같은 시간에 VM2 latency와 host `iostat`을 보는 것이다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다.
이 호스트의 배치는 §197 과 §199 가 적었다. 루트가 `/dev/nvme0n1p3` 위에 있고 게스트 이미지가 전부 `/var/lib/libvirt/images/` 아래에 있다. `virsh pool-info default` 가 낸 Capacity 225.31 GiB 는 §199 가 호스트 루트 파일시스템이라고 적은 그 풀의 값이다. 그 디렉터리가 그 파티션 위에 있다는 것을 `findmnt` 로 확인한 출력은 없다.
2026-09-21 `findmnt`와 `lsblk`로 `/var/lib/libvirt/images/`가 `/dev/nvme0n1p3`의 ext4 루트 파일시스템에 있고, 상위 물리 장치가 `nvme0n1`임을 확인했다. 세 VM의 주 디스크가 같은 장치를 공유한다는 전제는 더 이상 가정이 아니다.
이 호스트에서 부하를 걸고 두 값을 나란히 재 본 결과는 SSOT 에 없다. §168 의 30% 와 2초도 CPU 와 지연이 어긋날 수 있다는 것을 보이려고 든 예시 값이다.
2026-09-21에는 VM1 controlled write+fdatasync와 VM2 fsync microbenchmark, host `iostat`을 같은 orchestration 구간에 놓아 실제 cross-VM interference를 재현했다. 기존의 `CPU 30% / latency 2초` 같은 숫자는 설명용 예시였지만, 이번 문서의 결론은 실제 측정값을 근거로 한다.
## 가정
## controlled load 조건
두 가상 머신의 이미지가 같은 block device 위에 있다고 보고 실험을 짠다. 같은 디렉터리에 있다는 것까지는 §199 가 보였고, 그 디렉터리 아래를 장치까지 이은 출력은 앞 물음이 낸다.
두 VM의 이미지가 같은 `nvme0n1` 위에 있다는 2026-09-21 확인값을 실험 조건으로 둔다.
VM1 에 controlled I/O load 를 걸었다가 걷을 수 있고, 걷은 뒤 상태가 부하 이전의 기준 구간으로 돌아온다고 본다. 돌아오는지는 세 번째 구간에서 확인한다.
VM1에 controlled I/O load를 약 10초간 걸고 종료한 뒤 VM2 latency가 baseline으로 돌아오는 recovery까지 실제로 확인했다.
VM2 의 애플리케이션 지연을 세 구간에서 같은 방법으로 잴 수 있다고 전제한다.
VM2 쪽은 같은 128회 fsync microbenchmark를 isolated baseline, overlap, post-load 구간에 반복 적용했다.
호스트와 두 게스트의 시계가 맞아서 지연과 iostat 값을 같은 시간축에 놓을 수 있다고 본다.
host와 guest clock은 실제로 약 90초 어긋나 있었다. 따라서 절대 timestamp 비교 대신 한 host shell이 VM1 load 시작, VM2 fsync, host iostat 종료를 orchestration해 overlap을 보장했다. 장시간 분산 분석 전에는 host NTP를 먼저 맞춰야 한다.
부하를 거는 동안 가상 머신 구성과 VM2 의 워크로드가 바뀌지 않는다고 두고 세 구간을 견준다.
호스트 쪽 Nginx 와 다른 프로세스도 같은 장치를 쓰는데, 부하 구간의 스토리지 지표를 전부 VM1 몫으로 읽으면 이 전제가 깨진다. 그래서 어느 프로세스가 I/O 를 내는지 iotop 으로 함께 찍는다.
다른 host workload도 같은 NVMe를 사용할 수 있으므로 host device 지표 전체를 VM1 몫으로 단정하지 않는다. 다만 이번 실험은 VM1 load의 시작·종료와 VM2 지연의 상승·회복이 같은 순서로 나타났고, overlap 구간에서 host `w_await/%util/%iowait`도 함께 상승했다.
## 미지수
## load 종료 뒤 회복한 값
VM1 에 부하를 걸었을 때 VM2 의 애플리케이션 지연이 기준 구간과 달라지는지.
이번 controlled load에서 VM1 storage pressure가 VM2 fsync latency를 크게 밀어 올리고, host storage latency/util도 같은 overlap 구간에서 상승하며, load 종료 직후 VM2 지연이 baseline 수준으로 회복하는 것까지 확인됐다.
달라진다면 같은 구간의 Host storage 지표 — IOPS, throughput, request latency, queue 상태 — 가 같은 방향으로 움직이는지.
어느 IOPS/throughput 임계점부터 간섭이 시작되는지와 실제 Keycloak/PostgreSQL request latency가 얼마나 영향을 받는지는 별도 단계 부하 실험으로 남긴다.
그 변화가 CPU 쪽 지표와 무관한지. §168 은 CPU 가 한가해도 지연이 커질 수 있다고 적었다.
## 완화책은 아직 선택하지 않는다
어느 정도의 부하에서 VM2 의 지연이 움직이기 시작하는지. 개념 문서는 부하의 크기와 지속 시간을 적지 않았다.
부하를 걷은 뒤 VM2 의 지연이 기준 구간으로 돌아오는지, 돌아온다면 얼마나 걸리는지.
## 제약
controlled I/O load 는 VM1 안의 별도 테스트 파일이나 디스크에 건다 (§175 OQ-7). VM1 의 운영 데이터에 걸면 부하를 되돌릴 수 없다.
controlled I/O load는 VM1 안의 별도 테스트 파일이나 전용 테스트 디스크에 건다. 운영 데이터에 직접 부하를 걸지 않는다.
세 구간 모두 같은 명령으로 찍는다. 구간마다 다른 도구로 재면 값이 달라진 것인지 도구가 다른 것인지 갈리지 않기 때문이다.
지연이 올랐다는 관측만으로 원인을 스토리지 경쟁으로 확정하지 않는다. 같은 구간의 CPU 지표를 함께 놓고 §167 이 가른 두 경쟁 가운데 어느 쪽인지 본다.
지연이 올랐다는 관측만으로 원인을 스토리지 경쟁으로 확정하지 않는다. 같은 구간의 CPU 지표를 함께 놓고 「Storage Contention」에서는 가른 두 경쟁 가운데 어느 쪽인지 본다.
장치를 나눌지, 스케줄러를 바꿀지, I/O 를 제한할지는 이 물음이 정하지 않는다. 재고 나온 표가 그 결정의 근거가 된다.
장치 분리, scheduler 변경, I/O 제한은 측정 전에 정하지 않는다. baseline·load·recovery 표가 나온 뒤 실제 간섭이 확인될 때만 검토한다.
측정하는 동안 다른 실험을 같은 장치 위에서 돌리지 않는다. 시간을 나눈다.
## 선택지
## baseline · load · recovery 비교
### 1. 기준 · 부하 · 회복 세 구간을 한 번에 돌린다
VM2 의 애플리케이션 지연과 호스트의 iostat -xz 1 과 CPU 를 기준 구간에서 한 번 찍고, VM1 에 부하를 건 구간에서 다시 찍고, 부하를 걷은 뒤 세 번째로 찍는다. 세 구간이 한 표에 들어가면 지연이 어느 지표와 함께 움직였는지 그 표에서 읽힌다. §175 OQ-7 이 적은 순서 그대로다.
VM2 애플리케이션 지연과 host `iostat -xz 1`, CPU를 baseline에서 기록하고, VM1 load 구간과 recovery 구간에서 같은 방식으로 반복한다. 세 구간을 한 표에 두면 VM2 지연이 어떤 storage 지표와 함께 움직였는지 비교할 수 있다.
부하를 만드는 방법과 크기를 먼저 정해야 하고, VM2 에 같은 부하를 세 번 거는 준비가 필요하다.
@@ -109,14 +99,8 @@ VM2 의 애플리케이션 지연과 호스트의 iostat -xz 1 과 CPU 를 기
### 3. 제외 — 호스트에서 직접 I/O 부하를 만들어 대신한다
VM1 대신 호스트 프로세스로 부하를 만들면 준비가 짧다. §159 는 Host process 의 I/O 도 같은 queue 로 들어온다고 그렸으므로 장치 쪽 경쟁은 비슷하게 만들 수 있다. 그러나 이 물음이 묻는 것은 VM1 의 부하가 VM2 로 이어지는지이고, 호스트에서 만든 부하는 QEMU 를 지나지 않아서 같은 경로가 아니다.
VM1 대신 호스트 프로세스로 부하를 만들면 준비가 짧다. 「여러 VM이 하나의 NVMe를 공유하면」에서는 Host process 의 I/O 도 같은 queue 로 들어온다고 그렸으므로 장치 쪽 경쟁은 비슷하게 만들 수 있다. 그러나 이 물음이 묻는 것은 VM1 의 부하가 VM2 로 이어지는지이고, 호스트에서 만든 부하는 QEMU 를 지나지 않아서 같은 경로가 아니다.
## 다음 검증
## VM1의 write load가 VM2 fsync latency를 끌어올렸다
1. 두 가상 머신의 이미지가 같은 block device 를 쓰는지 먼저 확정한다.
2. 기준 구간에서 VM2 의 애플리케이션 지연과 호스트의 iostat -xz 1 과 CPU 를 같은 시각에 기록한다.
3. VM1 에서 별도의 테스트 파일이나 디스크로 controlled I/O load 를 발생시킨다. 무엇으로 어느 정도의 부하를 얼마나 오래 걸었는지 함께 적는다 (§175 OQ-7).
4. 부하 구간에서 2번의 셋을 같은 방법으로 다시 기록하고, 어느 가상 머신이 I/O 를 내는지 iotop 으로 함께 남긴다 (§169).
5. 부하를 걷고 회복 구간을 세 번째로 찍는다.
닫는 조건 : 세 구간 표에서 부하 구간에만 VM2 의 지연과 Host storage 지표가 함께 오르면 §167 이 그린 경쟁이 이 환경에서 이어진다는 것을 확인한 것이고, 그 시계열이 Case 가 된다. VM1 부하 중에도 VM2 의 지연이 기준 구간과 다르지 않으면 이 구성과 이 부하 수준에서는 경쟁이 관측되지 않는다고 적고 닫는다. 장치를 나눌지 · 스케줄러를 바꿀지 · I/O 를 제한할지는 그 Case 가 나온 뒤 결정으로 넘긴다.
현재 공용 `nvme0n1` 위의 qcow2 구성에서 VM1의 sustained write+fdatasync load가 VM2의 fsync latency를 baseline 대비 크게 증가시키고, load 종료 뒤 다시 baseline으로 회복시키는 cross-VM storage contention을 재현했다. 장치 분리·I/O 제한 같은 완화책의 효과는 별도 실험에서 비교한다.
@@ -24,20 +24,7 @@ source:
durability 는 전원이 나가도 데이터가 남아 있는 영속성을 말한다. 쓰기 지연이 줄면 그 변경은 성능 개선으로 기록되지만, 무엇을 더 이상 보장하지 않게 됐는지는 아무 데도 적히지 않는다. 개념 문서는 fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다고 적었다. 게스트가 요청한 FLUSH 에 완료로 응답했는데 데이터는 호스트 RAM 에만 있는 상태도 성능 문제가 아니라 correctness 문제로 놓았다. 이 기준은 빨라진 구성을 평가할 때 어느 단계가 빠졌는지를 먼저 적게 한다.
## 관계
- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존**
이 기준이 갈라 적으라고 하는 네 단계를 그 글이 설명한다.
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
영속성을 어느 백엔드 위에서 이야기하는지 그 글이 설명한다.
- **이 VM 들의 QEMU disk cache mode 는 무엇인가**
이 기준이 걸리는 설정 값을 이 환경에서 읽는 물음이다.
- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가**
영속성을 지킨 상태의 지연이 얼마인지 이 환경에서 재는 물음이다.
- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다**
같은 스토리지 판독에 쓰는 기준이고, 그쪽은 자원을 가르고 이쪽은 보장을 가른다.
## 목적
## 빠름과 durability를 분리하는 이유
스토리지 설정을 바꿔 쓰기 지연이 줄었을 때 그것을 성능 항목으로만 적으면 어떤 실패에 노출됐는지가 기록에 남지 않는다. 개념 문서가 가장 위험한 상황으로 든 것은 거짓 완료다. 게스트가 WRITE 와 FLUSH 를 요청했는데 데이터는 호스트 RAM 에 있고 물리 스토리지에는 옛 데이터가 있는 상태인데도 게스트에게 FLUSH 완료라고 응답하는 경우다. 그러면 PostgreSQL 은 영속성이 확보되었다고 판단하고, 직후 호스트 전원이 나가면 RAM 의 데이터가 사라진다.
@@ -45,7 +32,7 @@ durability 는 전원이 나가도 데이터가 남아 있는 영속성을 말
완료의 네 단계를 설명하는 개념 기록 안에 각주로 두지 않고 따로 뺀 것은 이 기준이 필요해지는 때가 다르기 때문이다. 개념을 읽을 때가 아니라 설정을 고르고 성능 개선을 평가할 때 걸리는데, 각주로 두면 다음에 같은 판단을 하는 사람이 그때 이것을 찾지 못한다.
## 규칙
## 성능 비교 전에 지킬 계약
### 1. 완료를 네 단계로 갈라 어디까지 보장되는지 적는다
@@ -63,13 +50,13 @@ FLUSH 완료 응답을 받은 쪽은 그 데이터가 살아남는다고 가정
개념 문서는 none 을 캐시 자체가 없음으로, writeback 을 무조건 위험으로 읽는 것이 부정확하다고 적었다. cache=writeback 을 골라도 정상적인 스택이라면 게스트의 fsync 와 FLUSH 는 virtio FLUSH 와 QEMU 와 백엔드를 지나 호스트의 sync 와 flush 로 전달된다. 필요한 완료 확인 뒤에 게스트로 완료가 돌아간다. 개념 문서는 정확한 표현을 이렇게 적었다 — writeback caching 에서는 volatile cache 가 존재할 수 있으므로 Guest 의 flush/fsync semantics 가 전체 backend/storage stack 에서 올바르게 보존되는지가 중요하다.
그래서 이 기준은 어느 캐시 모드를 쓰라고 말하지 않는다. 개념 문서는 두 설정의 뜻과 각각의 오해를 갈라 놓기만 했고 어느 쪽으로 정했다고 적지 않았으며 감수한 비용도 적지 않았다. 이 호스트가 지금 무엇을 쓰고 있는지도 아직 읽지 않았다. 이 저장소에 남은 것은 게스트를 만든 virt-install 세 줄에 캐시 옵션이 없다는 것까지다.
그래서 이 기준은 어느 캐시 모드를 쓰라고 말하지 않는다. 2026-09-21 runtime 구성을 확인했을 때 세 VM의 주 디스크는 모두 `cache=writeback`이었다. 이 값은 현재 구성을 말해 줄 뿐, 전원 장애에도 안전하다는 뜻은 아니다. 실제 durability는 guest의 flush/fsync 의미가 QEMU·host filesystem·device까지 보존되는지 별도로 확인해야 한다.
### 5. DB 부하에서는 애플리케이션이 쓰는 영속성 규약을 함께 적는다
PostgreSQL 은 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 애플리케이션이 전제한 영속성과 실제 스토리지 동작이 어긋난다. 그래서 설정만 적지 않고 그 위에서 도는 애플리케이션이 무엇을 언제 동기화하는지도 같이 적는다.
## 적용 조건
## 쓰기 성능을 비교할 때
- 스토리지 관련 설정이나 코드를 바꿔 쓰기 지연이나 커밋 지연이 줄었을 때
- QEMU 의 캐시 모드를 고르기 전
@@ -77,14 +64,14 @@ PostgreSQL 은 WAL 등의 durability protocol 을 사용하며 필요한 시점
- fsync() 호출을 더하거나 뺄 때
- 파일시스템의 마운트 옵션을 고를 때
## 예외
## 빨라도 제외해야 하는 구성
- 영속성을 실제로 포기해도 되는 데이터가 있다. 다시 만들 수 있는 캐시나 파생 파일이 그렇고, 그때는 빨라진 것이 정당한 선택이다. 이 기준이 요구하는 것은 포기를 막는 것이 아니라 무엇을 포기했는지 적게 하는 것이다.
- cache=none 이나 Direct I/O 를 골랐다고 영속성이 확보되지도 않는다. 개념 문서는 Direct I/O 의 핵심이 페이지 캐시 우회이며 호스트 페이지 캐시를 우회하는 것이 즉시 durable media 반영을 뜻하지 않는다고 적었고, 그 뒤에 스토리지 컨트롤러나 장치가 휘발성 쓰기 캐시를 가질 수 있다고 덧붙였다.
- 개념 문서는 실제 순서 보장과 영속성의 의미가 더 복잡하다고 밝혔다. 그래서 이 기준으로 특정 설정이 안전하다는 결론을 내지 않는다. 실제 운영에서는 장치의 flush 와 FUA semantics, power-loss protection 여부도 함께 본다.
- 이 저장소에는 영속성을 실제로 재 본 실험이 없다. 여기 적은 것은 개념 문서가 서술한 구분이고 이 호스트에서 확인된 동작이 아니다.
## 예시
## fsync를 줄였을 때 확인할 것
- write() 완료 : 애플리케이션 호출이 돌아온 상태
- writeback 완료 : 캐시에서 아래로 내려간 것까지다
@@ -23,22 +23,7 @@ source:
백엔드는 게스트가 디스크로 쓰는 그 장치를 호스트 쪽에서 실제로 대 주는 것을 말한다. 게스트에 로그인해 lsblk 를 돌리면 /dev/vda 와 그 파티션이 나오고, 거기까지는 물리 머신과 같은 화면이다. 개념 문서는 그 이름이 호스트의 실제 SSD 를 뜻하지 않으며 아래에 qcow2 파일과 RAW 파일과 호스트 블록 장치 셋이 올 수 있다고 적었다. 이 기준은 용량과 성능과 영속성을 판단하기 전에 호스트 쪽에서 무엇에 붙어 있는지를 먼저 확정하게 한다.
## 관계
- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device**
이 기준이 가르라고 하는 세 갈래를 그 글이 설명한다.
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
게스트가 본 그 디스크 이름이 어디에서 나왔는지를 그 글이 설명한다.
- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가**
이 기준의 첫 확인을 이 환경에서 실제로 돌리는 물음이다.
- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가**
백엔드가 파일로 확정됐을 때 형식과 크기를 읽는 물음이다.
- **disk image 는 최종적으로 어느 Host block device 위에 있는가**
그 파일이 놓인 파일시스템과 블록 장치까지 잇는 물음이다.
- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다**
그 기준의 호스트 쪽 관측은 여기서 확정한 백엔드를 전제한다.
## 목적
## Guest의 vda만으로 부족한 이유
게스트 안의 이름을 호스트의 저장 구조로 읽으면 그 위에서 하는 판단이 모두 어긋난다. 개념 문서는 게스트 리눅스가 /dev/vda 를 하나의 블록 장치로 인식하지만 그것이 호스트의 실제 SSD 를 뜻하지는 않는다고 적었다. 같은 대상을 호스트 관점에서 보면 파일 하나이고 게스트 관점에서 보면 디스크이며, 둘 다 맞다.
@@ -46,7 +31,7 @@ source:
개념 문서가 실제 서버에서 확인하라고 적어 둔 물음 가운데 넷이 이 확정 위에서 돌아간다. 백엔드가 무엇인지, 형식이 무엇인지, 크기가 얼마나 벌어져 있는지, 그 아래가 어느 장치인지다. 넷마다 같은 절차를 되풀이해 적지 않고 한 편으로 두었으므로 각 물음이 여기를 가리킨다.
## 규칙
## vda에서 Source와 Host device까지 잇는다
### 1. 게스트의 장치 이름을 호스트의 저장 장치로 옮겨 읽지 않는다
@@ -54,7 +39,7 @@ source:
### 2. Target 과 Source 를 이어 붙인 뒤에 판독을 시작한다
게스트에서 lsblk 로 보이는 블록 장치와 파티션을 적고, 호스트에서 virsh domblklist <VM_NAME> 로 Target 과 Source 를 적는다. 개념 문서가 든 예시에서는 Target vda 에 Source /var/lib/libvirt/images/vm1.qcow2 가 붙어 있었다. 이 대응이 있어야 게스트의 /dev/vda 에서 virtio-blk 와 QEMU 를 지나 그 파일까지 이어진다. 그 경로는 개념 문서가 예시로 붙여 둔 이름이다. 두 명령을 이 호스트에서 돌린 출력은 아직 없다.
게스트에서 `lsblk`로 보이는 block device와 host의 `virsh domblklist --details <VM_NAME>`를 이어 본다. 2026-09-21 재검증에서는 `kc-lab-1/2/edge`의 `vda`가 각각 `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, `kc-lab-edge.qcow2`에 연결돼 있었다. live domain XML에서도 format은 qcow2, bus는 virtio였고 세 overlay는 공통 `base.qcow2`를 backing store로 사용했다.
### 3. Source 가 파일인지 호스트 블록 장치인지 확정한다
@@ -72,25 +57,29 @@ qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수
적을 파일이 하나가 아닐 수 있다. qemu-img info 출력에 backing file 줄이 있으면 그 파일은 오버레이이고, 자기가 들고 있지 않은 클러스터를 읽을 때마다 바닥 파일을 읽는다. 바닥까지 같은 항목으로 적어야 그 게스트가 실제로 읽는 파일이 모두 덮인다.
## 적용 조건
## backend를 먼저 확인해야 하는 작업
- 가상 머신의 디스크 성능이나 용량이나 영속성을 판단하기 전
- 게스트 안에서 잰 스토리지 수치를 해석하기 전
- 저장 공간 계획을 세우거나 이미지를 옮기기 전
- 가상 머신 여러 대가 같은 물리 장치를 쓰는지 확인할 때
## 예외
## backend가 block device면 달라지는 점
- 백엔드가 호스트 블록 장치면 qcow2 쪽 확인은 걸리지 않는다. 가상 크기와 실제 할당량의 차이도, 매핑과 메타데이터 처리도 그 구성에는 없다.
- 백엔드를 확정해도 성능은 예측되지 않는다. 개념 문서는 RAW 는 무조건 빠르고 qcow2 는 무조건 느리다는 식으로 일반화하지 말라고 못박고, 실제 성능은 캐시 모드, 스토리지 백엔드, 부하 패턴, 큐 깊이, 스냅숏 체인, 그 아래 파일시스템, 물리 장치에 영향을 받는다고 적었다. 이 기준은 무엇 위에서 재고 있는지까지만 확정한다.
- 이 절차를 처음부터 끝까지 돌린 출력은 이 저장소에 없다. 네 번째 규칙의 qemu-img info 는 바닥 이미지 하나에만 돌렸고, virsh domblklist 와 게스트 lsblk 의 출력은 아직 없다. 나머지는 개념 문서가 서술한 확인 순서이고 이 호스트에서 나온 값이 아니다.
- 2026-09-21에는 이 절차의 host-side 핵심 연결을 실제로 확인했다. VM별 `vda → qcow2 overlay`, overlay → `base.qcow2`, image directory → `/dev/nvme0n1p3` ext4 → `nvme0n1` 순서가 이어진다. `qemu-img info --force-share`, `du`, `ls`도 base와 세 overlay 모두에 실행해 virtual size와 실제 host allocation 차이를 확인했다.
- 이 확인으로 backend 구조는 확정되지만 성능까지 예측되지는 않는다. cache mode·scheduler·workload·queue depth·다른 VM의 load는 별도 조건으로 봐야 한다.
## 예시
## 현재 host에서 확인한 mapping
- 게스트에서 보이는 것 : /dev/vda 와 그 파티션
- 호스트에서 이어 붙일 것 : Target 과 Source 의 대응
- Source 의 세 갈래 : qcow2 파일 · RAW 파일 · 호스트 블록 장치
- 용량 : virtual size 와 실제 allocation 을 따로 적는다
- 파일이면 더 볼 것 : 그 파일이 올라간 파일시스템과 블록 장치
- 이 호스트에서 돌린 qemu-img info : o — 바닥 이미지 하나뿐이다
- 이 호스트에서 돌린 virsh domblklist : x
- 이 호스트에서 확인한 backend : 세 VM 모두 qcow2 overlay file
- 공통 backing file : `base.qcow2`
- host filesystem : `/dev/nvme0n1p3`의 ext4
- physical device : `nvme0n1`
- runtime cache mode : 세 VM 주 디스크 모두 `writeback`
@@ -21,28 +21,13 @@ source:
요청이 느린데 CPU 사용률이 낮으면 CPU 는 원인이 아니라고 읽고 다음 후보로 넘어가기 쉬운데, 그 사이에 스토리지 대기는 어느 지표에도 나타나지 않는다. 개념 문서는 애플리케이션이 스토리지 완료를 기다리는 동안 CPU 사용률이 높지 않을 수 있다고 적고 CPU 30% 인데 요청 지연 2초인 조합을 들었다. 이 기준은 자원을 CPU 와 스토리지로 가르는 순서와, 그때 같은 시간축에 무엇을 남길지를 고정한다.
## 관계
- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe**
이 기준이 함께 보라고 하는 호스트 쪽 지표가 어느 계층에서 나오는지를 그 글이 설명한다.
- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk**
게스트 안에서 잰 입출력 지연이 어디까지의 시간인지를 그 글이 설명한다.
- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다**
무엇 위에서 재고 있는지를 먼저 확정하는 기준이다. 이 기준의 호스트 쪽 관측은 그 확정을 전제한다.
- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가**
다른 가상 머신의 스토리지 부하를 함께 보라는 항목을 이 환경에서 재는 물음이다.
- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가**
게스트 지표와 호스트 지표를 같은 시간축에 놓으라는 항목을 이 환경에서 재는 물음이다.
- **메모리 증상 하나로 계층을 단정하지 않는다**
같은 형태의 판독 기준이고, 그쪽은 메모리 증상 안에서 계층을 가른다.
## 목적
## CPU가 낮다고 storage가 정상인 것은 아니다
CPU 사용률 하나로 지연 원인을 자원에 귀속하면 스토리지 대기가 후보에서 빠진다. 개념 문서는 그 조합을 그대로 적었다. PostgreSQL 이 스토리지 완료를 기다리고 있으면 CPU 사용률이 높지 않을 수도 있어서, CPU 30% 인데 요청 지연 2초가 가능하다.
CPU 경쟁과 스토리지 경쟁은 경쟁하는 자원이 다르다. 개념 문서는 앞의 것을 호스트 논리 CPU 실행 시간 경쟁으로, 뒤의 것을 IOPS 와 대역폭과 큐와 장치 처리시간 경쟁으로 갈라 두었다. 두 자원을 한 지표로 대신 읽으면 어느 쪽이 밀렸는지 갈리지 않는다.
## 규칙
## 같은 시간축에 둘 storage 지표
### 1. CPU 사용률이 낮다는 이유로 스토리지를 후보에서 빼지 않는다
@@ -65,7 +50,7 @@ I/O Scheduler
NVMe
다른 VM 의 Storage load
앞의 셋은 시간에 따라 변하는 값이라 같은 시각에 함께 찍어야 짝이 맞다. 뒤의 다섯은 그때의 구성이라 한 번 적어 두면 그 측정 구간 전체에 붙는다. 이 여덟을 이 호스트에서 한 시간축에 모아 찍은 기록은 아직 없다.
앞의 셋은 시간에 따라 변하는 값이라 같은 시각에 함께 찍어야 짝이 맞다. 뒤의 다섯은 구성값이라 측정 구간 시작에 한 번 확인하면 된다. 2026-09-21에는 정적 조건뿐 아니라 cross-VM contention도 같은 시간축에서 확인했다. QEMU backend는 qcow2 file, runtime cache mode는 `writeback`, host scheduler는 `none`, physical device는 `nvme0n1`이었고, VM1 쓰기 부하와 VM2 fsync 지연, host NVMe `w_await`·`%util`·iowait를 함께 기록했다.
### 4. 게스트 안에서 잰 값만으로 스토리지 성능을 결론내지 않는다
@@ -80,25 +65,26 @@ NVMe
Guest : lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1
Host : virsh domblklist <VM_NAME> · qemu-img info 에 disk image 경로 · lsblk · /sys/block 아래 그 device 의 queue/scheduler · iostat -xz 1 · iotop
## 적용 조건
## storage 대기를 의심할 상황
- 요청 지연이나 처리량 저하의 원인을 자원에 귀속하려는 판독 전부
- CPU 사용률이 낮은데 요청 지연이 큰 구간
- 데이터베이스가 요청 경로에 들어 있는 서비스
- 가상 머신 여러 대가 한 물리 장치를 함께 쓰는 환경
## 예외
## iostat 하나로 결론내리지 않는다
- 이 기준은 어느 자원인지를 좁힐 뿐 원인을 확정하지 않는다. 스토리지 지표가 깨끗하게 나와도 CPU 쪽을 배제하려면 vCPU 경쟁과 steal time 을 따로 본다. 그것은 CPU 가상화 쪽 기준이 받는다.
- iostat -xz 1 이 보여 주는 device utilization 성격의 지표는 NVMe 처럼 병렬성이 큰 장치에서 포화도로 그대로 읽히지 않는다. 개념 문서가 NVMe 는 높은 병렬성과 큐 깊이를 지원한다고 적었다. 이 저장소의 실측 기록은 이 호스트의 루트를 /dev/nvme0n1p3 로 적었고 게스트 이미지가 전부 그 아래에 모여 있다고 적었으므로, 이 예외는 이 환경에 그대로 걸린다.
- 호스트에서 잰 값은 어느 가상 머신의 입출력인지 갈라 주지 않는다. 개념 문서는 Host Block Layer 가 그 입출력을 가상 머신 안의 프로세스가 시작했는지 호스트 프로세스가 시작했는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 가상 머신별로 가르려면 iotop 이나 게스트 쪽 관측을 같은 시각에 함께 찍는다.
- 이 저장소에는 이 기준으로 원인을 실제로 가른 측정이 없다. 여기 적은 것은 개념 문서가 서술한 판독 순서이고 이 호스트에서 확인된 값이 아니다.
- static storage path와 runtime cache/scheduler는 실제 host에서 확인됐다. 2026-09-21에는 cross-VM storage contention도 baseline·load·recovery 구간으로 나눠 측정했다. VM1에서 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 `w_await`·`%util`·iowait가 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 환경에서는 같은 NVMe를 공유하는 다른 VM의 storage load가 guest latency와 함께 악화되는 경로를 실제로 확인했다.
## 예시
## 현재 host에서 확인한 조건
- CPU 30% · 요청 지연 2초 : 스토리지 대기가 후보에 남는 조합
- CPU Contention : 호스트 논리 CPU 실행 시간 경쟁
- Storage Contention : IOPS · 대역폭 · 큐 · 장치 처리시간 경쟁
- 같은 시각에 함께 찍는 값 : Guest I/O latency · Host I/O queue · Host storage latency
- 측정 구간에 한 번 적어 두는 구성 : QEMU backend · cache mode · I/O Scheduler · NVMe
- 이 호스트에서 잰 값 : x
- 이 호스트에서 이미 확인한 구성 : qcow2 backend · `cache=writeback` · scheduler `none` · NVMe `nvme0n1`
- 2026-09-21에 함께 확인한 값 : VM2 fsync latency · Host queue/storage latency · VM1 Storage load