refactor: 문서 사람처럼 작성하기
This commit is contained in:
+6
-6
@@ -2,7 +2,7 @@
|
||||
id: 3b05c1f0-13e9-414a-97a6-2078fb4bab26
|
||||
kind: CONCEPT
|
||||
slug: guest-block-io-path-to-virtqueue
|
||||
title: Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk
|
||||
title: 게스트의 write()가 virtqueue에 전달되는 과정
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -33,9 +33,9 @@ source:
|
||||
- final/document.md#177-최종-요약
|
||||
---
|
||||
|
||||
# Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk
|
||||
# 게스트의 write()가 virtqueue에 전달되는 과정
|
||||
|
||||
가상 머신 안의 PostgreSQL 이 파일에 데이터를 기록하면, 그 요청은 게스트 Linux 안에서만 VFS 와 ext4·XFS, 페이지 캐시, 블록 I/O 계층, virtio-blk 를 지난 뒤에야 virtqueue 에 실려 가상 머신 경계에 닿는다. 계층마다 무엇을 하고 무엇이 바뀌는지 차례로 살펴본다. 계층 이름과 게스트·호스트 구분을 아는 사람을 독자로 둔다. Keycloak 멀티 노드 실험을 가상 머신 두 대 위에서 돌리고 있다 보니, 이 경로를 알아 두면 게스트에서 본 저장소 지연을 애플리케이션 문제와 가상 머신 경계 아래의 문제로 갈라 볼 수 있다.
|
||||
가상 머신 안의 PostgreSQL 이 파일에 데이터를 기록하면, 그 요청은 게스트 Linux 안에서만 VFS 와 ext4·XFS, 페이지 캐시, 블록 I/O 계층, virtio-blk 를 지난 뒤에야 virtqueue 에 실려 가상 머신 경계에 닿는다. 이 경로를 따라가면 게스트에서 관측한 저장소 지연이 애플리케이션 내부에서 생긴 것인지, 가상 머신 경계 아래의 블록 I/O 계층에서 생긴 것인지 구분할 수 있다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -94,7 +94,7 @@ SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저
|
||||
lsblk
|
||||
```
|
||||
|
||||
```text label="기존 문서가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다"
|
||||
```text label="구조 설명용 출력 예시. 현재 호스트의 실측값은 아니다"
|
||||
NAME SIZE TYPE MOUNTPOINT
|
||||
vda 100G disk
|
||||
├─vda1 1G part /boot
|
||||
@@ -121,7 +121,7 @@ vda 100G disk
|
||||
|
||||
## 네트워크 가상화와 짝이 되는 이름들
|
||||
|
||||
제3부의 네트워크 경로를 먼저 읽었다면 이름이 하나씩 대응된다.
|
||||
네트워크의 virtio-net과 비교하면 스토리지에서는 virtio-blk가 같은 위치의 프런트엔드 역할을 한다.
|
||||
|
||||
| Network | Storage |
|
||||
|---|---|
|
||||
@@ -140,6 +140,6 @@ vda 100G disk
|
||||
|
||||
2026-09-21 재검증에서 세 VM의 `vda`는 모두 qcow2 overlay file backend이고, 각 overlay는 공통 `base.qcow2`를 backing store로 사용한다는 것을 확인했다. 따라서 이 환경에서 guest `/dev/vda` 아래에 QEMU block backend와 host filesystem/block stack이 이어진다는 연결은 실제 구성과 맞는다.
|
||||
|
||||
다만 이 문서는 guest `write()`가 virtqueue에 실리기까지의 계층을 설명하는 데 집중한다. qcow2 L1/L2 table, `blk-mq` tag allocator, NVMe submission/completion queue 내부 구현은 범위 밖이다. 2026-09-21에는 guest `fsync()`와 host `iostat`을 같은 구간에 놓고 재서, guest fsync가 느려질 때 host NVMe의 `w_await`·`%util`·iowait도 함께 상승하는 구간을 실제로 확인했다. 이 결과는 경로의 존재를 보여 주지만, 모든 fsync 지연을 host storage 하나의 원인으로 일반화하지 않는다.
|
||||
여기서 확인한 범위는 guest `write()`가 virtqueue에 전달되기까지다. qcow2 L1/L2 table, `blk-mq` tag allocator, NVMe submission/completion queue 내부 구현은 포함하지 않았다. 2026-09-21에는 guest `fsync()`와 host `iostat`을 같은 구간에 놓고 재서, guest fsync가 느려질 때 host NVMe의 `w_await`·`%util`·iowait도 함께 상승하는 구간을 실제로 확인했다. 이 결과는 경로의 존재를 보여 주지만, 모든 fsync 지연을 host storage 하나의 원인으로 일반화하지 않는다.
|
||||
|
||||
<!-- body:end -->
|
||||
|
||||
+4
-4
@@ -2,7 +2,7 @@
|
||||
id: ecaaa37d-7b33-4cbf-9bc5-4c6caad14ee5
|
||||
kind: CONCEPT
|
||||
slug: host-block-stack-under-the-vm
|
||||
title: VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe
|
||||
title: 가상 머신 디스크 아래의 호스트 블록 I/O 계층
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -27,9 +27,9 @@ source:
|
||||
- final/document.md#172-storage-virtualization-canonical-flow
|
||||
---
|
||||
|
||||
# VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe
|
||||
# 가상 머신 디스크 아래의 호스트 블록 I/O 계층
|
||||
|
||||
게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 여러 QEMU 프로세스와 host의 SSH·관측·파일 작업 같은 I/O를 같은 아래쪽 장치로 받는다. 그 큐에서 blk-mq 와 I/O 스케줄러를 지나 NVMe 로 나가기까지를 따라가고, 거기서 생기는 스토리지 경쟁(Storage Contention)을 다투는 자원이 다른 CPU 경쟁과 갈라 놓는다. 블록 계층과 스케줄러 이름을 아는 사람을 독자로 둔다. 가상 머신 위에서 Keycloak 의 지연을 볼 때 이 계층을 CPU 계층과 갈라 두면 어느 쪽을 재야 하는지가 먼저 정해진다.
|
||||
게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 여러 QEMU 프로세스와 host의 SSH·관측·파일 작업 같은 I/O를 같은 아래쪽 장치로 받는다. 이 요청은 `blk-mq`와 I/O 스케줄러를 지나 NVMe로 전달된다. Keycloak 지연을 분석할 때 이 경로를 CPU 스케줄링과 분리해서 보면 CPU 사용률이 낮은데도 스토리지 대기 때문에 응답이 느려지는 경우를 구분할 수 있다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -38,7 +38,7 @@ source:
|
||||
|
||||
백엔드가 `qcow2` 파일이면 QEMU 가 물리 SSD 를 직접 제어하지 않는다. QEMU 는 `pread` 나 `pwrite` 같은 호출로 호스트 커널에 파일 I/O 를 요청하고, 그 요청이 호스트 파일시스템과 호스트 블록 계층, NVMe 드라이버를 지나 물리 NVMe 에 닿는다. 게스트 스토리지 계층 아래에 호스트 스토리지 계층이 한 번 더 존재할 수 있다.
|
||||
|
||||
호스트 블록 계층은 그 I/O 가 가상 머신 안의 PostgreSQL 에서 시작했는지 호스트 프로세스에서 시작했는지를 본질적으로 구분해서 처리하는 계층이 아니다. 내려온 것은 모두 호스트 블록 요청이다.
|
||||
호스트 블록 계층은 요청이 게스트의 PostgreSQL에서 시작했는지 호스트 프로세스에서 시작했는지를 기준으로 별도 처리하지 않는다. 이 계층에 도달한 요청은 모두 호스트의 블록 I/O로 처리된다.
|
||||
|
||||
| 호스트 쪽 어느 계층인가 | 여기서 무엇이 일어나나 |
|
||||
|---|---|
|
||||
|
||||
+9
-9
@@ -2,7 +2,7 @@
|
||||
id: 892b6087-8961-486c-b4d9-d3dd46bc2605
|
||||
kind: CONCEPT
|
||||
slug: qemu-block-backend-forms
|
||||
title: /dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device
|
||||
title: QEMU 디스크 백엔드: qcow2, RAW, 블록 장치
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -26,24 +26,24 @@ source:
|
||||
- final/document.md#174-핵심-claim
|
||||
---
|
||||
|
||||
# /dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device
|
||||
# QEMU 디스크 백엔드: qcow2, RAW, 블록 장치
|
||||
|
||||
게스트 안에서 /dev/vda 를 보는 것만으로는 호스트에 무엇이 있는지 알 수 없다. 가상 머신 경계를 넘으면 QEMU 의 virtio-blk 장치 모델과 블록 백엔드가 그 요청을 받는데, 그 백엔드는 qcow2 파일일 수도, RAW 파일일 수도, 호스트의 실제 블록 장치일 수도 있다. 파일 백엔드면 게스트 스토리지 계층 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓이고, qcow2 면 게스트가 보는 크기와 호스트가 실제로 쓰는 크기가 갈린다. 무엇에 붙어 있는지는 게스트가 아니라 호스트에서 virsh domblklist 로 확인한다. 가상 머신에 디스크를 붙여 본 사람을 독자로 둔다.
|
||||
게스트 안에서 /dev/vda 를 보는 것만으로는 호스트에 무엇이 있는지 알 수 없다. 가상 머신 경계를 넘으면 QEMU 의 virtio-blk 장치 모델과 블록 백엔드가 그 요청을 받는데, 그 백엔드는 qcow2 파일일 수도, RAW 파일일 수도, 호스트의 실제 블록 장치일 수도 있다. 파일 백엔드면 게스트 스토리지 계층 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓이고, qcow2 면 게스트가 보는 크기와 호스트가 실제로 쓰는 크기가 갈린다. 무엇에 연결돼 있는지는 게스트가 아니라 호스트에서 `virsh domblklist`와 libvirt XML로 확인한다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
|
||||

|
||||
|
||||
## 가상 머신 경계를 넘으면 QEMU 가 받는다
|
||||
## virtio-blk 요청은 QEMU 블록 백엔드로 전달된다
|
||||
|
||||
게스트의 `virtio-blk` 가 `virtqueue` 에 게시한 요청은 가상 머신 경계를 넘어 호스트 사용자 공간의 QEMU 로 간다. QEMU 안에서는 `virtio-blk` 장치 모델과 블록 백엔드가 그 요청을 받는다. QEMU 는 게스트에게 가상 블록 장치를 노출하고, 게스트의 가상 I/O 를 호스트 백엔드에 연결한다.
|
||||
|
||||
기존 문서는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하나로 따로 뽑아 두었다.
|
||||
게스트에서 보이는 `/dev/vda`만으로는 호스트에서 어떤 백엔드를 사용하는지 알 수 없다. 실제 백엔드는 libvirt XML과 QEMU 실행 상태에서 확인해야 한다.
|
||||
|
||||
> Guest는 `/dev/vda`를 실제 block device처럼 보지만, Host에서는 그 disk가 qcow2 파일, RAW 파일, 또는 실제 block device에 연결되어 있을 수 있다.
|
||||
|
||||
이 글이 다루는 것이 그 문장이 남긴 세 갈래다.
|
||||
이 세 가지 백엔드는 호스트에서 확인하는 방법과 성능·용량 특성이 서로 다르다.
|
||||
|
||||
## QEMU 가 물리 SSD 를 직접 제어하지는 않는다
|
||||
|
||||
@@ -73,11 +73,11 @@ RAW 는 `qcow2` 보다 구조가 단순하다. 게스트의 블록 요청이 `qc
|
||||
|
||||
그렇다고 RAW가 무조건 빠르고 `qcow2`가 무조건 느리다고 일반화하면 안 된다. 실제 성능은 cache mode, storage backend, workload pattern, queue depth, snapshot chain, host filesystem, physical device에 함께 영향을 받는다. 형식 이름만으로 어느 쪽이 빠른지 정해지지 않는다.
|
||||
|
||||
그 목록 가운데 스냅샷 체인이 왜 걸리는지는 기존 문서의 qcow2 내부 절이 따로 풀었다. 매핑 항목이 0 인 클러스터를 만날 때마다 한 층 아래로 내려가야 해서 체인이 깊으면 읽기가 느려지고, 그래서 이 실험대는 층을 두세 겹 넘게 쌓지 않는다. 굳힐 때는 `qemu-img commit` 으로 아래층에 병합하거나 `qemu-img convert` 로 단일 파일로 평탄화한다.
|
||||
qcow2 스냅샷 체인이 깊어지면 현재 오버레이에 없는 클러스터를 읽을 때 backing chain을 여러 단계 확인해야 한다. 이 실험대에서는 체인을 깊게 쌓지 않고, 필요하면 `qemu-img commit`으로 변경분을 아래 이미지에 합치거나 `qemu-img convert`로 독립된 파일을 만든다.
|
||||
|
||||
## 백엔드가 파일이 아니라 호스트 블록 장치일 수도 있다
|
||||
|
||||
백엔드는 파일이 아니어도 된다. 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 호스트의 `/dev/nvme0n1p3` 같은 블록 장치에 바로 연결될 수 있고, 기존 문서가 그린 이 경로에는 호스트 파일시스템이 없다. 같은 이름 아래에서 경로가 세 갈래로 갈리기 때문에, 게스트에 `/dev/vda` 가 있다는 정보만으로는 백엔드 구조를 알 수 없다.
|
||||
백엔드는 파일이 아니라 호스트 블록 장치일 수도 있다. 게스트의 `/dev/vda`가 `virtio-blk`와 QEMU를 거쳐 호스트의 블록 장치에 직접 연결된 구성이라면 호스트 파일시스템을 거치지 않는다. 따라서 게스트에서 `/dev/vda`가 보인다는 사실만으로 백엔드가 qcow2인지 RAW 파일인지 블록 장치인지 알 수 없다.
|
||||
|
||||
## 세 갈래가 각각 바꾸는 것
|
||||
|
||||
@@ -99,7 +99,7 @@ lsblk
|
||||
virsh domblklist <VM_NAME>
|
||||
```
|
||||
|
||||
```text label="기존 문서가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다"
|
||||
```text label="구조 설명용 출력 예시. 현재 호스트의 실측값은 아니다"
|
||||
Target Source
|
||||
-----------------------------------------------
|
||||
vda /var/lib/libvirt/images/vm1.qcow2
|
||||
|
||||
+4
-4
@@ -2,7 +2,7 @@
|
||||
id: 8fafaeea-8746-4537-87a4-679a3a91aa4c
|
||||
kind: CONCEPT
|
||||
slug: write-completion-is-not-durability
|
||||
title: 완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존
|
||||
title: write() 완료와 데이터 영속성은 같은 의미가 아니다
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -30,9 +30,9 @@ source:
|
||||
- final/document.md#174-핵심-claim
|
||||
---
|
||||
|
||||
# 완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존
|
||||
# write() 완료와 데이터 영속성은 같은 의미가 아니다
|
||||
|
||||
buffered I/O 에서 write() 는 페이지 캐시까지만 내려가고, 가상 머신에서는 그 페이지 캐시가 게스트와 호스트 양쪽에 두 번 나타날 수 있다. 게스트가 성공을 돌려받은 데이터가 호스트 메모리에 머무는 동안 호스트 전원이 나가면 물리 SSD 에는 이전 상태가 남는다. 그래서 완료라는 말이 네 단계로 갈린다 — write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 영속성. Direct I/O 와 QEMU 캐시 모드가 이 가운데 어디까지 가는지를 바꾼다. 페이지 캐시와 fsync 를 아는 사람을 독자로 둔다. Keycloak 과 PostgreSQL 을 가상 머신 위에서 돌리는 실험에서는 이 구분을 먼저 세워야 지연을 재는 것과 데이터가 남는지를 재는 것이 한 실험에 섞이지 않는다.
|
||||
buffered I/O 에서 write() 는 페이지 캐시까지만 내려가고, 가상 머신에서는 그 페이지 캐시가 게스트와 호스트 양쪽에 두 번 나타날 수 있다. 게스트가 성공을 돌려받은 데이터가 호스트 메모리에 머무는 동안 호스트 전원이 나가면 물리 SSD 에는 이전 상태가 남는다. 그래서 완료라는 말이 네 단계로 갈린다 — write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 영속성. Direct I/O 와 QEMU 캐시 모드가 이 가운데 어디까지 가는지를 바꾼다. Keycloak과 PostgreSQL을 가상 머신 위에서 측정할 때는 응답 지연과 데이터 영속성을 별도 조건으로 확인해야 한다. 쓰기가 빨리 끝났다는 사실만으로 전원 장애 뒤에도 데이터가 남는다고 판단할 수는 없다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -71,7 +71,7 @@ write(fd, data, size);
|
||||
fsync(fd);
|
||||
```
|
||||
|
||||
가상 머신에서는 이 요청이 한 계층에서 끝나지 않는다. 게스트 PostgreSQL 의 `fsync()` 가 게스트 파일시스템으로 가고, 게스트 블록 계층에서 `FLUSH` 등으로 바뀐다. 그다음 `virtio-blk` 를 통해 QEMU 와 백엔드로 내려가고, 호스트 스토리지 계층을 지나 물리 저장장치까지 그 의미가 전달되어야 한다.
|
||||
가상 머신에서 `fsync()`의 영속성 의미가 지켜지려면 요청이 게스트 파일시스템과 블록 계층, `virtio-blk`, QEMU 백엔드, 호스트 스토리지 계층을 거쳐 물리 저장장치까지 전달되어야 한다.
|
||||
|
||||

|
||||
|
||||
|
||||
+2
-2
@@ -41,7 +41,7 @@ source:
|
||||
실제 점유량 : du -h
|
||||
파일 크기 : ls -lh
|
||||
- 백엔드가 파일이라는 것은 「단계 01 — 게스트 세 대」의 `virt-install` 세 줄과 「디스크 — 오버레이는 얼마나 쓰나」의 `ls -l` 출력이 보여 준다.
|
||||
- 형식과 바닥 이미지의 크기는 「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다.
|
||||
- 형식과 base image의 크기는 「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다.
|
||||
- 같은 절의 `ls -l /var/lib/libvirt/images/` 가 선언한 크기와 파일 크기를 나란히 보인다.
|
||||
base.qcow2 : 351404032 (335 MiB)
|
||||
kc-lab-1.qcow2 : 1521025024 (1.4 GiB) — 선언 20GB
|
||||
@@ -49,7 +49,7 @@ source:
|
||||
시드 ISO 두 장 : 각 378880 (370 KiB)
|
||||
- 「디스크 — 오버레이는 얼마나 쓰나」에서는 그 결과를 한 줄로 정리했다. 20GB 씩 둘, 합쳐 40GB 를 선언했지만 실제로는 2.1GB 를 썼다.
|
||||
- 「디스크 — 오버레이는 얼마나 쓰나」에서는 두 오버레이가 두 배 넘게 갈린 이유도 함께 적었다. k3s server 가 agent 보다 두 배 이상 쓰는 것은 컨트롤 플레인 바이너리와 SQLite 때문이다. 그래서 오버레이 크기는 이미지 형식이 아니라 그 게스트가 무엇을 도는지를 따라간다.
|
||||
- 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 같은 바닥 이미지에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, 바닥 쪽 차이에는 희소 할당과 압축이 겹쳐 있다. 오버레이에 쌓이는 클러스터는 압축되지 않는다.
|
||||
- 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 같은 base image에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB가 할당되지 않은 희소 영역이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, base image의 크기 차이에는 희소 할당과 압축이 함께 영향을 준다. 오버레이에 쌓이는 클러스터는 압축되지 않는다.
|
||||
|
||||
## virtual size와 host 사용량은 같은 시점에 재었다
|
||||
|
||||
|
||||
+1
-1
@@ -69,7 +69,7 @@ source:
|
||||
- 측정 조건에 캐시 모드와 백엔드 형식과 장치 이름을 함께 적는다. 이 셋이 없으면 같은 값을 다른 환경과 견줄 수 없다.
|
||||
- 측정하는 동안 다른 스토리지 실험을 같은 장치 위에서 겹쳐 돌리지 않는다.
|
||||
- 호스트 지연이 오른 이유까지 이 물음이 가르지 않는다. 다른 가상 머신의 부하인지 호스트 메모리 압박인지는 그것을 재는 두 물음이 받는다.
|
||||
- host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim이 storage를 밀어 올리는지 보고, 여기서는 guest `fsync()`/DB write 구간이 host storage latency와 연결되는지를 본다.
|
||||
- host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim 구간에서 host storage latency가 함께 증가하는지를 보고, 여기서는 guest `fsync()`/DB write 지연과 host storage latency가 같은 시간 구간에서 함께 변하는지를 본다.
|
||||
|
||||
## 어떻게 겹쳐 봤나
|
||||
|
||||
|
||||
+3
-3
@@ -33,8 +33,8 @@ source:
|
||||
그 요청은 Host Kernel, Host Filesystem, Host Block Layer, NVMe Driver 를 지나 Physical NVMe 로 내려간다. 게스트의 스토리지 스택 아래에 호스트의 스토리지 스택이 한 번 더 존재할 수 있다.
|
||||
- 「Host Block Layer」에서는 qcow2 와 RAW 의 파일 입출력이 호스트 파일시스템을 거쳐 실제 호스트 블록 입출력이 된다고 적고 경로를 이렇게 그렸다.
|
||||
QEMU, vm1.qcow2, Host ext4/XFS, Host Block Layer, /dev/nvme0n1
|
||||
- 「Host Block Layer」에서는 Host Block Layer 가 그 입출력을 가상 머신 안의 PostgreSQL 이 냈는지 호스트 프로세스가 냈는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 모두 호스트의 블록 요청이다.
|
||||
- 「여러 VM이 하나의 NVMe를 공유하면」의 핵심은 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer와 물리 NVMe로 수렴한다는 점이다. 초기 그림에는 Host Nginx가 따로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 그 I/O도 edge QEMU 경로에 포함된다.
|
||||
- Host Block Layer에 도달한 I/O는 게스트의 PostgreSQL에서 시작했든 호스트 프로세스에서 시작했든 호스트의 블록 요청으로 처리된다.
|
||||
- 여러 QEMU와 호스트 프로세스의 I/O는 같은 Host Block Layer를 거쳐 물리 NVMe로 전달된다. 초기 그림에는 Host Nginx가 따로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 그 I/O도 edge QEMU 경로에 포함된다.
|
||||
- 「실제 테스트 서버에서 확인할 확인할 항목」의 5번째 확인 항목에서는 확인 명령으로 lsblk 와 findmnt 를 들었다.
|
||||
- 「Storage 관측 명령어」의 호스트 관측 명령 목록에도 lsblk 가 들어 있다.
|
||||
- 「Host Block Layer」의 vm1.qcow2 와 /dev/nvme0n1 은 경로를 설명하려고 든 예시 이름이고 이 호스트에서 읽은 값이 아니다.
|
||||
@@ -59,7 +59,7 @@ source:
|
||||
- 확인만 한다. 마운트를 바꾸거나 이미지를 다른 장치로 옮기지 않는다. 배치를 바꾸면 지금 구성에서 무엇을 공유하는지 못 본다.
|
||||
- 「Host Block Layer」에서는 예로 든 이름을 이 호스트의 값으로 옮겨 적지 않는다. 출력에 나온 이름만 적는다.
|
||||
- 여기서 나온 장치 이름이 다음 두 물음의 입력이므로, 가상 머신마다 한 행으로 남기고 어느 이미지에서 나온 이름인지 함께 적는다.
|
||||
- 장치를 나눌지 말지는 이 물음이 정하지 않는다. 공유하고 있다는 사실과 그것이 지연을 실제로 밀어 올리는지는 다른 물음이 받는다.
|
||||
- 여기서는 세 VM이 같은 NVMe를 공유한다는 사실까지만 확인한다. 이 공유가 지연에 미치는 영향은 별도 부하 실험에서 측정한다.
|
||||
- VM의 `vda → qcow2` mapping과 `qcow2 → host block device` mapping은 서로 다른 계층이다. 앞쪽은 libvirt/QEMU 설정으로, 뒤쪽은 host mount와 block topology로 확인한다.
|
||||
|
||||
## 어떻게 따라 내려갔나
|
||||
|
||||
+1
-1
@@ -23,7 +23,7 @@ source:
|
||||
|
||||
# 이 호스트의 I/O Scheduler 는 무엇인가
|
||||
|
||||
이미지가 올라간 host 장치는 `nvme0n1`이고, 2026-09-21 `/sys/block/nvme0n1/queue/scheduler`의 현재 선택값은 **`none`**이다. 같은 출력에 `mq-deadline`, `kyber`, `bfq`가 선택지로 보였다.
|
||||
이미지가 올라간 host 장치는 `nvme0n1`이고, 2026-09-21 `/sys/block/nvme0n1/queue/scheduler`의 현재 선택값은 `none`이다. 같은 출력에 `mq-deadline`, `kyber`, `bfq`가 선택지로 보였다.
|
||||
|
||||
## 현재 nvme0n1 scheduler
|
||||
|
||||
|
||||
+1
-1
@@ -31,7 +31,7 @@ source:
|
||||
|
||||
- 2026-09-21 재검증에서 `kc-lab-1`·`kc-lab-2`·`kc-lab-edge`의 QEMU monitor `info block`을 읽었다. 주 qcow2 디스크 모두 `Cache mode: writeback`과 `Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1)`가 나왔고, domain XML의 `<driver>`에는 `cache=` 속성이 없었다.
|
||||
|
||||
「QEMU Cache Mode」에서는 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. 이름만 보고 none = cache 자체가 없음 · writeback = 무조건 위험으로 해석하면 부정확하다. 핵심은 QEMU 가 Host Page Cache 와 write completion/flush semantics 를 어떤 방식으로 사용할 것인가라고 적었다.
|
||||
「QEMU Cache Mode」에서는 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. `cache=none`은 캐시가 전혀 없다는 뜻이 아니고, `writeback`도 그 자체로 영속성 실패를 뜻하지 않는다. 각 모드는 QEMU가 Host Page Cache를 어떻게 사용하고 write completion과 flush를 어떻게 처리하는지에 차이가 있다.
|
||||
|
||||
「`cache=none`」에서는 cache=none 을 개념적으로 Host Page Cache 를 우회하는 방향의 I/O 구성으로 놓았다. 이중 caching 은 줄일 수 있지만, Host Page Cache 우회가 무조건 즉시 durable media 반영을 뜻하지는 않는다.
|
||||
|
||||
|
||||
+2
-2
@@ -43,13 +43,13 @@ source:
|
||||
|
||||
그 `virt-install` 세 줄은 게스트마다 디스크를 둘씩 붙인다. 하나는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 로 만든 오버레이이고, 다른 하나는 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 으로 붙인 시드 볼륨이다. 엣지만 `--disk size=10` 이다.
|
||||
|
||||
「VM 한 대의 디스크 구성」에서는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대가 그 바닥 하나를 공유한다.
|
||||
「VM 한 대의 디스크 구성」에서는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대의 overlay가 같은 `base.qcow2`를 backing image로 사용한다.
|
||||
|
||||
「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `ls -l /var/lib/libvirt/images/` 를 돌린 출력을 남겼고 거기에 `base.qcow2`, `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, 시드 ISO 둘이 파일로 보이므로 이 호스트의 백엔드는 「Host Block Device를 직접 backend로 사용 가능」에서는 가른 셋 가운데 파일 쪽이다.
|
||||
|
||||
「그래서 마이그레이션과 스냅샷이 된다」에서는 그 파일들이 게스트에 어떻게 붙는지를 한 줄로 적었다. 이 실험대의 게스트는 `vda`(qcow2 오버레이)와 `vdb`(raw 시드 ISO) 두 디스크다. 그래서 한 게스트 안에서도 Target 둘의 형식이 갈리고, 한 행만 읽고 백엔드를 정하면 나머지 한 행이 빠진다.
|
||||
|
||||
시드에 `bus=virtio` 가 붙은 이유는 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 확정된 함정으로 적어 두었다. `virt-install --cloud-init` 은 시드 ISO 를 SATA CD-ROM 으로 붙이는데 Debian `genericcloud` 변종에는 물리 하드웨어 드라이버가 빠져 있어 게스트가 그 장치를 보지 못하고, 오류 메시지는 어디에도 남지 않은 채 hostname 이 `localhost` 로 남는 것으로만 드러난다. 그래서 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 이 확인의 성공 판정을 시드 ISO 가 `sda` 가 아니라 `vdb` 로 보이는 것이라고 적었다. Target 이름 자체가 판정 대상이다.
|
||||
cloud-init 시드는 현재 `bus=virtio` 디스크로 연결돼 있고 게스트에서는 `vdb`로 보인다. 이 구성에서는 `cloud-init status --long`에 `DataSourceNoCloud [seed=/dev/vdb]`가 남아 실제로 시드를 읽은 것을 확인했다. 과거 `--cloud-init` 연결에서는 기대한 NoCloud 데이터소스를 확인하지 못했지만, 그 원인을 Debian genericcloud의 드라이버 구성으로 특정할 근거는 없다. 따라서 여기서는 현재 동작하는 `vdb` 연결만 확인된 사실로 사용한다.
|
||||
|
||||
2026-09-21에는 `virsh domblklist --details`와 live XML을 직접 읽어 Target·Source·format·backing chain을 현재 세 VM 기준으로 다시 확인했다.
|
||||
|
||||
|
||||
+6
-6
@@ -2,7 +2,7 @@
|
||||
id: ed64d4ff-aa01-48cc-ae68-6a683b025cde
|
||||
kind: QUESTION
|
||||
slug: vm1-storage-load-vs-vm2-latency
|
||||
title: VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가
|
||||
title: VM1의 스토리지 부하가 VM2의 지연에 영향을 주는가
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -22,11 +22,11 @@ source:
|
||||
- final/document.md#168-cpu가-정상이어도-storage-때문에-느릴-수-있다
|
||||
---
|
||||
|
||||
# VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가
|
||||
# VM1의 스토리지 부하가 VM2의 지연에 영향을 주는가
|
||||
|
||||
2026-09-21 VM1(`kc-lab-1`)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 `fdatasync`하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(`kc-lab-2`)에서 128회 `fsync()` microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. **현재 환경에서 한 VM의 storage 부하가 다른 VM의 durability latency를 실제로 밀어 올릴 수 있음을 확인했다.**
|
||||
2026-09-21 VM1(`kc-lab-1`)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 `fdatasync`하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(`kc-lab-2`)에서 128회 `fsync()` microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. 현재 환경에서는 VM1의 스토리지 부하와 겹친 구간에서 VM2의 `fsync()` 지연이 크게 증가했다.
|
||||
|
||||
## VM1 load가 VM2 fsync를 밀어 올린 결과
|
||||
## VM1 부하 구간에서 VM2 fsync 지연이 증가했다
|
||||
|
||||
- 2026-09-21 재검증에서 VM2 isolated fsync 평균은 반복 3회에서 `8.2397 / 8.2676 / 9.1264 ms`였다.
|
||||
- 2026-09-21 재검증에서 VM1 load는 64 MiB 파일을 10초 동안 20회 overwrite+fdatasync했다. 같은 시간 VM2 first run은 평균 `58.4576 ms`, p95 `314.0799 ms`, max `631.0144 ms`였다.
|
||||
@@ -45,7 +45,7 @@ Storage Contention : IOPS / bandwidth / queue / device 처리시간 경쟁
|
||||
|
||||
「Storage 관측 명령어」에서는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다.
|
||||
|
||||
실험의 핵심은 VM1의 별도 테스트 파일이나 디스크에 controlled I/O load를 만들고, 같은 시간에 VM2 latency와 host `iostat`을 보는 것이다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다.
|
||||
VM1에 controlled I/O load를 만들고 같은 시간에 VM2 latency와 host `iostat`을 기록했다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다.
|
||||
|
||||
2026-09-21 `findmnt`와 `lsblk`로 `/var/lib/libvirt/images/`가 `/dev/nvme0n1p3`의 ext4 루트 파일시스템에 있고, 상위 물리 장치가 `nvme0n1`임을 확인했다. 세 VM의 주 디스크가 같은 장치를 공유한다는 전제는 더 이상 가정이 아니다.
|
||||
|
||||
@@ -67,7 +67,7 @@ host와 guest clock은 실제로 약 90초 어긋나 있었다. 따라서 절대
|
||||
|
||||
## load 종료 뒤 회복한 값
|
||||
|
||||
이번 controlled load에서 VM1 storage pressure가 VM2 fsync latency를 크게 밀어 올리고, host storage latency/util도 같은 overlap 구간에서 상승하며, load 종료 직후 VM2 지연이 baseline 수준으로 회복하는 것까지 확인됐다.
|
||||
이번 controlled load에서는 VM1 부하 구간에 VM2 fsync latency와 host storage latency/util이 함께 증가했고, 부하가 끝난 뒤 VM2 지연이 baseline 수준으로 돌아왔다.
|
||||
|
||||
어느 IOPS/throughput 임계점부터 간섭이 시작되는지와 실제 Keycloak/PostgreSQL request latency가 얼마나 영향을 받는지는 별도 단계 부하 실험으로 남긴다.
|
||||
|
||||
|
||||
+4
-4
@@ -2,7 +2,7 @@
|
||||
id: decbab8d-9c98-45c6-b5b8-e6162e407299
|
||||
kind: REFERENCE
|
||||
slug: a-speedup-that-removed-durability-is-not-an-optimization
|
||||
title: 빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다
|
||||
title: 성능 개선 전후로 데이터 영속성 보장이 달라졌는지 확인한다
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -20,9 +20,9 @@ source:
|
||||
- final/document.md#174-핵심-claim
|
||||
---
|
||||
|
||||
# 빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다
|
||||
# 성능 개선 전후로 데이터 영속성 보장이 달라졌는지 확인한다
|
||||
|
||||
durability 는 전원이 나가도 데이터가 남아 있는 영속성을 말한다. 쓰기 지연이 줄면 그 변경은 성능 개선으로 기록되지만, 무엇을 더 이상 보장하지 않게 됐는지는 아무 데도 적히지 않는다. 개념 문서는 fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다고 적었다. 게스트가 요청한 FLUSH 에 완료로 응답했는데 데이터는 호스트 RAM 에만 있는 상태도 성능 문제가 아니라 correctness 문제로 놓았다. 이 기준은 빨라진 구성을 평가할 때 어느 단계가 빠졌는지를 먼저 적게 한다.
|
||||
데이터 영속성은 쓰기 지연과 별도로 확인한다. 예를 들어 `fsync()`를 제거해 응답 시간이 줄었다면 성능은 좋아질 수 있지만 전원 장애 후 데이터 보장은 달라진다. 가상 머신에서는 게스트의 flush 요청이 QEMU와 호스트 스토리지 계층을 거쳐 실제 저장장치까지 전달되는지도 함께 확인해야 한다.
|
||||
|
||||
## 빠름과 durability를 분리하는 이유
|
||||
|
||||
@@ -67,7 +67,7 @@ PostgreSQL 은 WAL 등의 durability protocol 을 사용하며 필요한 시점
|
||||
## 빨라도 제외해야 하는 구성
|
||||
|
||||
- 영속성을 실제로 포기해도 되는 데이터가 있다. 다시 만들 수 있는 캐시나 파생 파일이 그렇고, 그때는 빨라진 것이 정당한 선택이다. 이 기준이 요구하는 것은 포기를 막는 것이 아니라 무엇을 포기했는지 적게 하는 것이다.
|
||||
- cache=none 이나 Direct I/O 를 골랐다고 영속성이 확보되지도 않는다. 개념 문서는 Direct I/O 의 핵심이 페이지 캐시 우회이며 호스트 페이지 캐시를 우회하는 것이 즉시 durable media 반영을 뜻하지 않는다고 적었고, 그 뒤에 스토리지 컨트롤러나 장치가 휘발성 쓰기 캐시를 가질 수 있다고 덧붙였다.
|
||||
- `cache=none`이나 Direct I/O를 사용해도 영속성이 자동으로 보장되지는 않는다. Direct I/O는 페이지 캐시를 우회하지만, 그 사실만으로 데이터가 즉시 비휘발성 저장장치에 기록됐다고 볼 수는 없다. 스토리지 컨트롤러나 장치에도 휘발성 쓰기 캐시가 있을 수 있다.
|
||||
- 개념 문서는 실제 순서 보장과 영속성의 의미가 더 복잡하다고 밝혔다. 그래서 이 기준으로 특정 설정이 안전하다는 결론을 내지 않는다. 실제 운영에서는 장치의 flush 와 FUA semantics, power-loss protection 여부도 함께 본다.
|
||||
- 이 저장소에는 영속성을 실제로 재 본 실험이 없다. 여기 적은 것은 개념 문서가 서술한 구분이고 이 호스트에서 확인된 동작이 아니다.
|
||||
|
||||
|
||||
+5
-5
@@ -2,7 +2,7 @@
|
||||
id: 274c5636-33f6-4c19-a54b-d2a96af31289
|
||||
kind: REFERENCE
|
||||
slug: confirm-the-disk-backend-on-the-host
|
||||
title: Guest 안에서 본 disk 로 backend 를 단정하지 않는다
|
||||
title: 디스크 백엔드는 호스트에서 확인한다
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -19,9 +19,9 @@ source:
|
||||
- final/document.md#169-storage-관측-명령어
|
||||
---
|
||||
|
||||
# Guest 안에서 본 disk 로 backend 를 단정하지 않는다
|
||||
# 디스크 백엔드는 호스트에서 확인한다
|
||||
|
||||
백엔드는 게스트가 디스크로 쓰는 그 장치를 호스트 쪽에서 실제로 대 주는 것을 말한다. 게스트에 로그인해 lsblk 를 돌리면 /dev/vda 와 그 파티션이 나오고, 거기까지는 물리 머신과 같은 화면이다. 개념 문서는 그 이름이 호스트의 실제 SSD 를 뜻하지 않으며 아래에 qcow2 파일과 RAW 파일과 호스트 블록 장치 셋이 올 수 있다고 적었다. 이 기준은 용량과 성능과 영속성을 판단하기 전에 호스트 쪽에서 무엇에 붙어 있는지를 먼저 확정하게 한다.
|
||||
게스트의 `lsblk`에서 `/dev/vda`가 보이더라도 그것이 호스트의 물리 SSD를 직접 뜻하지는 않는다. QEMU 백엔드는 qcow2 파일, RAW 파일, 호스트 블록 장치가 될 수 있으므로 libvirt XML과 `qemu-img info`, 호스트 파일시스템을 함께 확인해 실제 연결을 찾는다.
|
||||
|
||||
## Guest의 vda만으로 부족한 이유
|
||||
|
||||
@@ -55,7 +55,7 @@ qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수
|
||||
|
||||
백엔드가 qcow2 파일이면 QEMU 는 결국 호스트 리눅스에 파일 입출력을 요청한다. 그 요청은 Host Filesystem 과 Host Block Layer 와 NVMe Driver 를 지나 Physical NVMe 로 내려간다. 게스트의 스토리지 스택 아래에 호스트의 스토리지 스택이 한 번 더 있으므로, 어느 파일시스템과 어느 블록 장치 위에 있는지를 lsblk 로 함께 적는다.
|
||||
|
||||
적을 파일이 하나가 아닐 수 있다. qemu-img info 출력에 backing file 줄이 있으면 그 파일은 오버레이이고, 자기가 들고 있지 않은 클러스터를 읽을 때마다 바닥 파일을 읽는다. 바닥까지 같은 항목으로 적어야 그 게스트가 실제로 읽는 파일이 모두 덮인다.
|
||||
확인해야 할 파일이 하나가 아닐 수 있다. `qemu-img info` 출력에 backing file이 있으면 해당 이미지는 오버레이이며, 오버레이에 없는 블록은 backing file에서 읽는다. 따라서 오버레이와 backing file을 함께 확인해야 게스트가 실제로 사용하는 이미지 체인을 알 수 있다.
|
||||
|
||||
## backend를 먼저 확인해야 하는 작업
|
||||
|
||||
@@ -68,7 +68,7 @@ qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수
|
||||
|
||||
- 백엔드가 호스트 블록 장치면 qcow2 쪽 확인은 걸리지 않는다. 가상 크기와 실제 할당량의 차이도, 매핑과 메타데이터 처리도 그 구성에는 없다.
|
||||
- 백엔드를 확정해도 성능은 예측되지 않는다. 개념 문서는 RAW 는 무조건 빠르고 qcow2 는 무조건 느리다는 식으로 일반화하지 말라고 못박고, 실제 성능은 캐시 모드, 스토리지 백엔드, 부하 패턴, 큐 깊이, 스냅숏 체인, 그 아래 파일시스템, 물리 장치에 영향을 받는다고 적었다. 이 기준은 무엇 위에서 재고 있는지까지만 확정한다.
|
||||
- 2026-09-21에는 이 절차의 host-side 핵심 연결을 실제로 확인했다. VM별 `vda → qcow2 overlay`, overlay → `base.qcow2`, image directory → `/dev/nvme0n1p3` ext4 → `nvme0n1` 순서가 이어진다. `qemu-img info --force-share`, `du`, `ls`도 base와 세 overlay 모두에 실행해 virtual size와 실제 host allocation 차이를 확인했다.
|
||||
- 2026-09-21에는 이 절차의 host-side 연결을 실제로 확인했다. VM별 `vda → qcow2 overlay`, overlay → `base.qcow2`, image directory → `/dev/nvme0n1p3` ext4 → `nvme0n1` 순서가 이어진다. `qemu-img info --force-share`, `du`, `ls`도 base와 세 overlay 모두에 실행해 virtual size와 실제 host allocation 차이를 확인했다.
|
||||
- 이 확인으로 backend 구조는 확정되지만 성능까지 예측되지는 않는다. cache mode·scheduler·workload·queue depth·다른 VM의 load는 별도 조건으로 봐야 한다.
|
||||
|
||||
## 현재 host에서 확인한 mapping
|
||||
|
||||
+4
-4
@@ -2,7 +2,7 @@
|
||||
id: b1cda8c4-d31d-4ae4-a4d9-4103a0ab3109
|
||||
kind: REFERENCE
|
||||
slug: read-storage-before-blaming-cpu-for-latency
|
||||
title: 지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다
|
||||
title: 지연 분석에서는 CPU와 스토리지를 함께 측정한다
|
||||
topic: storage-virtualization
|
||||
topicName: 스토리지 가상화
|
||||
project: virtualization
|
||||
@@ -17,9 +17,9 @@ source:
|
||||
- final/document.md#177-최종-요약
|
||||
---
|
||||
|
||||
# 지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다
|
||||
# 지연 분석에서는 CPU와 스토리지를 함께 측정한다
|
||||
|
||||
요청이 느린데 CPU 사용률이 낮으면 CPU 는 원인이 아니라고 읽고 다음 후보로 넘어가기 쉬운데, 그 사이에 스토리지 대기는 어느 지표에도 나타나지 않는다. 개념 문서는 애플리케이션이 스토리지 완료를 기다리는 동안 CPU 사용률이 높지 않을 수 있다고 적고 CPU 30% 인데 요청 지연 2초인 조합을 들었다. 이 기준은 자원을 CPU 와 스토리지로 가르는 순서와, 그때 같은 시간축에 무엇을 남길지를 고정한다.
|
||||
CPU 사용률이 낮아도 애플리케이션은 스토리지 I/O 완료를 기다리고 있을 수 있다. 지연 원인을 확인할 때는 CPU 사용률만 보지 않고 게스트의 `fsync()` 지연과 호스트 `iostat`의 await·util 같은 스토리지 지표를 같은 시간 구간에 기록한다.
|
||||
|
||||
## CPU가 낮다고 storage가 정상인 것은 아니다
|
||||
|
||||
@@ -76,7 +76,7 @@ Host : virsh domblklist <VM_NAME> · qemu-img info 에 disk image 경로 · lsbl
|
||||
|
||||
- 이 기준은 어느 자원인지를 좁힐 뿐 원인을 확정하지 않는다. 스토리지 지표가 깨끗하게 나와도 CPU 쪽을 배제하려면 vCPU 경쟁과 steal time 을 따로 본다. 그것은 CPU 가상화 쪽 기준이 받는다.
|
||||
- iostat -xz 1 이 보여 주는 device utilization 성격의 지표는 NVMe 처럼 병렬성이 큰 장치에서 포화도로 그대로 읽히지 않는다. 개념 문서가 NVMe 는 높은 병렬성과 큐 깊이를 지원한다고 적었다. 이 저장소의 실측 기록은 이 호스트의 루트를 /dev/nvme0n1p3 로 적었고 게스트 이미지가 전부 그 아래에 모여 있다고 적었으므로, 이 예외는 이 환경에 그대로 걸린다.
|
||||
- 호스트에서 잰 값은 어느 가상 머신의 입출력인지 갈라 주지 않는다. 개념 문서는 Host Block Layer 가 그 입출력을 가상 머신 안의 프로세스가 시작했는지 호스트 프로세스가 시작했는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 가상 머신별로 가르려면 iotop 이나 게스트 쪽 관측을 같은 시각에 함께 찍는다.
|
||||
- 호스트 블록 지표만으로는 어느 가상 머신에서 시작한 I/O인지 구분하기 어렵다. Host Block Layer에 도달한 요청은 게스트 프로세스에서 시작했든 호스트 프로세스에서 시작했든 호스트의 블록 I/O로 처리된다. 가상 머신별 영향을 구분하려면 `iotop`이나 게스트 지표를 같은 시간에 함께 기록한다.
|
||||
- static storage path와 runtime cache/scheduler는 실제 host에서 확인됐다. 2026-09-21에는 cross-VM storage contention도 baseline·load·recovery 구간으로 나눠 측정했다. VM1에서 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 `w_await`·`%util`·iowait가 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 환경에서는 같은 NVMe를 공유하는 다른 VM의 storage load가 guest latency와 함께 악화되는 경로를 실제로 확인했다.
|
||||
|
||||
## 현재 host에서 확인한 조건
|
||||
|
||||
Reference in New Issue
Block a user