refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 16:24:58 +09:00
parent 1549e62b5e
commit f3bed70991
158 changed files with 4381 additions and 832 deletions
@@ -2,7 +2,7 @@
id: decbab8d-9c98-45c6-b5b8-e6162e407299
kind: REFERENCE
slug: a-speedup-that-removed-durability-is-not-an-optimization
title: 빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다
title: 성능 개선 전후로 데이터 영속성 보장이 달라졌는지 확인한다
topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
@@ -20,9 +20,9 @@ source:
- final/document.md#174-핵심-claim
---
# 빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다
# 성능 개선 전후로 데이터 영속성 보장이 달라졌는지 확인한다
durability 는 전원이 나가도 데이터가 남아 있는 영속성을 말한다. 쓰기 지연이 줄면 그 변경은 성능 개선으로 기록되지만, 무엇을 더 이상 보장하지 않게 됐는지는 아무 데도 적히지 않는다. 개념 문서는 fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다고 적었다. 게스트가 요청한 FLUSH 에 완료로 응답했는데 데이터는 호스트 RAM 에만 있는 상태도 성능 문제가 아니라 correctness 문제로 놓았다. 이 기준은 빨라진 구성을 평가할 때 어느 단계가 빠졌는지를 먼저 적게 한다.
데이터 영속성은 쓰기 지연과 별도로 확인한다. 예를 들어 `fsync()`를 제거해 응답 시간이 줄었다면 성능은 좋아질 수 있지만 전원 장애 후 데이터 보장은 달라진다. 가상 머신에서는 게스트의 flush 요청이 QEMU와 호스트 스토리지 계층을 거쳐 실제 저장장치까지 전달되는지도 함께 확인해야 한다.
## 빠름과 durability를 분리하는 이유
@@ -67,7 +67,7 @@ PostgreSQL 은 WAL 등의 durability protocol 을 사용하며 필요한 시점
## 빨라도 제외해야 하는 구성
- 영속성을 실제로 포기해도 되는 데이터가 있다. 다시 만들 수 있는 캐시나 파생 파일이 그렇고, 그때는 빨라진 것이 정당한 선택이다. 이 기준이 요구하는 것은 포기를 막는 것이 아니라 무엇을 포기했는지 적게 하는 것이다.
- cache=none 이나 Direct I/O 를 골랐다고 영속성이 확보되지도 않는다. 개념 문서는 Direct I/O 의 핵심이 페이지 캐시 우회이며 호스트 페이지 캐시를 우회하는 것이 즉시 durable media 반영을 뜻하지 않는다고 적었고, 그 뒤에 스토리지 컨트롤러나 장치가 휘발성 쓰기 캐시를 가질 수 있다고 덧붙였다.
- `cache=none`이나 Direct I/O를 사용해도 영속성이 자동으로 보장되지는 않는다. Direct I/O는 페이지 캐시를 우회하지만, 그 사실만으로 데이터가 즉시 비휘발성 저장장치에 기록됐다고 볼 수는 없다. 스토리지 컨트롤러나 장치에도 휘발성 쓰기 캐시가 있을 수 있다.
- 개념 문서는 실제 순서 보장과 영속성의 의미가 더 복잡하다고 밝혔다. 그래서 이 기준으로 특정 설정이 안전하다는 결론을 내지 않는다. 실제 운영에서는 장치의 flush 와 FUA semantics, power-loss protection 여부도 함께 본다.
- 이 저장소에는 영속성을 실제로 재 본 실험이 없다. 여기 적은 것은 개념 문서가 서술한 구분이고 이 호스트에서 확인된 동작이 아니다.
@@ -2,7 +2,7 @@
id: 274c5636-33f6-4c19-a54b-d2a96af31289
kind: REFERENCE
slug: confirm-the-disk-backend-on-the-host
title: Guest 안에서 본 disk 로 backend 를 단정하지 않는다
title: 디스크 백엔드는 호스트에서 확인한다
topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
@@ -19,9 +19,9 @@ source:
- final/document.md#169-storage-관측-명령어
---
# Guest 안에서 본 disk 로 backend 를 단정하지 않는다
# 디스크 백엔드는 호스트에서 확인한다
백엔드는 게스트가 디스크로 쓰는 그 장치를 호스트 쪽에서 실제로 대 주는 것을 말한다. 게스트에 로그인해 lsblk 를 돌리면 /dev/vda 와 그 파티션이 나오고, 거기까지는 물리 머신과 같은 화면이다. 개념 문서는 그 이름이 호스트의 실제 SSD 를 뜻하지 않으며 아래에 qcow2 파일과 RAW 파일과 호스트 블록 장치 셋이 올 수 있다고 적었다. 이 기준은 용량과 성능과 영속성을 판단하기 전에 호스트 쪽에서 무엇에 붙어 있는지를 먼저 확정하게 한다.
게스트의 `lsblk`에서 `/dev/vda`가 보이더라도 그것이 호스트의 물리 SSD를 직접 뜻하지는 않는다. QEMU 백엔드는 qcow2 파일, RAW 파일, 호스트 블록 장치가 될 수 있으므로 libvirt XML과 `qemu-img info`, 호스트 파일시스템을 함께 확인해 실제 연결을 찾는다.
## Guest의 vda만으로 부족한 이유
@@ -55,7 +55,7 @@ qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수
백엔드가 qcow2 파일이면 QEMU 는 결국 호스트 리눅스에 파일 입출력을 요청한다. 그 요청은 Host Filesystem 과 Host Block Layer 와 NVMe Driver 를 지나 Physical NVMe 로 내려간다. 게스트의 스토리지 스택 아래에 호스트의 스토리지 스택이 한 번 더 있으므로, 어느 파일시스템과 어느 블록 장치 위에 있는지를 lsblk 로 함께 적는다.
적을 파일이 하나가 아닐 수 있다. qemu-img info 출력에 backing file 줄이 있으면 그 파일은 오버레이이고, 자기가 들고 있지 않은 클러스터를 읽을 때마다 바닥 파일을 읽는다. 바닥까지 같은 항목으로 적어야 그 게스트가 실제로 읽는 파일이 모두 덮인다.
확인해야 할 파일이 하나가 아닐 수 있다. `qemu-img info` 출력에 backing file이 있으면 해당 이미지는 오버레이이며, 오버레이에 없는 블록은 backing file에서 읽는다. 따라서 오버레이와 backing file을 함께 확인해야 게스트가 실제로 사용하는 이미지 체인을 알 수 있다.
## backend를 먼저 확인해야 하는 작업
@@ -68,7 +68,7 @@ qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수
- 백엔드가 호스트 블록 장치면 qcow2 쪽 확인은 걸리지 않는다. 가상 크기와 실제 할당량의 차이도, 매핑과 메타데이터 처리도 그 구성에는 없다.
- 백엔드를 확정해도 성능은 예측되지 않는다. 개념 문서는 RAW 는 무조건 빠르고 qcow2 는 무조건 느리다는 식으로 일반화하지 말라고 못박고, 실제 성능은 캐시 모드, 스토리지 백엔드, 부하 패턴, 큐 깊이, 스냅숏 체인, 그 아래 파일시스템, 물리 장치에 영향을 받는다고 적었다. 이 기준은 무엇 위에서 재고 있는지까지만 확정한다.
- 2026-09-21에는 이 절차의 host-side 핵심 연결을 실제로 확인했다. VM별 `vda → qcow2 overlay`, overlay → `base.qcow2`, image directory → `/dev/nvme0n1p3` ext4 → `nvme0n1` 순서가 이어진다. `qemu-img info --force-share`, `du`, `ls`도 base와 세 overlay 모두에 실행해 virtual size와 실제 host allocation 차이를 확인했다.
- 2026-09-21에는 이 절차의 host-side 연결을 실제로 확인했다. VM별 `vda → qcow2 overlay`, overlay → `base.qcow2`, image directory → `/dev/nvme0n1p3` ext4 → `nvme0n1` 순서가 이어진다. `qemu-img info --force-share`, `du`, `ls`도 base와 세 overlay 모두에 실행해 virtual size와 실제 host allocation 차이를 확인했다.
- 이 확인으로 backend 구조는 확정되지만 성능까지 예측되지는 않는다. cache mode·scheduler·workload·queue depth·다른 VM의 load는 별도 조건으로 봐야 한다.
## 현재 host에서 확인한 mapping
@@ -2,7 +2,7 @@
id: b1cda8c4-d31d-4ae4-a4d9-4103a0ab3109
kind: REFERENCE
slug: read-storage-before-blaming-cpu-for-latency
title: 지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다
title: 지연 분석에서는 CPU와 스토리지를 함께 측정한다
topic: storage-virtualization
topicName: 스토리지 가상화
project: virtualization
@@ -17,9 +17,9 @@ source:
- final/document.md#177-최종-요약
---
# 지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다
# 지연 분석에서는 CPU와 스토리지를 함께 측정한다
요청이 느린데 CPU 사용률이 낮으면 CPU 는 원인이 아니라고 읽고 다음 후보로 넘어가기 쉬운데, 그 사이에 스토리지 대기는 어느 지표에도 나타나지 않는다. 개념 문서는 애플리케이션이 스토리지 완료를 기다리는 동안 CPU 사용률이 높지 않을 수 있다고 적고 CPU 30% 인데 요청 지연 2초인 조합을 들었다. 이 기준은 자원을 CPU 와 스토리지로 가르는 순서와, 그때 같은 시간축에 무엇을 남길지를 고정한다.
CPU 사용률이 낮아도 애플리케이션은 스토리지 I/O 완료를 기다리고 있을 수 있다. 지연 원인을 확인할 때는 CPU 사용률만 보지 않고 게스트의 `fsync()` 지연과 호스트 `iostat`의 await·util 같은 스토리지 지표를 같은 시간 구간에 기록한다.
## CPU가 낮다고 storage가 정상인 것은 아니다
@@ -76,7 +76,7 @@ Host : virsh domblklist <VM_NAME> · qemu-img info 에 disk image 경로 · lsbl
- 이 기준은 어느 자원인지를 좁힐 뿐 원인을 확정하지 않는다. 스토리지 지표가 깨끗하게 나와도 CPU 쪽을 배제하려면 vCPU 경쟁과 steal time 을 따로 본다. 그것은 CPU 가상화 쪽 기준이 받는다.
- iostat -xz 1 이 보여 주는 device utilization 성격의 지표는 NVMe 처럼 병렬성이 큰 장치에서 포화도로 그대로 읽히지 않는다. 개념 문서가 NVMe 는 높은 병렬성과 큐 깊이를 지원한다고 적었다. 이 저장소의 실측 기록은 이 호스트의 루트를 /dev/nvme0n1p3 로 적었고 게스트 이미지가 전부 그 아래에 모여 있다고 적었으므로, 이 예외는 이 환경에 그대로 걸린다.
- 호스트에서 잰 값은 어느 가상 머신의 입출력인지 갈라 주지 않는다. 개념 문서는 Host Block Layer 가 그 입출력을 가상 머신 안의 프로세스가 시작했는지 호스트 프로세스가 시작했는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 가상 머신별로 가르려면 iotop 이나 게스트 쪽 관측을 같은 시각에 함께 찍는다.
- 호스트 블록 지표만으로는 어느 가상 머신에서 시작한 I/O인지 구분하기 어렵다. Host Block Layer에 도달한 요청은 게스트 프로세스에서 시작했든 호스트 프로세스에서 시작했든 호스트의 블록 I/O로 처리된다. 가상 머신별 영향을 구분하려면 `iotop`이나 게스트 지표를 같은 시간에 함께 기록한다.
- static storage path와 runtime cache/scheduler는 실제 host에서 확인됐다. 2026-09-21에는 cross-VM storage contention도 baseline·load·recovery 구간으로 나눠 측정했다. VM1에서 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 `w_await`·`%util`·iowait가 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 환경에서는 같은 NVMe를 공유하는 다른 VM의 storage load가 guest latency와 함께 악화되는 경로를 실제로 확인했다.
## 현재 host에서 확인한 조건