107 lines
8.9 KiB
Markdown
107 lines
8.9 KiB
Markdown
---
|
|
id: ecaaa37d-7b33-4cbf-9bc5-4c6caad14ee5
|
|
kind: CONCEPT
|
|
slug: host-block-stack-under-the-vm
|
|
title: 가상 머신 디스크 아래의 호스트 블록 I/O 계층
|
|
topic: storage-virtualization
|
|
topicName: 스토리지 가상화
|
|
project: virtualization
|
|
status: 초안
|
|
basisVersion: 현대 Linux 의 blk-mq 기반 block layer 와 NVMe driver · scheduler 는 none · mq-deadline · bfq 기준
|
|
studio: "https://hyeonworks.com/studio/documents/ecaaa37d-7b33-4cbf-9bc5-4c6caad14ee5/edit"
|
|
assets:
|
|
- key: vms-sharing-one-nvme
|
|
file: ../../../final/assets/diagrams/vms-sharing-one-nvme/vms-sharing-one-nvme.svg
|
|
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
|
source:
|
|
- final/document.md#158-host-block-layer
|
|
- final/document.md#159-여러-vm이-하나의-nvme를-공유하면
|
|
- final/document.md#160-blk-mq-multi-queue-block-layer
|
|
- final/document.md#161-i-o-scheduler
|
|
- final/document.md#162-none
|
|
- final/document.md#163-실제-i-o-scheduler-확인
|
|
- final/document.md#164-nvme-driver와-physical-device
|
|
- final/document.md#165-nvme와-ssd-구분
|
|
- final/document.md#167-storage-contention
|
|
- final/document.md#141-qemu가-물리-ssd를-직접-제어하는-것은-아니다
|
|
- final/document.md#172-storage-virtualization-canonical-flow
|
|
---
|
|
|
|
# 가상 머신 디스크 아래의 호스트 블록 I/O 계층
|
|
|
|
게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 여러 QEMU 프로세스와 host의 SSH·관측·파일 작업 같은 I/O를 같은 아래쪽 장치로 받는다. 이 요청은 `blk-mq`와 I/O 스케줄러를 지나 NVMe로 전달된다. Keycloak 지연을 분석할 때 이 경로를 CPU 스케줄링과 분리해서 보면 CPU 사용률이 낮은데도 스토리지 대기 때문에 응답이 느려지는 경우를 구분할 수 있다.
|
|
|
|
|
|
<!-- body:start -->
|
|
|
|
## 게스트 디스크 파일이 호스트 블록 요청이 되는 곳
|
|
|
|
백엔드가 `qcow2` 파일이면 QEMU 가 물리 SSD 를 직접 제어하지 않는다. QEMU 는 `pread` 나 `pwrite` 같은 호출로 호스트 커널에 파일 I/O 를 요청하고, 그 요청이 호스트 파일시스템과 호스트 블록 계층, NVMe 드라이버를 지나 물리 NVMe 에 닿는다. 게스트 스토리지 계층 아래에 호스트 스토리지 계층이 한 번 더 존재할 수 있다.
|
|
|
|
호스트 블록 계층은 요청이 게스트의 PostgreSQL에서 시작했는지 호스트 프로세스에서 시작했는지를 기준으로 별도 처리하지 않는다. 이 계층에 도달한 요청은 모두 호스트의 블록 I/O로 처리된다.
|
|
|
|
| 호스트 쪽 어느 계층인가 | 여기서 무엇이 일어나나 |
|
|
|---|---|
|
|
| 호스트 파일시스템 | `qcow2` 나 RAW 파일을 읽고 쓰는 일이 파일 I/O 로 처리된다 |
|
|
| 호스트 블록 계층 | 어디서 왔는지 구분하지 않고 모두 블록 요청으로 다룬다 |
|
|
| `blk-mq` | CPU 마다 큐를 두어 여러 CPU 가 병렬로 블록 I/O 를 처리한다 |
|
|
| I/O 스케줄러 | 들어온 순서 그대로가 아니라 정책에 따라 장치로 내보낸다 |
|
|
| NVMe 드라이버 | 호스트 커널의 장치 드라이버로서 NVMe 컨트롤러에 요청을 보낸다 |
|
|
| NVMe 컨트롤러 | PCIe 를 통해 요청을 받아 플래시에 반영한다 |
|
|
|
|
## 한 NVMe 로 여러 곳의 요청이 들어온다
|
|
|
|
가상 머신들의 QEMU 프로세스와 호스트의 다른 프로세스에서 동시에 I/O가 들어올 수 있다. VM1 이 X 를 쓰고 Y 를 읽고 Z 를 쓰는 동안 VM2 는 A 를 읽고 B 를 쓰고, 호스트 프로세스는 C 를 읽는 식이다. 이 요청들은 호스트 블록 계층의 큐에서 관리되다가 장치로 나간다.
|
|
|
|
이 그림의 `Nginx`는 현재 실험대의 배치를 뜻하지 않는다. 원래 개념 문서가 host process의 한 예로 둔 이름이다. 현재 Nginx는 Edge VM 안에 있으므로 실제 I/O 경로에서는 edge QEMU 쪽으로 들어온다.
|
|
|
|

|
|
|
|
## `blk-mq` 는 CPU 마다 큐를 둔다
|
|
|
|
현대 Linux 의 블록 계층은 `blk-mq` 로 되어 있다. CPU0 부터 CPU3 까지 각 CPU 가 자기 큐를 가지고 그 큐들이 NVMe 로 이어진다. NVMe 가 높은 병렬성과 큐 깊이를 지원하기 때문에 여러 CPU 가 병렬로 블록 I/O 를 처리할 수 있는 구조가 중요해진다. 그래서 스토리지 처리 성능은 CPU 스케줄링과 완전히 분리되지 않는다.
|
|
|
|
## I/O 스케줄러는 들어온 순서 그대로 내보내지 않는다
|
|
|
|
여러 I/O 요청이 있어도 항상 들어온 순서 그대로 장치에 전달되지는 않는다. 요청은 I/O 스케줄러를 지나 장치 드라이버로 나간다. 스케줄러마다 목적과 내보내는 정책이 다르다. 대표적으로 볼 수 있는 값은 `none` 과 `mq-deadline` 과 `bfq` 다.
|
|
|
|
`none` 을 고르면 복잡한 스케줄링 정책을 최소화해서 비교적 직접 장치 쪽으로 내보낸다. NVMe 처럼 장치 자체가 강한 병렬성과 큐 기능을 가진 경우에는 이런 단순한 정책이 적합할 수 있다. `none` 을 골랐다고 블록 계층이 아무 일도 하지 않는 것은 아니다.
|
|
|
|
지금 선택된 스케줄러는 `sysfs` 에서 읽는다.
|
|
|
|
```bash label="호스트의 현재 I/O Scheduler"
|
|
cat /sys/block/nvme0n1/queue/scheduler
|
|
```
|
|
|
|
출력이 `[none] mq-deadline` 이면 대괄호 안의 `none` 이 지금 선택된 스케줄러다. SATA 나 SCSI 장치라면 `cat /sys/block/sda/queue/scheduler` 처럼 장치 이름을 바꿔 읽는다.
|
|
|
|
2026-09-21 재검증에서 이미지가 놓인 상위 장치는 `nvme0n1`로 확인됐고, `/sys/block/nvme0n1/queue/scheduler`는 `[none] mq-deadline kyber bfq`를 냈다. 현재 선택값은 `none`이다. 같은 장치의 `rotational`은 `0`이었다.
|
|
|
|
## NVMe 드라이버는 호스트 커널의 장치 드라이버다
|
|
|
|
호스트 블록 계층에서 I/O 스케줄러를 지난 요청은 NVMe 드라이버로 가고, NVMe 컨트롤러를 거쳐 물리 저장장치에 닿는다. NVMe 드라이버는 호스트 Linux 커널의 장치 드라이버다. 네트워크에서 물리 NIC 드라이버가 하드웨어를 제어하는 것과 같은 계층에 놓인다.
|
|
|
|
이름이 비슷해 섞이는 두 낱말도 여기서 갈린다. SSD 는 저장장치의 넓은 종류를 가리키고, NVMe 는 PCIe 기반 비휘발성 저장장치를 위한 프로토콜이자 인터페이스다. SSD 아래에서 SATA SSD 는 SATA 와 AHCI 를 쓰고, NVMe SSD 는 PCIe 와 NVMe 를 쓴다. NVMe SSD 에서는 Linux NVMe 드라이버가 PCIe 를 통해 NVMe 컨트롤러에 요청을 보낸다. 컨트롤러는 플래시를 다룬다.
|
|
|
|
## 스토리지 경쟁과 CPU 경쟁은 다투는 자원이 다르다
|
|
|
|
여러 가상 머신이 같은 물리 NVMe 를 쓰면 스토리지 자원 경쟁이 생길 수 있다. VM1 의 PostgreSQL 과 VM2 의 Keycloak 이 요청한 I/O 는 같은 호스트 블록 계층과 같은 I/O 큐를 지나 하나의 NVMe 로 간다. 그래서 VM1 에서 대량 I/O 가 발생하면 VM2 의 스토리지 지연이 올라갈 수 있다. 이렇게 벌어지는 경쟁을 스토리지 경쟁(Storage Contention)이라고 한다.
|
|
|
|
```text label="두 경쟁이 다투는 자원"
|
|
CPU Contention
|
|
→ Host logical CPU 실행 시간 경쟁
|
|
|
|
Storage Contention
|
|
→ IOPS / bandwidth / queue / device 처리시간 경쟁
|
|
```
|
|
|
|
CPU 경쟁은 호스트 논리 CPU 의 실행 시간을 두고 벌어지고, 스토리지 경쟁은 IOPS 와 대역폭, 큐, 장치 처리시간을 두고 벌어진다. 애플리케이션에서는 둘 다 「느리다」로 관찰되지만 다투는 자원이 달라서 따로 잰다.
|
|
|
|
## 이 호스트에서 확인한 공유 스토리지와 contention
|
|
|
|
2026-09-21 `findmnt`와 `lsblk`로 base와 세 overlay가 모두 `/dev/nvme0n1p3`의 ext4 루트 파일시스템 위에 있고, 상위 물리 장치가 `SAMSUNG MZVLQ256HAJD-00000` NVMe `nvme0n1`임을 확인했다. 현재 scheduler는 `none`이다. 따라서 세 VM의 주 디스크 I/O가 같은 host block stack과 같은 물리 NVMe를 공유한다는 점은 실제 구성으로 확인됐다.
|
|
|
|
2026-09-21에는 contention도 baseline·load·recovery로 나눠 직접 재현했다. VM1에 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 대기 시간이 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 실행에서는 공유 NVMe의 load와 다른 VM의 지연이 함께 악화되는 경로를 확인했다.
|
|
|
|
<!-- body:end -->
|