8.9 KiB
id, kind, slug, title, topic, topicName, project, status, basisVersion, studio, assets, sourceRevision, source
| id | kind | slug | title | topic | topicName | project | status | basisVersion | studio | assets | sourceRevision | source | ||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ecaaa37d-7b33-4cbf-9bc5-4c6caad14ee5 | CONCEPT | host-block-stack-under-the-vm | 가상 머신 디스크 아래의 호스트 블록 I/O 계층 | storage-virtualization | 스토리지 가상화 | virtualization | 초안 | 현대 Linux 의 blk-mq 기반 block layer 와 NVMe driver · scheduler 는 none · mq-deadline · bfq 기준 | https://hyeonworks.com/studio/documents/ecaaa37d-7b33-4cbf-9bc5-4c6caad14ee5/edit |
|
no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 |
|
가상 머신 디스크 아래의 호스트 블록 I/O 계층
게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 여러 QEMU 프로세스와 host의 SSH·관측·파일 작업 같은 I/O를 같은 아래쪽 장치로 받는다. 이 요청은 blk-mq와 I/O 스케줄러를 지나 NVMe로 전달된다. Keycloak 지연을 분석할 때 이 경로를 CPU 스케줄링과 분리해서 보면 CPU 사용률이 낮은데도 스토리지 대기 때문에 응답이 느려지는 경우를 구분할 수 있다.
게스트 디스크 파일이 호스트 블록 요청이 되는 곳
백엔드가 qcow2 파일이면 QEMU 가 물리 SSD 를 직접 제어하지 않는다. QEMU 는 pread 나 pwrite 같은 호출로 호스트 커널에 파일 I/O 를 요청하고, 그 요청이 호스트 파일시스템과 호스트 블록 계층, NVMe 드라이버를 지나 물리 NVMe 에 닿는다. 게스트 스토리지 계층 아래에 호스트 스토리지 계층이 한 번 더 존재할 수 있다.
호스트 블록 계층은 요청이 게스트의 PostgreSQL에서 시작했는지 호스트 프로세스에서 시작했는지를 기준으로 별도 처리하지 않는다. 이 계층에 도달한 요청은 모두 호스트의 블록 I/O로 처리된다.
| 호스트 쪽 어느 계층인가 | 여기서 무엇이 일어나나 |
|---|---|
| 호스트 파일시스템 | qcow2 나 RAW 파일을 읽고 쓰는 일이 파일 I/O 로 처리된다 |
| 호스트 블록 계층 | 어디서 왔는지 구분하지 않고 모두 블록 요청으로 다룬다 |
blk-mq |
CPU 마다 큐를 두어 여러 CPU 가 병렬로 블록 I/O 를 처리한다 |
| I/O 스케줄러 | 들어온 순서 그대로가 아니라 정책에 따라 장치로 내보낸다 |
| NVMe 드라이버 | 호스트 커널의 장치 드라이버로서 NVMe 컨트롤러에 요청을 보낸다 |
| NVMe 컨트롤러 | PCIe 를 통해 요청을 받아 플래시에 반영한다 |
한 NVMe 로 여러 곳의 요청이 들어온다
가상 머신들의 QEMU 프로세스와 호스트의 다른 프로세스에서 동시에 I/O가 들어올 수 있다. VM1 이 X 를 쓰고 Y 를 읽고 Z 를 쓰는 동안 VM2 는 A 를 읽고 B 를 쓰고, 호스트 프로세스는 C 를 읽는 식이다. 이 요청들은 호스트 블록 계층의 큐에서 관리되다가 장치로 나간다.
이 그림의 Nginx는 현재 실험대의 배치를 뜻하지 않는다. 원래 개념 문서가 host process의 한 예로 둔 이름이다. 현재 Nginx는 Edge VM 안에 있으므로 실제 I/O 경로에서는 edge QEMU 쪽으로 들어온다.
blk-mq 는 CPU 마다 큐를 둔다
현대 Linux 의 블록 계층은 blk-mq 로 되어 있다. CPU0 부터 CPU3 까지 각 CPU 가 자기 큐를 가지고 그 큐들이 NVMe 로 이어진다. NVMe 가 높은 병렬성과 큐 깊이를 지원하기 때문에 여러 CPU 가 병렬로 블록 I/O 를 처리할 수 있는 구조가 중요해진다. 그래서 스토리지 처리 성능은 CPU 스케줄링과 완전히 분리되지 않는다.
I/O 스케줄러는 들어온 순서 그대로 내보내지 않는다
여러 I/O 요청이 있어도 항상 들어온 순서 그대로 장치에 전달되지는 않는다. 요청은 I/O 스케줄러를 지나 장치 드라이버로 나간다. 스케줄러마다 목적과 내보내는 정책이 다르다. 대표적으로 볼 수 있는 값은 none 과 mq-deadline 과 bfq 다.
none 을 고르면 복잡한 스케줄링 정책을 최소화해서 비교적 직접 장치 쪽으로 내보낸다. NVMe 처럼 장치 자체가 강한 병렬성과 큐 기능을 가진 경우에는 이런 단순한 정책이 적합할 수 있다. none 을 골랐다고 블록 계층이 아무 일도 하지 않는 것은 아니다.
지금 선택된 스케줄러는 sysfs 에서 읽는다.
cat /sys/block/nvme0n1/queue/scheduler
출력이 [none] mq-deadline 이면 대괄호 안의 none 이 지금 선택된 스케줄러다. SATA 나 SCSI 장치라면 cat /sys/block/sda/queue/scheduler 처럼 장치 이름을 바꿔 읽는다.
2026-09-21 재검증에서 이미지가 놓인 상위 장치는 nvme0n1로 확인됐고, /sys/block/nvme0n1/queue/scheduler는 [none] mq-deadline kyber bfq를 냈다. 현재 선택값은 none이다. 같은 장치의 rotational은 0이었다.
NVMe 드라이버는 호스트 커널의 장치 드라이버다
호스트 블록 계층에서 I/O 스케줄러를 지난 요청은 NVMe 드라이버로 가고, NVMe 컨트롤러를 거쳐 물리 저장장치에 닿는다. NVMe 드라이버는 호스트 Linux 커널의 장치 드라이버다. 네트워크에서 물리 NIC 드라이버가 하드웨어를 제어하는 것과 같은 계층에 놓인다.
이름이 비슷해 섞이는 두 낱말도 여기서 갈린다. SSD 는 저장장치의 넓은 종류를 가리키고, NVMe 는 PCIe 기반 비휘발성 저장장치를 위한 프로토콜이자 인터페이스다. SSD 아래에서 SATA SSD 는 SATA 와 AHCI 를 쓰고, NVMe SSD 는 PCIe 와 NVMe 를 쓴다. NVMe SSD 에서는 Linux NVMe 드라이버가 PCIe 를 통해 NVMe 컨트롤러에 요청을 보낸다. 컨트롤러는 플래시를 다룬다.
스토리지 경쟁과 CPU 경쟁은 다투는 자원이 다르다
여러 가상 머신이 같은 물리 NVMe 를 쓰면 스토리지 자원 경쟁이 생길 수 있다. VM1 의 PostgreSQL 과 VM2 의 Keycloak 이 요청한 I/O 는 같은 호스트 블록 계층과 같은 I/O 큐를 지나 하나의 NVMe 로 간다. 그래서 VM1 에서 대량 I/O 가 발생하면 VM2 의 스토리지 지연이 올라갈 수 있다. 이렇게 벌어지는 경쟁을 스토리지 경쟁(Storage Contention)이라고 한다.
CPU Contention
→ Host logical CPU 실행 시간 경쟁
Storage Contention
→ IOPS / bandwidth / queue / device 처리시간 경쟁
CPU 경쟁은 호스트 논리 CPU 의 실행 시간을 두고 벌어지고, 스토리지 경쟁은 IOPS 와 대역폭, 큐, 장치 처리시간을 두고 벌어진다. 애플리케이션에서는 둘 다 「느리다」로 관찰되지만 다투는 자원이 달라서 따로 잰다.
이 호스트에서 확인한 공유 스토리지와 contention
2026-09-21 findmnt와 lsblk로 base와 세 overlay가 모두 /dev/nvme0n1p3의 ext4 루트 파일시스템 위에 있고, 상위 물리 장치가 SAMSUNG MZVLQ256HAJD-00000 NVMe nvme0n1임을 확인했다. 현재 scheduler는 none이다. 따라서 세 VM의 주 디스크 I/O가 같은 host block stack과 같은 물리 NVMe를 공유한다는 점은 실제 구성으로 확인됐다.
2026-09-21에는 contention도 baseline·load·recovery로 나눠 직접 재현했다. VM1에 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 대기 시간이 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 실행에서는 공유 NVMe의 load와 다른 VM의 지연이 함께 악화되는 경로를 확인했다.