146 lines
12 KiB
Markdown
146 lines
12 KiB
Markdown
---
|
|
id: 3b05c1f0-13e9-414a-97a6-2078fb4bab26
|
|
kind: CONCEPT
|
|
slug: guest-block-io-path-to-virtqueue
|
|
title: 게스트의 write()가 virtqueue에 전달되는 과정
|
|
topic: storage-virtualization
|
|
topicName: 스토리지 가상화
|
|
project: virtualization
|
|
status: 초안
|
|
basisVersion: QEMU/KVM 의 virtio-blk frontend 와 virtqueue · 게스트가 ext4 나 XFS 에 buffered I/O 로 쓰는 경우 · 제4부가 커널과 QEMU 판을 고정하지 않았다
|
|
studio: "https://hyeonworks.com/studio/documents/3b05c1f0-13e9-414a-97a6-2078fb4bab26/edit"
|
|
assets:
|
|
- key: guest-block-io-to-virtqueue
|
|
file: ../../../final/assets/diagrams/guest-block-io-to-virtqueue/guest-block-io-to-virtqueue.svg
|
|
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
|
source:
|
|
- final/document.md#128-전체-구조
|
|
- final/document.md#129-guest-application-read-write-에서-시작
|
|
- final/document.md#130-vfs-공통-파일-인터페이스-계층
|
|
- final/document.md#131-filesystem-ext4-xfs-파일-세계를-block-공간에-배치
|
|
- final/document.md#132-inode
|
|
- final/document.md#133-page-cache-write-가-바로-ssd-write는-아니다
|
|
- final/document.md#134-guest-block-i-o-layer
|
|
- final/document.md#135-dev-vda-guest가-보는-가상-block-device
|
|
- final/document.md#136-dev-vda-와-filesystem-관계
|
|
- final/document.md#137-virtio-blk-guest의-가상-block-device-driver
|
|
- final/document.md#138-virtio-blk와-virtqueue
|
|
- final/document.md#139-virtqueue의-실제-의미
|
|
- final/document.md#166-storage-i-o-completion
|
|
- final/document.md#127-문서-목적
|
|
- final/document.md#172-storage-virtualization-canonical-flow
|
|
- final/document.md#173-network-virtualization과-비교
|
|
- final/document.md#177-최종-요약
|
|
---
|
|
|
|
# 게스트의 write()가 virtqueue에 전달되는 과정
|
|
|
|
가상 머신 안의 PostgreSQL 이 파일에 데이터를 기록하면, 그 요청은 게스트 Linux 안에서만 VFS 와 ext4·XFS, 페이지 캐시, 블록 I/O 계층, virtio-blk 를 지난 뒤에야 virtqueue 에 실려 가상 머신 경계에 닿는다. 이 경로를 따라가면 게스트에서 관측한 저장소 지연이 애플리케이션 내부에서 생긴 것인지, 가상 머신 경계 아래의 블록 I/O 계층에서 생긴 것인지 구분할 수 있다.
|
|
|
|
|
|
<!-- body:start -->
|
|
|
|
## 애플리케이션은 저장장치를 직접 다루지 않는다
|
|
|
|
가상 머신 안의 PostgreSQL 이나 Keycloak 같은 프로세스는 SSD 나 `virtio-blk` 를 직접 다루지 않는다. 파일에 데이터를 기록할 때 개념적으로 부르는 것은 시스템 콜 하나다.
|
|
|
|
```c label="게스트 애플리케이션이 파일에 기록할 때 부르는 system call"
|
|
write(fd, buffer, size);
|
|
```
|
|
|
|
파일과 관련된 시스템 콜은 이것 말고도 여럿이다.
|
|
|
|
```text label="대표적인 파일 관련 system call"
|
|
open()
|
|
read()
|
|
write()
|
|
close()
|
|
fsync()
|
|
```
|
|
|
|
이 시점에는 QEMU 도 `qcow2` 도 호스트의 NVMe 도 등장하지 않는다. 애플리케이션은 저장장치를 조작하는 것이 아니라 게스트 Linux 커널에 파일 연산을 요청하고, 그 뒤의 계층들이 그 요청을 하나씩 옮긴다.
|
|
|
|
## VFS 가 어느 파일시스템으로 보낼지 정한다
|
|
|
|
VFS(Virtual File System, 가상 파일 시스템)는 Linux 커널 안에서 여러 파일시스템을 같은 방식으로 쓸 수 있게 묶어 주는 공통 계층이다. 게스트가 `ext4` 를 쓰든 `XFS` 를 쓰든 애플리케이션이 부르는 `write()` 는 같고, 그 뒤를 VFS 가 갈라 준다. VFS 는 이 `fd` 가 어떤 파일인지 확인하고, 그 파일이 어떤 파일시스템에 속하는지 확인한 뒤 해당 파일시스템 구현으로 연산을 넘긴다.
|
|
|
|
## ext4 와 XFS 가 파일을 블록 공간에 배치한다
|
|
|
|
SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저장장치가 보는 것은 번호가 붙은 블록 단위 공간인데 사람과 프로그램이 보는 것은 파일과 디렉터리 계층이다. 그 둘을 잇는 계층이 `ext4` 나 `XFS` 같은 파일시스템이다. 파일시스템이 관리하는 것은 파일 이름과 디렉터리 구조, 파일 크기, 소유자와 권한, 시각 정보, `inode` 와 메타데이터, 파일 데이터가 저장될 블록, 남은 공간, 파일시스템 일관성이다.
|
|
|
|
`inode`는 파일 메타데이터와 저장 위치 정보를 관리하는 자료구조다. 디렉터리 항목이 파일 이름을 `inode` 번호로 연결하고, 그 `inode`가 소유자와 권한, 크기, 시각 정보, 파일 데이터가 저장된 블록 정보를 들고 있다. 여기서는 filesystem이 파일과 block을 연결한다는 수준까지만 다룬다.
|
|
|
|
> Storage 가상화를 이해하기 위해 inode 내부 구현까지 파고들 필요는 없지만, filesystem이 파일과 block을 연결한다는 점은 알아야 한다.
|
|
|
|
이 글도 거기서 멈춘다.
|
|
|
|
## write() 가 끝나도 SSD 에는 아직 없다
|
|
|
|
일반적인 buffered I/O 에서는 `write()` 가 호출될 때마다 물리 SSD 까지 즉시 내려갈 필요가 없다. 애플리케이션이 넘긴 데이터는 메모리의 페이지 캐시에 먼저 닿는다. 저장장치에 `ABC` 가 있는데 애플리케이션이 `DEF` 를 추가하면 페이지 캐시에는 `ABCDEF` 가 들어가고 SSD 에는 아직 `ABC` 만 있다. 이렇게 저장장치보다 최신인 페이지를 dirty page 라고 한다. 이후 커널 writeback 이 그 내용을 파일시스템과 블록 계층을 거쳐 저장장치 쪽으로 내려보낸다.
|
|
|
|
데이터가 페이지 캐시에 머무는 동안에도 호출이 성공으로 돌아오기 때문에, `write()` 성공과 물리 SSD 영속화 완료는 같은 사건이 아니다. 게스트 애플리케이션이 성공을 돌려받은 시점에 데이터가 어디에 있는지는 게스트 메모리까지만 확정된다.
|
|
|
|
## 블록 I/O 계층이 파일 세계를 블록 장치 세계로 옮긴다
|
|
|
|
파일시스템이 파일과 블록 할당을 관리하면, Linux 의 블록 I/O 서브시스템이 그 요청을 아래의 블록 장치 드라이버가 처리할 수 있는 I/O 요청으로 바꿔 전달한다. 파일시스템 세계에서 내려오는 것은 `/users/data.db` 의 오프셋 8192 에 4KB 를 쓰라는 요청이다. 블록 장치 세계에서는 그것이 `/dev/vda` 의 특정 위치에 `READ` 나 `WRITE`, `FLUSH` 를 거는 요청이 된다. 대표 요청은 넷이다 — `READ`, `WRITE`, `FLUSH`, `DISCARD`.
|
|
|
|
이 계층 안에는 `bio`, `request`, `queue`, `blk-mq`가 실제로 있다. 여기서는 각 구조의 내부 구현까지 내려가지 않고 블록 요청이 다음 계층으로 전달된다는 점까지만 본다.
|
|
|
|
## /dev/vda 는 게스트가 보는 이름이다
|
|
|
|
물리 머신에서는 `/dev/sda` 나 `/dev/nvme0n1` 같은 블록 장치가 보인다. `virtio-blk` 를 쓰는 가상 머신에서는 흔히 `/dev/vda` 와 `/dev/vdb` 처럼 보이고, 게스트 Linux 는 그것을 하나의 블록 장치로 인식한다. 게스트 안에서 `lsblk` 를 실행하면 그 장치와 파티션이 나온다.
|
|
|
|
```bash label="게스트가 보는 block device"
|
|
lsblk
|
|
```
|
|
|
|
```text label="구조 설명용 출력 예시. 현재 호스트의 실측값은 아니다"
|
|
NAME SIZE TYPE MOUNTPOINT
|
|
vda 100G disk
|
|
├─vda1 1G part /boot
|
|
└─vda2 99G part /
|
|
```
|
|
|
|
게스트만 봐서는 `/dev/vda` 뒤에 무엇이 붙어 있는지 알 수 없다. 2026-09-21 재검증에서는 host의 `virsh domblklist --details`와 live XML을 대조해 세 VM의 `vda`가 각각 qcow2 overlay 파일에 연결돼 있음을 확인했다. guest는 `/dev/vda → partition → filesystem → mount point`까지만 보고, 그 아래 host backend는 host에서 확인해야 한다.
|
|
|
|
이 실험대의 worker guest는 `vda`를 주 디스크로 사용하고 `vdb`에는 cloud-init seed ISO가 붙는다. `vdb`가 block device로 보인다고 해서 애플리케이션 데이터용 파일시스템으로 쓰는 것은 아니다.
|
|
|
|
이름 둘이 가리키는 대상도 다르다. `/dev/vda` 가 게스트 Linux 에 보이는 블록 장치를 가리키고, `virtio-blk` 는 그 가상 블록 장치를 제어하는 게스트 커널 드라이버를 가리킨다. 네트워크 쪽의 `ens3` 와 `virtio-net` 이 같은 짝이다.
|
|
|
|
## virtio-blk 가 요청을 virtqueue 에 게시한다
|
|
|
|
게스트 블록 계층에서 `/dev/vda` 의 특정 위치에 데이터를 `WRITE` 하라는 요청이 내려오면, `virtio-blk` 드라이버가 그것을 Virtio 블록 요청으로 구성해 `virtqueue` 에 게시한다. 네트워크에서 TCP/IP 스택이 `virtio-net` 을 거쳐 `virtqueue` 로 내려가던 구조가 저장소 쪽에서도 반복된다.
|
|
|
|
게스트 메모리 안에 I/O 버퍼가 있고 `virtqueue` 의 디스크립터가 그 버퍼를 가리키기 때문에, `virtqueue` 를 데이터가 흘러가는 관으로 보면 부정확하다. 게시되는 요청에는 `Operation` 이 `WRITE` 인지, `Sector` 가 어디인지, `Data Buffer` 가 게스트 메모리의 어디인지가 들어간다. 뜻을 풀면 `/dev/vda` 의 이 위치에 게스트 메모리의 이 버퍼를 기록하라는 요청이다.
|
|
|
|

|
|
|
|
## 완료는 같은 virtqueue 로 돌아온다
|
|
|
|
`WRITE` 요청은 아래로 내려가고 완료는 반대 방향으로 올라온다. NVMe 가 완료를 올리면 NVMe 드라이버와 호스트 블록 계층, QEMU 와 백엔드를 지나 `virtqueue` 완료가 된다. `virtio-blk` 가 그것을 받아 게스트 블록 계층으로 올린다. 그래서 `virtqueue` 는 요청을 내려보내는 통로이면서 완료를 올려보내는 통로이기도 하다.
|
|
|
|
## 네트워크 가상화와 짝이 되는 이름들
|
|
|
|
네트워크의 virtio-net과 비교하면 스토리지에서는 virtio-blk가 같은 위치의 프런트엔드 역할을 한다.
|
|
|
|
| Network | Storage |
|
|
|---|---|
|
|
| `virtio-net` | `virtio-blk` |
|
|
| packet | block I/O request |
|
|
| TX/RX virtqueue | I/O virtqueue |
|
|
| TAP / network backend | QEMU block backend |
|
|
| Linux Bridge/Route | Host filesystem/block stack |
|
|
| Physical NIC | Physical SSD/NVMe |
|
|
| Guest TCP/IP Stack | Guest VFS/Filesystem/Block Layer |
|
|
| send/recv | read/write/fsync |
|
|
|
|
이 표는 계층을 비교하기 위한 대응표다. 두 열의 각 요소가 내부 구현까지 `1:1`로 같은 종류라는 뜻은 아니다.
|
|
|
|
## 이 호스트에서 확인한 것과 범위 밖으로 둔 것
|
|
|
|
2026-09-21 재검증에서 세 VM의 `vda`는 모두 qcow2 overlay file backend이고, 각 overlay는 공통 `base.qcow2`를 backing store로 사용한다는 것을 확인했다. 따라서 이 환경에서 guest `/dev/vda` 아래에 QEMU block backend와 host filesystem/block stack이 이어진다는 연결은 실제 구성과 맞는다.
|
|
|
|
여기서 확인한 범위는 guest `write()`가 virtqueue에 전달되기까지다. qcow2 L1/L2 table, `blk-mq` tag allocator, NVMe submission/completion queue 내부 구현은 포함하지 않았다. 2026-09-21에는 guest `fsync()`와 host `iostat`을 같은 구간에 놓고 재서, guest fsync가 느려질 때 host NVMe의 `w_await`·`%util`·iowait도 함께 상승하는 구간을 실제로 확인했다. 이 결과는 경로의 존재를 보여 주지만, 모든 fsync 지연을 host storage 하나의 원인으로 일반화하지 않는다.
|
|
|
|
<!-- body:end -->
|