Files
document-haness/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-guest-block-io-path-to-virtqueue.md
T

12 KiB

id, kind, slug, title, topic, topicName, project, status, basisVersion, studio, assets, sourceRevision, source
id kind slug title topic topicName project status basisVersion studio assets sourceRevision source
3b05c1f0-13e9-414a-97a6-2078fb4bab26 CONCEPT guest-block-io-path-to-virtqueue 게스트의 write()가 virtqueue에 전달되는 과정 storage-virtualization 스토리지 가상화 virtualization 초안 QEMU/KVM 의 virtio-blk frontend 와 virtqueue · 게스트가 ext4 나 XFS 에 buffered I/O 로 쓰는 경우 · 제4부가 커널과 QEMU 판을 고정하지 않았다 https://hyeonworks.com/studio/documents/3b05c1f0-13e9-414a-97a6-2078fb4bab26/edit
key file
guest-block-io-to-virtqueue ../../../final/assets/diagrams/guest-block-io-to-virtqueue/guest-block-io-to-virtqueue.svg
no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
final/document.md#128-전체-구조
final/document.md#129-guest-application-read-write-에서-시작
final/document.md#130-vfs-공통-파일-인터페이스-계층
final/document.md#131-filesystem-ext4-xfs-파일-세계를-block-공간에-배치
final/document.md#132-inode
final/document.md#133-page-cache-write-가-바로-ssd-write는-아니다
final/document.md#134-guest-block-i-o-layer
final/document.md#135-dev-vda-guest가-보는-가상-block-device
final/document.md#136-dev-vda-와-filesystem-관계
final/document.md#137-virtio-blk-guest의-가상-block-device-driver
final/document.md#138-virtio-blk와-virtqueue
final/document.md#139-virtqueue의-실제-의미
final/document.md#166-storage-i-o-completion
final/document.md#127-문서-목적
final/document.md#172-storage-virtualization-canonical-flow
final/document.md#173-network-virtualization과-비교
final/document.md#177-최종-요약

게스트의 write()가 virtqueue에 전달되는 과정

가상 머신 안의 PostgreSQL 이 파일에 데이터를 기록하면, 그 요청은 게스트 Linux 안에서만 VFS 와 ext4·XFS, 페이지 캐시, 블록 I/O 계층, virtio-blk 를 지난 뒤에야 virtqueue 에 실려 가상 머신 경계에 닿는다. 이 경로를 따라가면 게스트에서 관측한 저장소 지연이 애플리케이션 내부에서 생긴 것인지, 가상 머신 경계 아래의 블록 I/O 계층에서 생긴 것인지 구분할 수 있다.

애플리케이션은 저장장치를 직접 다루지 않는다

가상 머신 안의 PostgreSQL 이나 Keycloak 같은 프로세스는 SSD 나 virtio-blk 를 직접 다루지 않는다. 파일에 데이터를 기록할 때 개념적으로 부르는 것은 시스템 콜 하나다.

write(fd, buffer, size);

파일과 관련된 시스템 콜은 이것 말고도 여럿이다.

open()
read()
write()
close()
fsync()

이 시점에는 QEMU 도 qcow2 도 호스트의 NVMe 도 등장하지 않는다. 애플리케이션은 저장장치를 조작하는 것이 아니라 게스트 Linux 커널에 파일 연산을 요청하고, 그 뒤의 계층들이 그 요청을 하나씩 옮긴다.

VFS 가 어느 파일시스템으로 보낼지 정한다

VFS(Virtual File System, 가상 파일 시스템)는 Linux 커널 안에서 여러 파일시스템을 같은 방식으로 쓸 수 있게 묶어 주는 공통 계층이다. 게스트가 ext4 를 쓰든 XFS 를 쓰든 애플리케이션이 부르는 write() 는 같고, 그 뒤를 VFS 가 갈라 준다. VFS 는 이 fd 가 어떤 파일인지 확인하고, 그 파일이 어떤 파일시스템에 속하는지 확인한 뒤 해당 파일시스템 구현으로 연산을 넘긴다.

ext4 와 XFS 가 파일을 블록 공간에 배치한다

SSD 는 /var/lib/postgresql/data 같은 디렉터리 구조를 모른다. 저장장치가 보는 것은 번호가 붙은 블록 단위 공간인데 사람과 프로그램이 보는 것은 파일과 디렉터리 계층이다. 그 둘을 잇는 계층이 ext4 나 XFS 같은 파일시스템이다. 파일시스템이 관리하는 것은 파일 이름과 디렉터리 구조, 파일 크기, 소유자와 권한, 시각 정보, inode 와 메타데이터, 파일 데이터가 저장될 블록, 남은 공간, 파일시스템 일관성이다.

inode는 파일 메타데이터와 저장 위치 정보를 관리하는 자료구조다. 디렉터리 항목이 파일 이름을 inode 번호로 연결하고, 그 inode가 소유자와 권한, 크기, 시각 정보, 파일 데이터가 저장된 블록 정보를 들고 있다. 여기서는 filesystem이 파일과 block을 연결한다는 수준까지만 다룬다.

Storage 가상화를 이해하기 위해 inode 내부 구현까지 파고들 필요는 없지만, filesystem이 파일과 block을 연결한다는 점은 알아야 한다.

이 글도 거기서 멈춘다.

write() 가 끝나도 SSD 에는 아직 없다

일반적인 buffered I/O 에서는 write() 가 호출될 때마다 물리 SSD 까지 즉시 내려갈 필요가 없다. 애플리케이션이 넘긴 데이터는 메모리의 페이지 캐시에 먼저 닿는다. 저장장치에 ABC 가 있는데 애플리케이션이 DEF 를 추가하면 페이지 캐시에는 ABCDEF 가 들어가고 SSD 에는 아직 ABC 만 있다. 이렇게 저장장치보다 최신인 페이지를 dirty page 라고 한다. 이후 커널 writeback 이 그 내용을 파일시스템과 블록 계층을 거쳐 저장장치 쪽으로 내려보낸다.

데이터가 페이지 캐시에 머무는 동안에도 호출이 성공으로 돌아오기 때문에, write() 성공과 물리 SSD 영속화 완료는 같은 사건이 아니다. 게스트 애플리케이션이 성공을 돌려받은 시점에 데이터가 어디에 있는지는 게스트 메모리까지만 확정된다.

블록 I/O 계층이 파일 세계를 블록 장치 세계로 옮긴다

파일시스템이 파일과 블록 할당을 관리하면, Linux 의 블록 I/O 서브시스템이 그 요청을 아래의 블록 장치 드라이버가 처리할 수 있는 I/O 요청으로 바꿔 전달한다. 파일시스템 세계에서 내려오는 것은 /users/data.db 의 오프셋 8192 에 4KB 를 쓰라는 요청이다. 블록 장치 세계에서는 그것이 /dev/vda 의 특정 위치에 READ 나 WRITE, FLUSH 를 거는 요청이 된다. 대표 요청은 넷이다 — READ, WRITE, FLUSH, DISCARD.

이 계층 안에는 bio, request, queue, blk-mq가 실제로 있다. 여기서는 각 구조의 내부 구현까지 내려가지 않고 블록 요청이 다음 계층으로 전달된다는 점까지만 본다.

/dev/vda 는 게스트가 보는 이름이다

물리 머신에서는 /dev/sda 나 /dev/nvme0n1 같은 블록 장치가 보인다. virtio-blk 를 쓰는 가상 머신에서는 흔히 /dev/vda 와 /dev/vdb 처럼 보이고, 게스트 Linux 는 그것을 하나의 블록 장치로 인식한다. 게스트 안에서 lsblk 를 실행하면 그 장치와 파티션이 나온다.

lsblk
NAME   SIZE TYPE MOUNTPOINT
vda    100G disk
├─vda1   1G part /boot
└─vda2  99G part /

게스트만 봐서는 /dev/vda 뒤에 무엇이 붙어 있는지 알 수 없다. 2026-09-21 재검증에서는 host의 virsh domblklist --details와 live XML을 대조해 세 VM의 vda가 각각 qcow2 overlay 파일에 연결돼 있음을 확인했다. guest는 /dev/vda → partition → filesystem → mount point까지만 보고, 그 아래 host backend는 host에서 확인해야 한다.

이 실험대의 worker guest는 vda를 주 디스크로 사용하고 vdb에는 cloud-init seed ISO가 붙는다. vdb가 block device로 보인다고 해서 애플리케이션 데이터용 파일시스템으로 쓰는 것은 아니다.

이름 둘이 가리키는 대상도 다르다. /dev/vda 가 게스트 Linux 에 보이는 블록 장치를 가리키고, virtio-blk 는 그 가상 블록 장치를 제어하는 게스트 커널 드라이버를 가리킨다. 네트워크 쪽의 ens3 와 virtio-net 이 같은 짝이다.

virtio-blk 가 요청을 virtqueue 에 게시한다

게스트 블록 계층에서 /dev/vda 의 특정 위치에 데이터를 WRITE 하라는 요청이 내려오면, virtio-blk 드라이버가 그것을 Virtio 블록 요청으로 구성해 virtqueue 에 게시한다. 네트워크에서 TCP/IP 스택이 virtio-net 을 거쳐 virtqueue 로 내려가던 구조가 저장소 쪽에서도 반복된다.

게스트 메모리 안에 I/O 버퍼가 있고 virtqueue 의 디스크립터가 그 버퍼를 가리키기 때문에, virtqueue 를 데이터가 흘러가는 관으로 보면 부정확하다. 게시되는 요청에는 Operation 이 WRITE 인지, Sector 가 어디인지, Data Buffer 가 게스트 메모리의 어디인지가 들어간다. 뜻을 풀면 /dev/vda 의 이 위치에 게스트 메모리의 이 버퍼를 기록하라는 요청이다.

게스트 사용자 공간의 PostgreSQL / Keycloak 에서 시작한 write() 가 게스트 커널의 VFS, ext4 / XFS, Guest Page Cache, Guest Block Layer, /dev/vda, virtio-blk Frontend 를 차례로 지나 virtqueue 에 실리는 흐름도. Guest Page Cache 에서 Guest Block Layer 로 내려가는 화살표에 writeback 이, Guest Block Layer 에서 /dev/vda 로 가는 화살표에 WRITE / FLUSH 가 붙어 있고, 맨 아래 virtqueue 바로 밑이 VM Boundary 라 이 그림은 거기서 끝난다.

완료는 같은 virtqueue 로 돌아온다

WRITE 요청은 아래로 내려가고 완료는 반대 방향으로 올라온다. NVMe 가 완료를 올리면 NVMe 드라이버와 호스트 블록 계층, QEMU 와 백엔드를 지나 virtqueue 완료가 된다. virtio-blk 가 그것을 받아 게스트 블록 계층으로 올린다. 그래서 virtqueue 는 요청을 내려보내는 통로이면서 완료를 올려보내는 통로이기도 하다.

네트워크 가상화와 짝이 되는 이름들

네트워크의 virtio-net과 비교하면 스토리지에서는 virtio-blk가 같은 위치의 프런트엔드 역할을 한다.

Network Storage
virtio-net virtio-blk
packet block I/O request
TX/RX virtqueue I/O virtqueue
TAP / network backend QEMU block backend
Linux Bridge/Route Host filesystem/block stack
Physical NIC Physical SSD/NVMe
Guest TCP/IP Stack Guest VFS/Filesystem/Block Layer
send/recv read/write/fsync

이 표는 계층을 비교하기 위한 대응표다. 두 열의 각 요소가 내부 구현까지 1:1로 같은 종류라는 뜻은 아니다.

이 호스트에서 확인한 것과 범위 밖으로 둔 것

2026-09-21 재검증에서 세 VM의 vda는 모두 qcow2 overlay file backend이고, 각 overlay는 공통 base.qcow2를 backing store로 사용한다는 것을 확인했다. 따라서 이 환경에서 guest /dev/vda 아래에 QEMU block backend와 host filesystem/block stack이 이어진다는 연결은 실제 구성과 맞는다.

여기서 확인한 범위는 guest write()가 virtqueue에 전달되기까지다. qcow2 L1/L2 table, blk-mq tag allocator, NVMe submission/completion queue 내부 구현은 포함하지 않았다. 2026-09-21에는 guest fsync()와 host iostat을 같은 구간에 놓고 재서, guest fsync가 느려질 때 host NVMe의 w_await·%util·iowait도 함께 상승하는 구간을 실제로 확인했다. 이 결과는 경로의 존재를 보여 주지만, 모든 fsync 지연을 host storage 하나의 원인으로 일반화하지 않는다.