12 KiB
id, kind, slug, title, topic, topicName, project, status, basisVersion, studio, assets, sourceRevision, source
| id | kind | slug | title | topic | topicName | project | status | basisVersion | studio | assets | sourceRevision | source | |||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 8fafaeea-8746-4537-87a4-679a3a91aa4c | CONCEPT | write-completion-is-not-durability | write() 완료와 데이터 영속성은 같은 의미가 아니다 | storage-virtualization | 스토리지 가상화 | virtualization | 초안 | Linux O_DIRECT 와 QEMU/libvirt disk 의 cache=none · cache=writeback 두 설정 기준 | https://hyeonworks.com/studio/documents/8fafaeea-8746-4537-87a4-679a3a91aa4c/edit |
|
no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 |
|
write() 완료와 데이터 영속성은 같은 의미가 아니다
buffered I/O 에서 write() 는 페이지 캐시까지만 내려가고, 가상 머신에서는 그 페이지 캐시가 게스트와 호스트 양쪽에 두 번 나타날 수 있다. 게스트가 성공을 돌려받은 데이터가 호스트 메모리에 머무는 동안 호스트 전원이 나가면 물리 SSD 에는 이전 상태가 남는다. 그래서 완료라는 말이 네 단계로 갈린다 — write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 영속성. Direct I/O 와 QEMU 캐시 모드가 이 가운데 어디까지 가는지를 바꾼다. Keycloak과 PostgreSQL을 가상 머신 위에서 측정할 때는 응답 지연과 데이터 영속성을 별도 조건으로 확인해야 한다. 쓰기가 빨리 끝났다는 사실만으로 전원 장애 뒤에도 데이터가 남는다고 판단할 수는 없다.
게스트와 호스트에 페이지 캐시가 두 번 생긴다
일반적인 buffered I/O 에서는 write() 가 호출될 때마다 물리 SSD 까지 즉시 내려갈 필요가 없다. 커널은 그 내용을 메모리의 페이지 캐시에 받아 두고, 나중에 writeback 으로 파일시스템과 블록 계층을 지나 저장장치 쪽에 내려보낸다. 저장장치보다 최신인 페이지를 dirty page 라고 한다. 저장장치에 ABC 가 있는 상태에서 애플리케이션이 DEF 를 추가하면 페이지 캐시는 ABCDEF 를 dirty 상태로 들고 있고 SSD 에는 아직 ABC 만 있다.
가상 머신에서는 이 페이지 캐시가 한 번 더 나타날 수 있다. 게스트가 buffered I/O 를 쓰고 디스크 백엔드가 호스트의 파일이며 호스트도 페이지 캐시를 쓰는 구성이라고 하자. 게스트 PostgreSQL 의 쓰기는 게스트 ext4 와 게스트 페이지 캐시를 지나 게스트 블록 계층과 virtio-blk 를 거쳐 virtqueue 로 나간다. 가상 머신 경계를 넘은 다음에는 QEMU 와 디스크 이미지 파일을 지나 호스트 페이지 캐시에 다시 담긴다. 같은 데이터가 게스트 메모리와 호스트 메모리 양쪽에 캐시될 수 있다.
write() 성공이 어디까지를 뜻하는가
write() 가 성공을 돌려준 시점에 데이터는 게스트 페이지 캐시에 있고, virtio 를 지나 호스트 페이지 캐시까지 갔을 수도 있다. 그 상태에서 호스트 전원이 나가면 물리 SSD 에는 그 데이터가 없기 때문에, 완료라는 말이 네 단계로 갈린다.
write() 완료
≠
writeback 완료
≠
fsync/flush 완료
≠
전원 장애에도 안전한 durability
fsync() 는 요구를 계층 전체로 내려보낸다
애플리케이션이 부르는 쓰기 호출은 이렇게 생겼다.
write(fd, data, size);
필요한 시점에 fsync() 를 불러 변경 내용을 필요한 영속성 경계까지 반영하도록 요청한다.
fsync(fd);
가상 머신에서 fsync()의 영속성 의미가 지켜지려면 요청이 게스트 파일시스템과 블록 계층, virtio-blk, QEMU 백엔드, 호스트 스토리지 계층을 거쳐 물리 저장장치까지 전달되어야 한다.
WRITE 와 FLUSH 가 요구하는 것은 서로 다르다.
WRITE
↓
"이 데이터를 써라"
FLUSH
↓
"앞서 쓴 데이터를 필요한 영속성 경계까지
반영하고 완료 상태를 보장해라"
실제 순서 보장과 영속성의 의미는 이 두 줄보다 복잡하다. 여기서는 WRITE와 FLUSH가 요구하는 계약이 다르다는 수준까지만 구분한다.
Direct I/O 가 우회하는 대상은 페이지 캐시다
buffered I/O 에서는 QEMU 의 쓰기가 호스트 페이지 캐시를 거쳐 호스트 파일시스템과 블록 계층을 지나 SSD 로 간다. Direct I/O 에서는 호스트 페이지 캐시를 건너뛰고 호스트 파일시스템과 블록 I/O 경로로 바로 들어간다. Linux 의 O_DIRECT 가 여기에 쓰인다. 우회하는 대상은 페이지 캐시이고, Direct I/O 로 썼다고 영속성이 자동으로 보장되지는 않는다.
cache=none 과 cache=writeback 이 정하는 것
QEMU 와 libvirt 로 정의한 디스크에서 대표적으로 볼 수 있는 설정은 cache=none 과 cache=writeback 이다. 두 값이 정하는 것은 QEMU 가 호스트 페이지 캐시와 쓰기 완료·플러시의 의미를 어떤 방식으로 쓰는가다. 이름만으로는 캐시가 아예 없는지, 무조건 위험한지가 정해지지 않는다.
| 설정 | 호스트 페이지 캐시를 어떻게 쓰나 |
|---|---|
cache=none |
우회하는 방향으로 구성한다. 이중 캐시를 줄일 수 있다 |
cache=writeback |
쓸 수 있게 구성한다. 일반 쓰기가 호스트 메모리에서 빠르게 완료될 수 있다 |
호스트 페이지 캐시를 우회한다고 해서 쓰기가 곧바로 영속 매체에 반영되지는 않는다. cache=writeback 으로 두어도 게스트의 fsync() 와 FLUSH 가 무시되지 않는다. 정상적인 계층이라면 게스트의 fsync 와 FLUSH 가 virtio FLUSH 로 이어진다. QEMU 와 백엔드에서 호스트 동기화와 플러시로 이어지고, 저장장치에서 필요한 완료를 확인한 뒤 게스트 완료로 돌아온다.
cache=writeback을 단순히 "위험하다"로 줄이면 부정확하다.
writeback caching에서는 volatile cache가 존재할 수 있으므로, Guest의 flush/fsync semantics가 전체 backend/storage stack에서 올바르게 보존되는지가 중요하다.
그래서 확인할 것은 게스트가 요구한 영속성이 게스트 파일시스템에서 게스트 블록 계층과 virtio, QEMU 와 백엔드, 호스트 스토리지를 지나 장치까지 가는 동안 그 의미가 깨지지 않는지다.
현재 세 VM의 주 qcow2 디스크는 2026-09-21 QEMU monitor info block에서 모두 Cache mode: writeback으로 확인됐다. domain XML에는 cache= 속성이 명시되지 않았기 때문에 XML 기본값을 추정하지 않고 runtime 값을 기준으로 삼는다. 이 사실은 현재 구성을 설명할 뿐, writeback을 계속 쓸지에 대한 선택까지 대신하지 않는다. 변경 여부는 실제 fsync()/FLUSH latency와 durability 조건을 함께 본 뒤 판단한다.
호스트 페이지 캐시를 우회해도 장치 안에 캐시가 있다
Direct I/O 로 호스트 페이지 캐시를 건너뛰어도 요청은 호스트 블록 계층과 NVMe 드라이버, NVMe 컨트롤러를 지나 장치 쪽 캐시를 거쳐 플래시에 닿는다. 스토리지 컨트롤러나 장치가 휘발성 쓰기 캐시를 가질 수 있다.
RAM에서 나갔다
≠
Device에 command가 전달됐다
≠
전원이 끊겨도 살아남는 상태가 됐다
운영에서는 장치의 flush/FUA(Force Unit Access) 의미와 power-loss protection 지원 여부도 확인 대상이다. 현재 host storage가 nvme0n1이라는 점과 QEMU runtime cache가 writeback이라는 점까지는 확인했지만, 장치의 전원 손실 보호와 flush/FUA 동작을 장애 실험으로 검증하지는 않았다.
거짓 완료는 성능 문제가 아니다
게스트가 WRITE 에 이어 FLUSH 를 요청했는데 데이터는 호스트 메모리에만 있고 물리 저장장치에는 이전 데이터가 들어 있다고 하자. 이때 게스트에게 FLUSH 완료 라고 응답하면 PostgreSQL 은 영속성이 확보됐다고 판단한다. 직후에 호스트 전원이 나가면 메모리의 데이터가 사라진다. 이것은 영속성 계약이 깨지는 정확성(correctness) 문제다.
PostgreSQL 로 보면 무엇이 어긋나는지 드러난다. 잔액을 바꾸고 커밋하는 트랜잭션을 생각해 본다.
BEGIN;
UPDATE users
SET balance = 1000
WHERE id = 1;
COMMIT;
PostgreSQL 은 WAL(Write-Ahead Log) 등의 영속성 프로토콜을 쓰며 필요한 시점에 스토리지 동기화를 수행한다. WAL 쓰기는 게스트 페이지 캐시와 fsync 를 지나 게스트 파일시스템과 게스트 블록 계층, virtio-blk, QEMU, 호스트 스토리지를 거쳐 물리 저장장치까지 간다. 그 완료가 되돌아와야 필요한 영속성 조건이 충족됐다고 보고 COMMIT 을 성공으로 처리한다. 가상 머신 스토리지 계층이 플러시와 fsync 의 의미를 제대로 보존하지 않으면, PostgreSQL 의 영속성 가정과 실제 저장장치 동작이 어긋날 수 있다.
이 호스트에서 확인한 것과 아직 확인하지 않은 것
2026-09-21 현재 주 디스크 backend는 qcow2이고 QEMU runtime cache mode는 세 VM 모두 writeback이다. 이미지가 놓인 host block device는 nvme0n1, scheduler는 none으로 확인됐다. 따라서 이 문서에서 설명한 guest page cache + host page cache가 함께 존재할 수 있는 구성과 현재 환경이 맞닿아 있다.
2026-09-21에는 guest fsync() latency와 host storage latency를 같은 구간에 놓고 측정했고, cross-VM load에서 둘이 함께 악화됐다가 부하 종료 후 회복되는 것을 확인했다. 하지만 이것은 latency 경로를 확인한 결과이지 durability 끝단을 검증한 결과는 아니다. 장치가 flush/FUA를 어떤 의미로 처리하는지, power-loss 상황에서 완료 응답 뒤 데이터가 실제로 살아남는지는 여전히 별도 검증이 필요하다. 현재 writeback이라는 값만으로 거짓 완료가 일어난다고 단정하지 않는다.