Files
document-haness/docs/virtualization/tech-log-studio/storage-virtualization/question/question-guest-fsync-latency-vs-host-storage-latency.md
T

9.8 KiB

id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
id kind slug title topic topicName project status questionStatus lastVerifiedOn studio sourceRevision evidence source
be3c2c58-1ed4-4eae-876a-3114faa61c94 QUESTION guest-fsync-latency-vs-host-storage-latency Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가 storage-virtualization 스토리지 가상화 virtualization 초안 RESOLVED 2026-09-21 https://hyeonworks.com/studio/documents/be3c2c58-1ed4-4eae-876a-3114faa61c94/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
../../../final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt
final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-8
final/document.md#150-fsync-가-필요한-이유
final/document.md#169-storage-관측-명령어
final/document.md#170-postgresql-예시-wal과-durability
final/document.md#171-성능과-durability의-trade-off
final/document.md#148-write-완료와-영속화는-다르다

Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가

2026-09-21 kc-lab-2에서 256 KiB write 뒤 fsync()를 128회 반복하고 host nvme0n1의 iostat -xz 1을 같은 실행에서 기록했다. VM2 단독 구간의 fsync 평균은 약 89 ms였다. 같은 NVMe를 쓰는 VM1에 controlled write+fdatasync 부하를 겹치자 VM2 첫 실행의 fsync 평균이 58.46 ms, p95 314 ms, max 631 ms까지 증가했고 host w_await도 수십184 ms, %util 92~98%로 함께 상승했다. VM1 부하 종료 뒤 VM2 fsync는 다시 약 8 ms로 회복했다.

guest fsync와 host NVMe가 함께 오른 구간

  • 2026-09-21 재검증에서 VM2 단독 fsync 반복 3회의 평균은 8.2397 / 8.2676 / 9.1264 ms였다. 첫 단독 실행의 p95는 11.18 ms였다.

  • 2026-09-21 재검증에서 VM1 storage load와 겹친 VM2 첫 실행은 평균 58.4576 ms, p95 314.0799 ms, max 631.0144 ms였다. VM1 load가 끝난 뒤 이어진 VM2 run 2/3은 평균 7.9038 / 8.0636 ms로 회복했다.

  • 2026-09-21 재검증에서 겹침 구간 host nvme0n1은 w_await 약 50184 ms, %util 약 9298%, host %iowait 약 1823% 구간이 나타났다. 단독 VM2 fsync 구간은 w_await이 주로 약 1 ms, flush await 약 23 ms였다.

  • 2026-09-21 재검증에서 host clock은 guest보다 약 90초 빠르고 NTPSynchronized=no였다. 따라서 절대 timestamp끼리 직접 join하지 않고, 한 host shell이 VM1 load 시작→VM2 fsync 실행→iostat 종료를 orchestration한 실행 순서로 overlap을 판정했다.

  • 「fsync()가 필요한 이유」에서는 write(fd, data, size) 의 성공만으로는 정전 이후 생존을 보장하지 않고, 필요한 시점에 fsync(fd) 로 변경 내용을 필요한 영속성 경계까지 반영하도록 요청한다고 적었다.

  • 「fsync()가 필요한 이유」에서는 가상 머신에서 그 요청이 지나야 하는 경로를 이렇게 그렸다. PostgreSQL, fsync(), Guest Filesystem, Guest Block Layer, FLUSH 등, virtio-blk, QEMU/Backend, Host Storage Stack, Physical Storage

  • 「write() 완료와 영속화는 다르다」에서는 write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 durability 가 서로 같지 않다고 못박았다.

  • 「PostgreSQL 예시: WAL과 Durability」에서는 PostgreSQL 이 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다고 적었다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 PostgreSQL 이 전제한 영속성과 실제 스토리지 동작이 어긋날 수 있다.

  • 「성능과 Durability의 Trade-off」에서는 모든 쓰기에서 스토리지 동기화를 기다리면 지연이 커질 수 있고, 특히 DB 부하에서는 fsync() 지연이 트랜잭션 지연과 연결될 수 있다고 적었다.

  • 「성능과 Durability의 Trade-off」에서는 더 적극적인 캐싱으로 쓰기 지연을 개선할 수 있지만 durability semantics 는 반드시 보존해야 한다고 덧붙였다. fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다.

  • 「Storage 관측 명령어」에서는 호스트 관측으로 iostat -xz 1 과 iotop 을 들고, 게스트 쪽 확인 명령으로 lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1 을 적었다.

  • guest 애플리케이션 또는 DB 지연과 host iostat -xz 1을 같은 시간축에 기록해야 guest-side 대기와 host storage 대기를 비교할 수 있다.

  • 2026-09-21 kc-lab-2의 synthetic fsync workload와 host iostat -xz 1을 같은 orchestration 구간에 기록해 guest fsync latency와 host NVMe latency/util 변화를 직접 비교했다.

guest fsync와 host NVMe를 같은 시간축에 놓았다

  • 이번 실행에서는 애플리케이션 전체 latency 대신 guest 안에서 256KiB write + fsync() 128회를 직접 측정해 durability path의 지연을 분리했다. PostgreSQL WAL/transaction latency는 후속 실제 workload에서 별도로 본다.
  • 실제 확인 결과 host와 guest의 절대 시계는 약 90초 어긋나 있었다. 이 실험은 절대 timestamp join 대신 한 host shell에서 load와 measurement를 순서대로 시작·종료해 overlap을 보장했다. 장시간 분산 시계열 분석 전에 host NTP 동기화는 별도로 해결해야 한다.
  • VM2 단독 baseline과 VM1 storage load가 겹친 구간, load 종료 뒤 recovery 구간을 같은 fsync microbenchmark와 host iostat으로 비교했다.
  • 측정 동안 backend는 qcow2, runtime cache mode는 writeback, host device는 nvme0n1, scheduler는 none으로 유지했다.
  • interference source를 명확히 하기 위해 VM1에 별도 임시 파일 write+fdatasync workload를 걸고 종료 뒤 파일을 삭제했다.

두 latency가 같은 숫자일 필요는 없다

현재 synthetic fsync workload에서는 guest fsync latency 상승과 host NVMe latency/util 상승이 같은 controlled overlap 구간에서 함께 나타났다. 두 값의 크기는 같지 않았다. guest fsync는 guest filesystem, virtio/QEMU/qcow2, host flush까지 포함하는 end-to-end latency이고 iostat의 w_await은 host block device request 관점의 값이므로 동일 수치일 필요가 없다.

남은 것은 PostgreSQL WAL 같은 실제 application workload에서 같은 상관이 어느 정도 재현되는지이며, 이는 이 질문의 경로 확인을 넘어 애플리케이션 성능 실험으로 분리한다.

durability를 줄이지 않는 범위

  • 이 물음은 영속성을 줄여 지연을 낮추는 방향을 검토하지 않는다. 「성능과 Durability의 Trade-off」에서는 fsync() 를 없애 빨라진 것을 최적화로 부르지 말라고 적었고, 그런 방향은 별도 기준을 지나야 한다.
  • 두 계열은 반드시 같은 구간에서 남긴다. 서로 다른 시점의 값을 나중에 겹쳐 놓고 상관관계가 있다고 판단하지 않는다.
  • 측정 조건에 캐시 모드와 백엔드 형식과 장치 이름을 함께 적는다. 이 셋이 없으면 같은 값을 다른 환경과 견줄 수 없다.
  • 측정하는 동안 다른 스토리지 실험을 같은 장치 위에서 겹쳐 돌리지 않는다.
  • 호스트 지연이 오른 이유까지 이 물음이 가르지 않는다. 다른 가상 머신의 부하인지 호스트 메모리 압박인지는 그것을 재는 두 물음이 받는다.
  • host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim 구간에서 host storage latency가 함께 증가하는지를 보고, 여기서는 guest fsync()/DB write 지연과 host storage latency가 같은 시간 구간에서 함께 변하는지를 본다.

어떻게 겹쳐 봤나

1. 부하 없는 구간과 있는 구간을 각각 찍어 두 계열을 겹친다

guest 애플리케이션과 DB 지연을 기록하면서 같은 시각에 host에서 iostat -xz 1을 돌린다. baseline과 write-heavy load 구간을 같은 방법으로 남기면 두 계열이 같은 시점에 움직였는지 비교할 수 있다.

게스트 쪽 지연을 무엇으로 기록할지 먼저 정해야 한다.

2. 데이터베이스 트랜잭션 부하만 걸고 fsync 쪽만 본다

「PostgreSQL 예시: WAL과 Durability」에서 그린 WAL 경로를 따라 쓰기 위주의 트랜잭션을 돌리면 fsync() 가 지연에 직접 걸리는 구간을 만들기 쉽다. 두 계열이 어긋나는 구간을 찾기에도 이 부하가 낫다.

읽기 위주 구간에서는 어떻게 움직이는지 못 본다. 「성능과 Durability의 Trade-off」에서는 DB 부하를 예로 들었을 뿐 다른 부하를 배제하지 않았다.

3. 제외 — 캐시 모드를 바꿔 가며 두 계열을 비교한다

현재 runtime mode는 writeback으로 확인됐다. 먼저 이 구성에서 guest와 host 지연의 관계를 측정한다. cache=none과 비교하면 다른 질문이 되므로 durability 조건과 변경 비용을 정한 뒤 별도 실험으로 분리한다.

storage pressure 동안 guest fsync와 host 지연이 함께 올랐다

현재 qcow2/writeback 구성에서 guest fsync() latency와 host NVMe latency/util이 controlled storage-pressure 구간에서 함께 상승하고, pressure가 사라지면 guest fsync latency도 baseline 수준으로 회복하는 것을 확인했다. 실제 DB WAL workload에서의 크기는 별도 성능 실험으로 남긴다.