9.1 KiB
id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
| id | kind | slug | title | topic | topicName | project | status | questionStatus | lastVerifiedOn | studio | sourceRevision | evidence | source | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ed64d4ff-aa01-48cc-ae68-6a683b025cde | QUESTION | vm1-storage-load-vs-vm2-latency | VM1의 스토리지 부하가 VM2의 지연에 영향을 주는가 | storage-virtualization | 스토리지 가상화 | virtualization | 초안 | RESOLVED | 2026-09-21 | https://hyeonworks.com/studio/documents/ed64d4ff-aa01-48cc-ae68-6a683b025cde/edit | no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 |
|
|
VM1의 스토리지 부하가 VM2의 지연에 영향을 주는가
2026-09-21 VM1(kc-lab-1)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 fdatasync하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(kc-lab-2)에서 128회 fsync() microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. 현재 환경에서는 VM1의 스토리지 부하와 겹친 구간에서 VM2의 fsync() 지연이 크게 증가했다.
VM1 부하 구간에서 VM2 fsync 지연이 증가했다
- 2026-09-21 재검증에서 VM2 isolated fsync 평균은 반복 3회에서
8.2397 / 8.2676 / 9.1264 ms였다. - 2026-09-21 재검증에서 VM1 load는 64 MiB 파일을 10초 동안 20회 overwrite+fdatasync했다. 같은 시간 VM2 first run은 평균
58.4576 ms, p95314.0799 ms, max631.0144 ms였다. - 2026-09-21 재검증에서 VM1 load 종료 후 VM2 run 2/3 평균은
7.9038 / 8.0636 ms로 baseline 수준으로 즉시 회복했다. - 2026-09-21 재검증에서 overlap 구간 host
nvme0n1은%util약 9298%,184 ms, hostw_await약 50%iowait약 18~23%를 보였다. 이후 VM1 load가 사라지자w_await은 약 1 ms 수준으로 내려갔다. - 2026-09-21 재검증에서 테스트 파일
/var/tmp/reval-vm1-load.bin,/var/tmp/reval-fsync.bin은 실행 후 모두 삭제됐고 운영 데이터에는 쓰지 않았다.
「여러 VM이 하나의 NVMe를 공유하면」의 요지는 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer queue로 들어와 하나의 device로 dispatch된다는 것이다. 초기 그림에는 Host Nginx가 별도 주체로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 edge QEMU의 I/O로 들어온다. VM1의 WRITE와 VM2의 READ/WRITE, host의 다른 파일 I/O가 아래쪽 장치를 공유한다는 구조는 그대로다.
「Storage Contention」에서는 여러 가상 머신이 동일한 Physical NVMe 를 사용하면 storage resource 경쟁이 발생할 수 있고, VM1 에서 대량 I/O 가 발생하면 VM2 의 storage latency 가 증가할 수 있다고 적었다. 그러면서 두 경쟁을 이렇게 갈랐다.
CPU Contention : Host logical CPU 실행 시간 경쟁 Storage Contention : IOPS / bandwidth / queue / device 처리시간 경쟁
「CPU가 정상이어도 Storage 때문에 느릴 수 있다」에서는 PostgreSQL 이 storage completion 을 기다리는 동안 CPU usage 가 높지 않을 수 있다고 적고, CPU 30% 인데 Request latency 2초 인 상황을 들었다. 그래서 CPU 지표만으로 지연의 원인을 판단하면 안 된다고 했다.
「Storage 관측 명령어」에서는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다.
VM1에 controlled I/O load를 만들고 같은 시간에 VM2 latency와 host iostat을 기록했다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다.
2026-09-21 findmnt와 lsblk로 /var/lib/libvirt/images/가 /dev/nvme0n1p3의 ext4 루트 파일시스템에 있고, 상위 물리 장치가 nvme0n1임을 확인했다. 세 VM의 주 디스크가 같은 장치를 공유한다는 전제는 더 이상 가정이 아니다.
2026-09-21에는 VM1 controlled write+fdatasync와 VM2 fsync microbenchmark, host iostat을 같은 orchestration 구간에 놓아 실제 cross-VM interference를 재현했다. 기존의 CPU 30% / latency 2초 같은 숫자는 설명용 예시였지만, 이번 문서의 결론은 실제 측정값을 근거로 한다.
controlled load 조건
두 VM의 이미지가 같은 nvme0n1 위에 있다는 2026-09-21 확인값을 실험 조건으로 둔다.
VM1에 controlled I/O load를 약 10초간 걸고 종료한 뒤 VM2 latency가 baseline으로 돌아오는 recovery까지 실제로 확인했다.
VM2 쪽은 같은 128회 fsync microbenchmark를 isolated baseline, overlap, post-load 구간에 반복 적용했다.
host와 guest clock은 실제로 약 90초 어긋나 있었다. 따라서 절대 timestamp 비교 대신 한 host shell이 VM1 load 시작, VM2 fsync, host iostat 종료를 orchestration해 overlap을 보장했다. 장시간 분산 분석 전에는 host NTP를 먼저 맞춰야 한다.
부하를 거는 동안 가상 머신 구성과 VM2 의 워크로드가 바뀌지 않는다고 두고 세 구간을 견준다.
다른 host workload도 같은 NVMe를 사용할 수 있으므로 host device 지표 전체를 VM1 몫으로 단정하지 않는다. 다만 이번 실험은 VM1 load의 시작·종료와 VM2 지연의 상승·회복이 같은 순서로 나타났고, overlap 구간에서 host w_await/%util/%iowait도 함께 상승했다.
load 종료 뒤 회복한 값
이번 controlled load에서는 VM1 부하 구간에 VM2 fsync latency와 host storage latency/util이 함께 증가했고, 부하가 끝난 뒤 VM2 지연이 baseline 수준으로 돌아왔다.
어느 IOPS/throughput 임계점부터 간섭이 시작되는지와 실제 Keycloak/PostgreSQL request latency가 얼마나 영향을 받는지는 별도 단계 부하 실험으로 남긴다.
완화책은 아직 선택하지 않는다
controlled I/O load는 VM1 안의 별도 테스트 파일이나 전용 테스트 디스크에 건다. 운영 데이터에 직접 부하를 걸지 않는다.
세 구간 모두 같은 명령으로 찍는다. 구간마다 다른 도구로 재면 값이 달라진 것인지 도구가 다른 것인지 갈리지 않기 때문이다.
지연이 올랐다는 관측만으로 원인을 스토리지 경쟁으로 확정하지 않는다. 같은 구간의 CPU 지표를 함께 놓고 「Storage Contention」에서는 가른 두 경쟁 가운데 어느 쪽인지 본다.
장치 분리, scheduler 변경, I/O 제한은 측정 전에 정하지 않는다. baseline·load·recovery 표가 나온 뒤 실제 간섭이 확인될 때만 검토한다.
측정하는 동안 다른 실험을 같은 장치 위에서 돌리지 않는다. 시간을 나눈다.
baseline · load · recovery 비교
1. 기준 · 부하 · 회복 세 구간을 한 번에 돌린다
VM2 애플리케이션 지연과 host iostat -xz 1, CPU를 baseline에서 기록하고, VM1 load 구간과 recovery 구간에서 같은 방식으로 반복한다. 세 구간을 한 표에 두면 VM2 지연이 어떤 storage 지표와 함께 움직였는지 비교할 수 있다.
부하를 만드는 방법과 크기를 먼저 정해야 하고, VM2 에 같은 부하를 세 번 거는 준비가 필요하다.
2. 부하를 단계로 올리며 지연을 따라 찍는다
부하를 한 단계씩 올려 가며 같은 셋을 반복해 찍으면 VM2 의 지연이 어느 지점에서 움직이기 시작하는지까지 나온다. 개념 문서가 부하 크기를 적지 않았으므로 한 번의 부하로는 그 크기가 적절했는지 알 수 없다.
실행 횟수가 늘고, 단계마다 같은 시간을 유지해야 값을 견줄 수 있다.
3. 제외 — 호스트에서 직접 I/O 부하를 만들어 대신한다
VM1 대신 호스트 프로세스로 부하를 만들면 준비가 짧다. 「여러 VM이 하나의 NVMe를 공유하면」에서는 Host process 의 I/O 도 같은 queue 로 들어온다고 그렸으므로 장치 쪽 경쟁은 비슷하게 만들 수 있다. 그러나 이 물음이 묻는 것은 VM1 의 부하가 VM2 로 이어지는지이고, 호스트에서 만든 부하는 QEMU 를 지나지 않아서 같은 경로가 아니다.
VM1의 write load가 VM2 fsync latency를 끌어올렸다
현재 공용 nvme0n1 위의 qcow2 구성에서 VM1의 sustained write+fdatasync load가 VM2의 fsync latency를 baseline 대비 크게 증가시키고, load 종료 뒤 다시 baseline으로 회복시키는 cross-VM storage contention을 재현했다. 장치 분리·I/O 제한 같은 완화책의 효과는 별도 실험에서 비교한다.