107 lines
8.2 KiB
Markdown
107 lines
8.2 KiB
Markdown
---
|
|
id: 61b7486f-5dab-41df-8f4f-e8fc21d88617
|
|
kind: QUESTION
|
|
slug: vm-exit-distribution-by-workload
|
|
title: 실제 작업에서 주로 발생하는 VM Exit 은 무엇인가
|
|
topic: cpu-virtualization
|
|
topicName: CPU 가상화
|
|
project: virtualization
|
|
status: 초안
|
|
questionStatus: RESOLVED
|
|
lastVerifiedOn: 2026-09-21
|
|
studio: "https://hyeonworks.com/studio/documents/61b7486f-5dab-41df-8f4f-e8fc21d88617/edit"
|
|
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
|
evidence:
|
|
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt
|
|
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt
|
|
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt
|
|
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt
|
|
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt
|
|
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt
|
|
source:
|
|
- final/document.md#20-이-concept에서-파생되는-open-question-oq-4
|
|
- final/document.md#8-무엇이-실제로-vm-exit을-발생시키는가
|
|
- final/document.md#14-실제-linux에서-확인할-수-있는-것-14-9
|
|
---
|
|
|
|
# 실제 작업에서 주로 발생하는 VM Exit 은 무엇인가
|
|
|
|
2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 이 호스트에서 동작하는 것을 확인하고, 같은 `kc-lab-1` QEMU를 대상으로 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 비교했다. workload에 따라 VM Exit 분포가 실제로 달라졌다. CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer 비중이 크게 늘었고, Keycloak 고부하에서는 baseline보다 EPT_MISCONFIG 비중과 전체 sample 수가 증가했다.
|
|
|
|
## workload마다 달라진 Exit 분포
|
|
|
|
- 2026-09-21 재검증에서 `perf version 7.2.2-1`을 설치했고 `perf kvm stat live`가 `-p <pid>`와 `--event vmexit`를 지원했다. `/sys/kernel/tracing/events/kvm` 아래 `kvm_exit`, `kvm_entry` 등 KVM tracepoint도 존재했다.
|
|
- 2026-09-21 재검증에서 같은 `kc-lab-1`의 baseline에서 2초 구간 sample은 655/702개였고 `MSR_WRITE` 약 60%, `HLT` 약 32~33%가 중심이었다.
|
|
- 2026-09-21 재검증에서 CPU-bound에서는 `HLT`가 보이지 않았고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%, `MSR_WRITE` 약 34~41%로 바뀌었다.
|
|
- 2026-09-21 재검증에서 I/O-heavy에서는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%가 중심이었고 `EPT_MISCONFIG` 약 1.4~1.6%, `CPUID` 약 2%가 추가로 보였다.
|
|
- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회 구간은 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다. 요청은 모두 HTTP 200이고 개별 지연은 약 5.7~21.8 ms였다.
|
|
- 2026-09-21 재검증에서 같은 노드에 OIDC discovery 1000회, concurrency 20을 걸자 `rc=0`이었고 2초 구간 sample이 987→1211→1339로 늘었다. `EPT_MISCONFIG`은 약 9.9%→18.0%→19.0%까지 나타났다.
|
|
|
|
「무엇이 실제로 VM Exit을 발생시키는가」에서 든, VM Exit 을 발생시킬 수 있는 동작
|
|
|
|
HLT
|
|
I/O Port 접근 - IN / OUT
|
|
CPUID
|
|
Control Register 접근
|
|
MSR 접근
|
|
Exception
|
|
External Interrupt
|
|
|
|
Intel VMX에서는 VMCS의 실행 제어 설정에 따라 어떤 동작을 하이퍼바이저가 가로챌지가 달라진다. 그래서 ‘특권 명령이면 전부 VM Exit’이나 ‘root가 실행하면 VM Exit’처럼 단순화해서 볼 수 없다.
|
|
|
|
Control Register 접근, CPU 예외, MSR 접근도 항상 같은 방식으로 처리되는 것은 아니다. 설정에 따라 게스트가 직접 처리할 수도 있고 KVM이 가로챌 수도 있다. I/O port 접근처럼 사용자 공간의 장치 에뮬레이션이 필요하면 KVM에서 QEMU로 제어가 올라갔다가 다시 `KVM_RUN`으로 돌아오는 경로가 생긴다.
|
|
|
|
「KVM Exit 관찰」에서는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다.
|
|
|
|
2026-09-21 재검증 기준 이 호스트는 kernel `7.2.2-arch1-1`, QEMU 11.1.1, Intel i5-1135G7 VT-x이고 `perf version 7.2.2-1`을 사용했다. VM Exit reason 이름과 비율은 이 환경 조건에 종속된 값으로 읽는다.
|
|
|
|
비교할 작업은 다섯이다.
|
|
|
|
idle
|
|
CPU-bound workload
|
|
I/O-heavy workload
|
|
Keycloak 정상 요청
|
|
Keycloak 부하 테스트
|
|
|
|
## workload만 바꾸고 나머지 조건은 고정했다
|
|
|
|
다섯 workload를 같은 `kc-lab-1` QEMU에서 차례로 만들고 `-p <QEMU_PID>`로 해당 프로세스만 필터링했다. `sudo -n`도 사용 가능해 비대화식 측정으로 실행했고, baseline·CPU-bound·I/O-heavy·Keycloak 정상·Keycloak 부하를 같은 도구와 같은 2초 관측 단위로 비교했다.
|
|
|
|
## Exit 분포가 답하지 않는 것
|
|
|
|
현재 환경에서 `perf kvm stat live` 지원 여부와 다섯 workload의 분포 차이는 해소됐다. 출력에는 `HLT`, `MSR_WRITE`, `MSR_READ`, `EXTERNAL_INTERRUPT`, `PREEMPTION_TIMER`, `CPUID`, `EPT_MISCONFIG`, `PAUSE_INSTRUCTION` 등이 workload에 따라 나타났다.
|
|
|
|
남는 것은 더 긴 구간에서 분포가 얼마나 안정되는지와 각 Exit의 실제 end-to-end latency 영향이다. 이번 질문은 **어떤 workload에서 어떤 Exit 분포가 보이는가**까지를 답하며, sample 비중 증가를 곧바로 성능 문제로 판정하지 않는다.
|
|
|
|
## 이 호스트에 종속된 값
|
|
|
|
2026-09-21 현재 `perf kvm`과 KVM tracepoint가 모두 사용 가능한 것을 확인했다. 이번 분포는 `kc-lab-1` QEMU PID로 필터링해 다른 VM의 Exit을 섞지 않았다.
|
|
|
|
「무엇이 실제로 VM Exit을 발생시키는가」에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다.
|
|
|
|
「KVM Exit 관찰」에서는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다.
|
|
|
|
Exit 총 횟수만으로는 작업을 비교할 수 없다. I/O port 접근처럼 QEMU까지 올라가는 Exit과 KVM 안에서 끝나는 Exit은 처리 경로가 다르다. 따라서 Exit이 많다는 사실 자체를 장애 판정으로 쓰지 않고 이유와 처리 경로를 함께 본다.
|
|
|
|
## 어떻게 측정했나
|
|
|
|
### 1. perf kvm 지원 범위를 먼저 확인했다
|
|
|
|
`perf kvm --help`와 실제 실행으로 `stat live`, `-p`, `--event vmexit` 지원 여부를 확인한 뒤 본 측정을 진행했다.
|
|
|
|
### 2. 열리면 sudo perf kvm stat live 로 다섯 작업을 각각 돌린다
|
|
|
|
다섯 작업을 하나씩 돌리며 Exit 이유 분포를 같은 형식으로 남긴다. 유휴 구간을 먼저 재 두면 나머지 네 작업에서 무엇이 늘었는지 비교하기 쉽다.
|
|
|
|
### 3. KVM tracepoint는 대안으로 남긴다
|
|
|
|
현재는 `perf kvm`이 동작하므로 tracepoint를 직접 수집할 필요가 없었다. 더 세밀한 원인 추적이 필요할 때만 `kvm_exit`/`kvm_entry` tracepoint를 사용한다.
|
|
|
|
### 4. 제외 — Exit 총 횟수만 세어 작업을 견준다
|
|
|
|
숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 「I/O Port 접근 - IN / OUT」에 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다.
|
|
|
|
## workload가 바뀌자 Exit 분포도 바뀌었다
|
|
|
|
같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak 부하의 VM Exit 분포가 서로 다르게 나타나는 것을 `perf kvm stat live`로 확인했다. 이 분포는 workload fingerprint로 사용할 수 있지만, Exit sample이 많거나 특정 이유의 비중이 높다는 사실만으로 병목이라고 판정하지 않는다.
|