--- id: d103bb81-45df-402f-86e5-e41d66ed7f8d kind: QUESTION slug: exit-distribution-for-keycloak-workload title: Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가 topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 questionStatus: RESOLVED lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/d103bb81-45df-402f-86e5-e41d66ed7f8d/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 evidence: - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt source: - final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-11 - final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-9 - final/document.md#14-실제-linux에서-확인할-수-있는-것-14-9 --- # Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가 2026-09-21 같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 `perf kvm stat live -p `로 비교했다. Keycloak 정상 요청 10회 구간은 baseline과 비슷했지만, OIDC discovery 1000회/concurrency 20 부하에서는 `EPT_MISCONFIG` 비중과 전체 VM Exit sample 수가 뚜렷하게 증가했다. Keycloak workload의 Exit 분포는 부하 강도에 따라 실제로 달라지지만, 이 변화만으로 병목이라고 판정하지 않는다. ## 2026-09-21에 비교한 다섯 구간 - 2026-09-21 재검증에서 `perf version 7.2.2-1`과 `perf kvm stat live -p --event vmexit`가 현재 host에서 동작했고 KVM tracepoint도 존재했다. - 2026-09-21 재검증에서 `kc-lab-1` baseline은 2초 구간 sample 655/702개, `MSR_WRITE` 약 60%, `HLT` 약 32~33%였다. - 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회는 모두 HTTP 200, 약 5.7~21.8 ms였고 Exit 분포는 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다. - 2026-09-21 재검증에서 OIDC discovery 1000회/concurrency 20 부하는 `rc=0`이었고 sample 수는 987→1211→1339, `EPT_MISCONFIG` 비중은 약 9.9%→18.0%→19.0%로 증가했다. - 2026-09-21 재검증에서 비교군인 CPU-bound는 HLT가 사라지고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%로 바뀌었으며, I/O-heavy는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%, `EPT_MISCONFIG` 약 1.4~1.6%였다. Keycloak 부하의 분포가 단순 CPU-bound나 I/O-heavy와 같지는 않았다. - VM Exit 은 정상적인 가상화 동작이어서 Exit 이 존재한다는 것만으로 문제가 되지 않는다. - 하이퍼바이저가 개입해야 하는 Exit 이 특정 작업에서 지나치게 빈번하고 처리 비용이 커지면 성능에 영향을 줄 수 있다. - 확인할 때 함께 보는 것은 넷이다. Exit 이유 작업 종류 Exit 처리 위치가 KVM 인지 QEMU 사용자 공간인지 애플리케이션 지연과 Exit 증가가 함께 나타나는지 - Exit 이 많다는 관측 하나로 장애라고 판단하지 않는다. - 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있고, 예로 든 명령은 sudo perf kvm stat live 다. - 지원되는 명령과 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 다를 수 있어 perf kvm --help 를 함께 확인한다. 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토한다. - 「측정 환경」에서는 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다. - 비교할 구간은 다섯이다: idle, CPU-bound, I/O가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트. 제목에는 앞쪽 세 범주만 드러나지만 실제 비교에는 Keycloak 정상·부하 구간도 함께 넣는다. ## Exit 분포를 비교할 때 고정한 조건 - 2026-09-21 확인 결과 `perf kvm stat live -p --event vmexit`가 실제로 동작했고 KVM tracepoint도 존재했다. - 다섯 구간을 같은 도구로 같은 길이만큼 잴 수 있다고 전제한다. - Keycloak 정상 요청과 1000회/concurrency 20 read-only 부하를 직접 실행하면서 같은 구간의 HTTP 결과와 VM Exit 분포를 함께 남겼다. - 비교군으로 CPU-bound와 I/O-heavy workload를 따로 실행해 같은 QEMU PID에서 분포를 비교했다. ## 분포만으로 말할 수 없는 것 현재 환경의 `perf kvm` 지원 여부와 Keycloak 정상·부하 구간의 Exit 분포 차이는 해소됐다. 정상 요청은 baseline과 유사했고 read-only 고부하에서는 `EPT_MISCONFIG`과 전체 sample이 증가했다. 이번 실험만으로 각 Exit reason이 Keycloak latency를 얼마나 직접 유발했는지까지는 확정하지 않는다. 특히 `perf kvm`의 reason 통계는 KVM이 관측한 Exit 분포이며 모든 reason이 QEMU userspace까지 올라간다는 뜻이 아니다. ## 이 수치를 읽는 범위 - 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 달라지므로 다른 환경에서 나온 분포와 이 호스트의 분포를 바로 견주지 않는다. - Exit 횟수만 세지 않는다. Exit 이유와 작업 종류, 처리 위치, 같은 구간의 지연을 함께 받아 적는다. - 2026-09-21 현재 `perf kvm`과 KVM tracepoint가 실제로 동작하며 `sudo -n`도 사용 가능했다. 이번 측정은 `-p`로 `kc-lab-1` QEMU PID만 지정했다. - 관측 구간은 2초 단위의 짧은 sample이므로 비율을 장기 평균으로 일반화하지 않는다. 같은 workload를 반복하거나 더 긴 구간으로 재면 분포가 달라질 수 있다. ## idle·CPU·I/O·Keycloak을 같은 방식으로 비교했다 ### 1. perf kvm stat live 로 다섯 구간을 차례로 받는다 perf kvm --help 로 열리는 하위 명령을 먼저 확인하고, 열리면 다섯 구간을 각각 돌리며 Exit 이유 분포를 받는다. 같은 도구로 다섯을 받으므로 구간 사이의 차이를 그대로 견줄 수 있다. 구간마다 부하를 따로 만들어야 하고, 분포가 관측 길이에 따라 흔들리면 같은 구간을 여러 번 받아야 한다. ### 2. KVM tracepoint 를 직접 켜서 받는다 perf kvm 이 이 커널과 perf 버전에서 열리지 않을 때 검토하는 방법이다. tracepoint 를 직접 켜면 Exit 이유를 더 세밀하게 받을 수 있다. 받은 결과를 다섯 구간에 걸쳐 같은 형태로 정리하는 일이 첫 번째 방법보다 손이 많이 가서, perf kvm 이 열리지 않는 것을 확인한 뒤에 간다. ### 3. Keycloak 구간만 받아 절대값으로 판단한다 — 제외 Keycloak 구간의 Exit 수가 크면 Exit 처리 비용이 있다고 읽는 방법이다. Exit 이 많다는 관측 하나로 장애라고 판단하지 않기로 했고, 무엇과 견줘야 「많다」인지도 이 호스트에는 아직 기준이 없다. 그래서 다른 구간 없이 Keycloak 구간만 받지 않는다. ## Keycloak 부하에서는 Exit 분포가 달라졌지만 원인으로 단정하지 않았다 같은 `kc-lab-1`에서 Keycloak 정상 요청은 baseline과 유사한 VM Exit 분포를 보였고, 1000회/concurrency 20 read-only 부하에서는 `EPT_MISCONFIG` 비중과 전체 sample 수가 증가했다. CPU-bound·I/O-heavy 비교군과도 분포가 달랐다. 다만 이 변화가 애플리케이션 지연의 직접 원인이라는 결론은 내리지 않으며, 실제 refresh-token 부하의 latency와 Exit을 같은 실행에서 비교하는 일은 별도 질문으로 남긴다.