refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 14:43:41 +09:00
parent a5d68c0767
commit 1549e62b5e
321 changed files with 13091 additions and 4522 deletions
@@ -43,22 +43,6 @@ source:
`virsh` 로 가상 머신을 시작하면 그 뒤로 CPU 를 쓰는 쪽은 QEMU 프로세스다. vCPU 하나마다 QEMU vCPU 스레드가 하나씩 있다. 그 스레드를 호스트 Linux 스케줄러가 다른 호스트 스레드와 나란히 놓고 논리 CPU 에 배치한다. 게스트 코드는 그 스레드가 `KVM_RUN` 을 호출한 뒤 VM Entry 를 지나 물리 CPU 에서 직접 실행된다. 하이퍼바이저가 개입해야 하는 조건을 만나면 VM Exit 으로 KVM 에 제어권이 넘어간다. Keycloak 멀티 노드 실험을 가상 머신 두 대 위에서 돌리다 보니, 이 경로를 알아 두면 게스트 안의 지연을 애플리케이션·저장소 문제와 호스트 자원 문제로 갈라 볼 수 있다.
## 관계
- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가**
이 글은 vCPU 스레드가 호스트 스케줄러에 따라 다른 논리 CPU 에서 실행될 수 있다고만 적었다. 그 이동을 `PSR` 로 실제로 재는 질문이다.
- **실제 작업에서 주로 발생하는 VM Exit 은 무엇인가**
무엇이 VM Exit 을 부르는지는 여기 적었지만, 어떤 작업에서 어떤 이유의 Exit 이 얼마나 나오는지는 이 호스트에서 세지 않았다.
- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가**
경쟁과 초과 할당은 예시 숫자로 설명했다. 이 테스트 환경의 논리 CPU 수와 두 가상 머신의 vCPU 합은 SSOT 에 적혀 있지 않다.
- **cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가**
진단표는 두 원인을 다른 행으로 갈라 놓았다. 그 구분이 지표로도 갈리는지는 같은 크기의 지연을 두 원인으로 각각 재현해야 안다.
- **운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가**
진단표의 어느 행부터 보는지가 이 답에 달려 있다.
- **이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가**
이 글은 NUMA 를 진단표의 한 행으로만 두고 메모리 배치는 범위 밖으로 미뤘다. 단일 NUMA node 면 이 실험에서 우선순위를 낮추고, 다중이면 vCPU 와 메모리 배치를 따로 확인한다.
## 본문
<!-- body:start -->
@@ -80,7 +64,7 @@ VMX(Virtual Machine Extensions)는 Intel CPU 자체가 제공하는 하드웨어
가상 머신에 4 vCPU 를 설정하면 게스트 OS 는 그것을 자신의 CPU 처럼 인식한다. 호스트에는 각 vCPU 의 실행 주체에 대응하는 QEMU vCPU 스레드가 하나씩 존재한다. 4 vCPU 는 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 4개의 가상 CPU 실행 컨텍스트를 제공한다는 의미에 가깝다. 호스트의 물리 CPU 4개가 그 가상 머신으로 영구히 넘어가지는 않는다.
vCPU 스레드가 실행될 논리 CPU 를 특정 집합으로 제한하는 설정을 CPU pinning 이라고 한다. pinning 도 별도의 CPU 격리도 하지 않았다면 vCPU 스레드는 호스트 Linux 스케줄러가 스케줄링한다. 호스트가 6 Core / 12 Thread 라면 Linux 에서는 일반적으로 12개의 논리 CPU 가 스케줄링 대상으로 보인다. vCPU 스레드도 Chrome 스레드나 Java 스레드와 마찬가지로 그 12개 위에 배치된다. 그래서 시간에 따라 같은 스레드가 서로 다른 논리 CPU 에서 실행될 수도 있다. 다만 이 호스트에서 그 이동을 재지는 않았다. 스레드가 최근 실행된 논리 CPU 를 알려 주는 `PSR` 값을 시간에 따라 여러 번 보면 확인되는데, 그 관찰을 아직 돌리지 않았다.
vCPU 스레드가 실행될 논리 CPU 를 특정 집합으로 제한하는 설정을 CPU pinning 이라고 한다. pinning 도 별도의 CPU 격리도 하지 않았다면 vCPU 스레드는 호스트 Linux 스케줄러가 스케줄링한다. 호스트가 6 Core / 12 Thread 라면 Linux 에서는 일반적으로 12개의 논리 CPU 가 스케줄링 대상으로 보인다. vCPU 스레드도 Chrome 스레드나 Java 스레드와 마찬가지로 그 12개 위에 배치된다. 그래서 시간에 따라 같은 스레드가 서로 다른 논리 CPU에서 실행될 수도 있다. 2026-09-21 재검증에서는 worker vCPU thread의 실제 TID를 확인한 뒤 `PSR`을 반복해서 읽었다. `kc-lab-1`의 vCPU0 thread는 짧은 구간에도 `7 → 2 → 0 → 4 → 3`처럼 여러 논리 CPU 사이를 이동했고, `virsh vcpupin`과 `taskset -pc`는 허용 CPU가 `0-7` 전체임을 보여 줬다. 현재 구성은 unpinned이고 실제 migration도 관측됐다.
호스트 CPU 가 부족하면 QEMU vCPU 스레드와 호스트의 다른 작업이 같은 논리 CPU 자원을 두고 경쟁한다.
@@ -130,7 +114,7 @@ VM Exit 자체는 정상적인 가상화 동작이어서 Exit 이 있다고 문
호스트에 논리 CPU 가 12개 있고 8 vCPU 가상 머신을 네 대 올리면 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다. 그 가상 머신들이 대부분 유휴 상태면 이 구성 자체가 장애를 뜻하지 않는다. 여러 가상 머신의 vCPU 가 동시에 실행 대기 상태가 될 때 CPU 경쟁과 스케줄링 지연이 늘어난다.
vCPU 스레드끼리만 경쟁하지도 않는다. 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 테스트 환경이라면 호스트 쪽 Nginx 와 K3s, DB, Redis, 그 밖의 호스트 프로세스도 같은 Linux 스케줄러를 거친다.
vCPU 스레드끼리만 경쟁하지도 않는다. 호스트의 다른 프로세스와 커널 작업도 같은 논리 CPU를 쓴다. 현재 실험대에서는 nginx가 Edge VM으로 이동했지만, QEMU 프로세스와 host networking·storage 작업, SSH·관측 명령 같은 host workload는 여전히 같은 Linux 스케줄러의 대상이다.
게스트 안에서 이 경쟁이 드러나는 값이 steal time 이다. 게스트 Linux 의 `top` 에서 `%st` 로 확인할 수 있다. 게스트 vCPU 에 실행할 작업이 있고 호스트에서 그 스레드가 CPU 를 필요로 하는데, 다른 작업 때문에 즉시 실행되지 못한 시간을 나타낸다. 이 값이 높으면 호스트 CPU 경쟁이나 논리 CPU 보다 많은 vCPU 를 할당한 초과 할당을 의심할 수 있지만, 단독으로 원인을 확정하는 지표는 아니다. 호스트 CPU 포화와 실행 대기열, 친화도, 어떤 작업이 돌고 있었는지를 함께 확인한다.
@@ -184,11 +168,15 @@ sudo perf kvm stat live
지원되는 명령과 표시되는 Exit 이유는 커널과 `perf` 버전, CPU 아키텍처 및 설정에 따라 다르기 때문에 그 환경에서 무엇이 되는지 `perf kvm --help` 로 확인한다. 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토한다.
## 이 문서가 확정하지 않는 것
## 이 호스트에서 실제로 확인한 CPU 경로
CPU 가상화 개념에서 확정하는 수준은 셋까지다. 구조적으로 어떤 문제가 발생할 수 있는가, 어떤 지표로 그 문제를 의심할 수 있는가, 어느 계층에서 확인해야 하는가. 현재 테스트 서버에서 실제로 그 문제가 일어나는지는 여기서 사실로 확정하지 않는다.
2026-09-21 재검증으로 CPU 가상화 경로의 여러 지점을 실제 값으로 확인했다. host는 4 cores / 8 logical CPUs이고 single NUMA node다. Edge VM의 `CPU 0/KVM` thread는 guest가 유휴에 가까울 때 sleep 상태와 0~1% CPU로 보였고, guest에서 CPU-bound workload를 주자 running 상태와 약 100% CPU로 바뀌었다가 부하 종료 뒤 다시 sleep 상태로 돌아왔다. worker vCPU thread는 pinning 없이 CPU `0-7` 전체에서 실제로 migration했다.
이 호스트에서 잰 값은 하나도 없다. 관찰 명령은 무엇을 볼 수 있는지 적어 둔 목록이다. VM Exit 분포도 steal time 도, pinning 없이 vCPU 스레드가 논리 CPU 사이를 옮겨 다니는지도 아직 측정하지 않았다. 검증은 VMX 와 SVM 확인에서 시작한다. 그다음 KVM 모듈과 `/dev/kvm`, `virsh` 가상 머신, QEMU 프로세스, vCPU 스레드, 호스트 논리 CPU 스케줄링, 게스트가 유휴일 때와 부하를 받을 때의 비교, steal time, VM Exit 관찰로 이어진다. 값이 나오면 각각 재현 조건을 붙인 기록으로 남기고, 그때도 답하지 못한 항목은 열린 질문으로 유지한다.
두 worker의 2 vCPU를 각각 모두 CPU-bound로 만든 실험에서는 guest 두 대 모두 `id=0%`까지 자기 vCPU를 사용했지만 host에는 약 49~50% idle이 남았고 `%st`는 0%였다. 따라서 현재 8 logical CPU / worker 2+2 vCPU 조건에서는 guest CPU 포화가 host CPU starvation이나 steal 증가와 같은 상태가 아니었다.
VM Exit 분포와 pinning, cgroup throttling과 host contention은 2026-09-21에 실제 workload로 확인했다. `perf kvm stat live`에서는 idle·CPU-bound·I/O-heavy·Keycloak 요청에 따라 Exit 분포가 달라졌지만, 특정 Exit 비중만으로 병목을 판정하지 않았다. pinning은 vCPU migration을 없앴지만 Keycloak latency와 throughput 개선은 반복 실행에서 재현되지 않아 원래의 unpinned `0-7` affinity로 복원했다. cgroup quota는 `cpu.stat`의 throttling으로, host contention은 cgroup throttle 없이 guest `%st`와 특정 pCPU 포화로 구분됐다.
아직 답하지 않은 것은 vCPU 수를 늘렸을 때 처리량이 어디서 포화되는지, 실제 Keycloak refresh 부하에서 가상화 CPU 계층이 병목이 되는지, 그리고 운영 서버가 bare metal인지 상위 hypervisor 위인지다. 이 셋은 현재 실험대의 구조 설명만으로 정하지 않는다.
범위 밖으로 미룬 영역도 있다. 네트워크·메모리·스토리지 가상화와 PCIe/VFIO/IOMMU 상세, K3s 네트워크와 컨테이너 런타임 상세는 이 문서가 다루지 않는다. NUMA 는 문제가 생길 수 있다는 것과 CPU 친화도와의 연관까지만 적었다. 메모리 배치와 NUMA 튜닝은 메모리 가상화 개념 문서에서 다룬다.
@@ -7,9 +7,17 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/d103bb81-45df-402f-86e5-e41d66ed7f8d/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt
source:
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-11
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-9
@@ -18,17 +26,15 @@ source:
# Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가
이 호스트에서 Exit 을 받아 본 기록이 없고 관측 도구가 열리는지부터 확인하지 않았다. VM Exit 은 게스트를 실행하던 CPU 가 제어권을 KVM 쪽으로 넘기는 정상 동작이라, 있다는 것만으로 문제가 되지 않는다. Keycloak 구간에서 Exit 이 얼마나 잦은지는 나머지 네 구간의 분포와 견줘야 갈린다.
2026-09-21 같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 `perf kvm stat live -p <QEMU_PID>`로 비교했다. Keycloak 정상 요청 10회 구간은 baseline과 비슷했지만, OIDC discovery 1000회/concurrency 20 부하에서는 `EPT_MISCONFIG` 비중과 전체 VM Exit sample 수가 뚜렷하게 증가했다. **Keycloak workload의 Exit 분포는 부하 강도에 따라 실제로 달라지지만, 이 변화만으로 병목이라고 판정하지 않는다.**
## 관계
## 2026-09-21에 비교한 다섯 구간
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
무엇이 VM Exit 을 부르고 그 처리가 커널에서 끝나는지 QEMU 사용자 공간까지 가는지를 이 개념이 설명한다.
- **실제 작업에서 주로 발생하는 VM Exit 은 무엇인가**
그쪽은 작업 다섯의 분포를 서로 견주는 물음이고, 이 질문은 Keycloak 구간의 분포가 같은 구간의 지연과 같이 움직이는지를 묻는다.
다섯 구간을 한 번 받으면 두 질문의 자료가 함께 나오지만 닫는 기준이 달라 기록은 따로 둔다. 도구가 이 환경에서 열리는지 보는 첫 단계도 둘이 같이 쓴다.
## 사실
- 2026-09-21 재검증에서 `perf version 7.2.2-1`과 `perf kvm stat live -p <pid> --event vmexit`가 현재 host에서 동작했고 KVM tracepoint도 존재했다.
- 2026-09-21 재검증에서 `kc-lab-1` baseline은 2초 구간 sample 655/702개, `MSR_WRITE` 약 60%, `HLT` 약 32~33%였다.
- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회는 모두 HTTP 200, 약 5.7~21.8 ms였고 Exit 분포는 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다.
- 2026-09-21 재검증에서 OIDC discovery 1000회/concurrency 20 부하는 `rc=0`이었고 sample 수는 987→1211→1339, `EPT_MISCONFIG` 비중은 약 9.9%→18.0%→19.0%로 증가했다.
- 2026-09-21 재검증에서 비교군인 CPU-bound는 HLT가 사라지고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%로 바뀌었으며, I/O-heavy는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%, `EPT_MISCONFIG` 약 1.4~1.6%였다. Keycloak 부하의 분포가 단순 CPU-bound나 I/O-heavy와 같지는 않았다.
- VM Exit 은 정상적인 가상화 동작이어서 Exit 이 존재한다는 것만으로 문제가 되지 않는다.
- 하이퍼바이저가 개입해야 하는 Exit 이 특정 작업에서 지나치게 빈번하고 처리 비용이 커지면 성능에 영향을 줄 수 있다.
@@ -40,35 +46,30 @@ source:
- Exit 이 많다는 관측 하나로 장애라고 판단하지 않는다.
- 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있고, 예로 든 명령은 sudo perf kvm stat live 다.
- 지원되는 명령과 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 다를 수 있어 perf kvm --help 를 함께 확인한다. 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토한다.
- §197 은 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다.
- 비교 후보로 적어 둔 구간은 idle, CPU-bound 작업, I/O 가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트 다섯이다.
이 목록은 개념 문서가 앞선 물음 자리에 적어 둔 것이고, 이 질문의 제목이 든 것은 그 가운데 앞쪽 셋이다. 받아야 하는 구간은 제목이 든 것보다 둘 많다.
- 「측정 환경」에서는 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다.
- 비교할 구간은 다섯이다: idle, CPU-bound, I/O가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트. 제목에는 앞쪽 세 범주만 드러나지만 실제 비교에는 Keycloak 정상·부하 구간도 함께 넣는다.
## 가정
## Exit 분포를 비교할 때 고정한 조건
- 이 호스트에서 perf kvm 이나 KVM tracepoint 가운데 하나는 열린다고 보고 측정 순서를 짠다.
둘 다 열리지 않는 결과도 이 질문의 정상적인 답이다.
- 2026-09-21 확인 결과 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 실제로 동작했고 KVM tracepoint도 존재했다.
- 다섯 구간을 같은 도구로 같은 길이만큼 잴 수 있다고 전제한다.
- Keycloak 부하 구간의 지연은 실험이 이미 재고 있는 값에서 가져올 수 있다고 본다.
- I/O 가 많은 구간을 이 환경에서 따로 만들 수 있다고 보고 짰다. 만드는 방법은 개념 문서에 적혀 있지 않다.
- Keycloak 정상 요청과 1000회/concurrency 20 read-only 부하를 직접 실행하면서 같은 구간의 HTTP 결과와 VM Exit 분포를 함께 남겼다.
- 비교군으로 CPU-bound와 I/O-heavy workload를 따로 실행해 같은 QEMU PID에서 분포를 비교했다.
## 미지수
## 분포만으로 말할 수 없는 것
- 이 호스트에서 perf kvm 의 어떤 하위 명령이 열리는지, 열리지 않으면 tracepoint 쪽이 열리는지.
- Keycloak 구간의 Exit 이유 분포가 나머지 네 구간과 얼마나 다른지.
- 그 차이가 같은 구간의 Keycloak 지연과 같이 움직이는지.
- Exit 처리 위치가 KVM 인지 QEMU 사용자 공간인지를 이 환경의 출력으로 가를 수 있는지.
- 관측이 열린다면 얼마나 오래 받아야 구간 사이의 차이가 잡히는지.
현재 환경의 `perf kvm` 지원 여부와 Keycloak 정상·부하 구간의 Exit 분포 차이는 해소됐다. 정상 요청은 baseline과 유사했고 read-only 고부하에서는 `EPT_MISCONFIG`과 전체 sample이 증가했다.
## 제약
이번 실험만으로 각 Exit reason이 Keycloak latency를 얼마나 직접 유발했는지까지는 확정하지 않는다. 특히 `perf kvm`의 reason 통계는 KVM이 관측한 Exit 분포이며 모든 reason이 QEMU userspace까지 올라간다는 뜻이 아니다.
## 이 수치를 읽는 범위
- 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 달라지므로 다른 환경에서 나온 분포와 이 호스트의 분포를 바로 견주지 않는다.
- Exit 횟수만 세지 않는다. Exit 이유와 작업 종류, 처리 위치, 같은 구간의 지연을 함께 받아 적는다.
- 도구가 열려야 측정이 시작된다. 열리지 않으면 이 질문은 값 없이 닫힌다.
- sudo 가 필요한 명령인데, §204 는 이 호스트의 sudo 가 비밀번호를 요구해 비대화식으로는 읽지 못했다고 적었다. 그래서 콘솔에 붙어 직접 치는 실행으로 잡는다.
- 이 호스트에서 Exit 을 실제로 받아 본 기록이 없다.
- 2026-09-21 현재 `perf kvm`과 KVM tracepoint가 실제로 동작하며 `sudo -n`도 사용 가능했다. 이번 측정은 `-p`로 `kc-lab-1` QEMU PID만 지정했다.
- 관측 구간은 2초 단위의 짧은 sample이므로 비율을 장기 평균으로 일반화하지 않는다. 같은 workload를 반복하거나 더 긴 구간으로 재면 분포가 달라질 수 있다.
## 선택지
## idle·CPU·I/O·Keycloak을 같은 방식으로 비교했다
### 1. perf kvm stat live 로 다섯 구간을 차례로 받는다
@@ -89,11 +90,6 @@ tracepoint 를 직접 켜면 Exit 이유를 더 세밀하게 받을 수 있다.
Keycloak 구간의 Exit 수가 크면 Exit 처리 비용이 있다고 읽는 방법이다.
Exit 이 많다는 관측 하나로 장애라고 판단하지 않기로 했고, 무엇과 견줘야 「많다」인지도 이 호스트에는 아직 기준이 없다. 그래서 다른 구간 없이 Keycloak 구간만 받지 않는다.
## 다음 검증
## Keycloak 부하에서는 Exit 분포가 달라졌지만 원인으로 단정하지 않았다
1. perf kvm --help 로 이 환경이 지원하는 하위 명령을 확인한다.
2. 열리면 sudo perf kvm stat live 로 idle, CPU-bound, I/O 가 많은 구간, Keycloak 정상 요청, Keycloak 부하 다섯의 Exit 이유 분포를 받는다.
3. 같은 다섯 구간의 Keycloak 지연을 실험이 이미 재는 값에서 가져와 분포 옆에 적는다.
4. perf kvm 이 열리지 않으면 KVM tracepoint 를 쓰는 쪽을 검토하고, 검토 결과와 그 판단 근거도 함께 기록한다.
닫는 조건 : Keycloak 구간의 Exit 분포가 다른 구간과 다르고 그 차이가 지연과 같이 움직이면 그 측정이 Case 가 되고 닫는다. 분포가 다르지 않거나 지연과 따로 움직이면, 이 작업에서 Exit 처리 비용은 조사 대상이 아니라고 적고 진단표의 「과도한 VM Exit」 행을 뒤로 미루는 근거로 남긴 뒤 닫는다.
같은 `kc-lab-1`에서 Keycloak 정상 요청은 baseline과 유사한 VM Exit 분포를 보였고, 1000회/concurrency 20 read-only 부하에서는 `EPT_MISCONFIG` 비중과 전체 sample 수가 증가했다. CPU-bound·I/O-heavy 비교군과도 분포가 달랐다. 다만 이 변화가 애플리케이션 지연의 직접 원인이라는 결론은 내리지 않으며, 실제 refresh-token 부하의 latency와 Exit을 같은 실행에서 비교하는 일은 별도 질문으로 남긴다.
@@ -7,9 +7,12 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/688c6c02-c1bd-4cd2-a615-2396db145386/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt
source:
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-12
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-11
@@ -17,50 +20,39 @@ source:
# 이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가
이 호스트의 NUMA 노드 수를 확인한 기록이 없다. §197 이 받은 `lscpu` 출력에 NUMA 줄이 없어서다. NUMA(Non-Uniform Memory Access)는 어느 CPU 가 어느 메모리에 접근하느냐에 따라 접근 비용이 달라지는 구조다. 단일 노드면 지금 실험에서 우선순위를 낮추고, 다중 노드면 vCPU 와 메모리 배치를 따로 다룬다.
2026-09-21 현재 `test-server`는 **NUMA node 1개**다. `lscpu`에서 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 확인했고 sysfs의 `/sys/devices/system/node/node0/cpulist`도 `0-7`이었다. 따라서 현재 host에서는 remote NUMA 접근을 전제로 한 vCPU/memory locality 튜닝을 우선 항목으로 둘 이유가 없다.
## 관계
## 현재 호스트의 토폴로지
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
vCPU 스레드가 어느 논리 CPU 에서 실행될지를 호스트 스케줄러가 정한다는 것이 이 물음의 전제다.
## 사실
- 2026-09-21 재검증에서 Host CPU는 Intel i5-1135G7, 4 cores / 8 logical CPUs이고 NUMA node는 `node0` 하나다. node0에 CPU `0-7`과 host memory 전체가 속한다.
- 멀티소켓 또는 NUMA 구조의 호스트에서는 CPU 가 실행되는 NUMA 노드와 가상 머신 메모리가 놓인 NUMA 노드가 어디냐에 따라 성능이 달라질 수 있다.
- vCPU 가 노드 0 의 CPU 에서 실행되는데 필요한 메모리가 주로 노드 1 에 배치되어 있으면 다른 노드의 메모리를 읽는 접근(remote memory access)이 생길 수 있다.
- NUMA 는 CPU 가상화와 메모리 가상화의 경계에 걸쳐 있다. 그래서 지금 개념 문서는 문제가 있다는 것과 CPU 친화도와 어떻게 얽히는지까지만 기록했고, 상세한 메모리 배치와 NUMA 튜닝은 메모리 가상화를 다루는 개념 문서로 넘겼다.
- 이 물음의 종료 기준은 개념 문서가 직접 적어 두었다.
단일 NUMA 노드 : 지금 실험에서 우선순위를 낮춘다
다중 NUMA 노드 : vCPU 와 메모리 배치를 별도 Case 후보로 올린다
개념 문서가 남긴 열린 물음 열둘 가운데 닫는 갈래를 스스로 적어 둔 것은 이 하나다.
- §24.11 은 이 확인에 쓸 명령을 적지 않았다. 다른 확인 항목과 달리 NUMA 쪽에는 예로 든 명령이 없다.
- 메모리 가상화 쪽 §78 이 그 명령을 든다. 노드 수는 `lscpu` 의 NUMA 줄로 보라고 적고 `numactl --hardware` 를 추가로 든다. QEMU 프로세스별 메모리 분포는 `numastat -p <QEMU_PID>`, vCPU 배치는 `virsh vcpupin <VM_NAME>` 과 `virsh vcpuinfo <VM_NAME>` 이다.
- §197 이 2026-09-10 에 이 호스트에서 받은 `lscpu` 출력은 `Model name` 이 `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, `CPU(s)` 가 8, `Core(s) per socket` 이 4, `Thread(s) per core` 가 2 다. 네 줄만 `grep` 으로 걸러 받아서 NUMA 줄은 거기 없다.
- §24.11 이 문제를 두는 조건은 멀티소켓 또는 NUMA 구조인데, 그 네 줄에는 `Socket(s)` 도 NUMA 줄도 없다.
- 이 호스트의 NUMA 노드 수를 확인한 기록이 없다.
- 판정은 단순하다. 단일 NUMA 노드라면 지금 실험에서 우선순위를 낮춘다. 다중 NUMA 노드라면 vCPU 실행 위치와 메모리 배치를 이어서 확인한다.
- 「NUMA Locality 문제」에서는 이 확인에 쓸 명령을 적지 않았다. 다른 확인 항목과 달리 NUMA 쪽에는 예로 든 명령이 없다.
- 메모리 가상화 쪽 「NUMA는 실제 장비 topology부터 확인한다」에서는 그 명령을 든다. 노드 수는 `lscpu` 의 NUMA 줄로 보라고 적고 `numactl --hardware` 를 추가로 든다. QEMU 프로세스별 메모리 분포는 `numastat -p <QEMU_PID>`, vCPU 배치는 `virsh vcpupin <VM_NAME>` 과 `virsh vcpuinfo <VM_NAME>` 이다.
- 「측정 환경」에서는 2026-09-10 에 이 호스트에서 받은 `lscpu` 출력은 `Model name` 이 `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, `CPU(s)` 가 8, `Core(s) per socket` 이 4, `Thread(s) per core` 가 2 다. 네 줄만 `grep` 으로 걸러 받아서 NUMA 줄은 거기 없다.
- 「NUMA Locality 문제」에서는 문제를 두는 조건은 멀티소켓 또는 NUMA 구조인데, 그 네 줄에는 `Socket(s)` 도 NUMA 줄도 없다.
- 2026-09-21 `lscpu`와 sysfs를 읽어 이 호스트가 NUMA node 하나인 것을 확인했다.
## 가정
## NUMA를 판단할 때 필요한 조건
- 호스트에 붙어 노드 수를 읽을 수 있다고 본다.
- 단일 노드로 나오면 vCPU 가 실행되는 노드와 메모리가 놓인 노드가 갈리지 않으므로 다른 노드의 메모리를 읽을 일이 지금 실험에서 성능 차이를 만들지 않는다고 본다.
그 추론을 이 호스트에서 확인하지는 않았다.
- 두 가상 머신의 메모리 배치가 실행 중에 바뀌지 않는다고 전제한다.
§198 은 virtio-balloon 이 안 쓰는 만큼 호스트에 돌려준다고 적었으므로 할당된 양은 실행 중에 바뀐다. 노드 배치까지 따라 바뀌는지는 적혀 있지 않다.
- 2026-09-21 호스트에서 NUMA node 수와 node0 CPU 목록을 직접 읽었다.
- 실제로 node0 하나뿐이어서 이 호스트에서는 서로 다른 NUMA node 사이의 remote memory access 구성이 성립하지 않는다.
- 이 host에서는 node가 하나뿐이라 실행 중 memory placement 변화가 있어도 remote NUMA라는 두 번째 위치가 생기지 않는다. `virtio-balloon` 장치가 있다는 사실도 NUMA node를 추가하지 않는다. 다중 NUMA 장비로 옮겼을 때만 vCPU 실행 위치와 QEMU memory placement를 별도로 다시 읽는다.
## 미지수
## 단일 노드라 사라진 질문
- 이 호스트가 단일 NUMA 노드인지 다중 NUMA 노드인지.
- 다중이라면 두 가상 머신의 vCPU 와 메모리가 각각 어느 노드에 배치되어 있는지.
- §78 이 든 명령 가운데 `numactl` 과 `numastat` 이 이 호스트에 깔려 있는지.
- 다중으로 나왔을 때 배치를 바꾸는 일이 지금 가상 머신 구성에서 가능한지.
현재 host의 NUMA topology에 대한 미지수는 해소됐다. node0 하나뿐이므로 현재 환경에서 서로 다른 NUMA node 사이의 remote memory access를 만들 수 없다. 다중 NUMA host에서의 배치 방법은 이 질문의 현재 답에 필요하지 않다.
## 제약
## 이 결과의 적용 범위
- 이 질문이 다중 노드로 닫혀도 여기서 NUMA 튜닝을 정하지 않는다. 상세한 메모리 배치는 §73~§78 과 그것을 받을 메모리 가상화 개념 기록이 다룬다.
- §24.11 쪽에는 예로 든 명령이 없고 §78 쪽 명령은 메모리 가상화 절에 있다. 그래서 실행한 명령과 그 출력을 함께 증거로 남긴다.
- 이 호스트의 노드 수를 잰 값이 없어 다른 장비의 노드 구성을 근거로 삼지 않는다.
- 다중 NUMA라는 사실만으로 pinning이나 memory binding을 적용하지 않는다. 실제 vCPU·메모리 배치와 지연 차이를 확인한 뒤에야 튜닝 여부를 판단한다.
- 「NUMA Locality 문제」쪽에는 예로 든 명령이 없고 「NUMA는 실제 장비 topology부터 확인한다」쪽 명령은 메모리 가상화 절에 있다. 그래서 실행한 명령과 그 출력을 함께 증거로 남긴다.
- 현재 판정은 다른 장비가 아니라 2026-09-21 `test-server`에서 직접 읽은 topology를 근거로 한다.
## 선택지
## 토폴로지를 확인하는 방법
### 1. 노드 수만 먼저 읽고 거기서 갈린다
@@ -76,14 +68,10 @@ source:
### 3. 메모리 가상화 쪽에서 함께 본다 — 제외
상세한 메모리 배치를 §73~§78 이 다루므로 확인도 그쪽에서 하자는 방법이다.
상세한 메모리 배치를 「NUMA」~「NUMA는 실제 장비 topology부터 확인한다」에서는 다루므로 확인도 그쪽에서 하자는 방법이다.
지금 필요한 판단은 이 항목을 실험 목록의 어디에 둘지 하나이고, 그것은 노드 수만으로 갈린다.
§78 은 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다.
「NUMA는 실제 장비 topology부터 확인한다」에서는 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다.
## 다음 검증
## 이 호스트에서는 NUMA 간 차이를 비교할 수 없다
1. `lscpu` 를 NUMA 줄까지 받아 노드 수를 적고 `numactl --hardware` 로 한 번 더 본다 (§78).
2. 실행한 명령과 그 출력을 함께 증거로 남긴다. §24.11 쪽에 예로 든 명령이 없어서 무엇을 썼는지 적어 두지 않으면 다음 사람이 같은 값을 다시 읽지 못한다.
3. 다중 노드로 나오면 `virsh vcpupin <VM_NAME>` 으로 vCPU 배치를, `numastat -p <QEMU_PID>` 로 그 QEMU 프로세스의 메모리 분포를 이어서 적는다 (§78).
닫는 조건 : 단일 NUMA 노드로 나오면 §27 이 적은 대로 지금 실험에서 우선순위를 낮추고 닫는다. 다중 NUMA 노드로 나오면 vCPU 와 메모리 배치를 별도 Case 후보로 올리고 §24.11 과 함께 §73~§78 쪽으로 넘긴다.
현재 host는 single NUMA node다. 다중 NUMA 장비로 실험 환경이 바뀌면 다시 연다.
@@ -7,9 +7,12 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/4a2d3332-81c3-44fa-a4fb-216a41abb504/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt
source:
- final/document.md#20-이-concept에서-파생되는-open-question-oq-3
- final/document.md#10-guest가-idle이면-물리-cpu는-어떻게-되는가
@@ -18,106 +21,74 @@ source:
# 게스트가 유휴 상태일 때 vCPU 스레드는 이 테스트 환경에서 어떻게 보이는가
유휴와 부하 두 상태에서 QEMU 프로세스의 스레드 목록을 아직 어느 쪽도 찍지 않았다. §10 은 게스트에 할 일이 없으면 vCPU 스레드가 잠들거나 대기 상태로 들어가고, 그동안 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적었다. 그 서술이 이 환경에서도 보이는지, 이 QEMU 에서 그 스레드가 어떤 이름으로 나오는지가 남았다.
2026-09-21 `kc-lab-edge`의 1-vCPU QEMU를 synthetic CPU load 전후로 비교했다. baseline에서 `CPU 0/KVM` thread는 `S/Sl` 상태에 0~1% CPU였고, guest에서 `yes`를 돌리자 같은 thread가 `R` 상태로 바뀌며 약 99.7~99.9% CPU를 사용했다. 부하 종료 뒤 다시 `Sl` 상태와 0.1% 수준으로 돌아왔다.
## 관계
## 유휴와 부하에서 보인 차이
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
vCPU 스레드가 왜 잠들 수 있는지, 무엇이 그것을 깨우는지를 이 개념이 설명한다.
- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가**
같은 `ps -eLo` 출력의 `psr` 값을 본다. 여기서 스레드를 가려내는 방법이 정해지면 그쪽 측정이 바로 이어진다.
- 2026-09-21 재검증에서 `kc-lab-edge` QEMU PID는 `167796`, vCPU thread는 `167803`이며 이름은 `CPU 0/KVM`으로 보였다. baseline `top -H`에서는 QEMU thread 7~8개가 모두 sleep 상태였고 vCPU thread `%CPU`는 0~1%였다.
- 2026-09-21 재검증에서 guest에서 `timeout 12s yes`를 실행하자 `CPU 0/KVM` thread가 `R` 상태로 바뀌고 `%CPU=99.7~99.9`를 사용했다. 종료 후 3초 뒤 다시 `Sl`, 0.1% 수준으로 돌아왔다.
## 사실
가상 머신에 4 vCPU를 설정했다고 해서 호스트 논리 CPU 네 개가 계속 예약되는 것은 아니다. 게스트에 실행할 작업이 없으면 게스트 커널이 idle 상태로 들어가고, HLT 같은 동작을 계기로 VM Exit 뒤 vCPU 스레드가 block/sleep 상태가 될 수 있다. 그동안 호스트 스케줄러는 해당 논리 CPU를 다른 작업에 쓸 수 있다.
가상 머신에 4 vCPU 를 설정했다고 해서 4개의 호스트 논리 CPU 가 계속 예약되지는 않는다 : §10
다시 타이머·인터럽트·I/O 완료 같은 이벤트가 생기면 vCPU 스레드는 runnable 상태가 되고, 호스트 스케줄러가 논리 CPU에서 실행시킨 뒤 KVM/VM Entry를 거쳐 게스트 실행이 이어진다.
§10 이 그린 유휴 흐름
「Guest가 idle이면 물리 CPU는 어떻게 되는가」에서는 깨우는 이유로 타이머, 인터럽트, I/O 완료를 든다.
Guest 에 실행할 작업 없음
Guest Kernel idle
HLT 등
VM Exit
KVM
vCPU Thread block/sleep
「QEMU thread 확인」에서는 ps -T -p <QEMU_PID> 또는 top -H -p <QEMU_PID> 로 vCPU 관련 스레드를 호스트에서 관찰할 수 있다고 적는다. 환경과 QEMU 버전에 따라 이름은 다를 수 있다는 단서를 함께 단다.
이때 호스트 스케줄러는 물리 CPU 를 호스트의 다른 작업에 쓸 수 있다 : §10
「측정 환경」에서는 2026-09-10 에 이 호스트에서 qemu-system-x86_64 --version 을 받아 QEMU emulator version 11.1.1 을 적었다. 「QEMU thread 확인」에서는 이름이 다를 수 있다고 든 조건 가운데 QEMU 버전이 여기서 정해진다.
§10 이 그린 깨어나는 흐름
「QEMU」에서는 가상 머신 하나가 호스트에서 QEMU 프로세스 하나로 돈다고 적었고, 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
vCPU wake-up
runnable
Host Linux Scheduler
Logical CPU 에서 vCPU Thread 실행
KVM / VM Entry
Guest 실행 재개
§10 은 깨우는 이유로 타이머, 인터럽트, I/O 완료를 든다.
§14.6 은 ps -T -p <QEMU_PID> 또는 top -H -p <QEMU_PID> 로 vCPU 관련 스레드를 호스트에서 관찰할 수 있다고 적는다. 환경과 QEMU 버전에 따라 이름은 다를 수 있다는 단서를 함께 단다.
§197 은 2026-09-10 에 이 호스트에서 qemu-system-x86_64 --version 을 받아 QEMU emulator version 11.1.1 을 적었다. §14.6 이 이름이 다를 수 있다고 든 조건 가운데 QEMU 버전이 여기서 정해진다.
§222 는 가상 머신 하나가 호스트에서 QEMU 프로세스 하나로 돈다고 적었고, §218 은 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
§20 은 게스트의 유휴 상태와 CPU 부하 상태를 비교하라고 적고 확인 명령으로 둘을 든다.
유휴 상태와 CPU 부하 상태를 같은 명령으로 비교한다.
top -H -p <QEMU_PID>
ps -eLo pid,tid,psr,pcpu,stat,comm
## 가정
## 관찰 조건
QEMU 프로세스의 PID 를 먼저 찾아야 한다. §197 이 잰 시점의 이 실험대는 게스트가 세 대라 §14.5 의 ps -ef | grep '[q]emu' 는 프로세스 셋을 준다. 셋 가운데 하나는 엣지 게스트이고 vCPU 1 이다(§194). 어느 PID 가 어느 가상 머신인지 가리는 방법은 아직 정하지 않았다.
먼저 대상 VM의 QEMU PID를 찾아야 한다. 게스트가 세 대라 `ps -ef | grep '[q]emu'`는 QEMU 프로세스도 세 개를 보여 준다. 프로세스 명령행의 도메인 이름이나 libvirt 정보로 어느 PID가 어느 VM인지 먼저 대응시킨 뒤 스레드를 본다.
vCPU 스레드를 이름으로 못 가리면 스레드 수를 그 가상 머신의 vCPU 수와 맞춰 가린다고 전제한다. kc-lab-1 과 kc-lab-2 라면 그 수가 2 다.
재검증에서는 QEMU thread ID와 이름을 직접 확인했고 edge VM의 vCPU thread는 `CPU 0/KVM`으로 식별됐다.
유휴라고 부를 상태를 이 가상 머신에서 만들 수 있다. 가상 머신 안에서 도는 것이 있으면 완전한 유휴가 아니다.
pcpu 와 stat 를 한 번씩 찍은 값으로 두 상태를 가를 수 있다.
## 미지수
## 이 측정 뒤에도 남는 것
이 환경의 QEMU 에서 vCPU 스레드가 어떤 이름으로 보이는지.
이 환경에서 vCPU thread 이름과 idle/load 상태 변화는 해소됐다. edge VM에서는 `CPU 0/KVM`으로 보였고, synthetic load가 없을 때 sleep 상태와 낮은 CPU 사용률, CPU-bound일 때 running 상태와 약 100% 사용률이 관측됐다.
유휴 상태에서 그 스레드의 pcpu 와 stat 값.
유휴 중 짧게 깨어나는 개별 타이머/인터럽트 원인을 event 단위로 추적하는 것은 이 질문의 범위를 넘긴다.
CPU 부하를 걸었을 때 같은 두 값이 어떻게 바뀌는지.
## 상태값을 읽을 때 주의할 점
vCPU 스레드 말고 어떤 스레드가 같은 QEMU 프로세스 아래에 함께 보이는지, 그 스레드들이 유휴 상태에서도 CPU 를 쓰는지.
2026-09-21 `kc-lab-edge`의 QEMU thread 목록과 `pcpu`·`stat`를 유휴와 CPU-bound 상태에서 나란히 측정했다.
유휴인데도 주기적으로 깨어나는 구간이 있는지. §10 은 타이머와 인터럽트를 깨우는 이유로 들었다.
「QEMU thread 확인」에서는 스레드 이름은 환경과 QEMU 버전에 따라 다를 수 있다고 적기 때문에, 이름으로 거르는 절차를 미리 굳혀 둘 수 없다.
## 제약
이 호스트에서 그 스레드 목록을 찍은 출력이 없다. §10 은 개념 흐름을 그린 것이고 이 환경의 실제 출력이 아니다. 결과가 §10 과 같으면 개념에 흡수되고 다르면 Case 가 되므로, 어느 쪽으로 갈리든 이 물음은 닫힌다.
§14.6 이 스레드 이름은 환경과 QEMU 버전에 따라 다를 수 있다고 적기 때문에, 이름으로 거르는 절차를 미리 굳혀 둘 수 없다.
§20 이 든 확인 명령 둘은 그 시점의 스레드 목록과 값을 보여 준다. §10 이 적은 HLT 에서 VM Exit 을 거쳐 block/sleep 으로 가는 전이를 단계마다 짚어 주지는 않는다.
`top -H`와 `ps -eLo ... stat`은 특정 시점의 스레드 상태를 보여 준다. HLT부터 VM Exit, block/sleep까지의 전이 순간을 단계마다 추적하는 도구는 아니므로 여기서는 상태 전후만 비교한다.
상태를 바꾸는 것 말고 가상 머신 구성은 건드리지 않는다. vCPU 수를 조정하면 유휴와 부하의 차이 대신 구성 차이를 보게 된다.
## 선택지
## 유휴와 부하를 비교한 방법
### 1. 스레드 이름부터 확정한다
§14.6 의 ps -T -p <QEMU_PID> 로 그 QEMU 프로세스의 스레드 목록을 받아, vCPU 스레드로 보이는 것이 그 가상 머신의 vCPU 수와 같은 수로 나오는지 맞춰 본다. 이름을 확정해 두면 뒤의 두 출력에서 어느 줄을 읽을지 정해진다.
「QEMU thread 확인」의 ps -T -p <QEMU_PID> 로 그 QEMU 프로세스의 스레드 목록을 받아, vCPU 스레드로 보이는 것이 그 가상 머신의 vCPU 수와 같은 수로 나오는지 맞춰 본다. 이름을 확정해 두면 뒤의 두 출력에서 어느 줄을 읽을지 정해진다.
### 2. 유휴와 부하를 같은 명령 두 개로 찍어 나란히 둔다
§20 이 확인 명령으로 top -H -p <QEMU_PID> 와 ps -eLo pid,tid,psr,pcpu,stat,comm 둘을 들었다. 두 상태에서 같은 두 명령을 돌리면 pcpu 와 stat 두 열을 그대로 견줄 수 있다. §14.7 이 스레드가 어느 논리 CPU 에서 돌았는지 볼 때 든 ps 에는 stat 열이 없다. §20 은 이 물음의 확인 명령에만 그 열을 더했고, 스레드가 자고 있는지 실행 상태인지는 그 열에서 읽는다.
두 상태에서 `top -H -p <QEMU_PID>`와 `ps -eLo pid,tid,psr,pcpu,stat,comm`을 같은 방식으로 찍는다. `pcpu`는 CPU 사용량을, `stat`는 스레드가 자고 있는지 실행 가능한지를 보여 주고, `psr`은 최근 실행된 논리 CPU를 알려 준다.
### 3. 호스트 쪽 CPU 사용량도 같이 본다
§10 은 vCPU 스레드가 잠들면 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적는다. vCPU 스레드의 pcpu 만 보면 그 스레드가 CPU 를 안 쓴다는 데까지만 확인되고, 비워 준 CPU 를 호스트가 실제로 다른 작업에 썼는지는 안 보인다.
「Guest가 idle이면 물리 CPU는 어떻게 되는가」에서는 vCPU 스레드가 잠들면 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적는다. vCPU 스레드의 pcpu 만 보면 그 스레드가 CPU 를 안 쓴다는 데까지만 확인되고, 비워 준 CPU 를 호스트가 실제로 다른 작업에 썼는지는 안 보인다.
### 4. 제외 — 추적으로 전이 시점을 직접 잡는다
HLT 로 VM Exit 이 나고 스레드가 잠드는 순간을 추적하면 §10 의 흐름을 단계마다 확인할 수 있다. 그러나 이 질문은 두 상태의 출력이 갈리는지를 묻고 §20 도 확인 명령을 두 줄로 적어 두었기 때문에, 더 무거운 도구는 두 출력이 갈리지 않을 때 꺼낸다.
HLT 이후 스레드가 잠드는 순간까지 직접 추적할 수도 있지만 처음부터 그렇게 하지 않는다. 유휴와 부하의 `pcpu`·`stat`가 구분되지 않을 때만 스케줄러나 KVM 추적으로 내려간다.
## 다음 검증
## idle에서는 잠들고, CPU 부하를 주면 다시 깨어났다
1. 가상 머신을 유휴 상태로 둔 채 top -H -p <QEMU_PID> 와 ps -eLo pid,tid,psr,pcpu,stat,comm 을 찍는다.
2. 같은 가상 머신에 CPU 부하를 걸고 같은 두 명령을 다시 찍는다.
3. 두 출력을 나란히 둔다. §20 이 적은 확인 명령 그대로다.
닫는 조건 : 유휴 상태에서 vCPU 스레드의 pcpu 가 0 에 가깝고 stat 가 sleep 계열이며 부하에서 실행 상태로 바뀌면, §10 의 서술이 이 환경에서도 성립하는 것으로 개념의 확인 사례에 흡수하고 닫는다. 두 상태에서 출력이 갈리지 않거나 §10 과 반대로 나오면 그 출력이 Case 가 된다.
이 환경의 QEMU vCPU thread는 guest가 유휴에 가까울 때 sleep 상태와 낮은 CPU 사용률로 보이고, CPU-bound workload를 주면 running 상태와 높은 CPU 사용률로 전환된다. 부하를 제거하면 다시 sleep 상태로 돌아오는 것도 확인했다.
@@ -8,6 +8,7 @@ topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/2acec7d5-3eaf-4115-9d61-45647c4ec01e/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
source:
@@ -18,29 +19,23 @@ source:
# 운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 SSOT 에 적혀 있지 않다.
§25 의 진단표에는 Virtualization 과 Host 계층에만 걸리는 행이 따로 있어서, 그 구조가 정해져야 어느 행을 운영 진단에 쓸지 고를 수 있다.
운영 서버가 bare-metal인지, 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 아직 확인하지 못했다. 이번 세션이 접근한 대상은 `test-server`뿐이며 운영 서버의 구성 기록이나 명령 출력은 새로 확보하지 않았다. 테스트 환경의 KVM 구조를 운영 구조로 복사해 쓰지 않는다.
## 관계
## 현재 문서에서 아는 운영 정보
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
운영 서버가 가상 머신 위라면 무엇이 더 끼어드는지를 설명한 기록이다.
## 사실
§18 은 호스트 OS 에 K3s 를 직접 설치했을 때의 CPU 경로를 적었다.
「Bare-metal K3s와 VM 기반 K3s의 차이」에서는 호스트 OS 에 K3s 를 직접 설치했을 때의 CPU 경로를 적었다.
컨테이너에서 도는 작업은 K3s 와 컨테이너 런타임을 지나 호스트 Linux 스케줄러로, 다시 물리 CPU 로 간다.
그 호스트 위에 별도 가상 머신이 없다면 그 작업이 QEMU 와 /dev/kvm, KVM, VMX 경로를 타지는 않는다.
컨테이너의 프로세스는 호스트 커널을 공유하고 호스트 스케줄러가 직접 스케줄링한다.
가상 머신 안에 K3s 를 구성하면 계층이 더 붙는다.
§18 이 든 것은 게스트 Linux 와 K3s, vCPU, QEMU vCPU 스레드, 호스트 Linux 스케줄러, KVM / VMX 다.
「Bare-metal K3s와 VM 기반 K3s의 차이」에서 든 것은 게스트 Linux 와 K3s, vCPU, QEMU vCPU 스레드, 호스트 Linux 스케줄러, KVM / VMX 다.
그래서 같은 부하 테스트라도 가상 머신 기반 환경에서는 호스트 가상화 자원 병목을 추가로 확인해야 한다.
§20 의 OQ-6 은 두 경로를 K3s -> Host Scheduler -> Physical CPU 와 K3s -> Guest -> vCPU -> Hypervisor -> Physical CPU 로 나란히 적고, 구조에 따라 진단 지표가 달라진다고 밝혔다.
CPU 경로는 두 가지로 나뉜다. bare-metal이면 `K3s → Host Scheduler → Physical CPU`, 가상 머신 기반이면 `K3s → Guest → vCPU → Hypervisor → Physical CPU`다. 어느 경로인지에 따라 볼 지표가 달라진다.
§25 의 진단표는 문제마다 주된 계층을 갈라 적었다.
「CPU 문제를 계층별로 구분하는 진단표」의 진단표는 문제마다 주된 계층을 갈라 적었다.
vCPU 과다 할당 : VM 구성
CPU overcommit : Host 구성
@@ -50,41 +45,41 @@ CPU contention · Scheduling latency : Host Scheduler
Steal time 증가 : Guest 에서 관측
Host CPU saturation : Host
§218 은 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다.
§284 는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 SSOT 가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다.
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다.
「nginx 설정 구조 — `sites-available`은 nginx 기능이 아니다」에서는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 기존 문서가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다.
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 SSOT 에 적혀 있지 않다.
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 기존 문서에 적혀 있지 않다.
## 가정
## 판단에 필요한 전제
운영 서버도 K3s 로 Keycloak 을 돌린다고 전제한다. §20 이 나눈 두 경로는 둘 다 K3s 에서 시작한다.
운영 서버도 K3s에서 Keycloak을 실행한다고 전제한다. 이 전제가 틀리면 위 두 경로 비교부터 다시 잡아야 한다.
운영 서버가 그 두 갈래 중 하나라고 전제한다. 중첩 가상화처럼 계층이 더 들어가는 구성은 이 물음에 넣지 않았다.
운영 서버가 bare-metal 또는 단일 하이퍼바이저/클라우드 VM 중 하나라고 전제한다. 중첩 가상화처럼 계층이 더 들어가는 구성은 이번 범위에서 제외한다.
구조가 정해지면 §25 의 진단표를 운영 진단에도 그대로 쓴다고 전제한다. 진단표를 만든 근거는 이 테스트 환경이다.
구조가 정해지면 「CPU 문제를 계층별로 구분하는 진단표」의 진단표를 운영 진단에도 그대로 쓴다고 전제한다. 진단표를 만든 근거는 이 테스트 환경이다.
## 미지수
## 아직 모르는 한 가지
운영 서버가 bare-metal 호스트에 직접 K3s 를 설치한 것인가, 상위 하이퍼바이저나 클라우드 가상 머신 위에 있는가.
하이퍼바이저 위라면 그 호스트의 CPU 지표를 볼 수 있는가.
클라우드 가상 머신이면 호스트 쪽 실행 대기열과 사용률을 읽을 수 없어 §25 의 Host 행을 그대로 쓰기 어려워진다.
클라우드 가상 머신이면 호스트 쪽 실행 대기열과 사용률을 읽을 수 없어 「CPU 문제를 계층별로 구분하는 진단표」의 Host 행을 그대로 쓰기 어려워진다.
운영 서버에 직접 붙어 명령을 돌릴 수 있는가.
## 제약
## 이 질문의 범위
이 물음은 부하를 걸어 재는 것이 아니라 구성을 확인해서 닫는다.
이건 부하를 걸어 재는 질문이 아니다. 서버가 어느 계층 위에서 실행되는지만 확인하면 된다.
§14.1~§14.3 은 그 장비가 가상 머신을 직접 돌리는 호스트인지를 보여 준다.
「VMX/SVM 지원 확인」~「/dev/kvm 확인」에서는 그 장비가 가상 머신을 직접 돌리는 호스트인지를 보여 준다.
그 장비 자신이 어떤 하이퍼바이저의 게스트인지는 이 세 명령이 말해 주지 않는다.
구조가 정해지기 전에는 §25 의 어느 행을 운영 진단에 넣을지 고를 수 없다.
구조가 정해지기 전에는 「CPU 문제를 계층별로 구분하는 진단표」의 어느 행을 운영 진단에 넣을지 고를 수 없다.
§25 는 그 표의 목적을 「하나의 지표로 장애 원인을 확정하는 것이 아니라, 어느 계층부터 조사해야 하는지 범위를 줄이는 것」이라고 적었다.
그래서 이 물음이 닫혀도 운영 장애의 원인이 정해지는 것은 아니다. 정해지는 것은 어느 계층부터 조사할지다.
「CPU 문제를 계층별로 구분하는 진단표」에서는 그 표의 목적을 「하나의 지표로 장애 원인을 확정하는 것이 아니라, 어느 계층부터 조사해야 하는지 범위를 줄이는 것」이라고 적었다.
구조를 확인해도 운영 장애의 원인이 정해지는 것은 아니다. 달라지는 것은 어느 계층부터 조사할지다.
## 선택지
## 운영 서버에서 확인할 방법
### 1. 구성 기록과 도입 경로로 확인한다
@@ -93,22 +88,21 @@ Host CPU saturation : Host
기록이 실제 구성과 어긋나 있으면 어긋난 채로 적히므로 2번과 함께 쓴다.
### 2. 서버에 붙어 명령으로 확인한다
### 2. 서버에 붙어 보조 신호를 확인한다
§14.1~§14.3 의 grep -E 'vmx|svm' /proc/cpuinfo · lsmod | grep kvm · ls -l /dev/kvm 로 그 장비가 가상 머신을 직접 돌리는 호스트인지부터 적는다.
이어서 게스트 안에서 top 의 %st 가 관측되는지 본다.
「VMX/SVM 지원 확인」~「/dev/kvm 확인」의 `grep -E 'vmx|svm' /proc/cpuinfo` · `lsmod | grep kvm` · `ls -l /dev/kvm`은 **그 OS가 KVM host 역할을 할 수 있거나 실제 KVM 모듈을 쓰고 있는지**를 보는 신호다. 이 값만으로 그 OS 자체가 bare-metal인지 어떤 상위 hypervisor의 guest인지까지 결정할 수는 없다. 게스트 환경이라면 `systemd-detect-virt` 같은 가상화 탐지 결과와 인프라 구성 기록, 클라우드 provider 정보도 함께 본다.
세 명령이 모두 비어 있으면 그 장비가 가상 머신을 직접 돌리지는 않는다는 뜻이고, 그 위에 하이퍼바이저가 있는지는 1번의 구성 기록으로 가른다.
`top`의 `%st`도 보조 지표다. steal time이 관측되면 상위 스케줄링 계층을 의심할 근거가 되지만, 0이라고 해서 bare-metal임이 증명되지는 않는다.
### 3. 제외 — 테스트 환경의 구조를 운영에 옮겨 적는다
테스트 환경이 가상 머신 위라는 것이 운영 서버의 구조를 말해 주지 않는다.
두 환경을 같다고 적으면 §25 의 Virtualization 행을 근거 없이 운영 진단에 넣게 된다.
두 환경을 같다고 적으면 「CPU 문제를 계층별로 구분하는 진단표」의 Virtualization 행을 근거 없이 운영 진단에 넣게 된다.
## 다음 검증
## 다음 확인
1. 운영 서버의 구성 기록이나 도입 경로로 bare-metal 인지 하이퍼바이저 / 클라우드 가상 머신 위인지 확인한다.
2. 서버에 붙을 수 있으면 §14.1~§14.3 의 grep -E 'vmx|svm' /proc/cpuinfo · lsmod | grep kvm · ls -l /dev/kvm 으로 그 장비가 가상 머신을 직접 돌리는 호스트인지 적는다.
3. 게스트 안에서 top (§14.8) 의 %st 가 관측되는지 함께 본다.
2. 서버에 붙을 수 있으면 `systemd-detect-virt`와 인프라/클라우드 메타데이터로 상위 가상화 여부를 먼저 확인하고, VMX/SVM · KVM 모듈 · `/dev/kvm`은 그 OS의 KVM host 능력/사용 여부를 보는 보조 신호로 함께 기록한다.
3. `%st`가 관측되는지도 함께 보되, 값이 0이라는 이유만으로 bare-metal이라고 판정하지 않는다.
닫는 조건 : 운영 서버가 bare-metal 로 확인되면 §25 의 Virtualization · Host 행을 운영 진단에서 빼도 된다고 적고 닫는다. 하이퍼바이저나 클라우드 가상 머신 위로 확인되면 그 사실이 운영 진단의 전제가 되고, §25 의 어느 행을 운영에서 쓸지는 그 뒤 Decision 이 정한다.
운영 서버가 bare-metal 로 확인되면 「CPU 문제를 계층별로 구분하는 진단표」의 Virtualization · Host 행을 운영 진단에서 빼도 된다고 기록한다. 하이퍼바이저나 클라우드 가상 머신 위로 확인되면 그 사실이 운영 진단의 전제가 되고, 「CPU 문제를 계층별로 구분하는 진단표」의 어느 행을 운영에서 쓸지는 그 뒤 측정 결과를 본 뒤 정한다.
@@ -7,9 +7,19 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/62319064-17ef-4b2f-bf8b-e363cd0e36a6/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt
source:
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-10
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-7
@@ -18,16 +28,15 @@ source:
# CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가
이 호스트에서는 pinning 을 걸지 않은 상태의 Keycloak 지연도, 건 상태의 지연도 아직 재지 않았다. CPU pinning 은 vCPU 스레드가 실행될 호스트 논리 CPU 를 특정 집합으로 제한하는 설정이다. 논리 코어 8 과 게스트별 vCPU 2 는 §197 · §218 에 나왔지만, 묶은 뒤 지연과 CPU 별 사용률이 어떻게 달라지는지는 재 봐야 갈린다.
2026-09-21 두 worker를 live pinning으로 `kc-lab-1 vCPU0/1 → pCPU 0/1`, `kc-lab-2 vCPU0/1 → pCPU 2/3`에 묶고 동일 OIDC read-only 부하를 전후로 비교했다. pinning 전에는 같은 vCPU TID의 `PSR`이 여러 pCPU 사이를 이동했지만 pinning 뒤에는 각각 0/1/2/3에 고정됐다. 그러나 **Keycloak latency/throughput 개선은 반복 실행에서 재현되지 않았다.**
## 관계
## pinning 전후 비교 결과
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
pinning 도 CPU 격리도 하지 않았을 때 vCPU 스레드를 누가 어디에 배치하는지를 이 개념이 설명한다.
- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가**
그쪽이 이동 자체를 관측하고, 이 질문은 그 이동을 없앴을 때 Keycloak 지연이 달라지는지를 받는다.
## 사실
- 2026-09-21 재검증에서 unpinned 상태의 worker vCPU affinity는 모두 `0-7`이었다. 15초 샘플에서 `kc-lab-1` vCPU0 TID `272131`은 pCPU `0,2,3,4,5,6,7`에서, 다른 vCPU TID들도 여러 pCPU에서 관측됐다.
- 2026-09-21 재검증에서 live pinning 뒤에는 `272131→0`, `272132→1`, `272156→2`, `272157→3`으로 모든 샘플이 고정됐다. 즉 pinning이 scheduling migration을 실제로 제거한 것은 확인됐다.
- 2026-09-21 재검증에서 첫 2000회/concurrency 20 비교는 unpinned `768.4 rps / avg 25.8 ms / p95 36.9 ms`, pinned `616.0 rps / avg 32.2 ms / p95 46.3 ms`로 pinned 쪽이 느렸다.
- 2026-09-21 재검증에서 반복 비교는 unpinned `793.9 rps / avg 25.0 ms / p95 32.7 ms`, pinned `781.7 rps / avg 25.4 ms / p95 33.6 ms`로 거의 비슷했다. 첫 실행의 큰 차이가 반복되지 않았으므로 pinning이 지연을 개선하거나 악화한다고 일반화하지 않는다.
- 2026-09-21 재검증에서 실험 종료 뒤 worker vCPU affinity를 모두 `0-7`로 복원했다.
- CPU pinning 은 특정 vCPU 스레드를 특정 호스트 논리 CPU 에 제한하는 설정이다.
- 적절히 쓰면 스케줄링 변동을 줄일 수 있고, 잘못 설정하면 특정 CPU 에 작업이 집중될 수 있다.
@@ -36,35 +45,31 @@ source:
치우침을 만드는 쪽에 호스트 프로세스가 함께 들어 있다.
- 스레드가 최근 실행된 논리 CPU 는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 의 PSR 로 볼 수 있다.
- PSR 값 하나가 vCPU 가 물리 CPU 에 영구 고정되어 있다는 뜻은 되지 않는다. pinning 을 걸지 않았다면 스케줄링에 따라 달라질 수 있다.
- 이 호스트의 논리 코어는 8 이고(§197), kc-lab-1 과 kc-lab-2 에 준 vCPU 는 각각 2 다(§218). 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다(§197).
- pinning 이 지금 작업에서 실제 이점을 주는지는 실험으로 확인하기로 했고, 아직 그 실험을 돌리지 않았다.
- 이 호스트의 논리 코어는 8 이고(「측정 환경」), kc-lab-1 과 kc-lab-2 에 준 vCPU 는 각각 2 다(「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」). 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다(「측정 환경」).
- 2026-09-21 동일 OIDC read-only 부하를 pinning 전후로 두 차례 비교했다. migration 제거는 재현됐지만 latency/throughput 개선은 반복 재현되지 않았다.
## 가정
## A/B 비교 조건
- 지금 두 가상 머신에 pinning 도 별도의 친화도 설정도 걸려 있지 않다고 보고 「전」 실행을 잡는다.
걸려 있는지는 개념 문서에 적혀 있지 않아 실행할 때 함께 확인한다.
- pinning 없이 돌리면 같은 tid 의 PSR 이 시간에 따라 바뀐다고 본다.
이 호스트에서 그 이동을 아직 관측하지 않았다.
- baseline에서 두 worker의 vCPU affinity가 모두 `0-7`임을 먼저 확인했다.
- 같은 TID의 `PSR`을 반복 샘플링해 unpinned 상태에서 실제 migration이 일어나는 것도 확인했다.
- 두 실행에 같은 Keycloak 부하를 같은 방식으로 걸 수 있다고 전제한다.
- 두 실행 사이에 vCPU 수와 가상 머신 배치를 바꾸지 않는다고 두고 짠다. 그래야 차이를 pinning 쪽으로 읽을 수 있다.
## 미지수
## migration 제거와 성능 개선은 달랐다
- pinning 뒤 Keycloak 지연이 달라지는지, 달라진다면 어느 방향인지.
- 같은 tid 의 PSR 변동이 실제로 줄어드는지.
- 변동이 줄어드는 대신 특정 논리 CPU 로 작업이 몰리는지.
- 어떤 논리 CPU 집합에 묶을지. 논리 코어 8 과 게스트별 vCPU 2 는 §197 · §218 에 나왔지만, 그 여덟 가운데 어느 코어에 묶을지는 CPU 별 사용률을 보고 정해야 한다.
- 호스트 쪽 Nginx 와 다른 호스트 프로세스가 그 집합을 함께 쓰는지. §179 는 그 Nginx 를 엣지 게스트로 옮겼다고 적었으므로, 묶을 집합을 고르기 전에 호스트에 무엇이 남아 있는지부터 이번 실행에서 적는다.
pinning이 PSR migration을 줄이는지는 해소됐다. 이번 구성에서는 완전히 고정됐다. 반면 Keycloak latency/throughput 이점은 두 A/B 실행에서 일관되게 나타나지 않았다.
## 제약
따라서 현재 남는 문제는 `어느 pCPU 조합이 최적이냐`가 아니라, **실제 workload에서 pinning을 유지할 운영상 근거가 있느냐**다. 이번 측정만으로는 그 근거가 없다.
## 결과를 일반화하지 않는 이유
- pinning 여부만으로 판정하지 않는다. 지연과 PSR 변동, CPU 별 사용률 셋을 같은 실행에서 받아 적는다.
- 「전」과 「후」 두 실행의 부하가 같아야 지연 차이를 pinning 쪽으로 읽을 수 있다.
- 이 호스트에서 지연도 PSR 변동도 CPU 별 사용률도 잰 값이 없어 견줄 값을 이번 실행이 함께 만든다.
- 이 실험에서 latency/throughput, PSR 변동, CPU affinity를 같은 전후 비교에 함께 기록했다.
- 이 실행 전에 pinning 을 쓸지 말지를 먼저 정하지 않는다. 잰 값이 없는 상태로 정하면 그 선택이 감수하는 비용을 적을 수 없다.
- 묶는 대상은 vCPU 스레드다. 게스트 안의 Keycloak 파드 배치는 이 질문이 다루지 않는다.
- 묶는 대상은 vCPU 스레드다. 게스트 안의 Keycloak 파드 배치는 이번 비교에서 바꾸지 않는다.
## 선택지
## 같은 부하를 pinning 전후로 반복했다
### 1. 같은 부하로 전후 두 실행을 재고 세 항목을 나란히 놓는다
@@ -84,11 +89,6 @@ pinning 없이 Keycloak 부하를 걸어 지연과 PSR 변동과 CPU 별 사용
전후 지연만 재면 실행 하나가 짧아진다.
다만 잘못 건 pinning 도 짧은 구간에서는 지연이 좋아진 것으로 보일 수 있다. 그 경우를 가려내려고 CPU 별 사용률과 친화도를 함께 보기로 했으므로 이 방법은 쓰지 않는다.
## 다음 검증
## migration은 사라졌지만 지연 개선은 재현되지 않았다
1. pinning 을 걸지 않은 상태에서 Keycloak 부하를 걸고, 지연과 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 의 PSR 변동, CPU 별 사용률을 남긴다.
2. 같은 실행에서 그 가상 머신에 친화도 설정이 이미 걸려 있는지도 함께 적는다.
3. vCPU 스레드를 논리 CPU 에 묶고 같은 부하를 다시 걸어 같은 세 항목을 남긴다.
4. 두 실행을 나란히 놓고 지연 차이와 CPU 별 사용률의 치우침을 함께 읽는다.
닫는 조건 : pinning 뒤 지연이 좋아지고 CPU 별 사용률이 특정 CPU 로 몰리지 않으면, pinning 을 쓸지 말지를 Decision 으로 넘긴다. 그 Decision 이 감수할 비용은 잘못 건 pinning 이 특정 CPU 에 작업을 집중시킨다는 것이다. 두 실행에서 지연 차이가 없으면 이 작업에서는 pinning 이 이점을 주지 않는다고 적고 닫는다.
pinning은 vCPU migration을 확실히 제거했지만 동일 Keycloak read-only 부하에서 latency/throughput 개선은 반복 재현되지 않았다. 따라서 현재 실험대에는 pinning을 기본 설정으로 적용하지 않고 unpinned `0-7` affinity를 유지한다. workload나 host CPU 배치가 바뀌면 같은 A/B 방식으로 다시 검증한다.
@@ -7,9 +7,13 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/2d058fb5-01f1-4be8-80bb-0e377868573c/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt
source:
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-7
- final/document.md#13-steal-time
@@ -18,70 +22,56 @@ source:
# 가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가
이 호스트에서 게스트의 steal time(`%st`)을 잰 값이 없어 부하 전 기준값부터 남겨야 한다.
논리 코어는 8 이고(§197) 두 게스트에 준 vCPU 는 각각 2 다(§218). 둘을 더해도 코어 수를 넘지 않는다. 그런 구성에서도 두 대를 동시에 CPU-bound 로 만들면 `%st` 가 오르는지는 §27 이 든 네 항목을 부하 전후로 찍어야 갈린다.
2026-09-21 두 worker의 vCPU를 동시에 CPU-bound로 만든 10초 관측 구간에서 **guest steal time은 증가하지 않았다.** `kc-lab-1`과 `kc-lab-2` 모두 부하 중 `vmstat`의 `st`가 전 구간 0%였고, host에는 약 49~50% idle CPU가 남았다.
## 관계
## 두 worker를 CPU-bound로 만든 결과
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
게스트가 관측하는 steal time 이 호스트에서 무엇 때문에 생기는지를 설명한 기록이다.
- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가**
같은 부하 실행을 쓴다. 경쟁이 있는지를 묻는 쪽과 그것이 `%st` 로 얼마나 보이는지를 묻는 쪽으로 갈린다.
- **vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가**
총 vCPU 를 늘린 구성에서 `%st` 가 어떻게 달라지는지가 그쪽 실행에서 다시 나온다.
- 2026-09-21 재검증에서 baseline에서 `kc-lab-1`의 `st`는 대부분 0%, 한 샘플 1%였고 `kc-lab-2`는 0%였다. CPU-bound 구간에서는 두 guest 모두 모든 샘플이 `st=0%`였다.
- 2026-09-21 재검증에서 부하 중 각 worker는 guest `id=0%`로 자기 vCPU를 모두 사용했지만 host는 `gu≈50%`, `id≈49~50%`였다. guest CPU 포화와 host CPU contention은 같은 상태가 아니다.
## 사실
「Steal Time」에서는 게스트 Linux 에서 top 등의 CPU 지표를 볼 때 st(steal time)를 확인할 수 있다고 적었다.
§13 은 게스트 Linux 에서 top 등의 CPU 지표를 볼 때 st(steal time)를 확인할 수 있다고 적었다.
§13 이 적은 steal time 은 이런 상황을 가리키는 단서다.
「Steal Time」에 적은 steal time 은 이런 상황을 가리키는 단서다.
게스트 vCPU 에 실행할 작업이 있고, 호스트에서 vCPU 스레드가 CPU 를 필요로 하는데, 다른 작업 때문에 즉시 실행되지 못한다.
높은 steal time 은 가상화 환경에서 호스트 CPU 경쟁이나 CPU 초과 할당을 의심할 수 있는 지표 중 하나다.
다만 그 값 하나로 원인을 확정해서는 안 되고, 호스트 CPU 포화와 실행 대기열, 친화도, 어떤 작업이 돌고 있었는지를 함께 확인해야 한다고 같은 절이 적었다.
§24.4 는 게스트에 실행할 작업이 있는데 하이퍼바이저나 호스트가 그 vCPU 스레드를 즉시 실행시키지 못한 시간을 게스트가 steal time 으로 관찰한다고 적었다.
「Steal Time 증가」에서는 게스트에 실행할 작업이 있는데 하이퍼바이저나 호스트가 그 vCPU 스레드를 즉시 실행시키지 못한 시간을 게스트가 steal time 으로 관찰한다고 적었다.
그 값은 게스트의 top 등에서 %st 로 본다.
같은 절은 높은 steal time 을 호스트 CPU 경쟁 또는 초과 할당을 조사하라는 단서로 두되, 단독으로 원인을 확정하는 지표는 아니라고 적었다.
§24.3 은 경쟁 대상이 QEMU vCPU 스레드만은 아니라고 적었다.
「CPU Contention」에서는 경쟁 대상이 QEMU vCPU 스레드만은 아니라고 적었다.
호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 테스트 환경에서는 가상 머신 밖의 호스트 작업도 CPU 경쟁에 포함된다.
§197 은 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이다.
「측정 환경」에서는 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이다.
같은 절은 VM 에 주는 vCPU 가 논리 코어를 나눠 쓰는 것이고 합이 8 을 넘어도 libvirt 는 막지 않는다고 적으면서, 이 실험대는 2 + 2 + 1 = 5 로 잡아 여유를 뒀다고 덧붙였다.
§218 의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
§27 의 OQ-7 은 함께 측정할 항목으로 넷을 들었다.
같은 시각에 측정할 항목은 넷이다.
Host CPU utilization
Host run queue
QEMU vCPU thread
각 Guest 의 %st
이 호스트에서 %st 를 실제로 잰 값은 없다.
2026-09-21 baseline과 두-worker CPU-bound 구간에서 `%st`를 직접 측정했다.
## 가정
## 부하 조건
두 가상 머신을 동시에 CPU-bound 로 만들면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁하게 된다고 전제한다.
두 게스트의 vCPU 합 4 는 논리 코어 8 보다 적어서 §12 가 그린 초과 할당 상태는 아니다. 그래도 경쟁이 생기는지는 같은 코어를 호스트 쪽 작업이 얼마나 쓰는지에 달려 있어 아직 전제로 둔다.
실험 전에는 두 worker를 동시에 CPU-bound로 만들면 host 경쟁이 나타날 가능성을 열어 두었다. 실제 측정에서는 worker vCPU 합 4가 host logical CPU 8보다 작고 host idle이 약 절반 남아, 이번 조건에서는 그 전제가 성립하지 않았다.
두 게스트에 같은 정도의 부하를 걸 수 있다고 전제한다.
한쪽이 더 세게 걸리면 두 %st 를 나란히 놓고 읽을 수 없다.
실제 재검증에서는 두 worker에 각각 `yes` 2개를 실행해 각 VM의 2 vCPU를 모두 CPU-bound로 만들었다.
부하 전과 부하 중을 각각 한 번씩 찍으면 비교할 수 있다고 전제한다.
값이 흔들리면 한 번씩 찍은 두 값만으로는 증가인지 흔들림인지 갈리지 않는다.
baseline과 부하 구간을 연속 샘플로 남겨 단일 순간값이 아니라 구간의 변화를 비교했다.
## 미지수
## steal 0%가 답하지 않는 것
두 가상 머신을 동시에 CPU-bound 로 만들었을 때 각 게스트의 %st 가 부하 전 대비 얼마나 오르는가.
이번 구성과 부하 수준의 steal time 변화는 해소됐다. 두 worker 모두 부하 중 `st=0%`였고 baseline보다 증가하지 않았다. overcommit이나 host-side CPU load를 추가한 조건에서 steal이 언제 나타나는지는 별도 실험이다.
그 증가가 호스트 실행 대기열과 같은 방향으로 움직이는가.
## contention 판정 기준
부하 구간에 호스트 쪽 작업이 같은 논리 코어를 얼마나 쓰는가.
## 제약
§13 이 steal time 하나로 원인을 확정하지 않는다고 적었으므로 %st 만 재서는 이 물음이 닫히지 않는다.
`%st` 하나만으로 원인을 정하지 않는다. 같은 시각의 호스트 CPU 사용률과 실행 대기열, QEMU vCPU 스레드 사용량을 함께 봐야 한다.
부하 전 기준값을 먼저 남기지 않으면 부하 중 값만으로 증가를 적을 수 없다.
@@ -89,16 +79,15 @@ QEMU vCPU thread
부하 구간에 호스트에서 Nginx 같은 다른 작업이 함께 돌면 %st 의 증가분을 두 가상 머신 사이의 경쟁으로만 읽을 수 없다.
§24.3 이 그 목록을 그릴 때 둔 환경은 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 구성이다. §179 는 그 Nginx 를 엣지 게스트로 옮겼고 호스트가 직접 들던 `:443` 에는 지금 리스너가 없다고 적었으므로, 부하 구간에 호스트 쪽에서 무엇이 도는지는 그 목록이 아니라 그때의 호스트에서 받아 적는다.
「CPU Contention」에서는 그 목록을 그릴 때 둔 환경은 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 구성이다. 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그 Nginx 를 엣지 게스트로 옮겼고 호스트가 직접 들던 `:443` 에는 지금 리스너가 없다고 적었으므로, 부하 구간에 호스트 쪽에서 무엇이 도는지는 그 목록이 아니라 그때의 호스트에서 받아 적는다.
OQ-1 과 이 물음은 같은 부하 실행에서 값을 얻는다. 그래도 한 물음으로 합치지 않았다.
합치면 경쟁이 있었다는 결론과 그것이 %st 로 얼마나 보였다는 결론 가운데 어느 쪽 기준으로 닫혔는지가 남지 않는다.
호스트 경쟁 여부와 게스트의 `%st` 변화는 같은 부하 실행에서 함께 얻을 수 있다. 다만 두 값은 역할이 다르다. 호스트 지표는 경쟁이 실제로 생겼는지를 보여 주고, `%st`는 그 경쟁이 게스트에서 어떻게 보였는지를 보여 준다.
## 선택지
## baseline과 부하를 비교한 방법
### 1. 부하 전후로 네 항목을 같은 실행에서 남긴다
§27 이 든 네 항목을 부하 전에 한 번, 두 가상 머신을 동시에 CPU-bound 로 만든 뒤에 한 번 같은 시각으로 기록한다.
호스트 CPU 사용률, 실행 대기열, QEMU vCPU 스레드 사용량, 게스트 `%st`를 부하 전에 한 번 기록하고 두 VM을 동시에 CPU-bound로 만든 뒤 같은 방법으로 다시 기록한다.
%st 가 올랐을 때 호스트 실행 대기열도 함께 올랐는지를 같은 표에서 읽을 수 있다.
실행이 한 번이라 값이 흔들리는 정도는 알 수 없다. 흔들림이 의심되면 부하 구간을 늘려 여러 번 찍는다.
@@ -106,17 +95,13 @@ OQ-1 과 이 물음은 같은 부하 실행에서 값을 얻는다. 그래도
### 2. 제외 — %st 만 부하 전후로 비교한다
찍을 것이 하나뿐이라 실행은 가볍다.
다만 §13 이 함께 확인하라고 든 호스트 CPU 포화와 실행 대기열이 빠져서, %st 가 올라도 그것이 호스트 경쟁 때문인지 게스트 쪽 작업 때문인지 가를 수 없다.
다만 「Steal Time」에서는 함께 확인하라고 든 호스트 CPU 포화와 실행 대기열이 빠져서, %st 가 올라도 그것이 호스트 경쟁 때문인지 게스트 쪽 작업 때문인지 가를 수 없다.
### 3. 제외 — 가상 머신 한 대만 CPU-bound 로 만들어 비교군을 하나 더 만든다
이 물음이 묻는 것은 두 대를 동시에 부하로 만든 상태이고, 부하 전 값이 이미 비교군이다.
여기서 필요한 비교군은 부하 전 상태다. 한 VM만 부하를 건 별도 구간은 동시 부하 결과가 애매할 때 추가한다.
한 대 부하가 필요해지면 1번 실행을 마친 뒤에 따로 더한다.
## 다음 검증
## 두 worker를 함께 태워도 steal은 오르지 않았다
1. 부하 전에 Host CPU utilization 과 run queue, ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 의 QEMU vCPU thread 사용량, 각 Guest 의 top (§14.8) %st 를 기준값으로 남긴다.
2. 가상 머신 두 대를 동시에 CPU-bound 로 만든다.
3. 같은 네 항목을 같은 시각에 다시 기록한다.
닫는 조건 : 부하 전후의 %st 와 호스트 실행 대기열을 한 표로 놓을 수 있으면 그 표가 Case 가 되고 닫는다. %st 가 부하 전과 다르지 않으면 이 호스트 구성에서는 두 가상 머신 동시 부하가 steal time 으로 나타나는 경쟁을 만들지 않는다고 적는다. 그 결론은 OQ-1 과 함께 닫는다.
현재 8 logical CPU / worker 2+2 vCPU 구성에서는 두 worker를 동시에 CPU-bound로 만들어도 steal time 증가가 관측되지 않았다. run queue 증가만으로 steal 또는 host contention을 대신 판정하지 않는다.
@@ -7,9 +7,14 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/116b806c-b176-401c-9363-1489fffb721c/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt
source:
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-9
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-8
@@ -18,24 +23,21 @@ source:
# cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가
이 호스트에서 throttled time 도 steal time 도 잰 값이 없다. 가상 머신 안에서 K3s 를 돌리는 구성이라, 파드가 자기 CPU 상한에 막힌 것과 호스트 CPU 를 제때 못 받은 것이 같은 애플리케이션 지연으로 보일 수 있다. §25 가 두 원인에 갈라 적은 확인 항목이 실제로 갈리는지는 두 원인을 각각 재현해야 안다.
2026-09-21 현재 Keycloak은 CPU request `100m`만 있고 CPU limit은 없으며 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. **두 원인은 실제 지표 조합이 다르게 나타났다.**
## 관계
## 두 원인을 따로 재현한 결과
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
호스트 CPU 경쟁이 게스트 안에서 어떤 값으로 드러나는지를 이 개념이 설명한다.
- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가**
그쪽에서 가상화 계층 지표가 움직인다는 답이 나오면, 그 움직임을 cgroup 쪽 제한과 가를 수 있는지는 이 질문이 받는다.
## 사실
- 2026-09-21 재검증에서 `keycloak-0`, `keycloak-1`은 CPU request `100m`, CPU limit 없음이다. 두 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`, `throttled_usec=0`이었다.
- 2026-09-21 재검증에서 disposable `cpu-throttle-probe`에 CPU limit `100m`를 적용하자 `cpu.max=10000 100000`, `nr_periods=54`, `nr_throttled=46`, `throttled_usec=4317644`가 나왔다. 약 5초의 CPU-bound 실행에서 cgroup quota가 실제로 throttle을 걸었다.
- 2026-09-21 재검증에서 반대 비교군에서는 `kc-lab-1`의 vCPU 2개를 모두 pCPU0에 live pinning하고 guest 안에서 CPU-bound thread 2개를 실행했다. guest `vmstat`은 반복해서 `%st=50%`를 보였고 host CPU0은 `%guest≈99%`, `%idle≈0%`였다.
- 2026-09-21 재검증에서 같은 host-contention 구간에도 `keycloak-1`의 `cpu.max=max 100000`, `nr_throttled=0`, `throttled_usec=0`은 그대로였다. 즉 steal 증가와 cgroup throttling은 서로 다른 계층에서 독립적으로 관측됐다.
- 2026-09-21 재검증에서 contention 실험 뒤 `kc-lab-1` vCPU affinity를 다시 `0-7`로 복원했고 disposable pod도 삭제했다.
- 가상 머신 안에서 K3s 를 돌리면 물리 CPU 와 Keycloak 파드 사이에 호스트·하이퍼바이저, 게스트 Linux, K3s, cgroup CPU limit 이 차례로 놓인다.
- 호스트 CPU 에 여유가 있어도 Keycloak 파드는 설정된 CPU 상한 때문에 실행이 제한될 수 있다.
- 호스트 CPU 를 받지 못해 생긴 문제와 파드가 자신의 CPU 상한을 넘겨 생긴 문제는 서로 다른 계층에 있다.
앞의 것은 경쟁과 steal time, 스케줄링 쪽이고 뒤의 것은 cgroup 제한 쪽이다.
- cgroup 제한 자체는 KVM 문제가 아니다.
그래도 가상 머신 안에서 K3s 를 운영하는 지금 실험에서는 두 원인이 같은 애플리케이션 지연으로 관찰될 수 있어 진단 경계에 넣었다.
개념 문서가 다루기로 한 범위는 CPU 가상화 하나인데, cgroup 제한은 그 범위 밖에서 진단 경계 안으로 들여온 항목이다.
- cgroup 제한 자체는 KVM 문제가 아니다. 그래도 가상 머신 안에서 K3s를 운영하는 지금 환경에서는 cgroup 제한과 호스트 CPU 경쟁이 같은 애플리케이션 지연으로 보일 수 있다. 그래서 두 원인을 함께 비교하되, 각각 다른 계층의 지표로 가른다.
- 계층별 진단표가 적은 우선 확인 항목은 이렇게 갈린다.
CPU throttling : CPU limit · throttled time
CPU contention : 호스트 CPU · 실행 대기열 · CPU 별 사용률
@@ -43,42 +45,37 @@ source:
cgroup 쪽은 파드가 CPU 를 더 쓰려 해도 상한에 막힌 것이고, 경쟁 쪽은 실행 가능한 작업이 늘면서 지연이 늘어난 것이다.
갈라 적힌 현상은 각 계층에서 보이는 모습이라, 애플리케이션 지연만 보고 있으면 그 구분이 드러나지 않는다.
- 그 표는 지표 하나로 원인을 확정하려고 만든 것이 아니라 어느 계층부터 조사할지 범위를 줄인다.
- §197 은 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. §218 은 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
- 이 호스트에서 throttled time 도 steal time 도 잰 값이 없다.
- 「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
- 2026-09-21 재검증에서 cgroup throttling과 host contention을 각각 따로 재현해 `cpu.stat`, guest `%st`, host pCPU 사용률을 직접 비교했다.
## 가정
## 재현 조건
- 같은 크기의 Keycloak 지연 증가를 두 원인으로 각각 만들어 낼 수 있다고 보고 비교를 짠다.
두 재현이 실제로 같은 크기가 되는지는 해 보기 전에 알 수 없다.
- 다른 가상 머신에 CPU 부하를 걸면 호스트 쪽 경쟁이 생긴다고 본다.
이 호스트에서 두 가상 머신 동시 부하가 경쟁을 만드는지는 아직 관측하지 않았다.
- Keycloak 파드의 cgroup CPU limit 은 실험을 위해 낮췄다가 되돌릴 수 있다고 본다.
- 두 원인은 같은 애플리케이션 지연 크기로 맞추지 않고, 각 계층의 대표 지표가 어떻게 달라지는지를 비교했다.
- cgroup 쪽은 disposable pod에 `100m` limit을 걸어 재현했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning해 의도적으로 경쟁을 만들었다.
- 실험용 pod와 vCPU affinity는 측정 뒤 원상복구했다.
- 두 재현 사이에 다른 조건이 바뀌지 않는다는 것을 전제로 두 실행을 견준다.
## 미지수
## 지표가 갈리는 지점
- 두 원인을 각각 재현했을 때 throttled time · CPU limit · 게스트 CPU 와 %st, 호스트 CPU 와 실행 대기열이 서로 다른 조합으로 움직이는지.
- 갈린다면 어느 항목이 가장 먼저 갈리는지.
- 지금 Keycloak 파드에 CPU limit 이 걸려 있는지, 걸려 있다면 얼마인지. 개념 문서에 적혀 있지 않다.
- throttled time 을 이 환경에서 어떤 경로로 읽는지. 개념 문서는 확인 항목으로만 적고 실제로 읽는 명령을 적지 않았다.
- 두 원인이 동시에 걸린 구간에서도 지표가 갈리는지. 이번 검증은 하나씩 만든 두 실행만 견준다.
두 원인을 하나씩 만든 실행에서는 지표가 갈리는 것이 확인됐다. cgroup throttling은 `cpu.max`와 `cpu.stat`의 `nr_throttled/throttled_usec`로 직접 보였고, host contention은 cgroup throttle 없이 guest `%st`와 특정 host pCPU 포화로 보였다.
## 제약
두 원인이 **동시에** 걸린 경우 어떤 지표가 먼저 튀는지는 이번 실행의 범위 밖이다. 또한 두 재현의 애플리케이션 지연 크기를 동일하게 맞추는 실험은 하지 않았다.
- 두 재현이 비슷한 크기의 지연 증가를 만들어야 지표 조합을 견줄 수 있다.
## 한 값만 보고 판정하지 않는다
- 두 재현의 목적은 지연량 자체를 맞추는 것이 아니라 **서로 다른 원인이 어떤 계층 지표를 남기는지** 구분하는 것이다.
- 지표 하나로 원인을 확정하지 않는다. 게스트 · 호스트 · K3s 세 쪽을 같은 시각에 받아 적는다.
- refresh 경쟁 실험은 CPU 자원을 여유 있게 둔 상태에서 먼저 돌리므로 이 재현은 그 실험과 같은 시간에 걸지 않는다.
- 두 게스트의 vCPU 합 4 가 논리 코어 8 보다 적어서, 부하 쪽 재현이 경쟁을 만들려면 호스트 쪽 작업까지 같은 코어를 써야 한다.
부하를 걸었는데 경쟁이 나오지 않는 것도 이 재현의 결과로 받는다.
## 선택지
## throttling과 contention을 만든 방법
### 1. 두 원인을 따로 재현해 지표 조합을 나란히 놓는다
Keycloak 파드의 cgroup CPU limit 을 낮춰 한 번, 다른 가상 머신에 CPU 부하를 걸어 한 번, 같은 크기의 지연을 두 번 만든다.
두 실행에서 게스트 · 호스트 · K3s 쪽 항목을 같은 이름으로 받아 적으면 어느 항목이 두 재현에서 다르게 움직이는지 그대로 보인다.
2026-09-21에는 실제 Keycloak 설정을 바꾸지 않았다. cgroup 쪽은 disposable `cpu-throttle-probe`에 `100m` limit을 걸어 quota가 남기는 `cpu.max`·`cpu.stat` 변화를 확인했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning한 뒤 guest CPU-bound 부하를 걸어 `%st`와 host pCPU 포화를 확인했다.
셋 가운데 손이 가장 많이 간다. 부하 쪽 재현은 다른 가상 머신을 함께 써야 하고, cgroup 쪽 재현은 파드 설정을 바꿨다가 되돌려야 한다.
두 실행의 애플리케이션 지연을 같은 크기로 맞추는 것이 목적이 아니라, **각 원인이 어느 계층에 어떤 지표를 남기는지**를 분리하는 것이 목적이다. 실험이 끝난 뒤 disposable pod를 삭제하고 vCPU affinity도 `0-7`로 복원했다.
### 2. 호스트 쪽 항목부터 보고 범위를 줄인다
@@ -92,11 +89,6 @@ Keycloak 파드의 cgroup CPU limit 을 낮춰 한 번, 다른 가상 머신에
throttled time 이 0 이 아니면 cgroup 제한, 0 이면 호스트 경쟁으로 읽는 방법이다.
진단표는 두 행에 각각 두 항목 이상을 적어 두었다. 지표 하나로 원인을 확정하지 않기로 하고 만든 표이므로 이 순서는 쓰지 않는다.
## 다음 검증
## quota와 steal을 함께 봐야 두 경로를 가를 수 있다
1. 부하를 걸기 전에 파드의 throttled time 과 CPU limit, 게스트 CPU 와 게스트에서 top 으로 본 %st, 호스트 CPU 와 실행 대기열을 한 번 찍어 기준값으로 둔다.
2. Keycloak 파드의 cgroup CPU limit 을 낮춰 Keycloak 지연을 올리고 같은 다섯 항목을 같은 시각에 받아 적는다.
3. limit 을 되돌린 뒤, 이번에는 다른 가상 머신에 CPU 부하를 걸어 비슷한 크기의 지연을 만들고 같은 다섯 항목을 다시 받아 적는다.
4. 두 실행의 기록을 기준값과 함께 한 표에 나란히 놓는다.
닫는 조건 : 두 재현에서 지표 조합이 갈리면 그 대조표가 Case 가 되고, 진단표의 두 행을 어떤 순서로 보는지 정하는 근거가 된다. 갈리지 않으면 「이 지표들로는 두 원인이 구분되지 않는다」를 적고, 무엇을 더 봐야 하는지를 새 Question 으로 낸 뒤 이 질문은 닫는다.
진단 순서는 다음처럼 잡을 수 있다: 먼저 pod/container의 `cpu.max`와 `cpu.stat`에서 quota/throttling을 확인하고, 동시에 guest `%st`와 host pCPU 사용률을 본다. **`nr_throttled`가 증가하고 steal이 낮으면 cgroup quota 쪽, quota가 없거나 throttle이 0인데 steal과 host pCPU 포화가 보이면 host/vCPU contention 쪽**으로 조사 범위를 줄인다. 지표 하나만으로 최종 원인을 확정하지는 않는다.
@@ -8,6 +8,7 @@ topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/723d8930-9e82-4552-8376-038a6446ec71/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
source:
@@ -18,87 +19,78 @@ source:
# vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가
이 호스트에서 vCPU 수를 바꿔 가며 Keycloak 처리량을 잰 값이 없다.
논리 코어가 8 이라(§197) §27 이 든 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 처리량이 어디서부터 더 오르지 않는지는 세 구성에 같은 부하를 걸어야 갈린다.
이 비교는 아직 수행하지 않았다. 2026-09-21에는 현재 2 vCPU worker 구성에서 CPU-bound·OIDC 부하를 측정했지만, VM을 2·4·8 vCPU로 재정의해 같은 Keycloak 부하를 반복하지는 않았다. 현재 worker/edge가 실제 lab을 구성하고 있고 추가 상태변경 테스트는 마지막 단계로 미뤘으므로 topology 변경 비교는 별도 실험에서 수행한다.
## 관계
## 현재 호스트와 VM의 CPU 여유
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
vCPU 수가 무엇을 뜻하고 호스트 CPU 가 부족할 때 무엇이 경쟁하는지를 설명한 기록이다.
- **가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가**
총 vCPU 를 늘린 구성에서 `%st` 가 어떻게 나오는지를 그쪽과 같은 방법으로 읽는다.
## 사실
§11 은 4 vCPU 를 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 가상 CPU 실행 컨텍스트 4개를 제공하는 뜻으로 적었다.
「VM의 4 vCPU는 정확히 무엇을 의미하는가」에서는 4 vCPU 를 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 가상 CPU 실행 컨텍스트 4개를 제공하는 뜻으로 적었다.
호스트의 물리 CPU 4개를 가상 머신이 영구적으로 소유한다는 뜻은 아니다.
호스트 CPU 가 부족하면 QEMU vCPU 스레드와 호스트의 다른 작업이 같은 논리 CPU 자원을 두고 경쟁할 수 있다고 같은 절이 덧붙였다.
§24.6 은 특정 가상 머신에 vCPU 를 많이 할당한다고 항상 성능이 좋아지는 것은 아니라고 적었다.
「vCPU 과다 할당」에서는 특정 가상 머신에 vCPU 를 많이 할당한다고 항상 성능이 좋아지는 것은 아니라고 적었다.
게스트 쪽 작업이 실제로 그만큼의 병렬성을 쓰지 못하거나 호스트 전체 CPU 에 비해 지나치게 많은 vCPU 를 할당하면 스케줄링 대상만 늘 수 있다.
§24.6 은 이것을 「vCPU 수가 많다 = 항상 빠르다로 판단하지 않는다」는 한 줄로 못 박았다.
「vCPU 과다 할당」에서는 이것을 「vCPU 수가 많다 = 항상 빠르다로 판단하지 않는다」는 한 줄로 못 박았다.
그래서 실제 작업의 병렬성과 호스트 전체 CPU 를 함께 확인해야 한다고 같은 절이 적었다.
§27 의 OQ-8 은 vCPU 추가가 실제 처리량과 지연에 어떤 영향을 주는지 확인하는 비교 구성으로 2 vCPU / 4 vCPU / 8 vCPU 를 들었다.
비교할 기본 구성은 2 vCPU, 4 vCPU, 8 vCPU 세 가지다.
§197 은 2026-09-10 에 이 호스트의 논리 코어를 8 로 적었다. Core(s) per socket 4 에 Thread(s) per core 2 다.
「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로 적었다. Core(s) per socket 4 에 Thread(s) per core 2 다.
같은 절은 VM 에 주는 vCPU 가 논리 코어를 나눠 쓰는 것이고 합이 8 을 넘어도 libvirt 는 막지 않는다고 적으면서, 이 실험대는 2 + 2 + 1 = 5 로 잡아 여유를 뒀다고 덧붙였다.
이 호스트에서 vCPU 수를 바꿔 가며 Keycloak 처리량을 잰 값은 없다.
## 가정
## 비교할 vCPU 조건
세 구성에서 Keycloak 설정과 부하 도구, 부하 크기를 같게 둘 수 있다고 전제한다.
vCPU 수만 달라져야 처리량 차이를 vCPU 수 탓으로 읽을 수 있다.
Keycloak 작업이 vCPU 를 늘린 만큼 병렬로 쓴다고는 전제하지 않는다.
§24.6 이 든 두 원인 가운데 병렬성 부족 쪽은 이 작업에서 확인하지 않았다.
「vCPU 과다 할당」에서 든 두 원인 가운데 병렬성 부족 쪽은 이 작업에서 확인하지 않았다.
2 · 4 · 8 세 점으로 처리량이 꺾이는 구간을 짚을 수 있다고 전제한다.
상한이 4 와 8 사이에 있으면 세 점만으로는 몇 vCPU 인지 나오지 않는다.
§27 은 그 세 구성을 「예를 들어」로 들었다. 사이 값이 필요해지면 점을 더해도 그 절이 든 비교 구성을 벗어나지 않는다.
2·4·8은 시작점일 뿐이다. 처리량이 꺾이는 구간이 4와 8 사이에 있으면 6 vCPU처럼 중간 값을 추가해도 된다.
## 미지수
## 아직 모르는 처리량 포화 지점
vCPU 를 2 에서 4, 8 로 올렸을 때 처리량과 지연이 어디서부터 더 좋아지지 않는가.
좋아지지 않는다면 원인이 작업의 병렬성 부족인가 호스트 전체 CPU 부족인가.
8 vCPU 구성을 잴 때 나머지 게스트를 함께 띄우는가. 총 vCPU 가 논리 코어 8 을 넘긴 채로 잰 값인지 아닌지가 §24.6 의 두 원인 가운데 어느 쪽을 보는지를 가른다.
8 vCPU 구성을 잴 때 나머지 게스트를 함께 띄우는가. 총 vCPU 가 논리 코어 8 을 넘긴 채로 잰 값인지 아닌지가 「vCPU 과다 할당」의 두 원인 가운데 어느 쪽을 보는지를 가른다.
## 제약
## 실험에서 고정할 것
vCPU 수만 바꾸고 Keycloak 설정과 부하는 세 실행에서 고정한다.
논리 코어가 8 이라 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 나머지 게스트를 함께 띄우면 합이 8 을 넘으므로, 세 실행마다 그때 떠 있던 게스트와 총 vCPU 를 함께 적는다.
§186 은 가이드의 실측 줄이 「이 실험대의 호스트는 16 코어 전부에서 지원한다」인데 §178 의 대상 환경은 논리 코어 8 이라고 적고, 어느 쪽이 이 호스트의 값인지는 재지 않았다고 남겼다. 이 기록이 8 을 놓고 짜는 것은 §197 이 2026-09-10 에 그 값을 직접 받아 적었기 때문이다.
「단계 00 — lab host 가상화 준비」의 과거 출력에는 「16 코어 전부」가 남아 있었지만, 현재 호스트는 2026-09-17과 2026-09-21에 다시 확인한 **물리 4코어·8 logical CPU**다. 따라서 이 질문의 2·4·8 vCPU 비교는 8 logical CPU를 현재 truth로 둔다. 16코어 줄은 현재 `test-server`의 값으로 쓰지 않는다.
§24.6 이 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다.
「vCPU 과다 할당」에서 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다.
## 선택지
## vCPU 수를 늘려 비교하는 방법
### 1. 2 · 4 · 8 세 구성에 같은 부하를 걸고 처리량과 지연, %st 를 남긴다
§27 이 든 비교 구성 그대로다. 세 값이 한 표에 놓이면 어느 구간부터 처리량이 더 오르지 않는지를 그 표에서 읽는다.
세 구성을 같은 부하로 실행해 처리량·지연·`%st`를 한 표에 놓는다. 어느 구간부터 처리량 증가가 둔해지는지 그 표에서 읽는다.
%st 를 함께 남기므로 처리량이 멈춘 구간에서 호스트가 포화됐는지 아닌지를 가를 수 있다.
가상 머신을 세 번 다시 구성하고 부하를 세 번 걸어야 해서 실행이 가장 무겁다.
### 2. 제외 — 2 와 4 만 재고 8 을 건너뛴다
### 2. 제외 — 2 와 4 만 재고 더 높은 구성을 건너뛴다
실행이 둘로 줄지만 §24.6 이 말한 지나치게 많은 vCPU 쪽은 8 구성에서만 나타난다.
2 에서 4 로 오르는 것만 보고 vCPU 를 더 줘도 된다고 적으면 §24.6 이 막으려던 판단을 그대로 하게 된다.
실행이 둘로 줄면 처리량 증가가 어느 지점에서 둔화되는지 볼 범위가 너무 짧다. 과다 할당은 8 vCPU에서만 생기는 현상이 아니고, **동시에 떠 있는 다른 VM과 host workload를 합친 전체 경쟁 상태**에 따라 더 낮은 vCPU 수에서도 나타날 수 있다. 그래서 2·4만 보고 더 줘도 된다고 결론내리지 않고, 더 높은 구성과 그때의 총 vCPU·host CPU 상태를 함께 기록한다.
### 3. 제외 — 호스트 CPU 사용률만 보고 vCPU 수를 정한다
사용률이 낮아도 게스트 쪽 작업이 병렬성을 쓰지 못하면 처리량은 오르지 않는다.
§24.6 이 병렬성과 호스트 전체 CPU 를 함께 확인하라고 적었으므로 처리량을 직접 잰다.
「vCPU 과다 할당」에서는 병렬성과 호스트 전체 CPU 를 함께 확인하라고 적었으므로 처리량을 직접 잰다.
## 다음 검증
## 다음에는 vCPU 수만 바꿔 throughput 곡선을 본다
1. 가상 머신 구성을 2 vCPU · 4 vCPU · 8 vCPU 로 바꿔 가며 같은 Keycloak 부하를 걸고 처리량과 지연을 각각 기록한다.
2. 세 실행 모두에서 호스트 논리 CPU 수 대비 총 vCPU 를 함께 적는다.
3. 세 실행 모두에서 게스트의 top (§14.8) %st 를 남겨 §24.6 이 말한 병렬성 부족과 호스트 전체 CPU 부족을 갈라 둔다.
3. 세 실행 모두에서 게스트의 top (「Guest의 steal time 확인」) %st 를 남겨 「vCPU 과다 할당」에서 말한 병렬성 부족과 호스트 전체 CPU 부족을 갈라 둔다.
닫는 조건 : 처리량이 더 오르지 않기 시작하는 vCPU 수가 나오면 그 지점을 이 작업의 상한으로 적고 그 세 실행이 Case 가 된다. 세 구성이 모두 같은 방향으로 오르면 이 호스트에서는 상한에 닿지 않았다고 적고 닫는다. 어느 vCPU 수로 운영할지는 그 뒤 Decision 이 정한다.
처리량이 더 오르지 않기 시작하는 지점이 나오면 그 vCPU 수를 현재 부하에서의 상한 후보로 기록한다. 2·4·8 세 구성이 모두 같은 방향으로 오르면 이 범위에서는 상한에 닿지 않은 것이다. 운영 vCPU 수는 지연과 `%st`, 호스트의 총 vCPU 배치까지 함께 보고 정한다.
@@ -7,9 +7,13 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/eba4a877-276a-4050-9a97-d32614546c71/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt
source:
- final/document.md#20-이-concept에서-파생되는-open-question-oq-1
- final/document.md#12-cpu-contention과-overcommit
@@ -18,35 +22,29 @@ source:
# 가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가
Keycloak 멀티 노드 실험은 물리 호스트 한 대 위의 가상 머신 두 대에서 돌아간다. 두 가상 머신이 동시에 CPU 를 많이 쓰면 QEMU vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁할 수 있다. 그런데 이 호스트에 논리 CPU 가 몇 개인지도, 두 가상 머신에 vCPU 를 몇 개씩 줬는지도 문서에 적혀 있지 않아 경쟁이 생길 조건인지부터 모른다.
2026-09-21 `kc-lab-1`과 `kc-lab-2`의 2 vCPU를 각각 모두 CPU-bound로 만든 뒤 host와 두 guest를 동시에 관측했다. 부하 중 host run queue는 4~6으로 늘었지만 host는 약 49~50% idle이 남았고, 두 guest의 steal time은 계속 0%였다. **현재 8 logical CPU / worker 4 vCPU 구성에서는 이 부하로 host CPU 부족에 의한 vCPU contention이 관측되지 않았다.**
## 관계
## 두 worker를 동시에 태웠을 때
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
vCPU 스레드가 호스트 Linux 스케줄러를 거쳐 논리 CPU 에 배치되는 경로를 이 개념이 설명한다.
- **가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가**
같은 부하를 걸고 게스트 쪽 지표만 따로 묻기 때문에, 호스트 쪽 지표까지 한 번에 찍으면 두 질문이 같은 측정으로 닫힌다. 한 물음으로 합칠지는 값을 잰 뒤에야 알 수 있어 지금은 둘로 두고 관계로만 이었다.
- 2026-09-21 재검증에서 baseline host는 대체로 `r=0~1`, `id=92~96%`였고 worker guest `%st`는 0% 중심이었다. 두 worker에 각각 `yes` 2개를 걸자 host는 `r=4~6`, `gu≈50%`, `id≈49~50%`가 됐다. worker 둘은 CPU `id=0%`까지 포화됐지만 `%st=0%`를 유지했다.
- 2026-09-21 재검증에서 부하 중 QEMU `CPU 0/KVM`, `CPU 1/KVM` thread는 baseline의 sleep 위주 상태에서 `Rl` 상태로 관측됐다. host에는 여전히 절반가량 idle CPU가 남았다.
## 사실
「CPU contention과 overcommit」에서는 호스트에 논리 CPU 가 12개 있고 8 vCPU 짜리 가상 머신 넷을 올린 예를 드는데, 그러면 총 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다.
§12 는 호스트에 논리 CPU 가 12개 있고 8 vCPU 짜리 가상 머신 넷을 올린 예를 드는데, 그러면 총 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다.
모든 가상 머신이 동시에 CPU를 많이 사용하면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁할 수 있다. 이때 게스트 안의 애플리케이션이 느려져도 원인이 애플리케이션 자체가 아니라 호스트 CPU 경쟁일 수 있다. 현재 실험 환경은 물리 호스트 한 대 아래에 가상 머신 두 대가 있고, 두 VM이 각각 K3s 노드와 Keycloak을 돌리는 구조다.
모든 가상 머신이 동시에 CPU 를 많이 사용하면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁한다 : §12
이런 상황에서는 게스트 안의 애플리케이션이 느려졌더라도 원인이 그 애플리케이션이 아니라 호스트 CPU 경쟁일 수 있다 : §12
§16 이 그린 테스트 환경은 Physical Host 아래 Host Nginx 와 가상 머신 두 대이고, VM 1 과 VM 2 가 각각 K3s 노드와 Keycloak 을 돌린다.
§16 이 결과 해석에서 분리하라고 든 원인 일곱
결과를 읽을 때는 애플리케이션과 인프라 계층을 섞지 않는다. 현재 lab에서 직접 겹쳐 볼 대상은 다음과 같다.
Keycloak refresh/session 동시성
PostgreSQL contention/locking
Redis 상태 관리
K3s resource scheduling
VM vCPU scheduling
Host CPU saturation
Nginx/LB
Edge Nginx / Traefik 경로
§20 이 이 물음의 확인 대상으로 든 다섯
Redis를 사용하는 별도 패턴 실험이라면 Redis 상태 관리도 추가하지만, 현재 Keycloak lab 자체에는 Redis가 배포돼 있지 않다.
확인할 값은 다섯이다.
Host logical CPU 수
각 VM vCPU 수
@@ -54,48 +52,41 @@ QEMU vCPU thread CPU 사용량
Host run queue
Guest steal time
이 호스트의 논리 CPU 수 : 문서에 없음
두 가상 머신의 vCPU 수 : 문서에 없음
2026-09-21 재검증 기준 호스트 논리 CPU는 8개이고, 두 worker VM의 vCPU는 각각 2개다.
§12 의 12 와 8 과 32 는 경쟁이 어떻게 생기는지 설명하려고 든 예시 숫자이지 이 호스트에서 읽은 값이 아니다.
「CPU contention과 overcommit」의 12 와 8 과 32 는 경쟁이 어떻게 생기는지 설명하려고 든 예시 숫자이지 이 호스트에서 읽은 값이 아니다.
## 가정
## 부하 조건
두 가상 머신은 같은 물리 호스트의 CPU 를 나눠 쓴다. §16 이 그린 구조가 지금 실험 환경과 같다고 전제한다.
두 worker VM이 같은 물리 호스트의 CPU를 나눠 쓰는 구성은 2026-09-21 재검증에서 다시 확인했다.
두 가상 머신에 같은 시각에 CPU 부하를 걸 수 있고, 그때 호스트와 두 게스트의 지표를 같은 시각에 기록할 수 있다.
실제 재검증에서는 두 worker에 동시에 CPU-bound 부하를 걸고 host와 guest 지표를 같은 구간에 기록했다.
게스트 Linux 의 top 이 이 환경에서 %st 를 실제로 채워 준다. %st 열이 보여 주는 steal time 은 게스트의 vCPU 에 실행할 작업이 있는데도 다른 작업 때문에 곧바로 실행되지 못한 상황을 가리킨다(§13). 이 열이 비면 게스트 쪽에서는 경쟁의 단서를 못 본다.
게스트 Linux 의 top 이 이 환경에서 %st 를 실제로 채워 준다. %st 열이 보여 주는 steal time 은 게스트의 vCPU 에 실행할 작업이 있는데도 다른 작업 때문에 곧바로 실행되지 못한 상황을 가리킨다(「Steal Time」). 이 열이 비면 게스트 쪽에서는 경쟁의 단서를 못 본다.
호스트 쪽 Nginx 도 같은 물리 CPU 를 쓰는데, 부하 구간의 호스트 CPU 사용량을 전부 QEMU vCPU 스레드 몫으로 읽으면 이 전제가 깨진다.
현재 Nginx는 Edge VM 안에 있지만 host에는 QEMU 외에도 커널 networking·storage 작업과 SSH·관측 프로세스가 같은 물리 CPU를 쓴다. 따라서 부하 구간의 host CPU 사용량을 전부 QEMU vCPU 스레드 몫으로 읽지 않는다.
## 미지수
## 현재 구성에서 관측되지 않은 것
이 호스트의 논리 CPU 수.
현재 구성과 이번 부하 수준의 contention 여부는 해소됐다. host는 8 logical CPU이고 두 worker의 vCPU 합은 4다. 동시 CPU-bound 구간에서도 guest steal은 0%였고 host idle이 약 절반 남았다.
두 가상 머신에 준 vCPU 수와 그 합. 그 합이 논리 CPU 수를 넘는지.
더 높은 vCPU overcommit, host-side CPU load, pinning을 추가했을 때의 contention은 이번 질문의 현재 구성과 다른 조건이므로 별도 실험으로 남긴다.
부하를 걸기 전 QEMU vCPU 스레드의 CPU 사용량과 호스트의 실행 대기열(run queue), 그리고 두 게스트의 %st. 부하 전 값이 없으면 부하 중 값만 가지고는 그 값이 움직인 것인지 판정할 수 없다.
## contention으로 판정하는 기준
두 가상 머신에 동시에 부하를 걸었을 때 그 세 지표가 어떻게 움직이는지.
2026-09-21 baseline과 두-worker CPU-bound 구간을 실제로 측정했다. 이 결론은 현재 8 logical CPU / worker 2+2 vCPU 구성과 20초 synthetic CPU load에 한정한다.
vCPU 합이 논리 CPU 수 이하인데도 %st 가 오르는 구간이 있는지.
steal time 하나만 찍고 경쟁 여부를 판단하지 않는다. 호스트 CPU 사용량과 실행 대기열, QEMU vCPU 스레드 사용량을 같은 구간에서 함께 봐야 게스트의 `%st`가 왜 움직였는지 설명할 수 있다.
## 제약
이 호스트에서 잰 값이 하나도 없다. 근거는 개념을 정리한 문서 한 편이고 §12 의 숫자는 예시다.
§20 이 확인 대상을 다섯으로 잡았으므로 steal time 하나만 찍고 닫을 수 없다. 호스트 쪽 사용량과 실행 대기열도 함께 본다. 이 물음은 닫는 조건이 없다고 보아 한 번 기록에서 뺐다가 되돌렸다. §20 이 이미 적어 둔 확인 대상 다섯이 그대로 닫는 조건이 되기 때문이다.
§16 은 CPU 가상화가 Keycloak refresh token 경쟁의 원인은 아니라고 못박는다. 이 질문은 원인을 찾으려는 것이 아니라 실험 결과를 어느 계층 쪽으로 읽을지 가르는 데 쓴다.
CPU 가상화 자체가 refresh token 경쟁의 원인은 아니다. 여기서 확인하려는 것은 refresh 실험 중 생긴 지연을 애플리케이션 동시성 문제로 읽어도 되는지, 아니면 호스트 CPU 경쟁을 먼저 의심해야 하는지다.
측정하는 동안 실험 환경 구성은 바꾸지 않는다. pinning 을 걸거나 vCPU 수를 줄이면 지금 구성에서 경쟁이 생기는지를 못 본다.
## 선택지
## 두 worker를 동시에 태우고 host와 guest를 같이 봤다
### 1. 호스트 논리 CPU 수와 각 가상 머신의 vCPU 수를 먼저 읽는다
이 두 값은 부하를 걸지 않고도 지금 읽을 수 있다. 둘만 있으면 vCPU 합이 논리 CPU 수를 넘는지 갈리고, 넘지 않는 구성이라면 §12 가 든 32 대 12 같은 초과 할당 상태는 아니라는 것까지 확정된다. 움직이는 나머지 셋은 그 뒤에 잰다.
호스트 논리 CPU 수와 각 VM의 vCPU 수는 부하 없이도 읽을 수 있다. 둘을 먼저 확인하면 vCPU 합이 논리 CPU 수를 넘는지 즉시 알 수 있다. 합이 더 작다면 적어도 ‘vCPU 총량이 논리 CPU 수를 넘는’ 형태의 초과 할당은 아니다. CPU 사용량과 실행 대기열, steal time은 그다음에 잰다.
### 2. 다섯 지표를 부하 전과 부하 중 두 시점에 찍는다
@@ -103,17 +94,12 @@ vCPU 합이 논리 CPU 수 이하인데도 %st 가 오르는 구간이 있는지
### 3. 가상 머신 한 대에만 먼저 부하를 걸어 본다
한 대만 걸었을 때 지표가 어떻게 움직이는지 알아 두면, 두 대를 동시에 걸었을 때 늘어난 값이 vCPU 경쟁 때문인지 그 가상 머신 안의 CPU 포화 때문인지 갈린다. 다만 이 질문은 두 대를 동시에 돌렸을 때를 묻기 때문에 이 측정만으로는 닫히지 않는다.
한 대에만 부하를 걸었을 때의 변화를 먼저 보면 두 대를 동시에 돌렸을 때 늘어난 값이 호스트 경쟁 때문인지 한 VM 내부의 CPU 포화 때문인지 비교하기 쉬워진다. 다만 최종 판정은 두 VM 동시 부하 결과로 한다.
### 4. 제외 — pinning 을 걸어 놓고 잰다
vCPU 스레드를 특정 논리 CPU 에 고정하면 경쟁 구간을 만들기 쉽다. 그러나 지금 구성에서 경쟁이 생기는지를 묻는 질문이라, 구성을 바꾸고 잰 값은 답이 되지 않는다. pinning 은 별도 질문으로 뺀다.
## 다음 검증
## 두 worker를 함께 태워도 host CPU는 남았다
1. 호스트 논리 CPU 수와 각 가상 머신의 vCPU 수를 먼저 적는다. §20 이 든 확인 대상 다섯 가운데 부하 없이 읽을 수 있는 둘이다.
2. 부하를 걸기 전에 호스트에서 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 로 QEMU vCPU 스레드의 CPU 사용량을, 호스트 실행 대기열을, 두 게스트에서 top (§14.8) 으로 %st 를 같은 시각에 기록한다.
3. VM 1 과 VM 2 에 동시에 CPU 부하를 건다.
4. 부하 중에 2번의 세 지표를 같은 방법으로 다시 기록한다.
닫는 조건 : 두 가상 머신의 vCPU 합이 호스트 논리 CPU 이하이고 동시 부하에서도 게스트 %st 와 호스트 실행 대기열이 부하 전과 다르지 않으면, 이 호스트 구성에서는 경쟁이 관측되지 않는다고 적고 닫는다. %st 나 실행 대기열이 움직이면 그 부하 전후 표가 Case 가 되고 이 질문은 그 Case 가 닫는다. vCPU 수를 줄일지 가상 머신 배치를 바꿀지는 그 Case 가 나온 뒤 Decision 으로 넘긴다.
현재 구성에서는 두 worker를 동시에 CPU-bound로 만들어도 host idle이 약 절반 남고 guest `%st`가 0%라 host CPU starvation 형태의 vCPU contention은 관측되지 않았다. `r`이 4~6으로 늘었다는 사실만으로 contention이라고 판정하지 않는다.
@@ -7,9 +7,14 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/cd58d35d-3a93-4682-82b8-b64ce3a8813c/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt
source:
- final/document.md#20-이-concept에서-파생되는-open-question-oq-5
- final/document.md#5-host-linux-scheduler와-실제-cpu
@@ -18,79 +23,63 @@ source:
# pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가
이 호스트에서 `PSR` 을 찍어 본 기록이 없어서, pinning 없이 같은 vCPU 스레드가 논리 CPU 사이를 옮겨 다니는지 아직 모른다.
`PSR` 은 `ps` 가 찍어 주는 값이고 그 스레드가 최근 실행된 논리 CPU 를 가리킨다(§14.7). 이 호스트의 논리 코어는 8 이고 두 게스트의 vCPU 는 각각 2 다(§197 · §218).
2026-09-21 QEMU monitor로 실제 vCPU thread ID를 얻고 `ps -eL`의 `PSR`을 약 3초 동안 반복해서 읽었다. pinning은 없었고 affinity는 모두 `0-7` 전체였다. 같은 TID의 `PSR`이 여러 값으로 바뀌어 **unpinned vCPU thread가 host logical CPU 사이를 실제로 이동하는 것**을 확인했다.
## 관계
## 실제로 이동한 vCPU thread
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
vCPU 스레드가 호스트 Linux 스케줄러의 스케줄링 대상이라는 설명이 이 물음의 전제다.
- **CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가**
이동이 실제로 일어나야 pinning 을 걸어 볼 이유가 생긴다.
- **게스트가 유휴 상태일 때 vCPU 스레드는 이 테스트 환경에서 어떻게 보이는가**
두 물음이 같은 `ps` 출력을 읽으므로 한 번 찍어 둘을 같이 본다.
- 2026-09-21 재검증에서 `kc-lab-1`의 vCPU0 thread `272131`은 짧은 샘플에서 `PSR 7 → 2 → 0 → 4 → 3` 등으로 이동했다. vCPU1과 `kc-lab-2`의 vCPU thread도 여러 pCPU 사이를 이동했다. `virsh vcpupin`과 `taskset -pc` 모두 affinity `0-7`을 확인했다.
## 사실
§5 는 QEMU vCPU 스레드도 다른 호스트 스레드와 마찬가지로 Linux 스케줄러가 실행할 논리 CPU 를 정한다고 적었다.
「Host Linux Scheduler와 실제 CPU」에서는 QEMU vCPU 스레드도 다른 호스트 스레드와 마찬가지로 Linux 스케줄러가 실행할 논리 CPU 를 정한다고 적었다.
그래서 같은 vCPU 스레드라도 시간에 따라 서로 다른 논리 CPU 에서 실행될 수 있다.
같은 절은 그 이동을 세 시점으로 그려 두었다. T1 에 CPU7 에서 돌던 vCPU 스레드 0 이 T2 에는 CPU7 을 다른 스레드에게 내주고, T3 에는 CPU3 에서 돈다.
CPU pinning 을 적용하면 실행 위치를 특정 논리 CPU 집합으로 제한할 수 있다고 같은 절이 덧붙였다.
§14.7 은 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 들고, PSR 로 스레드가 최근 실행된 논리 CPU 를 관찰할 수 있다고 적었다.
「thread가 실행되는 Host CPU 확인」에서는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 들고, PSR 로 스레드가 최근 실행된 논리 CPU 를 관찰할 수 있다고 적었다.
같은 절은 그 값이 vCPU 가 물리 CPU 에 영구 고정되어 있다는 뜻은 아니라고 못 박고, pinning 을 하지 않았다면 스케줄링에 따라 달라질 수 있다고 덧붙였다.
§20 의 OQ-5 는 PSR 과 스케줄러 추적으로 관찰한다고만 적었을 뿐 관찰한 결과는 남기지 않았다.
2026-09-21에는 실제 vCPU TID를 확인한 뒤 `PSR`을 반복 샘플링해 논리 CPU 사이의 이동을 직접 관찰했다.
§197 은 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이고, 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다.
§218 의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
「측정 환경」에서는 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이고, 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다.
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
이 호스트에서 PSR 을 실제로 찍은 기록은 SSOT 에 없다.
2026-09-21 raw evidence에 worker vCPU thread의 `PSR` 연속 샘플이 남아 있다.
## 가정
## 관찰 조건
두 가상 머신에 pinning 이나 CPU 친화도를 걸지 않았다고 전제하고 이 물음을 세웠다.
실제로 걸었는지는 SSOT 에 적혀 있지 않다.
`virsh vcpupin`과 `taskset -pc`에서 worker vCPU thread의 허용 CPU가 `0-7` 전체인 것을 확인해 별도 pinning이 없다는 점도 함께 검증했다.
일정 간격으로 여러 번 찍으면 이동이 PSR 값의 변화로 잡힌다고 전제한다.
다만 표본과 표본 사이에 다른 논리 CPU 로 갔다가 돌아오면 두 표본은 같은 값으로 나온다.
게스트 부하가 있을 때와 없을 때 호스트 스케줄러가 스레드를 놓는 논리 CPU 가 달라질 수 있다고 전제한다.
§5 는 스케줄러가 실행할 논리 CPU 를 정한다고만 적었지 부하에 따라 무엇이 달라지는지는 적지 않았다.
「Host Linux Scheduler와 실제 CPU」에서는 스케줄러가 실행할 논리 CPU 를 정한다고만 적었지 부하에 따라 무엇이 달라지는지는 적지 않았다.
## 미지수
## migration과 성능은 다른 질문이다
이 호스트에서 pinning 없이 같은 vCPU 스레드의 PSR 이 시간에 따라 실제로 바뀌는가.
이 질문의 핵심인 실제 migration 여부와 pinning 유무는 해소됐다. 현재 vCPU thread는 `0-7` 전체에 실행 가능하고 짧은 관측에서도 실제 migration이 보였다. idle과 CPU-bound 상태에서 migration 빈도가 얼마나 달라지는지는 성능 비교 질문으로 분리한다.
바뀐다면 게스트가 유휴일 때와 CPU 부하가 있을 때가 서로 다른가.
## 이 결과의 범위
현재 두 가상 머신에 친화도가 걸려 있는가.
스케줄러 추적을 이 호스트에서 쓸 수 있는가. §20 이 관찰 수단으로 들었지만 지원 여부는 확인하지 않았다.
## 제약
이 호스트에서 PSR 을 찍은 값이 없어서, 지금 이동 여부를 적으면 관측이 아니라 추측이 된다.
현재 migration 여부는 추측이 아니라 2026-09-21 `PSR` 연속 샘플로 확인된 값이다.
PSR 은 최근 실행된 논리 CPU 하나만 보여 주므로 두 표본 사이에 일어난 이동은 잡히지 않는다.
§20 이 든 관찰 수단은 PSR 과 스케줄러 추적 둘이고, 이 물음은 그 둘 안에서 닫는다.
먼저 `PSR`을 여러 번 찍고, 표본 사이 이동이 의심되거나 값이 해석되지 않을 때만 스케줄러 추적으로 내려간다.
이 물음을 pinning 전후를 비교하는 쪽의 관측 항목으로 넣지 않고 따로 세웠다. 이동이 없으면 그 비교를 걸어 볼 이유가 없어져서 이쪽이 먼저 닫혀야 한다.
그 대신 이동이 성능에 얼마나 걸리는지는 여기서 재지 않는다.
여기서는 이동 자체가 있는지만 본다. 이동이 확인돼도 그것이 성능에 얼마나 영향을 주는지는 pinning 전후 비교에서 따로 측정한다.
## 선택지
## PSR과 affinity를 읽는 방법
### 1. ps 출력을 일정 간격으로 여러 번 찍는다
§14.7 이 든 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 그대로 쓰고 같은 tid 의 PSR 을 시간순으로 늘어놓는다.
「thread가 실행되는 Host CPU 확인」에서 든 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 그대로 쓰고 같은 tid 의 PSR 을 시간순으로 늘어놓는다.
게스트를 건드리지 않고 호스트에서만 찍으면 되고 따로 설치할 도구도 없다.
표본 사이의 이동은 보이지 않으니 몇 초 간격으로 몇 번 찍었는지를 값과 함께 적는다.
### 2. 스케줄러 추적으로 이동 시점을 본다
§20 이 PSR 과 함께 든 수단이다. 표본 간격에 기대지 않고 스레드가 옮겨 간 시점을 볼 수 있다.
스케줄러 추적은 `PSR` 샘플링보다 무겁지만 표본 사이 이동을 놓치지 않고 실제 이동 시점을 볼 수 있다.
다만 이 호스트에서 추적을 쓸 수 있는지 아직 확인하지 않았고, 호스트에 도구와 권한이 더 필요하다.
1번으로 이동이 이미 보이면 여기까지 가지 않는다.
@@ -100,10 +89,6 @@ PSR 은 최근 실행된 논리 CPU 하나만 보여 주므로 두 표본 사이
설정에 pinning 이 없다는 것과 스케줄러가 실제로 스레드를 옮겼다는 것은 다르다.
설정 확인은 따로 두지 않고 1번 실행에서 함께 적는 항목으로 넣는다.
## 다음 검증
## pinning이 없으면 vCPU thread는 실제로 이동했다
1. ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 일정 간격으로 여러 번 찍어 같은 tid 의 PSR 이 바뀌는지 본다.
2. 게스트가 유휴일 때와 CPU 부하가 있을 때를 나눠 각각 찍는다.
3. 같은 실행에서 그 가상 머신에 친화도 설정이 있는지도 함께 적는다.
닫는 조건 : 관측 구간에서 같은 tid 의 PSR 이 바뀌면 이동한다는 사실을 개념의 확인 사례로 흡수하고 닫는다. 그 이동이 성능에 영향을 주는지는 pinning 전후를 비교하는 OQ-10 이 받는다. PSR 이 고정으로 나오면 친화도 설정을 먼저 확인하고, 설정이 없는데도 고정이면 그 관측이 Case 가 된다.
현재 unpinned vCPU thread의 실제 migration을 관측했다. migration의 성능 영향은 pinning 전후 비교 질문에서 따로 측정한다.
@@ -8,6 +8,7 @@ topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/da3a7b56-5691-4a9f-90c5-3a1a5d0f0013/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
source:
@@ -18,110 +19,91 @@ source:
# Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가
§20 이 함께 관찰하라고 든 다섯 지표를 아직 한 번도 같이 찍지 않았다. Keycloak refresh 경쟁 실험은 가상 머신 두 대 위에서 돌기 때문에, 원래 검증하려던 구조 아래에 KVM 계층이 하나 더 붙는다. 실험 구간의 지연을 refresh 경쟁으로 읽어도 되는지는 같은 구간의 호스트 CPU 와 steal time 이 갈라 준다.
이 질문은 아직 실제 refresh 경쟁 조건으로 검증하지 않았다. 2026-09-21 OIDC discovery synthetic load와 KVM/host CPU 지표는 함께 측정했지만, 질문이 요구하는 **동일 refresh token 동시 요청 + Keycloak latency + PostgreSQL 지연** 실험은 수행하지 않았다. 현재 Keycloak lab에는 Redis가 배포돼 있지 않으므로 Redis 지연을 이 질문의 필수 항목으로 두지 않는다. 별도 BFF/Redis 구성을 함께 재는 실험이라면 그때 Redis 지표를 추가한다. OIDC 부하 결과를 refresh 경쟁 실험의 대체 근거로 사용하지 않는다.
## 관계
## 현재 실험대의 CPU 조건
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
게스트 안의 지연이 가상화 계층까지 내려가는 경로를 이 개념이 설명한다.
- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가**
경쟁이 생길 수 있는 구성인지를 먼저 묻는다. 그쪽이 닫히면 여기서 기준값을 다시 만들지 않아도 된다.
- **cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가**
§26 이 나눈 여섯 경계 가운데 K3s 와 Virtualization 을 어떻게 가르는지를 따로 묻는다.
초기 설계 문서는 refresh 경로를 `Client → Nginx/Load Balancer → K3s → Keycloak 두 노드 → Session/Token State → PostgreSQL·Redis`처럼 넓게 그렸다. **현재 Keycloak lab의 실제 저장소 구성은 PostgreSQL이고 Redis는 없다.** 따라서 이번 질문은 PostgreSQL까지의 현재 경로를 기준으로 하고, Redis가 들어가는 별도 BFF/session 구조에서는 그때 지표를 추가한다.
## 사실
§16 이 그린 원래 검증 대상 구조
Client
Nginx / Load Balancer
K3s
Keycloak Node 1 · Keycloak Node 2
Session / Token State
PostgreSQL · Redis
테스트 환경에서는 이 구조 아래에 KVM 계층이 추가된다 : §16
Physical Host 아래에 Host Nginx 와 가상 머신 두 대가 있고 가상 머신마다 K3s 노드와 Keycloak 이 돈다 : §16
§16 이 테스트 결과를 해석할 때 분리하라고 든 원인 일곱
따라서 같은 지연이라도 원인은 한 계층에만 있지 않다. 현재 실험에서 분리해서 볼 대상은 다음 일곱 가지다.
Keycloak refresh/session 동시성
PostgreSQL contention/locking
Redis 상태 관리
Redis 상태 관리 — Redis를 포함한 별도 구조에서만
K3s resource scheduling
VM vCPU scheduling
Host CPU saturation
Nginx/LB
§16 은 KVM CPU 가상화를 이해하는 목적을 이렇게 적었다.
「현재 Keycloak/K3s 실험과의 관계」에서는 KVM CPU 가상화를 이해하는 목적을 이렇게 적었다.
Keycloak 멀티 노드 실험에서 발생한 지연이나 실패가 application/storage 문제인지, VM/Host 자원 문제인지 구분할 수 있도록 실험 기반을 이해하기 위해서다.
§26 은 같은 원인들을 여섯 경계로 다시 나눈다.
「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서는 같은 원인들을 여섯 경계로 다시 나눈다.
Application / Auth : Refresh Token 경쟁 · Session 상태 경쟁 · Keycloak 내부 처리
Storage : PostgreSQL lock / latency · Redis latency / consistency
Storage : 현재 lab은 PostgreSQL lock / latency · Redis를 포함한 별도 구조에서는 Redis latency / consistency 추가
K3s : Pod CPU throttling · Pod scheduling/resource limit
Guest : Guest CPU saturation
Virtualization : vCPU scheduling · Steal time · VM Exit overhead
Host : CPU contention · CPU overcommit · Host saturation
§26 은 refresh 경쟁을 검증하는 첫 실험에서 가능하면 CPU 자원을 여유 있게 유지하고, 그 상태에서 같은 세션과 같은 refresh token 에 대한 동시 요청을 만들어 동시성 문제를 먼저 확인하라고 적는다. 트래픽을 늘려 CPU/DB/Redis/K3s 자원 포화를 관찰하는 것은 별도의 부하·스트레스 Case 로 나눈다.
첫 refresh 경쟁 실험은 CPU 자원을 여유 있게 유지한 상태에서 같은 세션과 같은 refresh token에 동시 요청을 보내는 조건으로 잡는다. 트래픽을 늘려 CPU·PostgreSQL·K3s 자원 포화를 보는 부하 실험은 이 실행과 분리한다. Redis가 있는 별도 구조를 시험할 때만 Redis 포화도 같은 방식으로 별도 측정한다.
§13 은 steal time 을 게스트 vCPU 에 실행할 작업이 있는데 다른 작업 때문에 즉시 실행되지 못하는 상황을 가리키는 단서로 적었다.
「Steal Time」에서는 steal time 을 게스트 vCPU 에 실행할 작업이 있는데 다른 작업 때문에 즉시 실행되지 못하는 상황을 가리키는 단서로 적었다.
§20 이 refresh 경쟁 실험 중 동시에 관찰하라고 든 다섯
현재 Keycloak lab의 refresh 경쟁 실험과 같은 시간축에 놓을 값은 다섯이다.
Host CPU
Guest CPU
steal time
Keycloak latency
DB/Redis latency
PostgreSQL latency
§20 은 그 목적이 refresh 경쟁과 호스트 자원 경쟁을 분리하는 것이라고 밝힌다.
이 다섯 값을 함께 보는 이유는 refresh 동시성 문제와 호스트 자원 경쟁을 같은 지연으로 오해하지 않기 위해서다.
§197 은 2026-09-10 에 이 호스트에서 논리 코어 8 과 Mem: 11648 을 받아 적었고, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 실험 구간의 값은 아직 없다.
「측정 환경」에서는 2026-09-10 에 이 호스트에서 논리 코어 8 과 Mem: 11648 을 받아 적었고, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 실험 구간의 값은 아직 없다.
## 가정
## refresh 실험에서 같이 볼 조건
refresh 경쟁 실험이 Keycloak latency 와 DB/Redis latency 를 이미 재고 있다고 전제한다. 그 실험이 어떤 값을 어떤 주기로 내는지는 이 근거 문서에 적혀 있지 않다.
refresh 경쟁 실험이 Keycloak latency와 PostgreSQL latency를 함께 기록한다고 전제한다. 다만 원문에는 그 실험이 어떤 값을 어떤 주기로 기록하는지는 적혀 있지 않다.
기준값을 찍는 구간과 실험 구간 사이에 호스트의 다른 작업이 달라지지 않는다.
§211 은 2026-09-03 과 2026-09-10 사이에 호스트 RAM 이 물리 증설되고 게스트가 두 대에서 세 대로 늘었다고 적으면서, 두 값이 어긋나 보이면 「틀린 것이 아니라 다른 날이다」라고 못 박았다. 기준값과 실험 구간은 같은 날 같은 구성에서 받아야 이 전제가 선다.
「이 부의 출처와 범위」에서는 2026-09-03 과 2026-09-10 사이에 호스트 RAM 이 물리 증설되고 게스트가 두 대에서 세 대로 늘었다고 적으면서, 두 값이 어긋나 보이면 「틀린 것이 아니라 다른 날이다」라고 못 박았다. 기준값과 실험 구간은 같은 날 같은 구성에서 받아야 이 전제가 선다.
다섯 지표의 시각을 맞춰 읽을 수 있다고 전제한다. 호스트 쪽과 게스트 쪽 시계가 어긋나면 부하 구간을 겹쳐 놓을 수 없기 때문이다.
§26 이 말한 「CPU 자원을 여유 있게 유지한」 상태를 이 호스트에서 만들 수 있다.
「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서 말한 「CPU 자원을 여유 있게 유지한」 상태를 이 호스트에서 만들 수 있다.
## 미지수
## 아직 모르는 가상화 계층의 병목 여부
실험을 걸기 전 다섯 지표의 기준값.
실험 구간의 호스트 CPU 와 게스트 CPU, 그리고 각 게스트의 steal time.
같은 구간의 Keycloak latency 와 DB/Redis latency.
같은 구간의 Keycloak latency와 PostgreSQL latency.
가상화 쪽 지표가 얼마나 움직여야 실험 결과를 다르게 읽어야 하는지. 그 문턱을 아직 정하지 않았다.
두 가상 머신이 같은 호스트에 있으므로 한쪽 Keycloak 노드에 몰린 요청이 다른 쪽 게스트의 steal time 을 올리는지.
## 제약
## 원인 섞임을 막는 기준
§26 이 첫 실험을 CPU 여유 상태로 못박기 때문에, 이 질문은 실험 조건을 바꾸지 않고 관찰 지표만 덧붙여 답해야 한다. §17.1 이 refresh token 경쟁을 확인하는 데 반드시 호스트 CPU 를 100% 까지 밀 필요는 없다고 적었으므로, 실험을 그대로 두고 관찰만 덧붙이는 것이 §26 의 조건과도 어긋나지 않는다.
첫 refresh 경쟁 실험은 CPU 여유 상태에서 돌린다. 따라서 이 확인 때문에 부하 조건을 바꾸지 않고, 기존 실험에 호스트 CPU·게스트 CPU·steal time 관측만 덧붙인다.
이 호스트에서 그 다섯 지표를 잰 값이 없어 기준값부터 만들어야 한다. 실험 구간의 값만 있으면 그 값이 평소 값인지 실험 때문에 오른 값인지 갈리지 않는다.
§22 의 Claim 12·13 은 이 환경에서 실제로 그러한지를 주장하는 것이라, 재기 전에는 Case 도 Question 도 되지 않는다고 보고 그대로 두었다. 이 물음을 그와 갈라 먼저 올린 것은 아는 것과 모르는 것이 실험 전에도 갈리기 때문이다.
현재 자료만으로는 가상화 계층이 refresh 실험 결과를 흔들지 않았다고 말할 수 없다. 그래서 애플리케이션 동시성 결론과 별개로, 같은 구간의 호스트 CPU와 steal time을 먼저 확인한다.
§16 은 CPU 가상화가 refresh token 경쟁의 원인은 아니라고 적는다. 여기서 「포화되지 않았다」가 나와도 refresh 경쟁 실험의 결론이 바뀌지는 않고, 그 결론을 애플리케이션·저장소 쪽으로 읽어도 되는지만 갈린다.
「현재 Keycloak/K3s 실험과의 관계」에서는 CPU 가상화가 refresh token 경쟁의 원인은 아니라고 적는다. 여기서 「포화되지 않았다」가 나와도 refresh 경쟁 실험의 결론이 바뀌지는 않고, 그 결론을 애플리케이션·저장소 쪽으로 읽어도 되는지만 갈린다.
§20 이 든 다섯 가운데 Keycloak latency 와 DB/Redis latency 는 실험 쪽 도구가 낸다. 가상화 쪽에서 새로 만들 값은 Host CPU · Guest CPU · steal time 셋이다.
Keycloak 지연과 PostgreSQL 지연은 refresh 실험에서 함께 기록하고, 가상화 계층 판정을 위해 호스트 CPU·게스트 CPU·steal time 세 가지를 같은 시간축에 추가한다.
## 선택지
## 같은 시간축에 놓을 지표
### 1. 실험을 그대로 두고 관찰만 덧붙인다
§26 이 첫 실험의 CPU 조건을 정해 두었으므로 실험 자체는 건드리지 않는다. 같은 실험을 돌리면서 호스트 쪽 QEMU vCPU 스레드 사용량과 게스트 쪽 %st 만 함께 기록한다. 이 방법으로는 이번 실험 구간에서 가상화 계층이 움직였는지 하나만 알 수 있다.
「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서는 첫 실험의 CPU 조건을 정해 두었으므로 실험 자체는 건드리지 않는다. 같은 실험을 돌리면서 호스트 쪽 QEMU vCPU 스레드 사용량과 게스트 쪽 %st 만 함께 기록한다. 이 방법으로는 이번 실험 구간에서 가상화 계층이 움직였는지 하나만 알 수 있다.
### 2. 실험 직전 구간을 기준값으로 따로 찍는다
@@ -129,16 +111,16 @@ refresh 경쟁 실험이 Keycloak latency 와 DB/Redis latency 를 이미 재고
### 3. 여섯 경계 가운데 가상화 쪽 둘만 먼저 잰다
§26 은 Application / Auth 부터 Host 까지 여섯 경계를 든다. 여섯을 한 번에 분리하려면 경계마다 지표를 붙여야 하는데, 이 질문은 Virtualization 과 Host 두 경계가 실험 결과를 흔들었는지만 묻는다. 나머지 넷은 실험 쪽 기록을 그대로 쓰고 이 둘만 새로 잰다.
여기서는 모든 계층을 새로 측정하지 않는다. 기존 실험이 애플리케이션·스토리지 지표를 이미 남긴다고 보고, 추가로 Virtualization과 Host 두 계층의 값만 붙인다.
### 4. 제외 — CPU 를 일부러 포화시켜 견준다
포화 구간과 여유 구간을 나란히 놓으면 가상화 계층이 결과를 얼마나 흔드는지 바로 보인다. 그러나 §26 이 첫 refresh 실험을 CPU 여유 상태로 정해 두어서 같은 실험 안에서는 할 수 없다. 별도의 부하·스트레스 Case 로 뺀다.
포화 구간과 여유 구간을 나란히 두면 CPU 자원 경쟁의 영향을 더 직접 볼 수 있다. 다만 첫 refresh 경쟁 실험은 CPU 여유 상태를 유지하는 조건이므로 같은 실행에서 일부러 포화를 만들지 않는다. 자원 포화 자체를 보는 부하 실험은 별도로 진행한다.
## 다음 검증
## refresh 부하에서는 같은 시간축으로 다시 묶어야 한다
1. 실험을 걸기 전 §20 이 든 다섯 지표를 한 번 찍어 기준값으로 둔다.
2. refresh 경쟁 실험을 돌리면서 같은 다섯을 같은 시각에 기록한다. 게스트의 steal time 은 top (§14.8), 호스트 쪽 QEMU vCPU 스레드는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 로 본다.
3. Keycloak 과 DB/Redis latency 는 실험이 이미 재는 값을 그대로 쓴다.
1. refresh 요청을 보내기 전에 호스트 CPU, 게스트 CPU, steal time, Keycloak 지연, PostgreSQL 지연을 한 번 찍어 기준값으로 둔다.
2. refresh 경쟁 실험을 돌리면서 같은 다섯을 같은 시각에 기록한다. 게스트의 steal time 은 top (「Guest의 steal time 확인」), 호스트 쪽 QEMU vCPU 스레드는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (「thread가 실행되는 Host CPU 확인」) 로 본다.
3. Keycloak과 PostgreSQL latency는 같은 refresh 실행에서 기록한 값을 쓴다. Redis가 포함된 별도 구조를 시험할 때만 Redis 지표를 추가한다.
닫는 조건 : 실험 구간의 호스트 CPU 와 steal time 이 기준값과 다르지 않으면, 그 실험 결과를 애플리케이션·저장소 문제로 읽어도 된다고 적고 닫는다. 둘 중 하나라도 움직이면 §26 의 여섯 경계를 분리해 다시 재고, refresh 경쟁 실험을 CPU 여유 상태에서 따로 돌릴지는 Decision 으로 넘긴다.
실험 구간의 호스트 CPU와 steal time이 기준값과 다르지 않다면 적어도 CPU 가상화 계층이 결과를 흔들었다는 근거는 없다. 둘 중 하나라도 크게 움직이면 같은 구간의 K3s throttling, 게스트 CPU, PostgreSQL 지연까지 다시 나눠 보고 refresh 경쟁 결과와 자원 포화 결과를 섞지 않는다.
@@ -7,9 +7,17 @@ topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/61b7486f-5dab-41df-8f4f-e8fc21d88617/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt
source:
- final/document.md#20-이-concept에서-파생되는-open-question-oq-4
- final/document.md#8-무엇이-실제로-vm-exit을-발생시키는가
@@ -18,18 +26,18 @@ source:
# 실제 작업에서 주로 발생하는 VM Exit 은 무엇인가
`perf kvm` 이 이 환경에서 열리는지부터 아직 확인하지 않았다. VM Exit 은 게스트를 실행하던 CPU 가 KVM 쪽으로 제어권을 넘기는 전환이지 가상 머신이 꺼지는 것이 아니다(§7.2). §8 이 든 일곱 동작 가운데 무엇이 실제로 Exit 을 내는지는 이 호스트의 VMX 설정과 돌리는 작업이 정한다.
2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 이 호스트에서 동작하는 것을 확인하고, 같은 `kc-lab-1` QEMU를 대상으로 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 비교했다. **workload에 따라 VM Exit 분포가 실제로 달라졌다.** CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer 비중이 크게 늘었고, Keycloak 고부하에서는 baseline보다 EPT_MISCONFIG 비중과 전체 sample 수가 증가했다.
## 관계
## workload마다 달라진 Exit 분포
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
VM Entry 와 VM Exit 이 무엇이고 Exit 뒤에 무엇이 처리하는지를 이 개념이 설명한다.
- **Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가**
같은 측정에서 Keycloak 쪽 분포만 떼어 묻는다. 도구가 열리지 않으면 두 질문이 같은 이유로 닫힌다.
- 2026-09-21 재검증에서 `perf version 7.2.2-1`을 설치했고 `perf kvm stat live`가 `-p <pid>`와 `--event vmexit`를 지원했다. `/sys/kernel/tracing/events/kvm` 아래 `kvm_exit`, `kvm_entry` 등 KVM tracepoint도 존재했다.
- 2026-09-21 재검증에서 같은 `kc-lab-1`의 baseline에서 2초 구간 sample은 655/702개였고 `MSR_WRITE` 약 60%, `HLT` 약 32~33%가 중심이었다.
- 2026-09-21 재검증에서 CPU-bound에서는 `HLT`가 보이지 않았고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%, `MSR_WRITE` 약 34~41%로 바뀌었다.
- 2026-09-21 재검증에서 I/O-heavy에서는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%가 중심이었고 `EPT_MISCONFIG` 약 1.4~1.6%, `CPUID` 약 2%가 추가로 보였다.
- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회 구간은 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다. 요청은 모두 HTTP 200이고 개별 지연은 약 5.7~21.8 ms였다.
- 2026-09-21 재검증에서 같은 노드에 OIDC discovery 1000회, concurrency 20을 걸자 `rc=0`이었고 2초 구간 sample이 987→1211→1339로 늘었다. `EPT_MISCONFIG`은 약 9.9%→18.0%→19.0%까지 나타났다.
## 사실
§8 이 든, VM Exit 을 발생시킬 수 있는 동작
「무엇이 실제로 VM Exit을 발생시키는가」에서 든, VM Exit 을 발생시킬 수 있는 동작
HLT
I/O Port 접근 - IN / OUT
@@ -39,22 +47,15 @@ MSR 접근
Exception
External Interrupt
Intel VMX 에는 VMCS(Virtual Machine Control Structure)가 있고 하이퍼바이저는 VM-Execution Control 등을 통해 어떤 동작을 가로챌지 설정한다 : §8
Intel VMX에서는 VMCS의 실행 제어 설정에 따라 어떤 동작을 하이퍼바이저가 가로챌지가 달라진다. 그래서 ‘특권 명령이면 전부 VM Exit’이나 ‘root가 실행하면 VM Exit’처럼 단순화해서 볼 수 없다.
§8 은 「특권 명령이면 전부 VM Exit」이나 「root 가 실행하면 VM Exit」 같은 규칙이 맞지 않는다고 적는다. VM Exit 여부는 VMX 설정과 해당 동작의 종류에 따라 결정된다.
Control Register 접근, CPU 예외, MSR 접근도 항상 같은 방식으로 처리되는 것은 아니다. 설정에 따라 게스트가 직접 처리할 수도 있고 KVM이 가로챌 수도 있다. I/O port 접근처럼 사용자 공간의 장치 에뮬레이션이 필요하면 KVM에서 QEMU로 제어가 올라갔다가 다시 `KVM_RUN`으로 돌아오는 경로가 생긴다.
모든 CR(control register) 접근이 항상 VM Exit 을 발생시키지는 않는다 : §8.4
Page Fault, Breakpoint, Debug Exception 같은 CPU 예외도 Exception Bitmap 등의 설정에 따라 게스트가 직접 처리할 수도 있고 하이퍼바이저가 가로챌 수도 있다 : §8.6
「KVM Exit 관찰」에서는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다.
CPU 에는 MSR(Model-Specific Register)이 있고 RDMSR 과 WRMSR 로 접근한다. 특정 MSR 접근을 하이퍼바이저가 가로채도록 설정했다면 VM Exit 이 발생할 수 있다 : §8.5
2026-09-21 재검증 기준 이 호스트는 kernel `7.2.2-arch1-1`, QEMU 11.1.1, Intel i5-1135G7 VT-x이고 `perf version 7.2.2-1`을 사용했다. VM Exit reason 이름과 비율은 이 환경 조건에 종속된 값으로 읽는다.
§8.2 는 I/O port 접근에서 나온 Exit 을 KVM 이 받고, 사용자 공간에서 가상 장치를 흉내 내야 하면 KVM_RUN 이 반환되어 QEMU 가 처리한 뒤 다시 KVM_RUN 을 호출한다고 적는다.
§14.9 는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다.
§197 은 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. §14.9 가 표시되는 Exit 이유를 좌우한다고 든 것 가운데 커널과 CPU 아키텍처는 여기서 정해진다. perf 버전은 적혀 있지 않다.
§20 이 든 비교 후보 다섯
비교할 작업은 다섯이다.
idle
CPU-bound workload
@@ -62,60 +63,44 @@ I/O-heavy workload
Keycloak 정상 요청
Keycloak 부하 테스트
## 가정
## workload만 바꾸고 나머지 조건은 고정했다
다섯 작업을 이 호스트에서 각각 만들 수 있다. Keycloak 정상 요청과 부하 테스트는 이미 돌리는 실험을 그대로 쓴다고 전제한다.
다섯 workload를 같은 `kc-lab-1` QEMU에서 차례로 만들고 `-p <QEMU_PID>`로 해당 프로세스만 필터링했다. `sudo -n`도 사용 가능해 비대화식 측정으로 실행했고, baseline·CPU-bound·I/O-heavy·Keycloak 정상·Keycloak 부하를 같은 도구와 같은 2초 관측 단위로 비교했다.
호스트에서 sudo 로 perf 를 돌릴 수 있다. §204 는 이 호스트의 sudo 가 비밀번호를 요구해 비대화식으로는 읽지 못했다고 적었으므로, 콘솔에 붙어 직접 치는 실행으로 잡는다.
## Exit 분포가 답하지 않는 것
한 작업을 재는 동안 다른 가상 머신이 내는 Exit 이 결과에 섞이지 않는다고 전제하는데, perf kvm 이 호스트 전체를 보는지 프로세스 하나만 보는지는 확인하지 않았다.
현재 환경에서 `perf kvm stat live` 지원 여부와 다섯 workload의 분포 차이는 해소됐다. 출력에는 `HLT`, `MSR_WRITE`, `MSR_READ`, `EXTERNAL_INTERRUPT`, `PREEMPTION_TIMER`, `CPUID`, `EPT_MISCONFIG`, `PAUSE_INSTRUCTION` 등이 workload에 따라 나타났다.
Exit 이유가 다섯 작업 사이에서 같은 이름으로 표시된다.
남는 것은 더 긴 구간에서 분포가 얼마나 안정되는지와 각 Exit의 실제 end-to-end latency 영향이다. 이번 질문은 **어떤 workload에서 어떤 Exit 분포가 보이는가**까지를 답하며, sample 비중 증가를 곧바로 성능 문제로 판정하지 않는다.
## 미지수
## 이 호스트에 종속된 값
이 환경에서 perf kvm 이 어떤 하위 명령을 지원하는지.
2026-09-21 현재 `perf kvm`과 KVM tracepoint가 모두 사용 가능한 것을 확인했다. 이번 분포는 `kc-lab-1` QEMU PID로 필터링해 다른 VM의 Exit을 섞지 않았다.
열린다면 어떤 Exit 이유가 표시되는지.
「무엇이 실제로 VM Exit을 발생시키는가」에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다.
다섯 작업의 Exit 이유 분포가 서로 얼마나 다른지.
「KVM Exit 관찰」에서는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다.
perf kvm 이 열리지 않을 때 KVM tracepoint 로 같은 것을 볼 수 있는지.
Exit 총 횟수만으로는 작업을 비교할 수 없다. I/O port 접근처럼 QEMU까지 올라가는 Exit과 KVM 안에서 끝나는 Exit은 처리 경로가 다르다. 따라서 Exit이 많다는 사실 자체를 장애 판정으로 쓰지 않고 이유와 처리 경로를 함께 본다.
한 작업을 얼마나 오래 재야 분포가 더 흔들리지 않는지.
## 어떻게 측정했나
## 제약
### 1. perf kvm 지원 범위를 먼저 확인했다
이 호스트에서 Exit 분포를 잰 값이 없기 때문에, 분포를 재기 전에 도구가 열리는지부터 확인해야 한다. 열리지 않는 것으로 확인되는 것도 이 물음을 닫는 결과다.
§8 에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다.
§14.9 는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다.
Exit 총 횟수만으로는 작업을 견줄 수 없다. §8.2 처럼 QEMU 까지 돌아가는 Exit 과 KVM 안에서 끝나는 Exit 은 처리 경로가 다르다. §24.9 도 확인할 때 Exit 횟수만 보지 말라고 적으면서 「VM Exit이 많다 = 장애로 바로 판단하지 않는다」로 닫는다.
## 선택지
### 1. perf kvm --help 로 열리는 하위 명령부터 확인한다
§14.9 가 지원 여부는 환경마다 다르다고 적어 두었기 때문에 도구부터 확인한다. 여기서 안 열리면 뒤의 계획이 통째로 바뀐다.
`perf kvm --help`와 실제 실행으로 `stat live`, `-p`, `--event vmexit` 지원 여부를 확인한 뒤 본 측정을 진행했다.
### 2. 열리면 sudo perf kvm stat live 로 다섯 작업을 각각 돌린다
§20 이 든 다섯을 하나씩 돌리며 Exit 이유 분포를 받아 적는다. 유휴 구간을 먼저 재 두면 나머지 넷에서 늘어난 Exit 이 무엇인지 견줄 수 있다.
다섯 작업을 하나씩 돌리며 Exit 이유 분포를 같은 형식으로 남긴다. 유휴 구간을 먼저 재 두면 나머지 네 작업에서 무엇이 늘었는지 비교하기 쉽다.
### 3. 열리지 않으면 KVM tracepoint 추적을 검토한다
### 3. KVM tracepoint는 대안으로 남긴다
§14.9 가 대안으로 든 방법이다. 이쪽도 안 되면 「이 호스트에서는 Exit 분포를 관측할 수 없다」가 이 질문의 답이 된다.
현재는 `perf kvm`이 동작하므로 tracepoint를 직접 수집할 필요가 없었다. 더 세밀한 원인 추적이 필요할 때만 `kvm_exit`/`kvm_entry` tracepoint를 사용한다.
### 4. 제외 — Exit 총 횟수만 세어 작업을 견준다
숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 §8.2 가 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다.
숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 「I/O Port 접근 - IN / OUT」에 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다.
## 다음 검증
## workload가 바뀌자 Exit 분포도 바뀌었다
1. perf kvm --help 로 이 환경이 지원하는 하위 명령을 확인한다.
2. 열리면 sudo perf kvm stat live 로 §20 의 비교 후보 다섯을 각각 돌리며 Exit 이유 분포를 받아 적는다.
3. 열리지 않으면 §14.9 가 말한 KVM tracepoint 추적을 검토하고 그 결과도 기록한다.
닫는 조건 : 다섯 작업의 Exit 이유 분포를 한 표로 놓을 수 있으면 그 표가 Case 가 되고 닫는다. perf kvm 도 tracepoint 도 이 환경에서 열리지 않으면, 「이 호스트에서는 Exit 분포를 관측할 수 없다」를 그대로 적고 §24.9 의 확인 항목에서 Exit 이유를 빼는 근거로 남긴 뒤 닫는다.
같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak 부하의 VM Exit 분포가 서로 다르게 나타나는 것을 `perf kvm stat live`로 확인했다. 이 분포는 workload fingerprint로 사용할 수 있지만, Exit sample이 많거나 특정 이유의 비중이 높다는 사실만으로 병목이라고 판정하지 않는다.