refactor: 문서 사람처럼 작성하기
This commit is contained in:
+32
-36
@@ -7,9 +7,17 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/d103bb81-45df-402f-86e5-e41d66ed7f8d/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt
|
||||
source:
|
||||
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-11
|
||||
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-9
|
||||
@@ -18,17 +26,15 @@ source:
|
||||
|
||||
# Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가
|
||||
|
||||
이 호스트에서 Exit 을 받아 본 기록이 없고 관측 도구가 열리는지부터 확인하지 않았다. VM Exit 은 게스트를 실행하던 CPU 가 제어권을 KVM 쪽으로 넘기는 정상 동작이라, 있다는 것만으로 문제가 되지 않는다. Keycloak 구간에서 Exit 이 얼마나 잦은지는 나머지 네 구간의 분포와 견줘야 갈린다.
|
||||
2026-09-21 같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 `perf kvm stat live -p <QEMU_PID>`로 비교했다. Keycloak 정상 요청 10회 구간은 baseline과 비슷했지만, OIDC discovery 1000회/concurrency 20 부하에서는 `EPT_MISCONFIG` 비중과 전체 VM Exit sample 수가 뚜렷하게 증가했다. **Keycloak workload의 Exit 분포는 부하 강도에 따라 실제로 달라지지만, 이 변화만으로 병목이라고 판정하지 않는다.**
|
||||
|
||||
## 관계
|
||||
## 2026-09-21에 비교한 다섯 구간
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
무엇이 VM Exit 을 부르고 그 처리가 커널에서 끝나는지 QEMU 사용자 공간까지 가는지를 이 개념이 설명한다.
|
||||
- **실제 작업에서 주로 발생하는 VM Exit 은 무엇인가**
|
||||
그쪽은 작업 다섯의 분포를 서로 견주는 물음이고, 이 질문은 Keycloak 구간의 분포가 같은 구간의 지연과 같이 움직이는지를 묻는다.
|
||||
다섯 구간을 한 번 받으면 두 질문의 자료가 함께 나오지만 닫는 기준이 달라 기록은 따로 둔다. 도구가 이 환경에서 열리는지 보는 첫 단계도 둘이 같이 쓴다.
|
||||
|
||||
## 사실
|
||||
- 2026-09-21 재검증에서 `perf version 7.2.2-1`과 `perf kvm stat live -p <pid> --event vmexit`가 현재 host에서 동작했고 KVM tracepoint도 존재했다.
|
||||
- 2026-09-21 재검증에서 `kc-lab-1` baseline은 2초 구간 sample 655/702개, `MSR_WRITE` 약 60%, `HLT` 약 32~33%였다.
|
||||
- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회는 모두 HTTP 200, 약 5.7~21.8 ms였고 Exit 분포는 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다.
|
||||
- 2026-09-21 재검증에서 OIDC discovery 1000회/concurrency 20 부하는 `rc=0`이었고 sample 수는 987→1211→1339, `EPT_MISCONFIG` 비중은 약 9.9%→18.0%→19.0%로 증가했다.
|
||||
- 2026-09-21 재검증에서 비교군인 CPU-bound는 HLT가 사라지고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%로 바뀌었으며, I/O-heavy는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%, `EPT_MISCONFIG` 약 1.4~1.6%였다. Keycloak 부하의 분포가 단순 CPU-bound나 I/O-heavy와 같지는 않았다.
|
||||
|
||||
- VM Exit 은 정상적인 가상화 동작이어서 Exit 이 존재한다는 것만으로 문제가 되지 않는다.
|
||||
- 하이퍼바이저가 개입해야 하는 Exit 이 특정 작업에서 지나치게 빈번하고 처리 비용이 커지면 성능에 영향을 줄 수 있다.
|
||||
@@ -40,35 +46,30 @@ source:
|
||||
- Exit 이 많다는 관측 하나로 장애라고 판단하지 않는다.
|
||||
- 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있고, 예로 든 명령은 sudo perf kvm stat live 다.
|
||||
- 지원되는 명령과 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 다를 수 있어 perf kvm --help 를 함께 확인한다. 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토한다.
|
||||
- §197 은 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다.
|
||||
- 비교 후보로 적어 둔 구간은 idle, CPU-bound 작업, I/O 가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트 다섯이다.
|
||||
이 목록은 개념 문서가 앞선 물음 자리에 적어 둔 것이고, 이 질문의 제목이 든 것은 그 가운데 앞쪽 셋이다. 받아야 하는 구간은 제목이 든 것보다 둘 많다.
|
||||
- 「측정 환경」에서는 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다.
|
||||
- 비교할 구간은 다섯이다: idle, CPU-bound, I/O가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트. 제목에는 앞쪽 세 범주만 드러나지만 실제 비교에는 Keycloak 정상·부하 구간도 함께 넣는다.
|
||||
|
||||
## 가정
|
||||
## Exit 분포를 비교할 때 고정한 조건
|
||||
|
||||
- 이 호스트에서 perf kvm 이나 KVM tracepoint 가운데 하나는 열린다고 보고 측정 순서를 짠다.
|
||||
둘 다 열리지 않는 결과도 이 질문의 정상적인 답이다.
|
||||
- 2026-09-21 확인 결과 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 실제로 동작했고 KVM tracepoint도 존재했다.
|
||||
- 다섯 구간을 같은 도구로 같은 길이만큼 잴 수 있다고 전제한다.
|
||||
- Keycloak 부하 구간의 지연은 실험이 이미 재고 있는 값에서 가져올 수 있다고 본다.
|
||||
- I/O 가 많은 구간을 이 환경에서 따로 만들 수 있다고 보고 짰다. 만드는 방법은 개념 문서에 적혀 있지 않다.
|
||||
- Keycloak 정상 요청과 1000회/concurrency 20 read-only 부하를 직접 실행하면서 같은 구간의 HTTP 결과와 VM Exit 분포를 함께 남겼다.
|
||||
- 비교군으로 CPU-bound와 I/O-heavy workload를 따로 실행해 같은 QEMU PID에서 분포를 비교했다.
|
||||
|
||||
## 미지수
|
||||
## 분포만으로 말할 수 없는 것
|
||||
|
||||
- 이 호스트에서 perf kvm 의 어떤 하위 명령이 열리는지, 열리지 않으면 tracepoint 쪽이 열리는지.
|
||||
- Keycloak 구간의 Exit 이유 분포가 나머지 네 구간과 얼마나 다른지.
|
||||
- 그 차이가 같은 구간의 Keycloak 지연과 같이 움직이는지.
|
||||
- Exit 처리 위치가 KVM 인지 QEMU 사용자 공간인지를 이 환경의 출력으로 가를 수 있는지.
|
||||
- 관측이 열린다면 얼마나 오래 받아야 구간 사이의 차이가 잡히는지.
|
||||
현재 환경의 `perf kvm` 지원 여부와 Keycloak 정상·부하 구간의 Exit 분포 차이는 해소됐다. 정상 요청은 baseline과 유사했고 read-only 고부하에서는 `EPT_MISCONFIG`과 전체 sample이 증가했다.
|
||||
|
||||
## 제약
|
||||
이번 실험만으로 각 Exit reason이 Keycloak latency를 얼마나 직접 유발했는지까지는 확정하지 않는다. 특히 `perf kvm`의 reason 통계는 KVM이 관측한 Exit 분포이며 모든 reason이 QEMU userspace까지 올라간다는 뜻이 아니다.
|
||||
|
||||
## 이 수치를 읽는 범위
|
||||
|
||||
- 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 달라지므로 다른 환경에서 나온 분포와 이 호스트의 분포를 바로 견주지 않는다.
|
||||
- Exit 횟수만 세지 않는다. Exit 이유와 작업 종류, 처리 위치, 같은 구간의 지연을 함께 받아 적는다.
|
||||
- 도구가 열려야 측정이 시작된다. 열리지 않으면 이 질문은 값 없이 닫힌다.
|
||||
- sudo 가 필요한 명령인데, §204 는 이 호스트의 sudo 가 비밀번호를 요구해 비대화식으로는 읽지 못했다고 적었다. 그래서 콘솔에 붙어 직접 치는 실행으로 잡는다.
|
||||
- 이 호스트에서 Exit 을 실제로 받아 본 기록이 없다.
|
||||
- 2026-09-21 현재 `perf kvm`과 KVM tracepoint가 실제로 동작하며 `sudo -n`도 사용 가능했다. 이번 측정은 `-p`로 `kc-lab-1` QEMU PID만 지정했다.
|
||||
- 관측 구간은 2초 단위의 짧은 sample이므로 비율을 장기 평균으로 일반화하지 않는다. 같은 workload를 반복하거나 더 긴 구간으로 재면 분포가 달라질 수 있다.
|
||||
|
||||
## 선택지
|
||||
## idle·CPU·I/O·Keycloak을 같은 방식으로 비교했다
|
||||
|
||||
### 1. perf kvm stat live 로 다섯 구간을 차례로 받는다
|
||||
|
||||
@@ -89,11 +90,6 @@ tracepoint 를 직접 켜면 Exit 이유를 더 세밀하게 받을 수 있다.
|
||||
Keycloak 구간의 Exit 수가 크면 Exit 처리 비용이 있다고 읽는 방법이다.
|
||||
Exit 이 많다는 관측 하나로 장애라고 판단하지 않기로 했고, 무엇과 견줘야 「많다」인지도 이 호스트에는 아직 기준이 없다. 그래서 다른 구간 없이 Keycloak 구간만 받지 않는다.
|
||||
|
||||
## 다음 검증
|
||||
## Keycloak 부하에서는 Exit 분포가 달라졌지만 원인으로 단정하지 않았다
|
||||
|
||||
1. perf kvm --help 로 이 환경이 지원하는 하위 명령을 확인한다.
|
||||
2. 열리면 sudo perf kvm stat live 로 idle, CPU-bound, I/O 가 많은 구간, Keycloak 정상 요청, Keycloak 부하 다섯의 Exit 이유 분포를 받는다.
|
||||
3. 같은 다섯 구간의 Keycloak 지연을 실험이 이미 재는 값에서 가져와 분포 옆에 적는다.
|
||||
4. perf kvm 이 열리지 않으면 KVM tracepoint 를 쓰는 쪽을 검토하고, 검토 결과와 그 판단 근거도 함께 기록한다.
|
||||
|
||||
닫는 조건 : Keycloak 구간의 Exit 분포가 다른 구간과 다르고 그 차이가 지연과 같이 움직이면 그 측정이 Case 가 되고 닫는다. 분포가 다르지 않거나 지연과 따로 움직이면, 이 작업에서 Exit 처리 비용은 조사 대상이 아니라고 적고 진단표의 「과도한 VM Exit」 행을 뒤로 미루는 근거로 남긴 뒤 닫는다.
|
||||
같은 `kc-lab-1`에서 Keycloak 정상 요청은 baseline과 유사한 VM Exit 분포를 보였고, 1000회/concurrency 20 read-only 부하에서는 `EPT_MISCONFIG` 비중과 전체 sample 수가 증가했다. CPU-bound·I/O-heavy 비교군과도 분포가 달랐다. 다만 이 변화가 애플리케이션 지연의 직접 원인이라는 결론은 내리지 않으며, 실제 refresh-token 부하의 latency와 Exit을 같은 실행에서 비교하는 일은 별도 질문으로 남긴다.
|
||||
|
||||
+28
-40
@@ -7,9 +7,12 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/688c6c02-c1bd-4cd2-a615-2396db145386/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt
|
||||
source:
|
||||
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-12
|
||||
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-11
|
||||
@@ -17,50 +20,39 @@ source:
|
||||
|
||||
# 이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가
|
||||
|
||||
이 호스트의 NUMA 노드 수를 확인한 기록이 없다. §197 이 받은 `lscpu` 출력에 NUMA 줄이 없어서다. NUMA(Non-Uniform Memory Access)는 어느 CPU 가 어느 메모리에 접근하느냐에 따라 접근 비용이 달라지는 구조다. 단일 노드면 지금 실험에서 우선순위를 낮추고, 다중 노드면 vCPU 와 메모리 배치를 따로 다룬다.
|
||||
2026-09-21 현재 `test-server`는 **NUMA node 1개**다. `lscpu`에서 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 확인했고 sysfs의 `/sys/devices/system/node/node0/cpulist`도 `0-7`이었다. 따라서 현재 host에서는 remote NUMA 접근을 전제로 한 vCPU/memory locality 튜닝을 우선 항목으로 둘 이유가 없다.
|
||||
|
||||
## 관계
|
||||
## 현재 호스트의 토폴로지
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
vCPU 스레드가 어느 논리 CPU 에서 실행될지를 호스트 스케줄러가 정한다는 것이 이 물음의 전제다.
|
||||
|
||||
## 사실
|
||||
- 2026-09-21 재검증에서 Host CPU는 Intel i5-1135G7, 4 cores / 8 logical CPUs이고 NUMA node는 `node0` 하나다. node0에 CPU `0-7`과 host memory 전체가 속한다.
|
||||
|
||||
- 멀티소켓 또는 NUMA 구조의 호스트에서는 CPU 가 실행되는 NUMA 노드와 가상 머신 메모리가 놓인 NUMA 노드가 어디냐에 따라 성능이 달라질 수 있다.
|
||||
- vCPU 가 노드 0 의 CPU 에서 실행되는데 필요한 메모리가 주로 노드 1 에 배치되어 있으면 다른 노드의 메모리를 읽는 접근(remote memory access)이 생길 수 있다.
|
||||
- NUMA 는 CPU 가상화와 메모리 가상화의 경계에 걸쳐 있다. 그래서 지금 개념 문서는 문제가 있다는 것과 CPU 친화도와 어떻게 얽히는지까지만 기록했고, 상세한 메모리 배치와 NUMA 튜닝은 메모리 가상화를 다루는 개념 문서로 넘겼다.
|
||||
- 이 물음의 종료 기준은 개념 문서가 직접 적어 두었다.
|
||||
단일 NUMA 노드 : 지금 실험에서 우선순위를 낮춘다
|
||||
다중 NUMA 노드 : vCPU 와 메모리 배치를 별도 Case 후보로 올린다
|
||||
개념 문서가 남긴 열린 물음 열둘 가운데 닫는 갈래를 스스로 적어 둔 것은 이 하나다.
|
||||
- §24.11 은 이 확인에 쓸 명령을 적지 않았다. 다른 확인 항목과 달리 NUMA 쪽에는 예로 든 명령이 없다.
|
||||
- 메모리 가상화 쪽 §78 이 그 명령을 든다. 노드 수는 `lscpu` 의 NUMA 줄로 보라고 적고 `numactl --hardware` 를 추가로 든다. QEMU 프로세스별 메모리 분포는 `numastat -p <QEMU_PID>`, vCPU 배치는 `virsh vcpupin <VM_NAME>` 과 `virsh vcpuinfo <VM_NAME>` 이다.
|
||||
- §197 이 2026-09-10 에 이 호스트에서 받은 `lscpu` 출력은 `Model name` 이 `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, `CPU(s)` 가 8, `Core(s) per socket` 이 4, `Thread(s) per core` 가 2 다. 네 줄만 `grep` 으로 걸러 받아서 NUMA 줄은 거기 없다.
|
||||
- §24.11 이 문제를 두는 조건은 멀티소켓 또는 NUMA 구조인데, 그 네 줄에는 `Socket(s)` 도 NUMA 줄도 없다.
|
||||
- 이 호스트의 NUMA 노드 수를 확인한 기록이 없다.
|
||||
- 판정은 단순하다. 단일 NUMA 노드라면 지금 실험에서 우선순위를 낮춘다. 다중 NUMA 노드라면 vCPU 실행 위치와 메모리 배치를 이어서 확인한다.
|
||||
- 「NUMA Locality 문제」에서는 이 확인에 쓸 명령을 적지 않았다. 다른 확인 항목과 달리 NUMA 쪽에는 예로 든 명령이 없다.
|
||||
- 메모리 가상화 쪽 「NUMA는 실제 장비 topology부터 확인한다」에서는 그 명령을 든다. 노드 수는 `lscpu` 의 NUMA 줄로 보라고 적고 `numactl --hardware` 를 추가로 든다. QEMU 프로세스별 메모리 분포는 `numastat -p <QEMU_PID>`, vCPU 배치는 `virsh vcpupin <VM_NAME>` 과 `virsh vcpuinfo <VM_NAME>` 이다.
|
||||
- 「측정 환경」에서는 2026-09-10 에 이 호스트에서 받은 `lscpu` 출력은 `Model name` 이 `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, `CPU(s)` 가 8, `Core(s) per socket` 이 4, `Thread(s) per core` 가 2 다. 네 줄만 `grep` 으로 걸러 받아서 NUMA 줄은 거기 없다.
|
||||
- 「NUMA Locality 문제」에서는 문제를 두는 조건은 멀티소켓 또는 NUMA 구조인데, 그 네 줄에는 `Socket(s)` 도 NUMA 줄도 없다.
|
||||
- 2026-09-21 `lscpu`와 sysfs를 읽어 이 호스트가 NUMA node 하나인 것을 확인했다.
|
||||
|
||||
## 가정
|
||||
## NUMA를 판단할 때 필요한 조건
|
||||
|
||||
- 호스트에 붙어 노드 수를 읽을 수 있다고 본다.
|
||||
- 단일 노드로 나오면 vCPU 가 실행되는 노드와 메모리가 놓인 노드가 갈리지 않으므로 다른 노드의 메모리를 읽을 일이 지금 실험에서 성능 차이를 만들지 않는다고 본다.
|
||||
그 추론을 이 호스트에서 확인하지는 않았다.
|
||||
- 두 가상 머신의 메모리 배치가 실행 중에 바뀌지 않는다고 전제한다.
|
||||
§198 은 virtio-balloon 이 안 쓰는 만큼 호스트에 돌려준다고 적었으므로 할당된 양은 실행 중에 바뀐다. 노드 배치까지 따라 바뀌는지는 적혀 있지 않다.
|
||||
- 2026-09-21 호스트에서 NUMA node 수와 node0 CPU 목록을 직접 읽었다.
|
||||
- 실제로 node0 하나뿐이어서 이 호스트에서는 서로 다른 NUMA node 사이의 remote memory access 구성이 성립하지 않는다.
|
||||
- 이 host에서는 node가 하나뿐이라 실행 중 memory placement 변화가 있어도 remote NUMA라는 두 번째 위치가 생기지 않는다. `virtio-balloon` 장치가 있다는 사실도 NUMA node를 추가하지 않는다. 다중 NUMA 장비로 옮겼을 때만 vCPU 실행 위치와 QEMU memory placement를 별도로 다시 읽는다.
|
||||
|
||||
## 미지수
|
||||
## 단일 노드라 사라진 질문
|
||||
|
||||
- 이 호스트가 단일 NUMA 노드인지 다중 NUMA 노드인지.
|
||||
- 다중이라면 두 가상 머신의 vCPU 와 메모리가 각각 어느 노드에 배치되어 있는지.
|
||||
- §78 이 든 명령 가운데 `numactl` 과 `numastat` 이 이 호스트에 깔려 있는지.
|
||||
- 다중으로 나왔을 때 배치를 바꾸는 일이 지금 가상 머신 구성에서 가능한지.
|
||||
현재 host의 NUMA topology에 대한 미지수는 해소됐다. node0 하나뿐이므로 현재 환경에서 서로 다른 NUMA node 사이의 remote memory access를 만들 수 없다. 다중 NUMA host에서의 배치 방법은 이 질문의 현재 답에 필요하지 않다.
|
||||
|
||||
## 제약
|
||||
## 이 결과의 적용 범위
|
||||
|
||||
- 이 질문이 다중 노드로 닫혀도 여기서 NUMA 튜닝을 정하지 않는다. 상세한 메모리 배치는 §73~§78 과 그것을 받을 메모리 가상화 개념 기록이 다룬다.
|
||||
- §24.11 쪽에는 예로 든 명령이 없고 §78 쪽 명령은 메모리 가상화 절에 있다. 그래서 실행한 명령과 그 출력을 함께 증거로 남긴다.
|
||||
- 이 호스트의 노드 수를 잰 값이 없어 다른 장비의 노드 구성을 근거로 삼지 않는다.
|
||||
- 다중 NUMA라는 사실만으로 pinning이나 memory binding을 적용하지 않는다. 실제 vCPU·메모리 배치와 지연 차이를 확인한 뒤에야 튜닝 여부를 판단한다.
|
||||
- 「NUMA Locality 문제」쪽에는 예로 든 명령이 없고 「NUMA는 실제 장비 topology부터 확인한다」쪽 명령은 메모리 가상화 절에 있다. 그래서 실행한 명령과 그 출력을 함께 증거로 남긴다.
|
||||
- 현재 판정은 다른 장비가 아니라 2026-09-21 `test-server`에서 직접 읽은 topology를 근거로 한다.
|
||||
|
||||
## 선택지
|
||||
## 토폴로지를 확인하는 방법
|
||||
|
||||
### 1. 노드 수만 먼저 읽고 거기서 갈린다
|
||||
|
||||
@@ -76,14 +68,10 @@ source:
|
||||
|
||||
### 3. 메모리 가상화 쪽에서 함께 본다 — 제외
|
||||
|
||||
상세한 메모리 배치를 §73~§78 이 다루므로 확인도 그쪽에서 하자는 방법이다.
|
||||
상세한 메모리 배치를 「NUMA」~「NUMA는 실제 장비 topology부터 확인한다」에서는 다루므로 확인도 그쪽에서 하자는 방법이다.
|
||||
지금 필요한 판단은 이 항목을 실험 목록의 어디에 둘지 하나이고, 그것은 노드 수만으로 갈린다.
|
||||
§78 은 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다.
|
||||
「NUMA는 실제 장비 topology부터 확인한다」에서는 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다.
|
||||
|
||||
## 다음 검증
|
||||
## 이 호스트에서는 NUMA 간 차이를 비교할 수 없다
|
||||
|
||||
1. `lscpu` 를 NUMA 줄까지 받아 노드 수를 적고 `numactl --hardware` 로 한 번 더 본다 (§78).
|
||||
2. 실행한 명령과 그 출력을 함께 증거로 남긴다. §24.11 쪽에 예로 든 명령이 없어서 무엇을 썼는지 적어 두지 않으면 다음 사람이 같은 값을 다시 읽지 못한다.
|
||||
3. 다중 노드로 나오면 `virsh vcpupin <VM_NAME>` 으로 vCPU 배치를, `numastat -p <QEMU_PID>` 로 그 QEMU 프로세스의 메모리 분포를 이어서 적는다 (§78).
|
||||
|
||||
닫는 조건 : 단일 NUMA 노드로 나오면 §27 이 적은 대로 지금 실험에서 우선순위를 낮추고 닫는다. 다중 NUMA 노드로 나오면 vCPU 와 메모리 배치를 별도 Case 후보로 올리고 §24.11 과 함께 §73~§78 쪽으로 넘긴다.
|
||||
현재 host는 single NUMA node다. 다중 NUMA 장비로 실험 환경이 바뀌면 다시 연다.
|
||||
|
||||
+32
-61
@@ -7,9 +7,12 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/4a2d3332-81c3-44fa-a4fb-216a41abb504/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt
|
||||
source:
|
||||
- final/document.md#20-이-concept에서-파생되는-open-question-oq-3
|
||||
- final/document.md#10-guest가-idle이면-물리-cpu는-어떻게-되는가
|
||||
@@ -18,106 +21,74 @@ source:
|
||||
|
||||
# 게스트가 유휴 상태일 때 vCPU 스레드는 이 테스트 환경에서 어떻게 보이는가
|
||||
|
||||
유휴와 부하 두 상태에서 QEMU 프로세스의 스레드 목록을 아직 어느 쪽도 찍지 않았다. §10 은 게스트에 할 일이 없으면 vCPU 스레드가 잠들거나 대기 상태로 들어가고, 그동안 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적었다. 그 서술이 이 환경에서도 보이는지, 이 QEMU 에서 그 스레드가 어떤 이름으로 나오는지가 남았다.
|
||||
2026-09-21 `kc-lab-edge`의 1-vCPU QEMU를 synthetic CPU load 전후로 비교했다. baseline에서 `CPU 0/KVM` thread는 `S/Sl` 상태에 0~1% CPU였고, guest에서 `yes`를 돌리자 같은 thread가 `R` 상태로 바뀌며 약 99.7~99.9% CPU를 사용했다. 부하 종료 뒤 다시 `Sl` 상태와 0.1% 수준으로 돌아왔다.
|
||||
|
||||
## 관계
|
||||
## 유휴와 부하에서 보인 차이
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
vCPU 스레드가 왜 잠들 수 있는지, 무엇이 그것을 깨우는지를 이 개념이 설명한다.
|
||||
- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가**
|
||||
같은 `ps -eLo` 출력의 `psr` 값을 본다. 여기서 스레드를 가려내는 방법이 정해지면 그쪽 측정이 바로 이어진다.
|
||||
- 2026-09-21 재검증에서 `kc-lab-edge` QEMU PID는 `167796`, vCPU thread는 `167803`이며 이름은 `CPU 0/KVM`으로 보였다. baseline `top -H`에서는 QEMU thread 7~8개가 모두 sleep 상태였고 vCPU thread `%CPU`는 0~1%였다.
|
||||
- 2026-09-21 재검증에서 guest에서 `timeout 12s yes`를 실행하자 `CPU 0/KVM` thread가 `R` 상태로 바뀌고 `%CPU=99.7~99.9`를 사용했다. 종료 후 3초 뒤 다시 `Sl`, 0.1% 수준으로 돌아왔다.
|
||||
|
||||
## 사실
|
||||
가상 머신에 4 vCPU를 설정했다고 해서 호스트 논리 CPU 네 개가 계속 예약되는 것은 아니다. 게스트에 실행할 작업이 없으면 게스트 커널이 idle 상태로 들어가고, HLT 같은 동작을 계기로 VM Exit 뒤 vCPU 스레드가 block/sleep 상태가 될 수 있다. 그동안 호스트 스케줄러는 해당 논리 CPU를 다른 작업에 쓸 수 있다.
|
||||
|
||||
가상 머신에 4 vCPU 를 설정했다고 해서 4개의 호스트 논리 CPU 가 계속 예약되지는 않는다 : §10
|
||||
다시 타이머·인터럽트·I/O 완료 같은 이벤트가 생기면 vCPU 스레드는 runnable 상태가 되고, 호스트 스케줄러가 논리 CPU에서 실행시킨 뒤 KVM/VM Entry를 거쳐 게스트 실행이 이어진다.
|
||||
|
||||
§10 이 그린 유휴 흐름
|
||||
「Guest가 idle이면 물리 CPU는 어떻게 되는가」에서는 깨우는 이유로 타이머, 인터럽트, I/O 완료를 든다.
|
||||
|
||||
Guest 에 실행할 작업 없음
|
||||
Guest Kernel idle
|
||||
HLT 등
|
||||
VM Exit
|
||||
KVM
|
||||
vCPU Thread block/sleep
|
||||
「QEMU thread 확인」에서는 ps -T -p <QEMU_PID> 또는 top -H -p <QEMU_PID> 로 vCPU 관련 스레드를 호스트에서 관찰할 수 있다고 적는다. 환경과 QEMU 버전에 따라 이름은 다를 수 있다는 단서를 함께 단다.
|
||||
|
||||
이때 호스트 스케줄러는 물리 CPU 를 호스트의 다른 작업에 쓸 수 있다 : §10
|
||||
「측정 환경」에서는 2026-09-10 에 이 호스트에서 qemu-system-x86_64 --version 을 받아 QEMU emulator version 11.1.1 을 적었다. 「QEMU thread 확인」에서는 이름이 다를 수 있다고 든 조건 가운데 QEMU 버전이 여기서 정해진다.
|
||||
|
||||
§10 이 그린 깨어나는 흐름
|
||||
「QEMU」에서는 가상 머신 하나가 호스트에서 QEMU 프로세스 하나로 돈다고 적었고, 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
|
||||
vCPU wake-up
|
||||
runnable
|
||||
Host Linux Scheduler
|
||||
Logical CPU 에서 vCPU Thread 실행
|
||||
KVM / VM Entry
|
||||
Guest 실행 재개
|
||||
|
||||
§10 은 깨우는 이유로 타이머, 인터럽트, I/O 완료를 든다.
|
||||
|
||||
§14.6 은 ps -T -p <QEMU_PID> 또는 top -H -p <QEMU_PID> 로 vCPU 관련 스레드를 호스트에서 관찰할 수 있다고 적는다. 환경과 QEMU 버전에 따라 이름은 다를 수 있다는 단서를 함께 단다.
|
||||
|
||||
§197 은 2026-09-10 에 이 호스트에서 qemu-system-x86_64 --version 을 받아 QEMU emulator version 11.1.1 을 적었다. §14.6 이 이름이 다를 수 있다고 든 조건 가운데 QEMU 버전이 여기서 정해진다.
|
||||
|
||||
§222 는 가상 머신 하나가 호스트에서 QEMU 프로세스 하나로 돈다고 적었고, §218 은 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
|
||||
§20 은 게스트의 유휴 상태와 CPU 부하 상태를 비교하라고 적고 확인 명령으로 둘을 든다.
|
||||
유휴 상태와 CPU 부하 상태를 같은 명령으로 비교한다.
|
||||
|
||||
top -H -p <QEMU_PID>
|
||||
ps -eLo pid,tid,psr,pcpu,stat,comm
|
||||
|
||||
## 가정
|
||||
## 관찰 조건
|
||||
|
||||
QEMU 프로세스의 PID 를 먼저 찾아야 한다. §197 이 잰 시점의 이 실험대는 게스트가 세 대라 §14.5 의 ps -ef | grep '[q]emu' 는 프로세스 셋을 준다. 셋 가운데 하나는 엣지 게스트이고 vCPU 1 이다(§194). 어느 PID 가 어느 가상 머신인지 가리는 방법은 아직 정하지 않았다.
|
||||
먼저 대상 VM의 QEMU PID를 찾아야 한다. 게스트가 세 대라 `ps -ef | grep '[q]emu'`는 QEMU 프로세스도 세 개를 보여 준다. 프로세스 명령행의 도메인 이름이나 libvirt 정보로 어느 PID가 어느 VM인지 먼저 대응시킨 뒤 스레드를 본다.
|
||||
|
||||
vCPU 스레드를 이름으로 못 가리면 스레드 수를 그 가상 머신의 vCPU 수와 맞춰 가린다고 전제한다. kc-lab-1 과 kc-lab-2 라면 그 수가 2 다.
|
||||
재검증에서는 QEMU thread ID와 이름을 직접 확인했고 edge VM의 vCPU thread는 `CPU 0/KVM`으로 식별됐다.
|
||||
|
||||
유휴라고 부를 상태를 이 가상 머신에서 만들 수 있다. 가상 머신 안에서 도는 것이 있으면 완전한 유휴가 아니다.
|
||||
|
||||
pcpu 와 stat 를 한 번씩 찍은 값으로 두 상태를 가를 수 있다.
|
||||
|
||||
## 미지수
|
||||
## 이 측정 뒤에도 남는 것
|
||||
|
||||
이 환경의 QEMU 에서 vCPU 스레드가 어떤 이름으로 보이는지.
|
||||
이 환경에서 vCPU thread 이름과 idle/load 상태 변화는 해소됐다. edge VM에서는 `CPU 0/KVM`으로 보였고, synthetic load가 없을 때 sleep 상태와 낮은 CPU 사용률, CPU-bound일 때 running 상태와 약 100% 사용률이 관측됐다.
|
||||
|
||||
유휴 상태에서 그 스레드의 pcpu 와 stat 값.
|
||||
유휴 중 짧게 깨어나는 개별 타이머/인터럽트 원인을 event 단위로 추적하는 것은 이 질문의 범위를 넘긴다.
|
||||
|
||||
CPU 부하를 걸었을 때 같은 두 값이 어떻게 바뀌는지.
|
||||
## 상태값을 읽을 때 주의할 점
|
||||
|
||||
vCPU 스레드 말고 어떤 스레드가 같은 QEMU 프로세스 아래에 함께 보이는지, 그 스레드들이 유휴 상태에서도 CPU 를 쓰는지.
|
||||
2026-09-21 `kc-lab-edge`의 QEMU thread 목록과 `pcpu`·`stat`를 유휴와 CPU-bound 상태에서 나란히 측정했다.
|
||||
|
||||
유휴인데도 주기적으로 깨어나는 구간이 있는지. §10 은 타이머와 인터럽트를 깨우는 이유로 들었다.
|
||||
「QEMU thread 확인」에서는 스레드 이름은 환경과 QEMU 버전에 따라 다를 수 있다고 적기 때문에, 이름으로 거르는 절차를 미리 굳혀 둘 수 없다.
|
||||
|
||||
## 제약
|
||||
|
||||
이 호스트에서 그 스레드 목록을 찍은 출력이 없다. §10 은 개념 흐름을 그린 것이고 이 환경의 실제 출력이 아니다. 결과가 §10 과 같으면 개념에 흡수되고 다르면 Case 가 되므로, 어느 쪽으로 갈리든 이 물음은 닫힌다.
|
||||
|
||||
§14.6 이 스레드 이름은 환경과 QEMU 버전에 따라 다를 수 있다고 적기 때문에, 이름으로 거르는 절차를 미리 굳혀 둘 수 없다.
|
||||
|
||||
§20 이 든 확인 명령 둘은 그 시점의 스레드 목록과 값을 보여 준다. §10 이 적은 HLT 에서 VM Exit 을 거쳐 block/sleep 으로 가는 전이를 단계마다 짚어 주지는 않는다.
|
||||
`top -H`와 `ps -eLo ... stat`은 특정 시점의 스레드 상태를 보여 준다. HLT부터 VM Exit, block/sleep까지의 전이 순간을 단계마다 추적하는 도구는 아니므로 여기서는 상태 전후만 비교한다.
|
||||
|
||||
상태를 바꾸는 것 말고 가상 머신 구성은 건드리지 않는다. vCPU 수를 조정하면 유휴와 부하의 차이 대신 구성 차이를 보게 된다.
|
||||
|
||||
## 선택지
|
||||
## 유휴와 부하를 비교한 방법
|
||||
|
||||
### 1. 스레드 이름부터 확정한다
|
||||
|
||||
§14.6 의 ps -T -p <QEMU_PID> 로 그 QEMU 프로세스의 스레드 목록을 받아, vCPU 스레드로 보이는 것이 그 가상 머신의 vCPU 수와 같은 수로 나오는지 맞춰 본다. 이름을 확정해 두면 뒤의 두 출력에서 어느 줄을 읽을지 정해진다.
|
||||
「QEMU thread 확인」의 ps -T -p <QEMU_PID> 로 그 QEMU 프로세스의 스레드 목록을 받아, vCPU 스레드로 보이는 것이 그 가상 머신의 vCPU 수와 같은 수로 나오는지 맞춰 본다. 이름을 확정해 두면 뒤의 두 출력에서 어느 줄을 읽을지 정해진다.
|
||||
|
||||
### 2. 유휴와 부하를 같은 명령 두 개로 찍어 나란히 둔다
|
||||
|
||||
§20 이 확인 명령으로 top -H -p <QEMU_PID> 와 ps -eLo pid,tid,psr,pcpu,stat,comm 둘을 들었다. 두 상태에서 같은 두 명령을 돌리면 pcpu 와 stat 두 열을 그대로 견줄 수 있다. §14.7 이 스레드가 어느 논리 CPU 에서 돌았는지 볼 때 든 ps 에는 stat 열이 없다. §20 은 이 물음의 확인 명령에만 그 열을 더했고, 스레드가 자고 있는지 실행 상태인지는 그 열에서 읽는다.
|
||||
두 상태에서 `top -H -p <QEMU_PID>`와 `ps -eLo pid,tid,psr,pcpu,stat,comm`을 같은 방식으로 찍는다. `pcpu`는 CPU 사용량을, `stat`는 스레드가 자고 있는지 실행 가능한지를 보여 주고, `psr`은 최근 실행된 논리 CPU를 알려 준다.
|
||||
|
||||
### 3. 호스트 쪽 CPU 사용량도 같이 본다
|
||||
|
||||
§10 은 vCPU 스레드가 잠들면 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적는다. vCPU 스레드의 pcpu 만 보면 그 스레드가 CPU 를 안 쓴다는 데까지만 확인되고, 비워 준 CPU 를 호스트가 실제로 다른 작업에 썼는지는 안 보인다.
|
||||
「Guest가 idle이면 물리 CPU는 어떻게 되는가」에서는 vCPU 스레드가 잠들면 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적는다. vCPU 스레드의 pcpu 만 보면 그 스레드가 CPU 를 안 쓴다는 데까지만 확인되고, 비워 준 CPU 를 호스트가 실제로 다른 작업에 썼는지는 안 보인다.
|
||||
|
||||
### 4. 제외 — 추적으로 전이 시점을 직접 잡는다
|
||||
|
||||
HLT 로 VM Exit 이 나고 스레드가 잠드는 순간을 추적하면 §10 의 흐름을 단계마다 확인할 수 있다. 그러나 이 질문은 두 상태의 출력이 갈리는지를 묻고 §20 도 확인 명령을 두 줄로 적어 두었기 때문에, 더 무거운 도구는 두 출력이 갈리지 않을 때 꺼낸다.
|
||||
HLT 이후 스레드가 잠드는 순간까지 직접 추적할 수도 있지만 처음부터 그렇게 하지 않는다. 유휴와 부하의 `pcpu`·`stat`가 구분되지 않을 때만 스케줄러나 KVM 추적으로 내려간다.
|
||||
|
||||
## 다음 검증
|
||||
## idle에서는 잠들고, CPU 부하를 주면 다시 깨어났다
|
||||
|
||||
1. 가상 머신을 유휴 상태로 둔 채 top -H -p <QEMU_PID> 와 ps -eLo pid,tid,psr,pcpu,stat,comm 을 찍는다.
|
||||
2. 같은 가상 머신에 CPU 부하를 걸고 같은 두 명령을 다시 찍는다.
|
||||
3. 두 출력을 나란히 둔다. §20 이 적은 확인 명령 그대로다.
|
||||
|
||||
닫는 조건 : 유휴 상태에서 vCPU 스레드의 pcpu 가 0 에 가깝고 stat 가 sleep 계열이며 부하에서 실행 상태로 바뀌면, §10 의 서술이 이 환경에서도 성립하는 것으로 개념의 확인 사례에 흡수하고 닫는다. 두 상태에서 출력이 갈리지 않거나 §10 과 반대로 나오면 그 출력이 Case 가 된다.
|
||||
이 환경의 QEMU vCPU thread는 guest가 유휴에 가까울 때 sleep 상태와 낮은 CPU 사용률로 보이고, CPU-bound workload를 주면 running 상태와 높은 CPU 사용률로 전환된다. 부하를 제거하면 다시 sleep 상태로 돌아오는 것도 확인했다.
|
||||
|
||||
+31
-37
@@ -8,6 +8,7 @@ topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/2acec7d5-3eaf-4115-9d61-45647c4ec01e/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
source:
|
||||
@@ -18,29 +19,23 @@ source:
|
||||
|
||||
# 운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가
|
||||
|
||||
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 SSOT 에 적혀 있지 않다.
|
||||
§25 의 진단표에는 Virtualization 과 Host 계층에만 걸리는 행이 따로 있어서, 그 구조가 정해져야 어느 행을 운영 진단에 쓸지 고를 수 있다.
|
||||
운영 서버가 bare-metal인지, 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 아직 확인하지 못했다. 이번 세션이 접근한 대상은 `test-server`뿐이며 운영 서버의 구성 기록이나 명령 출력은 새로 확보하지 않았다. 테스트 환경의 KVM 구조를 운영 구조로 복사해 쓰지 않는다.
|
||||
|
||||
## 관계
|
||||
## 현재 문서에서 아는 운영 정보
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
운영 서버가 가상 머신 위라면 무엇이 더 끼어드는지를 설명한 기록이다.
|
||||
|
||||
## 사실
|
||||
|
||||
§18 은 호스트 OS 에 K3s 를 직접 설치했을 때의 CPU 경로를 적었다.
|
||||
「Bare-metal K3s와 VM 기반 K3s의 차이」에서는 호스트 OS 에 K3s 를 직접 설치했을 때의 CPU 경로를 적었다.
|
||||
컨테이너에서 도는 작업은 K3s 와 컨테이너 런타임을 지나 호스트 Linux 스케줄러로, 다시 물리 CPU 로 간다.
|
||||
|
||||
그 호스트 위에 별도 가상 머신이 없다면 그 작업이 QEMU 와 /dev/kvm, KVM, VMX 경로를 타지는 않는다.
|
||||
컨테이너의 프로세스는 호스트 커널을 공유하고 호스트 스케줄러가 직접 스케줄링한다.
|
||||
|
||||
가상 머신 안에 K3s 를 구성하면 계층이 더 붙는다.
|
||||
§18 이 든 것은 게스트 Linux 와 K3s, vCPU, QEMU vCPU 스레드, 호스트 Linux 스케줄러, KVM / VMX 다.
|
||||
「Bare-metal K3s와 VM 기반 K3s의 차이」에서 든 것은 게스트 Linux 와 K3s, vCPU, QEMU vCPU 스레드, 호스트 Linux 스케줄러, KVM / VMX 다.
|
||||
그래서 같은 부하 테스트라도 가상 머신 기반 환경에서는 호스트 가상화 자원 병목을 추가로 확인해야 한다.
|
||||
|
||||
§20 의 OQ-6 은 두 경로를 K3s -> Host Scheduler -> Physical CPU 와 K3s -> Guest -> vCPU -> Hypervisor -> Physical CPU 로 나란히 적고, 구조에 따라 진단 지표가 달라진다고 밝혔다.
|
||||
CPU 경로는 두 가지로 나뉜다. bare-metal이면 `K3s → Host Scheduler → Physical CPU`, 가상 머신 기반이면 `K3s → Guest → vCPU → Hypervisor → Physical CPU`다. 어느 경로인지에 따라 볼 지표가 달라진다.
|
||||
|
||||
§25 의 진단표는 문제마다 주된 계층을 갈라 적었다.
|
||||
「CPU 문제를 계층별로 구분하는 진단표」의 진단표는 문제마다 주된 계층을 갈라 적었다.
|
||||
|
||||
vCPU 과다 할당 : VM 구성
|
||||
CPU overcommit : Host 구성
|
||||
@@ -50,41 +45,41 @@ CPU contention · Scheduling latency : Host Scheduler
|
||||
Steal time 증가 : Guest 에서 관측
|
||||
Host CPU saturation : Host
|
||||
|
||||
§218 은 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다.
|
||||
§284 는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 SSOT 가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다.
|
||||
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다.
|
||||
「nginx 설정 구조 — `sites-available`은 nginx 기능이 아니다」에서는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 기존 문서가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다.
|
||||
|
||||
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 SSOT 에 적혀 있지 않다.
|
||||
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 기존 문서에 적혀 있지 않다.
|
||||
|
||||
## 가정
|
||||
## 판단에 필요한 전제
|
||||
|
||||
운영 서버도 K3s 로 Keycloak 을 돌린다고 전제한다. §20 이 나눈 두 경로는 둘 다 K3s 에서 시작한다.
|
||||
운영 서버도 K3s에서 Keycloak을 실행한다고 전제한다. 이 전제가 틀리면 위 두 경로 비교부터 다시 잡아야 한다.
|
||||
|
||||
운영 서버가 그 두 갈래 중 하나라고 전제한다. 중첩 가상화처럼 계층이 더 들어가는 구성은 이 물음에 넣지 않았다.
|
||||
운영 서버가 bare-metal 또는 단일 하이퍼바이저/클라우드 VM 중 하나라고 전제한다. 중첩 가상화처럼 계층이 더 들어가는 구성은 이번 범위에서 제외한다.
|
||||
|
||||
구조가 정해지면 §25 의 진단표를 운영 진단에도 그대로 쓴다고 전제한다. 진단표를 만든 근거는 이 테스트 환경이다.
|
||||
구조가 정해지면 「CPU 문제를 계층별로 구분하는 진단표」의 진단표를 운영 진단에도 그대로 쓴다고 전제한다. 진단표를 만든 근거는 이 테스트 환경이다.
|
||||
|
||||
## 미지수
|
||||
## 아직 모르는 한 가지
|
||||
|
||||
운영 서버가 bare-metal 호스트에 직접 K3s 를 설치한 것인가, 상위 하이퍼바이저나 클라우드 가상 머신 위에 있는가.
|
||||
|
||||
하이퍼바이저 위라면 그 호스트의 CPU 지표를 볼 수 있는가.
|
||||
클라우드 가상 머신이면 호스트 쪽 실행 대기열과 사용률을 읽을 수 없어 §25 의 Host 행을 그대로 쓰기 어려워진다.
|
||||
클라우드 가상 머신이면 호스트 쪽 실행 대기열과 사용률을 읽을 수 없어 「CPU 문제를 계층별로 구분하는 진단표」의 Host 행을 그대로 쓰기 어려워진다.
|
||||
|
||||
운영 서버에 직접 붙어 명령을 돌릴 수 있는가.
|
||||
|
||||
## 제약
|
||||
## 이 질문의 범위
|
||||
|
||||
이 물음은 부하를 걸어 재는 것이 아니라 구성을 확인해서 닫는다.
|
||||
이건 부하를 걸어 재는 질문이 아니다. 서버가 어느 계층 위에서 실행되는지만 확인하면 된다.
|
||||
|
||||
§14.1~§14.3 은 그 장비가 가상 머신을 직접 돌리는 호스트인지를 보여 준다.
|
||||
「VMX/SVM 지원 확인」~「/dev/kvm 확인」에서는 그 장비가 가상 머신을 직접 돌리는 호스트인지를 보여 준다.
|
||||
그 장비 자신이 어떤 하이퍼바이저의 게스트인지는 이 세 명령이 말해 주지 않는다.
|
||||
|
||||
구조가 정해지기 전에는 §25 의 어느 행을 운영 진단에 넣을지 고를 수 없다.
|
||||
구조가 정해지기 전에는 「CPU 문제를 계층별로 구분하는 진단표」의 어느 행을 운영 진단에 넣을지 고를 수 없다.
|
||||
|
||||
§25 는 그 표의 목적을 「하나의 지표로 장애 원인을 확정하는 것이 아니라, 어느 계층부터 조사해야 하는지 범위를 줄이는 것」이라고 적었다.
|
||||
그래서 이 물음이 닫혀도 운영 장애의 원인이 정해지는 것은 아니다. 정해지는 것은 어느 계층부터 조사할지다.
|
||||
「CPU 문제를 계층별로 구분하는 진단표」에서는 그 표의 목적을 「하나의 지표로 장애 원인을 확정하는 것이 아니라, 어느 계층부터 조사해야 하는지 범위를 줄이는 것」이라고 적었다.
|
||||
구조를 확인해도 운영 장애의 원인이 정해지는 것은 아니다. 달라지는 것은 어느 계층부터 조사할지다.
|
||||
|
||||
## 선택지
|
||||
## 운영 서버에서 확인할 방법
|
||||
|
||||
### 1. 구성 기록과 도입 경로로 확인한다
|
||||
|
||||
@@ -93,22 +88,21 @@ Host CPU saturation : Host
|
||||
|
||||
기록이 실제 구성과 어긋나 있으면 어긋난 채로 적히므로 2번과 함께 쓴다.
|
||||
|
||||
### 2. 서버에 붙어 명령으로 확인한다
|
||||
### 2. 서버에 붙어 보조 신호를 확인한다
|
||||
|
||||
§14.1~§14.3 의 grep -E 'vmx|svm' /proc/cpuinfo · lsmod | grep kvm · ls -l /dev/kvm 로 그 장비가 가상 머신을 직접 돌리는 호스트인지부터 적는다.
|
||||
이어서 게스트 안에서 top 의 %st 가 관측되는지 본다.
|
||||
「VMX/SVM 지원 확인」~「/dev/kvm 확인」의 `grep -E 'vmx|svm' /proc/cpuinfo` · `lsmod | grep kvm` · `ls -l /dev/kvm`은 **그 OS가 KVM host 역할을 할 수 있거나 실제 KVM 모듈을 쓰고 있는지**를 보는 신호다. 이 값만으로 그 OS 자체가 bare-metal인지 어떤 상위 hypervisor의 guest인지까지 결정할 수는 없다. 게스트 환경이라면 `systemd-detect-virt` 같은 가상화 탐지 결과와 인프라 구성 기록, 클라우드 provider 정보도 함께 본다.
|
||||
|
||||
세 명령이 모두 비어 있으면 그 장비가 가상 머신을 직접 돌리지는 않는다는 뜻이고, 그 위에 하이퍼바이저가 있는지는 1번의 구성 기록으로 가른다.
|
||||
`top`의 `%st`도 보조 지표다. steal time이 관측되면 상위 스케줄링 계층을 의심할 근거가 되지만, 0이라고 해서 bare-metal임이 증명되지는 않는다.
|
||||
|
||||
### 3. 제외 — 테스트 환경의 구조를 운영에 옮겨 적는다
|
||||
|
||||
테스트 환경이 가상 머신 위라는 것이 운영 서버의 구조를 말해 주지 않는다.
|
||||
두 환경을 같다고 적으면 §25 의 Virtualization 행을 근거 없이 운영 진단에 넣게 된다.
|
||||
두 환경을 같다고 적으면 「CPU 문제를 계층별로 구분하는 진단표」의 Virtualization 행을 근거 없이 운영 진단에 넣게 된다.
|
||||
|
||||
## 다음 검증
|
||||
## 다음 확인
|
||||
|
||||
1. 운영 서버의 구성 기록이나 도입 경로로 bare-metal 인지 하이퍼바이저 / 클라우드 가상 머신 위인지 확인한다.
|
||||
2. 서버에 붙을 수 있으면 §14.1~§14.3 의 grep -E 'vmx|svm' /proc/cpuinfo · lsmod | grep kvm · ls -l /dev/kvm 으로 그 장비가 가상 머신을 직접 돌리는 호스트인지 적는다.
|
||||
3. 게스트 안에서 top (§14.8) 의 %st 가 관측되는지 함께 본다.
|
||||
2. 서버에 붙을 수 있으면 `systemd-detect-virt`와 인프라/클라우드 메타데이터로 상위 가상화 여부를 먼저 확인하고, VMX/SVM · KVM 모듈 · `/dev/kvm`은 그 OS의 KVM host 능력/사용 여부를 보는 보조 신호로 함께 기록한다.
|
||||
3. `%st`가 관측되는지도 함께 보되, 값이 0이라는 이유만으로 bare-metal이라고 판정하지 않는다.
|
||||
|
||||
닫는 조건 : 운영 서버가 bare-metal 로 확인되면 §25 의 Virtualization · Host 행을 운영 진단에서 빼도 된다고 적고 닫는다. 하이퍼바이저나 클라우드 가상 머신 위로 확인되면 그 사실이 운영 진단의 전제가 되고, §25 의 어느 행을 운영에서 쓸지는 그 뒤 Decision 이 정한다.
|
||||
운영 서버가 bare-metal 로 확인되면 「CPU 문제를 계층별로 구분하는 진단표」의 Virtualization · Host 행을 운영 진단에서 빼도 된다고 기록한다. 하이퍼바이저나 클라우드 가상 머신 위로 확인되면 그 사실이 운영 진단의 전제가 되고, 「CPU 문제를 계층별로 구분하는 진단표」의 어느 행을 운영에서 쓸지는 그 뒤 측정 결과를 본 뒤 정한다.
|
||||
|
||||
+33
-33
@@ -7,9 +7,19 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/62319064-17ef-4b2f-bf8b-e363cd0e36a6/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt
|
||||
source:
|
||||
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-10
|
||||
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-7
|
||||
@@ -18,16 +28,15 @@ source:
|
||||
|
||||
# CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가
|
||||
|
||||
이 호스트에서는 pinning 을 걸지 않은 상태의 Keycloak 지연도, 건 상태의 지연도 아직 재지 않았다. CPU pinning 은 vCPU 스레드가 실행될 호스트 논리 CPU 를 특정 집합으로 제한하는 설정이다. 논리 코어 8 과 게스트별 vCPU 2 는 §197 · §218 에 나왔지만, 묶은 뒤 지연과 CPU 별 사용률이 어떻게 달라지는지는 재 봐야 갈린다.
|
||||
2026-09-21 두 worker를 live pinning으로 `kc-lab-1 vCPU0/1 → pCPU 0/1`, `kc-lab-2 vCPU0/1 → pCPU 2/3`에 묶고 동일 OIDC read-only 부하를 전후로 비교했다. pinning 전에는 같은 vCPU TID의 `PSR`이 여러 pCPU 사이를 이동했지만 pinning 뒤에는 각각 0/1/2/3에 고정됐다. 그러나 **Keycloak latency/throughput 개선은 반복 실행에서 재현되지 않았다.**
|
||||
|
||||
## 관계
|
||||
## pinning 전후 비교 결과
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
pinning 도 CPU 격리도 하지 않았을 때 vCPU 스레드를 누가 어디에 배치하는지를 이 개념이 설명한다.
|
||||
- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가**
|
||||
그쪽이 이동 자체를 관측하고, 이 질문은 그 이동을 없앴을 때 Keycloak 지연이 달라지는지를 받는다.
|
||||
|
||||
## 사실
|
||||
- 2026-09-21 재검증에서 unpinned 상태의 worker vCPU affinity는 모두 `0-7`이었다. 15초 샘플에서 `kc-lab-1` vCPU0 TID `272131`은 pCPU `0,2,3,4,5,6,7`에서, 다른 vCPU TID들도 여러 pCPU에서 관측됐다.
|
||||
- 2026-09-21 재검증에서 live pinning 뒤에는 `272131→0`, `272132→1`, `272156→2`, `272157→3`으로 모든 샘플이 고정됐다. 즉 pinning이 scheduling migration을 실제로 제거한 것은 확인됐다.
|
||||
- 2026-09-21 재검증에서 첫 2000회/concurrency 20 비교는 unpinned `768.4 rps / avg 25.8 ms / p95 36.9 ms`, pinned `616.0 rps / avg 32.2 ms / p95 46.3 ms`로 pinned 쪽이 느렸다.
|
||||
- 2026-09-21 재검증에서 반복 비교는 unpinned `793.9 rps / avg 25.0 ms / p95 32.7 ms`, pinned `781.7 rps / avg 25.4 ms / p95 33.6 ms`로 거의 비슷했다. 첫 실행의 큰 차이가 반복되지 않았으므로 pinning이 지연을 개선하거나 악화한다고 일반화하지 않는다.
|
||||
- 2026-09-21 재검증에서 실험 종료 뒤 worker vCPU affinity를 모두 `0-7`로 복원했다.
|
||||
|
||||
- CPU pinning 은 특정 vCPU 스레드를 특정 호스트 논리 CPU 에 제한하는 설정이다.
|
||||
- 적절히 쓰면 스케줄링 변동을 줄일 수 있고, 잘못 설정하면 특정 CPU 에 작업이 집중될 수 있다.
|
||||
@@ -36,35 +45,31 @@ source:
|
||||
치우침을 만드는 쪽에 호스트 프로세스가 함께 들어 있다.
|
||||
- 스레드가 최근 실행된 논리 CPU 는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 의 PSR 로 볼 수 있다.
|
||||
- PSR 값 하나가 vCPU 가 물리 CPU 에 영구 고정되어 있다는 뜻은 되지 않는다. pinning 을 걸지 않았다면 스케줄링에 따라 달라질 수 있다.
|
||||
- 이 호스트의 논리 코어는 8 이고(§197), kc-lab-1 과 kc-lab-2 에 준 vCPU 는 각각 2 다(§218). 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다(§197).
|
||||
- pinning 이 지금 작업에서 실제 이점을 주는지는 실험으로 확인하기로 했고, 아직 그 실험을 돌리지 않았다.
|
||||
- 이 호스트의 논리 코어는 8 이고(「측정 환경」), kc-lab-1 과 kc-lab-2 에 준 vCPU 는 각각 2 다(「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」). 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다(「측정 환경」).
|
||||
- 2026-09-21 동일 OIDC read-only 부하를 pinning 전후로 두 차례 비교했다. migration 제거는 재현됐지만 latency/throughput 개선은 반복 재현되지 않았다.
|
||||
|
||||
## 가정
|
||||
## A/B 비교 조건
|
||||
|
||||
- 지금 두 가상 머신에 pinning 도 별도의 친화도 설정도 걸려 있지 않다고 보고 「전」 실행을 잡는다.
|
||||
걸려 있는지는 개념 문서에 적혀 있지 않아 실행할 때 함께 확인한다.
|
||||
- pinning 없이 돌리면 같은 tid 의 PSR 이 시간에 따라 바뀐다고 본다.
|
||||
이 호스트에서 그 이동을 아직 관측하지 않았다.
|
||||
- baseline에서 두 worker의 vCPU affinity가 모두 `0-7`임을 먼저 확인했다.
|
||||
- 같은 TID의 `PSR`을 반복 샘플링해 unpinned 상태에서 실제 migration이 일어나는 것도 확인했다.
|
||||
- 두 실행에 같은 Keycloak 부하를 같은 방식으로 걸 수 있다고 전제한다.
|
||||
- 두 실행 사이에 vCPU 수와 가상 머신 배치를 바꾸지 않는다고 두고 짠다. 그래야 차이를 pinning 쪽으로 읽을 수 있다.
|
||||
|
||||
## 미지수
|
||||
## migration 제거와 성능 개선은 달랐다
|
||||
|
||||
- pinning 뒤 Keycloak 지연이 달라지는지, 달라진다면 어느 방향인지.
|
||||
- 같은 tid 의 PSR 변동이 실제로 줄어드는지.
|
||||
- 변동이 줄어드는 대신 특정 논리 CPU 로 작업이 몰리는지.
|
||||
- 어떤 논리 CPU 집합에 묶을지. 논리 코어 8 과 게스트별 vCPU 2 는 §197 · §218 에 나왔지만, 그 여덟 가운데 어느 코어에 묶을지는 CPU 별 사용률을 보고 정해야 한다.
|
||||
- 호스트 쪽 Nginx 와 다른 호스트 프로세스가 그 집합을 함께 쓰는지. §179 는 그 Nginx 를 엣지 게스트로 옮겼다고 적었으므로, 묶을 집합을 고르기 전에 호스트에 무엇이 남아 있는지부터 이번 실행에서 적는다.
|
||||
pinning이 PSR migration을 줄이는지는 해소됐다. 이번 구성에서는 완전히 고정됐다. 반면 Keycloak latency/throughput 이점은 두 A/B 실행에서 일관되게 나타나지 않았다.
|
||||
|
||||
## 제약
|
||||
따라서 현재 남는 문제는 `어느 pCPU 조합이 최적이냐`가 아니라, **실제 workload에서 pinning을 유지할 운영상 근거가 있느냐**다. 이번 측정만으로는 그 근거가 없다.
|
||||
|
||||
## 결과를 일반화하지 않는 이유
|
||||
|
||||
- pinning 여부만으로 판정하지 않는다. 지연과 PSR 변동, CPU 별 사용률 셋을 같은 실행에서 받아 적는다.
|
||||
- 「전」과 「후」 두 실행의 부하가 같아야 지연 차이를 pinning 쪽으로 읽을 수 있다.
|
||||
- 이 호스트에서 지연도 PSR 변동도 CPU 별 사용률도 잰 값이 없어 견줄 값을 이번 실행이 함께 만든다.
|
||||
- 이 실험에서 latency/throughput, PSR 변동, CPU affinity를 같은 전후 비교에 함께 기록했다.
|
||||
- 이 실행 전에 pinning 을 쓸지 말지를 먼저 정하지 않는다. 잰 값이 없는 상태로 정하면 그 선택이 감수하는 비용을 적을 수 없다.
|
||||
- 묶는 대상은 vCPU 스레드다. 게스트 안의 Keycloak 파드 배치는 이 질문이 다루지 않는다.
|
||||
- 묶는 대상은 vCPU 스레드다. 게스트 안의 Keycloak 파드 배치는 이번 비교에서 바꾸지 않는다.
|
||||
|
||||
## 선택지
|
||||
## 같은 부하를 pinning 전후로 반복했다
|
||||
|
||||
### 1. 같은 부하로 전후 두 실행을 재고 세 항목을 나란히 놓는다
|
||||
|
||||
@@ -84,11 +89,6 @@ pinning 없이 Keycloak 부하를 걸어 지연과 PSR 변동과 CPU 별 사용
|
||||
전후 지연만 재면 실행 하나가 짧아진다.
|
||||
다만 잘못 건 pinning 도 짧은 구간에서는 지연이 좋아진 것으로 보일 수 있다. 그 경우를 가려내려고 CPU 별 사용률과 친화도를 함께 보기로 했으므로 이 방법은 쓰지 않는다.
|
||||
|
||||
## 다음 검증
|
||||
## migration은 사라졌지만 지연 개선은 재현되지 않았다
|
||||
|
||||
1. pinning 을 걸지 않은 상태에서 Keycloak 부하를 걸고, 지연과 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 의 PSR 변동, CPU 별 사용률을 남긴다.
|
||||
2. 같은 실행에서 그 가상 머신에 친화도 설정이 이미 걸려 있는지도 함께 적는다.
|
||||
3. vCPU 스레드를 논리 CPU 에 묶고 같은 부하를 다시 걸어 같은 세 항목을 남긴다.
|
||||
4. 두 실행을 나란히 놓고 지연 차이와 CPU 별 사용률의 치우침을 함께 읽는다.
|
||||
|
||||
닫는 조건 : pinning 뒤 지연이 좋아지고 CPU 별 사용률이 특정 CPU 로 몰리지 않으면, pinning 을 쓸지 말지를 Decision 으로 넘긴다. 그 Decision 이 감수할 비용은 잘못 건 pinning 이 특정 CPU 에 작업을 집중시킨다는 것이다. 두 실행에서 지연 차이가 없으면 이 작업에서는 pinning 이 이점을 주지 않는다고 적고 닫는다.
|
||||
pinning은 vCPU migration을 확실히 제거했지만 동일 Keycloak read-only 부하에서 latency/throughput 개선은 반복 재현되지 않았다. 따라서 현재 실험대에는 pinning을 기본 설정으로 적용하지 않고 unpinned `0-7` affinity를 유지한다. workload나 host CPU 배치가 바뀌면 같은 A/B 방식으로 다시 검증한다.
|
||||
|
||||
+33
-48
@@ -7,9 +7,13 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/2d058fb5-01f1-4be8-80bb-0e377868573c/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt
|
||||
source:
|
||||
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-7
|
||||
- final/document.md#13-steal-time
|
||||
@@ -18,70 +22,56 @@ source:
|
||||
|
||||
# 가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가
|
||||
|
||||
이 호스트에서 게스트의 steal time(`%st`)을 잰 값이 없어 부하 전 기준값부터 남겨야 한다.
|
||||
논리 코어는 8 이고(§197) 두 게스트에 준 vCPU 는 각각 2 다(§218). 둘을 더해도 코어 수를 넘지 않는다. 그런 구성에서도 두 대를 동시에 CPU-bound 로 만들면 `%st` 가 오르는지는 §27 이 든 네 항목을 부하 전후로 찍어야 갈린다.
|
||||
2026-09-21 두 worker의 vCPU를 동시에 CPU-bound로 만든 10초 관측 구간에서 **guest steal time은 증가하지 않았다.** `kc-lab-1`과 `kc-lab-2` 모두 부하 중 `vmstat`의 `st`가 전 구간 0%였고, host에는 약 49~50% idle CPU가 남았다.
|
||||
|
||||
## 관계
|
||||
## 두 worker를 CPU-bound로 만든 결과
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
게스트가 관측하는 steal time 이 호스트에서 무엇 때문에 생기는지를 설명한 기록이다.
|
||||
- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가**
|
||||
같은 부하 실행을 쓴다. 경쟁이 있는지를 묻는 쪽과 그것이 `%st` 로 얼마나 보이는지를 묻는 쪽으로 갈린다.
|
||||
- **vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가**
|
||||
총 vCPU 를 늘린 구성에서 `%st` 가 어떻게 달라지는지가 그쪽 실행에서 다시 나온다.
|
||||
- 2026-09-21 재검증에서 baseline에서 `kc-lab-1`의 `st`는 대부분 0%, 한 샘플 1%였고 `kc-lab-2`는 0%였다. CPU-bound 구간에서는 두 guest 모두 모든 샘플이 `st=0%`였다.
|
||||
- 2026-09-21 재검증에서 부하 중 각 worker는 guest `id=0%`로 자기 vCPU를 모두 사용했지만 host는 `gu≈50%`, `id≈49~50%`였다. guest CPU 포화와 host CPU contention은 같은 상태가 아니다.
|
||||
|
||||
## 사실
|
||||
「Steal Time」에서는 게스트 Linux 에서 top 등의 CPU 지표를 볼 때 st(steal time)를 확인할 수 있다고 적었다.
|
||||
|
||||
§13 은 게스트 Linux 에서 top 등의 CPU 지표를 볼 때 st(steal time)를 확인할 수 있다고 적었다.
|
||||
|
||||
§13 이 적은 steal time 은 이런 상황을 가리키는 단서다.
|
||||
「Steal Time」에 적은 steal time 은 이런 상황을 가리키는 단서다.
|
||||
게스트 vCPU 에 실행할 작업이 있고, 호스트에서 vCPU 스레드가 CPU 를 필요로 하는데, 다른 작업 때문에 즉시 실행되지 못한다.
|
||||
|
||||
높은 steal time 은 가상화 환경에서 호스트 CPU 경쟁이나 CPU 초과 할당을 의심할 수 있는 지표 중 하나다.
|
||||
다만 그 값 하나로 원인을 확정해서는 안 되고, 호스트 CPU 포화와 실행 대기열, 친화도, 어떤 작업이 돌고 있었는지를 함께 확인해야 한다고 같은 절이 적었다.
|
||||
|
||||
§24.4 는 게스트에 실행할 작업이 있는데 하이퍼바이저나 호스트가 그 vCPU 스레드를 즉시 실행시키지 못한 시간을 게스트가 steal time 으로 관찰한다고 적었다.
|
||||
「Steal Time 증가」에서는 게스트에 실행할 작업이 있는데 하이퍼바이저나 호스트가 그 vCPU 스레드를 즉시 실행시키지 못한 시간을 게스트가 steal time 으로 관찰한다고 적었다.
|
||||
그 값은 게스트의 top 등에서 %st 로 본다.
|
||||
같은 절은 높은 steal time 을 호스트 CPU 경쟁 또는 초과 할당을 조사하라는 단서로 두되, 단독으로 원인을 확정하는 지표는 아니라고 적었다.
|
||||
|
||||
§24.3 은 경쟁 대상이 QEMU vCPU 스레드만은 아니라고 적었다.
|
||||
「CPU Contention」에서는 경쟁 대상이 QEMU vCPU 스레드만은 아니라고 적었다.
|
||||
호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 테스트 환경에서는 가상 머신 밖의 호스트 작업도 CPU 경쟁에 포함된다.
|
||||
|
||||
§197 은 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이다.
|
||||
「측정 환경」에서는 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이다.
|
||||
같은 절은 VM 에 주는 vCPU 가 논리 코어를 나눠 쓰는 것이고 합이 8 을 넘어도 libvirt 는 막지 않는다고 적으면서, 이 실험대는 2 + 2 + 1 = 5 로 잡아 여유를 뒀다고 덧붙였다.
|
||||
§218 의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
|
||||
§27 의 OQ-7 은 함께 측정할 항목으로 넷을 들었다.
|
||||
같은 시각에 측정할 항목은 넷이다.
|
||||
|
||||
Host CPU utilization
|
||||
Host run queue
|
||||
QEMU vCPU thread
|
||||
각 Guest 의 %st
|
||||
|
||||
이 호스트에서 %st 를 실제로 잰 값은 없다.
|
||||
2026-09-21 baseline과 두-worker CPU-bound 구간에서 `%st`를 직접 측정했다.
|
||||
|
||||
## 가정
|
||||
## 부하 조건
|
||||
|
||||
두 가상 머신을 동시에 CPU-bound 로 만들면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁하게 된다고 전제한다.
|
||||
두 게스트의 vCPU 합 4 는 논리 코어 8 보다 적어서 §12 가 그린 초과 할당 상태는 아니다. 그래도 경쟁이 생기는지는 같은 코어를 호스트 쪽 작업이 얼마나 쓰는지에 달려 있어 아직 전제로 둔다.
|
||||
실험 전에는 두 worker를 동시에 CPU-bound로 만들면 host 경쟁이 나타날 가능성을 열어 두었다. 실제 측정에서는 worker vCPU 합 4가 host logical CPU 8보다 작고 host idle이 약 절반 남아, 이번 조건에서는 그 전제가 성립하지 않았다.
|
||||
|
||||
두 게스트에 같은 정도의 부하를 걸 수 있다고 전제한다.
|
||||
한쪽이 더 세게 걸리면 두 %st 를 나란히 놓고 읽을 수 없다.
|
||||
실제 재검증에서는 두 worker에 각각 `yes` 2개를 실행해 각 VM의 2 vCPU를 모두 CPU-bound로 만들었다.
|
||||
|
||||
부하 전과 부하 중을 각각 한 번씩 찍으면 비교할 수 있다고 전제한다.
|
||||
값이 흔들리면 한 번씩 찍은 두 값만으로는 증가인지 흔들림인지 갈리지 않는다.
|
||||
baseline과 부하 구간을 연속 샘플로 남겨 단일 순간값이 아니라 구간의 변화를 비교했다.
|
||||
|
||||
## 미지수
|
||||
## steal 0%가 답하지 않는 것
|
||||
|
||||
두 가상 머신을 동시에 CPU-bound 로 만들었을 때 각 게스트의 %st 가 부하 전 대비 얼마나 오르는가.
|
||||
이번 구성과 부하 수준의 steal time 변화는 해소됐다. 두 worker 모두 부하 중 `st=0%`였고 baseline보다 증가하지 않았다. overcommit이나 host-side CPU load를 추가한 조건에서 steal이 언제 나타나는지는 별도 실험이다.
|
||||
|
||||
그 증가가 호스트 실행 대기열과 같은 방향으로 움직이는가.
|
||||
## contention 판정 기준
|
||||
|
||||
부하 구간에 호스트 쪽 작업이 같은 논리 코어를 얼마나 쓰는가.
|
||||
|
||||
## 제약
|
||||
|
||||
§13 이 steal time 하나로 원인을 확정하지 않는다고 적었으므로 %st 만 재서는 이 물음이 닫히지 않는다.
|
||||
`%st` 하나만으로 원인을 정하지 않는다. 같은 시각의 호스트 CPU 사용률과 실행 대기열, QEMU vCPU 스레드 사용량을 함께 봐야 한다.
|
||||
|
||||
부하 전 기준값을 먼저 남기지 않으면 부하 중 값만으로 증가를 적을 수 없다.
|
||||
|
||||
@@ -89,16 +79,15 @@ QEMU vCPU thread
|
||||
|
||||
부하 구간에 호스트에서 Nginx 같은 다른 작업이 함께 돌면 %st 의 증가분을 두 가상 머신 사이의 경쟁으로만 읽을 수 없다.
|
||||
|
||||
§24.3 이 그 목록을 그릴 때 둔 환경은 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 구성이다. §179 는 그 Nginx 를 엣지 게스트로 옮겼고 호스트가 직접 들던 `:443` 에는 지금 리스너가 없다고 적었으므로, 부하 구간에 호스트 쪽에서 무엇이 도는지는 그 목록이 아니라 그때의 호스트에서 받아 적는다.
|
||||
「CPU Contention」에서는 그 목록을 그릴 때 둔 환경은 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 구성이다. 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그 Nginx 를 엣지 게스트로 옮겼고 호스트가 직접 들던 `:443` 에는 지금 리스너가 없다고 적었으므로, 부하 구간에 호스트 쪽에서 무엇이 도는지는 그 목록이 아니라 그때의 호스트에서 받아 적는다.
|
||||
|
||||
OQ-1 과 이 물음은 같은 부하 실행에서 값을 얻는다. 그래도 한 물음으로 합치지 않았다.
|
||||
합치면 경쟁이 있었다는 결론과 그것이 %st 로 얼마나 보였다는 결론 가운데 어느 쪽 기준으로 닫혔는지가 남지 않는다.
|
||||
호스트 경쟁 여부와 게스트의 `%st` 변화는 같은 부하 실행에서 함께 얻을 수 있다. 다만 두 값은 역할이 다르다. 호스트 지표는 경쟁이 실제로 생겼는지를 보여 주고, `%st`는 그 경쟁이 게스트에서 어떻게 보였는지를 보여 준다.
|
||||
|
||||
## 선택지
|
||||
## baseline과 부하를 비교한 방법
|
||||
|
||||
### 1. 부하 전후로 네 항목을 같은 실행에서 남긴다
|
||||
|
||||
§27 이 든 네 항목을 부하 전에 한 번, 두 가상 머신을 동시에 CPU-bound 로 만든 뒤에 한 번 같은 시각으로 기록한다.
|
||||
호스트 CPU 사용률, 실행 대기열, QEMU vCPU 스레드 사용량, 게스트 `%st`를 부하 전에 한 번 기록하고 두 VM을 동시에 CPU-bound로 만든 뒤 같은 방법으로 다시 기록한다.
|
||||
%st 가 올랐을 때 호스트 실행 대기열도 함께 올랐는지를 같은 표에서 읽을 수 있다.
|
||||
|
||||
실행이 한 번이라 값이 흔들리는 정도는 알 수 없다. 흔들림이 의심되면 부하 구간을 늘려 여러 번 찍는다.
|
||||
@@ -106,17 +95,13 @@ OQ-1 과 이 물음은 같은 부하 실행에서 값을 얻는다. 그래도
|
||||
### 2. 제외 — %st 만 부하 전후로 비교한다
|
||||
|
||||
찍을 것이 하나뿐이라 실행은 가볍다.
|
||||
다만 §13 이 함께 확인하라고 든 호스트 CPU 포화와 실행 대기열이 빠져서, %st 가 올라도 그것이 호스트 경쟁 때문인지 게스트 쪽 작업 때문인지 가를 수 없다.
|
||||
다만 「Steal Time」에서는 함께 확인하라고 든 호스트 CPU 포화와 실행 대기열이 빠져서, %st 가 올라도 그것이 호스트 경쟁 때문인지 게스트 쪽 작업 때문인지 가를 수 없다.
|
||||
|
||||
### 3. 제외 — 가상 머신 한 대만 CPU-bound 로 만들어 비교군을 하나 더 만든다
|
||||
|
||||
이 물음이 묻는 것은 두 대를 동시에 부하로 만든 상태이고, 부하 전 값이 이미 비교군이다.
|
||||
여기서 필요한 비교군은 부하 전 상태다. 한 VM만 부하를 건 별도 구간은 동시 부하 결과가 애매할 때 추가한다.
|
||||
한 대 부하가 필요해지면 1번 실행을 마친 뒤에 따로 더한다.
|
||||
|
||||
## 다음 검증
|
||||
## 두 worker를 함께 태워도 steal은 오르지 않았다
|
||||
|
||||
1. 부하 전에 Host CPU utilization 과 run queue, ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 의 QEMU vCPU thread 사용량, 각 Guest 의 top (§14.8) %st 를 기준값으로 남긴다.
|
||||
2. 가상 머신 두 대를 동시에 CPU-bound 로 만든다.
|
||||
3. 같은 네 항목을 같은 시각에 다시 기록한다.
|
||||
|
||||
닫는 조건 : 부하 전후의 %st 와 호스트 실행 대기열을 한 표로 놓을 수 있으면 그 표가 Case 가 되고 닫는다. %st 가 부하 전과 다르지 않으면 이 호스트 구성에서는 두 가상 머신 동시 부하가 steal time 으로 나타나는 경쟁을 만들지 않는다고 적는다. 그 결론은 OQ-1 과 함께 닫는다.
|
||||
현재 8 logical CPU / worker 2+2 vCPU 구성에서는 두 worker를 동시에 CPU-bound로 만들어도 steal time 증가가 관측되지 않았다. run queue 증가만으로 steal 또는 host contention을 대신 판정하지 않는다.
|
||||
|
||||
+31
-39
@@ -7,9 +7,14 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/116b806c-b176-401c-9363-1489fffb721c/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt
|
||||
source:
|
||||
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-9
|
||||
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-8
|
||||
@@ -18,24 +23,21 @@ source:
|
||||
|
||||
# cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가
|
||||
|
||||
이 호스트에서 throttled time 도 steal time 도 잰 값이 없다. 가상 머신 안에서 K3s 를 돌리는 구성이라, 파드가 자기 CPU 상한에 막힌 것과 호스트 CPU 를 제때 못 받은 것이 같은 애플리케이션 지연으로 보일 수 있다. §25 가 두 원인에 갈라 적은 확인 항목이 실제로 갈리는지는 두 원인을 각각 재현해야 안다.
|
||||
2026-09-21 현재 Keycloak은 CPU request `100m`만 있고 CPU limit은 없으며 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. **두 원인은 실제 지표 조합이 다르게 나타났다.**
|
||||
|
||||
## 관계
|
||||
## 두 원인을 따로 재현한 결과
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
호스트 CPU 경쟁이 게스트 안에서 어떤 값으로 드러나는지를 이 개념이 설명한다.
|
||||
- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가**
|
||||
그쪽에서 가상화 계층 지표가 움직인다는 답이 나오면, 그 움직임을 cgroup 쪽 제한과 가를 수 있는지는 이 질문이 받는다.
|
||||
|
||||
## 사실
|
||||
- 2026-09-21 재검증에서 `keycloak-0`, `keycloak-1`은 CPU request `100m`, CPU limit 없음이다. 두 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`, `throttled_usec=0`이었다.
|
||||
- 2026-09-21 재검증에서 disposable `cpu-throttle-probe`에 CPU limit `100m`를 적용하자 `cpu.max=10000 100000`, `nr_periods=54`, `nr_throttled=46`, `throttled_usec=4317644`가 나왔다. 약 5초의 CPU-bound 실행에서 cgroup quota가 실제로 throttle을 걸었다.
|
||||
- 2026-09-21 재검증에서 반대 비교군에서는 `kc-lab-1`의 vCPU 2개를 모두 pCPU0에 live pinning하고 guest 안에서 CPU-bound thread 2개를 실행했다. guest `vmstat`은 반복해서 `%st=50%`를 보였고 host CPU0은 `%guest≈99%`, `%idle≈0%`였다.
|
||||
- 2026-09-21 재검증에서 같은 host-contention 구간에도 `keycloak-1`의 `cpu.max=max 100000`, `nr_throttled=0`, `throttled_usec=0`은 그대로였다. 즉 steal 증가와 cgroup throttling은 서로 다른 계층에서 독립적으로 관측됐다.
|
||||
- 2026-09-21 재검증에서 contention 실험 뒤 `kc-lab-1` vCPU affinity를 다시 `0-7`로 복원했고 disposable pod도 삭제했다.
|
||||
|
||||
- 가상 머신 안에서 K3s 를 돌리면 물리 CPU 와 Keycloak 파드 사이에 호스트·하이퍼바이저, 게스트 Linux, K3s, cgroup CPU limit 이 차례로 놓인다.
|
||||
- 호스트 CPU 에 여유가 있어도 Keycloak 파드는 설정된 CPU 상한 때문에 실행이 제한될 수 있다.
|
||||
- 호스트 CPU 를 받지 못해 생긴 문제와 파드가 자신의 CPU 상한을 넘겨 생긴 문제는 서로 다른 계층에 있다.
|
||||
앞의 것은 경쟁과 steal time, 스케줄링 쪽이고 뒤의 것은 cgroup 제한 쪽이다.
|
||||
- cgroup 제한 자체는 KVM 문제가 아니다.
|
||||
그래도 가상 머신 안에서 K3s 를 운영하는 지금 실험에서는 두 원인이 같은 애플리케이션 지연으로 관찰될 수 있어 진단 경계에 넣었다.
|
||||
개념 문서가 다루기로 한 범위는 CPU 가상화 하나인데, cgroup 제한은 그 범위 밖에서 진단 경계 안으로 들여온 항목이다.
|
||||
- cgroup 제한 자체는 KVM 문제가 아니다. 그래도 가상 머신 안에서 K3s를 운영하는 지금 환경에서는 cgroup 제한과 호스트 CPU 경쟁이 같은 애플리케이션 지연으로 보일 수 있다. 그래서 두 원인을 함께 비교하되, 각각 다른 계층의 지표로 가른다.
|
||||
- 계층별 진단표가 적은 우선 확인 항목은 이렇게 갈린다.
|
||||
CPU throttling : CPU limit · throttled time
|
||||
CPU contention : 호스트 CPU · 실행 대기열 · CPU 별 사용률
|
||||
@@ -43,42 +45,37 @@ source:
|
||||
cgroup 쪽은 파드가 CPU 를 더 쓰려 해도 상한에 막힌 것이고, 경쟁 쪽은 실행 가능한 작업이 늘면서 지연이 늘어난 것이다.
|
||||
갈라 적힌 현상은 각 계층에서 보이는 모습이라, 애플리케이션 지연만 보고 있으면 그 구분이 드러나지 않는다.
|
||||
- 그 표는 지표 하나로 원인을 확정하려고 만든 것이 아니라 어느 계층부터 조사할지 범위를 줄인다.
|
||||
- §197 은 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. §218 은 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
- 이 호스트에서 throttled time 도 steal time 도 잰 값이 없다.
|
||||
- 「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
- 2026-09-21 재검증에서 cgroup throttling과 host contention을 각각 따로 재현해 `cpu.stat`, guest `%st`, host pCPU 사용률을 직접 비교했다.
|
||||
|
||||
## 가정
|
||||
## 재현 조건
|
||||
|
||||
- 같은 크기의 Keycloak 지연 증가를 두 원인으로 각각 만들어 낼 수 있다고 보고 비교를 짠다.
|
||||
두 재현이 실제로 같은 크기가 되는지는 해 보기 전에 알 수 없다.
|
||||
- 다른 가상 머신에 CPU 부하를 걸면 호스트 쪽 경쟁이 생긴다고 본다.
|
||||
이 호스트에서 두 가상 머신 동시 부하가 경쟁을 만드는지는 아직 관측하지 않았다.
|
||||
- Keycloak 파드의 cgroup CPU limit 은 실험을 위해 낮췄다가 되돌릴 수 있다고 본다.
|
||||
- 두 원인은 같은 애플리케이션 지연 크기로 맞추지 않고, 각 계층의 대표 지표가 어떻게 달라지는지를 비교했다.
|
||||
- cgroup 쪽은 disposable pod에 `100m` limit을 걸어 재현했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning해 의도적으로 경쟁을 만들었다.
|
||||
- 실험용 pod와 vCPU affinity는 측정 뒤 원상복구했다.
|
||||
- 두 재현 사이에 다른 조건이 바뀌지 않는다는 것을 전제로 두 실행을 견준다.
|
||||
|
||||
## 미지수
|
||||
## 지표가 갈리는 지점
|
||||
|
||||
- 두 원인을 각각 재현했을 때 throttled time · CPU limit · 게스트 CPU 와 %st, 호스트 CPU 와 실행 대기열이 서로 다른 조합으로 움직이는지.
|
||||
- 갈린다면 어느 항목이 가장 먼저 갈리는지.
|
||||
- 지금 Keycloak 파드에 CPU limit 이 걸려 있는지, 걸려 있다면 얼마인지. 개념 문서에 적혀 있지 않다.
|
||||
- throttled time 을 이 환경에서 어떤 경로로 읽는지. 개념 문서는 확인 항목으로만 적고 실제로 읽는 명령을 적지 않았다.
|
||||
- 두 원인이 동시에 걸린 구간에서도 지표가 갈리는지. 이번 검증은 하나씩 만든 두 실행만 견준다.
|
||||
두 원인을 하나씩 만든 실행에서는 지표가 갈리는 것이 확인됐다. cgroup throttling은 `cpu.max`와 `cpu.stat`의 `nr_throttled/throttled_usec`로 직접 보였고, host contention은 cgroup throttle 없이 guest `%st`와 특정 host pCPU 포화로 보였다.
|
||||
|
||||
## 제약
|
||||
두 원인이 **동시에** 걸린 경우 어떤 지표가 먼저 튀는지는 이번 실행의 범위 밖이다. 또한 두 재현의 애플리케이션 지연 크기를 동일하게 맞추는 실험은 하지 않았다.
|
||||
|
||||
- 두 재현이 비슷한 크기의 지연 증가를 만들어야 지표 조합을 견줄 수 있다.
|
||||
## 한 값만 보고 판정하지 않는다
|
||||
|
||||
- 두 재현의 목적은 지연량 자체를 맞추는 것이 아니라 **서로 다른 원인이 어떤 계층 지표를 남기는지** 구분하는 것이다.
|
||||
- 지표 하나로 원인을 확정하지 않는다. 게스트 · 호스트 · K3s 세 쪽을 같은 시각에 받아 적는다.
|
||||
- refresh 경쟁 실험은 CPU 자원을 여유 있게 둔 상태에서 먼저 돌리므로 이 재현은 그 실험과 같은 시간에 걸지 않는다.
|
||||
- 두 게스트의 vCPU 합 4 가 논리 코어 8 보다 적어서, 부하 쪽 재현이 경쟁을 만들려면 호스트 쪽 작업까지 같은 코어를 써야 한다.
|
||||
부하를 걸었는데 경쟁이 나오지 않는 것도 이 재현의 결과로 받는다.
|
||||
|
||||
## 선택지
|
||||
## throttling과 contention을 만든 방법
|
||||
|
||||
### 1. 두 원인을 따로 재현해 지표 조합을 나란히 놓는다
|
||||
|
||||
Keycloak 파드의 cgroup CPU limit 을 낮춰 한 번, 다른 가상 머신에 CPU 부하를 걸어 한 번, 같은 크기의 지연을 두 번 만든다.
|
||||
두 실행에서 게스트 · 호스트 · K3s 쪽 항목을 같은 이름으로 받아 적으면 어느 항목이 두 재현에서 다르게 움직이는지 그대로 보인다.
|
||||
2026-09-21에는 실제 Keycloak 설정을 바꾸지 않았다. cgroup 쪽은 disposable `cpu-throttle-probe`에 `100m` limit을 걸어 quota가 남기는 `cpu.max`·`cpu.stat` 변화를 확인했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning한 뒤 guest CPU-bound 부하를 걸어 `%st`와 host pCPU 포화를 확인했다.
|
||||
|
||||
셋 가운데 손이 가장 많이 간다. 부하 쪽 재현은 다른 가상 머신을 함께 써야 하고, cgroup 쪽 재현은 파드 설정을 바꿨다가 되돌려야 한다.
|
||||
두 실행의 애플리케이션 지연을 같은 크기로 맞추는 것이 목적이 아니라, **각 원인이 어느 계층에 어떤 지표를 남기는지**를 분리하는 것이 목적이다. 실험이 끝난 뒤 disposable pod를 삭제하고 vCPU affinity도 `0-7`로 복원했다.
|
||||
|
||||
### 2. 호스트 쪽 항목부터 보고 범위를 줄인다
|
||||
|
||||
@@ -92,11 +89,6 @@ Keycloak 파드의 cgroup CPU limit 을 낮춰 한 번, 다른 가상 머신에
|
||||
throttled time 이 0 이 아니면 cgroup 제한, 0 이면 호스트 경쟁으로 읽는 방법이다.
|
||||
진단표는 두 행에 각각 두 항목 이상을 적어 두었다. 지표 하나로 원인을 확정하지 않기로 하고 만든 표이므로 이 순서는 쓰지 않는다.
|
||||
|
||||
## 다음 검증
|
||||
## quota와 steal을 함께 봐야 두 경로를 가를 수 있다
|
||||
|
||||
1. 부하를 걸기 전에 파드의 throttled time 과 CPU limit, 게스트 CPU 와 게스트에서 top 으로 본 %st, 호스트 CPU 와 실행 대기열을 한 번 찍어 기준값으로 둔다.
|
||||
2. Keycloak 파드의 cgroup CPU limit 을 낮춰 Keycloak 지연을 올리고 같은 다섯 항목을 같은 시각에 받아 적는다.
|
||||
3. limit 을 되돌린 뒤, 이번에는 다른 가상 머신에 CPU 부하를 걸어 비슷한 크기의 지연을 만들고 같은 다섯 항목을 다시 받아 적는다.
|
||||
4. 두 실행의 기록을 기준값과 함께 한 표에 나란히 놓는다.
|
||||
|
||||
닫는 조건 : 두 재현에서 지표 조합이 갈리면 그 대조표가 Case 가 되고, 진단표의 두 행을 어떤 순서로 보는지 정하는 근거가 된다. 갈리지 않으면 「이 지표들로는 두 원인이 구분되지 않는다」를 적고, 무엇을 더 봐야 하는지를 새 Question 으로 낸 뒤 이 질문은 닫는다.
|
||||
진단 순서는 다음처럼 잡을 수 있다: 먼저 pod/container의 `cpu.max`와 `cpu.stat`에서 quota/throttling을 확인하고, 동시에 guest `%st`와 host pCPU 사용률을 본다. **`nr_throttled`가 증가하고 steal이 낮으면 cgroup quota 쪽, quota가 없거나 throttle이 0인데 steal과 host pCPU 포화가 보이면 host/vCPU contention 쪽**으로 조사 범위를 줄인다. 지표 하나만으로 최종 원인을 확정하지는 않는다.
|
||||
|
||||
+24
-32
@@ -8,6 +8,7 @@ topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/723d8930-9e82-4552-8376-038a6446ec71/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
source:
|
||||
@@ -18,87 +19,78 @@ source:
|
||||
|
||||
# vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가
|
||||
|
||||
이 호스트에서 vCPU 수를 바꿔 가며 Keycloak 처리량을 잰 값이 없다.
|
||||
논리 코어가 8 이라(§197) §27 이 든 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 처리량이 어디서부터 더 오르지 않는지는 세 구성에 같은 부하를 걸어야 갈린다.
|
||||
이 비교는 아직 수행하지 않았다. 2026-09-21에는 현재 2 vCPU worker 구성에서 CPU-bound·OIDC 부하를 측정했지만, VM을 2·4·8 vCPU로 재정의해 같은 Keycloak 부하를 반복하지는 않았다. 현재 worker/edge가 실제 lab을 구성하고 있고 추가 상태변경 테스트는 마지막 단계로 미뤘으므로 topology 변경 비교는 별도 실험에서 수행한다.
|
||||
|
||||
## 관계
|
||||
## 현재 호스트와 VM의 CPU 여유
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
vCPU 수가 무엇을 뜻하고 호스트 CPU 가 부족할 때 무엇이 경쟁하는지를 설명한 기록이다.
|
||||
- **가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가**
|
||||
총 vCPU 를 늘린 구성에서 `%st` 가 어떻게 나오는지를 그쪽과 같은 방법으로 읽는다.
|
||||
|
||||
## 사실
|
||||
|
||||
§11 은 4 vCPU 를 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 가상 CPU 실행 컨텍스트 4개를 제공하는 뜻으로 적었다.
|
||||
「VM의 4 vCPU는 정확히 무엇을 의미하는가」에서는 4 vCPU 를 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 가상 CPU 실행 컨텍스트 4개를 제공하는 뜻으로 적었다.
|
||||
호스트의 물리 CPU 4개를 가상 머신이 영구적으로 소유한다는 뜻은 아니다.
|
||||
호스트 CPU 가 부족하면 QEMU vCPU 스레드와 호스트의 다른 작업이 같은 논리 CPU 자원을 두고 경쟁할 수 있다고 같은 절이 덧붙였다.
|
||||
|
||||
§24.6 은 특정 가상 머신에 vCPU 를 많이 할당한다고 항상 성능이 좋아지는 것은 아니라고 적었다.
|
||||
「vCPU 과다 할당」에서는 특정 가상 머신에 vCPU 를 많이 할당한다고 항상 성능이 좋아지는 것은 아니라고 적었다.
|
||||
게스트 쪽 작업이 실제로 그만큼의 병렬성을 쓰지 못하거나 호스트 전체 CPU 에 비해 지나치게 많은 vCPU 를 할당하면 스케줄링 대상만 늘 수 있다.
|
||||
§24.6 은 이것을 「vCPU 수가 많다 = 항상 빠르다로 판단하지 않는다」는 한 줄로 못 박았다.
|
||||
「vCPU 과다 할당」에서는 이것을 「vCPU 수가 많다 = 항상 빠르다로 판단하지 않는다」는 한 줄로 못 박았다.
|
||||
그래서 실제 작업의 병렬성과 호스트 전체 CPU 를 함께 확인해야 한다고 같은 절이 적었다.
|
||||
|
||||
§27 의 OQ-8 은 vCPU 추가가 실제 처리량과 지연에 어떤 영향을 주는지 확인하는 비교 구성으로 2 vCPU / 4 vCPU / 8 vCPU 를 들었다.
|
||||
비교할 기본 구성은 2 vCPU, 4 vCPU, 8 vCPU 세 가지다.
|
||||
|
||||
§197 은 2026-09-10 에 이 호스트의 논리 코어를 8 로 적었다. Core(s) per socket 4 에 Thread(s) per core 2 다.
|
||||
「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로 적었다. Core(s) per socket 4 에 Thread(s) per core 2 다.
|
||||
같은 절은 VM 에 주는 vCPU 가 논리 코어를 나눠 쓰는 것이고 합이 8 을 넘어도 libvirt 는 막지 않는다고 적으면서, 이 실험대는 2 + 2 + 1 = 5 로 잡아 여유를 뒀다고 덧붙였다.
|
||||
|
||||
이 호스트에서 vCPU 수를 바꿔 가며 Keycloak 처리량을 잰 값은 없다.
|
||||
|
||||
## 가정
|
||||
## 비교할 vCPU 조건
|
||||
|
||||
세 구성에서 Keycloak 설정과 부하 도구, 부하 크기를 같게 둘 수 있다고 전제한다.
|
||||
vCPU 수만 달라져야 처리량 차이를 vCPU 수 탓으로 읽을 수 있다.
|
||||
|
||||
Keycloak 작업이 vCPU 를 늘린 만큼 병렬로 쓴다고는 전제하지 않는다.
|
||||
§24.6 이 든 두 원인 가운데 병렬성 부족 쪽은 이 작업에서 확인하지 않았다.
|
||||
「vCPU 과다 할당」에서 든 두 원인 가운데 병렬성 부족 쪽은 이 작업에서 확인하지 않았다.
|
||||
|
||||
2 · 4 · 8 세 점으로 처리량이 꺾이는 구간을 짚을 수 있다고 전제한다.
|
||||
상한이 4 와 8 사이에 있으면 세 점만으로는 몇 vCPU 인지 나오지 않는다.
|
||||
§27 은 그 세 구성을 「예를 들어」로 들었다. 사이 값이 필요해지면 점을 더해도 그 절이 든 비교 구성을 벗어나지 않는다.
|
||||
2·4·8은 시작점일 뿐이다. 처리량이 꺾이는 구간이 4와 8 사이에 있으면 6 vCPU처럼 중간 값을 추가해도 된다.
|
||||
|
||||
## 미지수
|
||||
## 아직 모르는 처리량 포화 지점
|
||||
|
||||
vCPU 를 2 에서 4, 8 로 올렸을 때 처리량과 지연이 어디서부터 더 좋아지지 않는가.
|
||||
|
||||
좋아지지 않는다면 원인이 작업의 병렬성 부족인가 호스트 전체 CPU 부족인가.
|
||||
|
||||
8 vCPU 구성을 잴 때 나머지 게스트를 함께 띄우는가. 총 vCPU 가 논리 코어 8 을 넘긴 채로 잰 값인지 아닌지가 §24.6 의 두 원인 가운데 어느 쪽을 보는지를 가른다.
|
||||
8 vCPU 구성을 잴 때 나머지 게스트를 함께 띄우는가. 총 vCPU 가 논리 코어 8 을 넘긴 채로 잰 값인지 아닌지가 「vCPU 과다 할당」의 두 원인 가운데 어느 쪽을 보는지를 가른다.
|
||||
|
||||
## 제약
|
||||
## 실험에서 고정할 것
|
||||
|
||||
vCPU 수만 바꾸고 Keycloak 설정과 부하는 세 실행에서 고정한다.
|
||||
|
||||
논리 코어가 8 이라 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 나머지 게스트를 함께 띄우면 합이 8 을 넘으므로, 세 실행마다 그때 떠 있던 게스트와 총 vCPU 를 함께 적는다.
|
||||
|
||||
§186 은 가이드의 실측 줄이 「이 실험대의 호스트는 16 코어 전부에서 지원한다」인데 §178 의 대상 환경은 논리 코어 8 이라고 적고, 어느 쪽이 이 호스트의 값인지는 재지 않았다고 남겼다. 이 기록이 8 을 놓고 짜는 것은 §197 이 2026-09-10 에 그 값을 직접 받아 적었기 때문이다.
|
||||
「단계 00 — lab host 가상화 준비」의 과거 출력에는 「16 코어 전부」가 남아 있었지만, 현재 호스트는 2026-09-17과 2026-09-21에 다시 확인한 **물리 4코어·8 logical CPU**다. 따라서 이 질문의 2·4·8 vCPU 비교는 8 logical CPU를 현재 truth로 둔다. 16코어 줄은 현재 `test-server`의 값으로 쓰지 않는다.
|
||||
|
||||
§24.6 이 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다.
|
||||
「vCPU 과다 할당」에서 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다.
|
||||
|
||||
## 선택지
|
||||
## vCPU 수를 늘려 비교하는 방법
|
||||
|
||||
### 1. 2 · 4 · 8 세 구성에 같은 부하를 걸고 처리량과 지연, %st 를 남긴다
|
||||
|
||||
§27 이 든 비교 구성 그대로다. 세 값이 한 표에 놓이면 어느 구간부터 처리량이 더 오르지 않는지를 그 표에서 읽는다.
|
||||
세 구성을 같은 부하로 실행해 처리량·지연·`%st`를 한 표에 놓는다. 어느 구간부터 처리량 증가가 둔해지는지 그 표에서 읽는다.
|
||||
%st 를 함께 남기므로 처리량이 멈춘 구간에서 호스트가 포화됐는지 아닌지를 가를 수 있다.
|
||||
|
||||
가상 머신을 세 번 다시 구성하고 부하를 세 번 걸어야 해서 실행이 가장 무겁다.
|
||||
|
||||
### 2. 제외 — 2 와 4 만 재고 8 을 건너뛴다
|
||||
### 2. 제외 — 2 와 4 만 재고 더 높은 구성을 건너뛴다
|
||||
|
||||
실행이 둘로 줄지만 §24.6 이 말한 지나치게 많은 vCPU 쪽은 8 구성에서만 나타난다.
|
||||
2 에서 4 로 오르는 것만 보고 vCPU 를 더 줘도 된다고 적으면 §24.6 이 막으려던 판단을 그대로 하게 된다.
|
||||
실행이 둘로 줄면 처리량 증가가 어느 지점에서 둔화되는지 볼 범위가 너무 짧다. 과다 할당은 8 vCPU에서만 생기는 현상이 아니고, **동시에 떠 있는 다른 VM과 host workload를 합친 전체 경쟁 상태**에 따라 더 낮은 vCPU 수에서도 나타날 수 있다. 그래서 2·4만 보고 더 줘도 된다고 결론내리지 않고, 더 높은 구성과 그때의 총 vCPU·host CPU 상태를 함께 기록한다.
|
||||
|
||||
### 3. 제외 — 호스트 CPU 사용률만 보고 vCPU 수를 정한다
|
||||
|
||||
사용률이 낮아도 게스트 쪽 작업이 병렬성을 쓰지 못하면 처리량은 오르지 않는다.
|
||||
§24.6 이 병렬성과 호스트 전체 CPU 를 함께 확인하라고 적었으므로 처리량을 직접 잰다.
|
||||
「vCPU 과다 할당」에서는 병렬성과 호스트 전체 CPU 를 함께 확인하라고 적었으므로 처리량을 직접 잰다.
|
||||
|
||||
## 다음 검증
|
||||
## 다음에는 vCPU 수만 바꿔 throughput 곡선을 본다
|
||||
|
||||
1. 가상 머신 구성을 2 vCPU · 4 vCPU · 8 vCPU 로 바꿔 가며 같은 Keycloak 부하를 걸고 처리량과 지연을 각각 기록한다.
|
||||
2. 세 실행 모두에서 호스트 논리 CPU 수 대비 총 vCPU 를 함께 적는다.
|
||||
3. 세 실행 모두에서 게스트의 top (§14.8) %st 를 남겨 §24.6 이 말한 병렬성 부족과 호스트 전체 CPU 부족을 갈라 둔다.
|
||||
3. 세 실행 모두에서 게스트의 top (「Guest의 steal time 확인」) %st 를 남겨 「vCPU 과다 할당」에서 말한 병렬성 부족과 호스트 전체 CPU 부족을 갈라 둔다.
|
||||
|
||||
닫는 조건 : 처리량이 더 오르지 않기 시작하는 vCPU 수가 나오면 그 지점을 이 작업의 상한으로 적고 그 세 실행이 Case 가 된다. 세 구성이 모두 같은 방향으로 오르면 이 호스트에서는 상한에 닿지 않았다고 적고 닫는다. 어느 vCPU 수로 운영할지는 그 뒤 Decision 이 정한다.
|
||||
처리량이 더 오르지 않기 시작하는 지점이 나오면 그 vCPU 수를 현재 부하에서의 상한 후보로 기록한다. 2·4·8 세 구성이 모두 같은 방향으로 오르면 이 범위에서는 상한에 닿지 않은 것이다. 운영 vCPU 수는 지연과 `%st`, 호스트의 총 vCPU 배치까지 함께 보고 정한다.
|
||||
|
||||
+35
-49
@@ -7,9 +7,13 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/eba4a877-276a-4050-9a97-d32614546c71/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt
|
||||
source:
|
||||
- final/document.md#20-이-concept에서-파생되는-open-question-oq-1
|
||||
- final/document.md#12-cpu-contention과-overcommit
|
||||
@@ -18,35 +22,29 @@ source:
|
||||
|
||||
# 가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가
|
||||
|
||||
Keycloak 멀티 노드 실험은 물리 호스트 한 대 위의 가상 머신 두 대에서 돌아간다. 두 가상 머신이 동시에 CPU 를 많이 쓰면 QEMU vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁할 수 있다. 그런데 이 호스트에 논리 CPU 가 몇 개인지도, 두 가상 머신에 vCPU 를 몇 개씩 줬는지도 문서에 적혀 있지 않아 경쟁이 생길 조건인지부터 모른다.
|
||||
2026-09-21 `kc-lab-1`과 `kc-lab-2`의 2 vCPU를 각각 모두 CPU-bound로 만든 뒤 host와 두 guest를 동시에 관측했다. 부하 중 host run queue는 4~6으로 늘었지만 host는 약 49~50% idle이 남았고, 두 guest의 steal time은 계속 0%였다. **현재 8 logical CPU / worker 4 vCPU 구성에서는 이 부하로 host CPU 부족에 의한 vCPU contention이 관측되지 않았다.**
|
||||
|
||||
## 관계
|
||||
## 두 worker를 동시에 태웠을 때
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
vCPU 스레드가 호스트 Linux 스케줄러를 거쳐 논리 CPU 에 배치되는 경로를 이 개념이 설명한다.
|
||||
- **가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가**
|
||||
같은 부하를 걸고 게스트 쪽 지표만 따로 묻기 때문에, 호스트 쪽 지표까지 한 번에 찍으면 두 질문이 같은 측정으로 닫힌다. 한 물음으로 합칠지는 값을 잰 뒤에야 알 수 있어 지금은 둘로 두고 관계로만 이었다.
|
||||
- 2026-09-21 재검증에서 baseline host는 대체로 `r=0~1`, `id=92~96%`였고 worker guest `%st`는 0% 중심이었다. 두 worker에 각각 `yes` 2개를 걸자 host는 `r=4~6`, `gu≈50%`, `id≈49~50%`가 됐다. worker 둘은 CPU `id=0%`까지 포화됐지만 `%st=0%`를 유지했다.
|
||||
- 2026-09-21 재검증에서 부하 중 QEMU `CPU 0/KVM`, `CPU 1/KVM` thread는 baseline의 sleep 위주 상태에서 `Rl` 상태로 관측됐다. host에는 여전히 절반가량 idle CPU가 남았다.
|
||||
|
||||
## 사실
|
||||
「CPU contention과 overcommit」에서는 호스트에 논리 CPU 가 12개 있고 8 vCPU 짜리 가상 머신 넷을 올린 예를 드는데, 그러면 총 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다.
|
||||
|
||||
§12 는 호스트에 논리 CPU 가 12개 있고 8 vCPU 짜리 가상 머신 넷을 올린 예를 드는데, 그러면 총 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다.
|
||||
모든 가상 머신이 동시에 CPU를 많이 사용하면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁할 수 있다. 이때 게스트 안의 애플리케이션이 느려져도 원인이 애플리케이션 자체가 아니라 호스트 CPU 경쟁일 수 있다. 현재 실험 환경은 물리 호스트 한 대 아래에 가상 머신 두 대가 있고, 두 VM이 각각 K3s 노드와 Keycloak을 돌리는 구조다.
|
||||
|
||||
모든 가상 머신이 동시에 CPU 를 많이 사용하면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁한다 : §12
|
||||
이런 상황에서는 게스트 안의 애플리케이션이 느려졌더라도 원인이 그 애플리케이션이 아니라 호스트 CPU 경쟁일 수 있다 : §12
|
||||
|
||||
§16 이 그린 테스트 환경은 Physical Host 아래 Host Nginx 와 가상 머신 두 대이고, VM 1 과 VM 2 가 각각 K3s 노드와 Keycloak 을 돌린다.
|
||||
|
||||
§16 이 결과 해석에서 분리하라고 든 원인 일곱
|
||||
결과를 읽을 때는 애플리케이션과 인프라 계층을 섞지 않는다. 현재 lab에서 직접 겹쳐 볼 대상은 다음과 같다.
|
||||
|
||||
Keycloak refresh/session 동시성
|
||||
PostgreSQL contention/locking
|
||||
Redis 상태 관리
|
||||
K3s resource scheduling
|
||||
VM vCPU scheduling
|
||||
Host CPU saturation
|
||||
Nginx/LB
|
||||
Edge Nginx / Traefik 경로
|
||||
|
||||
§20 이 이 물음의 확인 대상으로 든 다섯
|
||||
Redis를 사용하는 별도 패턴 실험이라면 Redis 상태 관리도 추가하지만, 현재 Keycloak lab 자체에는 Redis가 배포돼 있지 않다.
|
||||
|
||||
확인할 값은 다섯이다.
|
||||
|
||||
Host logical CPU 수
|
||||
각 VM vCPU 수
|
||||
@@ -54,48 +52,41 @@ QEMU vCPU thread CPU 사용량
|
||||
Host run queue
|
||||
Guest steal time
|
||||
|
||||
이 호스트의 논리 CPU 수 : 문서에 없음
|
||||
두 가상 머신의 vCPU 수 : 문서에 없음
|
||||
2026-09-21 재검증 기준 호스트 논리 CPU는 8개이고, 두 worker VM의 vCPU는 각각 2개다.
|
||||
|
||||
§12 의 12 와 8 과 32 는 경쟁이 어떻게 생기는지 설명하려고 든 예시 숫자이지 이 호스트에서 읽은 값이 아니다.
|
||||
「CPU contention과 overcommit」의 12 와 8 과 32 는 경쟁이 어떻게 생기는지 설명하려고 든 예시 숫자이지 이 호스트에서 읽은 값이 아니다.
|
||||
|
||||
## 가정
|
||||
## 부하 조건
|
||||
|
||||
두 가상 머신은 같은 물리 호스트의 CPU 를 나눠 쓴다. §16 이 그린 구조가 지금 실험 환경과 같다고 전제한다.
|
||||
두 worker VM이 같은 물리 호스트의 CPU를 나눠 쓰는 구성은 2026-09-21 재검증에서 다시 확인했다.
|
||||
|
||||
두 가상 머신에 같은 시각에 CPU 부하를 걸 수 있고, 그때 호스트와 두 게스트의 지표를 같은 시각에 기록할 수 있다.
|
||||
실제 재검증에서는 두 worker에 동시에 CPU-bound 부하를 걸고 host와 guest 지표를 같은 구간에 기록했다.
|
||||
|
||||
게스트 Linux 의 top 이 이 환경에서 %st 를 실제로 채워 준다. %st 열이 보여 주는 steal time 은 게스트의 vCPU 에 실행할 작업이 있는데도 다른 작업 때문에 곧바로 실행되지 못한 상황을 가리킨다(§13). 이 열이 비면 게스트 쪽에서는 경쟁의 단서를 못 본다.
|
||||
게스트 Linux 의 top 이 이 환경에서 %st 를 실제로 채워 준다. %st 열이 보여 주는 steal time 은 게스트의 vCPU 에 실행할 작업이 있는데도 다른 작업 때문에 곧바로 실행되지 못한 상황을 가리킨다(「Steal Time」). 이 열이 비면 게스트 쪽에서는 경쟁의 단서를 못 본다.
|
||||
|
||||
호스트 쪽 Nginx 도 같은 물리 CPU 를 쓰는데, 부하 구간의 호스트 CPU 사용량을 전부 QEMU vCPU 스레드 몫으로 읽으면 이 전제가 깨진다.
|
||||
현재 Nginx는 Edge VM 안에 있지만 host에는 QEMU 외에도 커널 networking·storage 작업과 SSH·관측 프로세스가 같은 물리 CPU를 쓴다. 따라서 부하 구간의 host CPU 사용량을 전부 QEMU vCPU 스레드 몫으로 읽지 않는다.
|
||||
|
||||
## 미지수
|
||||
## 현재 구성에서 관측되지 않은 것
|
||||
|
||||
이 호스트의 논리 CPU 수.
|
||||
현재 구성과 이번 부하 수준의 contention 여부는 해소됐다. host는 8 logical CPU이고 두 worker의 vCPU 합은 4다. 동시 CPU-bound 구간에서도 guest steal은 0%였고 host idle이 약 절반 남았다.
|
||||
|
||||
두 가상 머신에 준 vCPU 수와 그 합. 그 합이 논리 CPU 수를 넘는지.
|
||||
더 높은 vCPU overcommit, host-side CPU load, pinning을 추가했을 때의 contention은 이번 질문의 현재 구성과 다른 조건이므로 별도 실험으로 남긴다.
|
||||
|
||||
부하를 걸기 전 QEMU vCPU 스레드의 CPU 사용량과 호스트의 실행 대기열(run queue), 그리고 두 게스트의 %st. 부하 전 값이 없으면 부하 중 값만 가지고는 그 값이 움직인 것인지 판정할 수 없다.
|
||||
## contention으로 판정하는 기준
|
||||
|
||||
두 가상 머신에 동시에 부하를 걸었을 때 그 세 지표가 어떻게 움직이는지.
|
||||
2026-09-21 baseline과 두-worker CPU-bound 구간을 실제로 측정했다. 이 결론은 현재 8 logical CPU / worker 2+2 vCPU 구성과 20초 synthetic CPU load에 한정한다.
|
||||
|
||||
vCPU 합이 논리 CPU 수 이하인데도 %st 가 오르는 구간이 있는지.
|
||||
steal time 하나만 찍고 경쟁 여부를 판단하지 않는다. 호스트 CPU 사용량과 실행 대기열, QEMU vCPU 스레드 사용량을 같은 구간에서 함께 봐야 게스트의 `%st`가 왜 움직였는지 설명할 수 있다.
|
||||
|
||||
## 제약
|
||||
|
||||
이 호스트에서 잰 값이 하나도 없다. 근거는 개념을 정리한 문서 한 편이고 §12 의 숫자는 예시다.
|
||||
|
||||
§20 이 확인 대상을 다섯으로 잡았으므로 steal time 하나만 찍고 닫을 수 없다. 호스트 쪽 사용량과 실행 대기열도 함께 본다. 이 물음은 닫는 조건이 없다고 보아 한 번 기록에서 뺐다가 되돌렸다. §20 이 이미 적어 둔 확인 대상 다섯이 그대로 닫는 조건이 되기 때문이다.
|
||||
|
||||
§16 은 CPU 가상화가 Keycloak refresh token 경쟁의 원인은 아니라고 못박는다. 이 질문은 원인을 찾으려는 것이 아니라 실험 결과를 어느 계층 쪽으로 읽을지 가르는 데 쓴다.
|
||||
CPU 가상화 자체가 refresh token 경쟁의 원인은 아니다. 여기서 확인하려는 것은 refresh 실험 중 생긴 지연을 애플리케이션 동시성 문제로 읽어도 되는지, 아니면 호스트 CPU 경쟁을 먼저 의심해야 하는지다.
|
||||
|
||||
측정하는 동안 실험 환경 구성은 바꾸지 않는다. pinning 을 걸거나 vCPU 수를 줄이면 지금 구성에서 경쟁이 생기는지를 못 본다.
|
||||
|
||||
## 선택지
|
||||
## 두 worker를 동시에 태우고 host와 guest를 같이 봤다
|
||||
|
||||
### 1. 호스트 논리 CPU 수와 각 가상 머신의 vCPU 수를 먼저 읽는다
|
||||
|
||||
이 두 값은 부하를 걸지 않고도 지금 읽을 수 있다. 둘만 있으면 vCPU 합이 논리 CPU 수를 넘는지 갈리고, 넘지 않는 구성이라면 §12 가 든 32 대 12 같은 초과 할당 상태는 아니라는 것까지 확정된다. 움직이는 나머지 셋은 그 뒤에 잰다.
|
||||
호스트 논리 CPU 수와 각 VM의 vCPU 수는 부하 없이도 읽을 수 있다. 둘을 먼저 확인하면 vCPU 합이 논리 CPU 수를 넘는지 즉시 알 수 있다. 합이 더 작다면 적어도 ‘vCPU 총량이 논리 CPU 수를 넘는’ 형태의 초과 할당은 아니다. CPU 사용량과 실행 대기열, steal time은 그다음에 잰다.
|
||||
|
||||
### 2. 다섯 지표를 부하 전과 부하 중 두 시점에 찍는다
|
||||
|
||||
@@ -103,17 +94,12 @@ vCPU 합이 논리 CPU 수 이하인데도 %st 가 오르는 구간이 있는지
|
||||
|
||||
### 3. 가상 머신 한 대에만 먼저 부하를 걸어 본다
|
||||
|
||||
한 대만 걸었을 때 지표가 어떻게 움직이는지 알아 두면, 두 대를 동시에 걸었을 때 늘어난 값이 vCPU 경쟁 때문인지 그 가상 머신 안의 CPU 포화 때문인지 갈린다. 다만 이 질문은 두 대를 동시에 돌렸을 때를 묻기 때문에 이 측정만으로는 닫히지 않는다.
|
||||
한 대에만 부하를 걸었을 때의 변화를 먼저 보면 두 대를 동시에 돌렸을 때 늘어난 값이 호스트 경쟁 때문인지 한 VM 내부의 CPU 포화 때문인지 비교하기 쉬워진다. 다만 최종 판정은 두 VM 동시 부하 결과로 한다.
|
||||
|
||||
### 4. 제외 — pinning 을 걸어 놓고 잰다
|
||||
|
||||
vCPU 스레드를 특정 논리 CPU 에 고정하면 경쟁 구간을 만들기 쉽다. 그러나 지금 구성에서 경쟁이 생기는지를 묻는 질문이라, 구성을 바꾸고 잰 값은 답이 되지 않는다. pinning 은 별도 질문으로 뺀다.
|
||||
|
||||
## 다음 검증
|
||||
## 두 worker를 함께 태워도 host CPU는 남았다
|
||||
|
||||
1. 호스트 논리 CPU 수와 각 가상 머신의 vCPU 수를 먼저 적는다. §20 이 든 확인 대상 다섯 가운데 부하 없이 읽을 수 있는 둘이다.
|
||||
2. 부하를 걸기 전에 호스트에서 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 로 QEMU vCPU 스레드의 CPU 사용량을, 호스트 실행 대기열을, 두 게스트에서 top (§14.8) 으로 %st 를 같은 시각에 기록한다.
|
||||
3. VM 1 과 VM 2 에 동시에 CPU 부하를 건다.
|
||||
4. 부하 중에 2번의 세 지표를 같은 방법으로 다시 기록한다.
|
||||
|
||||
닫는 조건 : 두 가상 머신의 vCPU 합이 호스트 논리 CPU 이하이고 동시 부하에서도 게스트 %st 와 호스트 실행 대기열이 부하 전과 다르지 않으면, 이 호스트 구성에서는 경쟁이 관측되지 않는다고 적고 닫는다. %st 나 실행 대기열이 움직이면 그 부하 전후 표가 Case 가 되고 이 질문은 그 Case 가 닫는다. vCPU 수를 줄일지 가상 머신 배치를 바꿀지는 그 Case 가 나온 뒤 Decision 으로 넘긴다.
|
||||
현재 구성에서는 두 worker를 동시에 CPU-bound로 만들어도 host idle이 약 절반 남고 guest `%st`가 0%라 host CPU starvation 형태의 vCPU contention은 관측되지 않았다. `r`이 4~6으로 늘었다는 사실만으로 contention이라고 판정하지 않는다.
|
||||
|
||||
+29
-44
@@ -7,9 +7,14 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/cd58d35d-3a93-4682-82b8-b64ce3a8813c/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt
|
||||
source:
|
||||
- final/document.md#20-이-concept에서-파생되는-open-question-oq-5
|
||||
- final/document.md#5-host-linux-scheduler와-실제-cpu
|
||||
@@ -18,79 +23,63 @@ source:
|
||||
|
||||
# pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가
|
||||
|
||||
이 호스트에서 `PSR` 을 찍어 본 기록이 없어서, pinning 없이 같은 vCPU 스레드가 논리 CPU 사이를 옮겨 다니는지 아직 모른다.
|
||||
`PSR` 은 `ps` 가 찍어 주는 값이고 그 스레드가 최근 실행된 논리 CPU 를 가리킨다(§14.7). 이 호스트의 논리 코어는 8 이고 두 게스트의 vCPU 는 각각 2 다(§197 · §218).
|
||||
2026-09-21 QEMU monitor로 실제 vCPU thread ID를 얻고 `ps -eL`의 `PSR`을 약 3초 동안 반복해서 읽었다. pinning은 없었고 affinity는 모두 `0-7` 전체였다. 같은 TID의 `PSR`이 여러 값으로 바뀌어 **unpinned vCPU thread가 host logical CPU 사이를 실제로 이동하는 것**을 확인했다.
|
||||
|
||||
## 관계
|
||||
## 실제로 이동한 vCPU thread
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
vCPU 스레드가 호스트 Linux 스케줄러의 스케줄링 대상이라는 설명이 이 물음의 전제다.
|
||||
- **CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가**
|
||||
이동이 실제로 일어나야 pinning 을 걸어 볼 이유가 생긴다.
|
||||
- **게스트가 유휴 상태일 때 vCPU 스레드는 이 테스트 환경에서 어떻게 보이는가**
|
||||
두 물음이 같은 `ps` 출력을 읽으므로 한 번 찍어 둘을 같이 본다.
|
||||
- 2026-09-21 재검증에서 `kc-lab-1`의 vCPU0 thread `272131`은 짧은 샘플에서 `PSR 7 → 2 → 0 → 4 → 3` 등으로 이동했다. vCPU1과 `kc-lab-2`의 vCPU thread도 여러 pCPU 사이를 이동했다. `virsh vcpupin`과 `taskset -pc` 모두 affinity `0-7`을 확인했다.
|
||||
|
||||
## 사실
|
||||
|
||||
§5 는 QEMU vCPU 스레드도 다른 호스트 스레드와 마찬가지로 Linux 스케줄러가 실행할 논리 CPU 를 정한다고 적었다.
|
||||
「Host Linux Scheduler와 실제 CPU」에서는 QEMU vCPU 스레드도 다른 호스트 스레드와 마찬가지로 Linux 스케줄러가 실행할 논리 CPU 를 정한다고 적었다.
|
||||
그래서 같은 vCPU 스레드라도 시간에 따라 서로 다른 논리 CPU 에서 실행될 수 있다.
|
||||
같은 절은 그 이동을 세 시점으로 그려 두었다. T1 에 CPU7 에서 돌던 vCPU 스레드 0 이 T2 에는 CPU7 을 다른 스레드에게 내주고, T3 에는 CPU3 에서 돈다.
|
||||
CPU pinning 을 적용하면 실행 위치를 특정 논리 CPU 집합으로 제한할 수 있다고 같은 절이 덧붙였다.
|
||||
|
||||
§14.7 은 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 들고, PSR 로 스레드가 최근 실행된 논리 CPU 를 관찰할 수 있다고 적었다.
|
||||
「thread가 실행되는 Host CPU 확인」에서는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 들고, PSR 로 스레드가 최근 실행된 논리 CPU 를 관찰할 수 있다고 적었다.
|
||||
같은 절은 그 값이 vCPU 가 물리 CPU 에 영구 고정되어 있다는 뜻은 아니라고 못 박고, pinning 을 하지 않았다면 스케줄링에 따라 달라질 수 있다고 덧붙였다.
|
||||
|
||||
§20 의 OQ-5 는 PSR 과 스케줄러 추적으로 관찰한다고만 적었을 뿐 관찰한 결과는 남기지 않았다.
|
||||
2026-09-21에는 실제 vCPU TID를 확인한 뒤 `PSR`을 반복 샘플링해 논리 CPU 사이의 이동을 직접 관찰했다.
|
||||
|
||||
§197 은 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이고, 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다.
|
||||
§218 의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
「측정 환경」에서는 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이고, 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다.
|
||||
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
|
||||
|
||||
이 호스트에서 PSR 을 실제로 찍은 기록은 SSOT 에 없다.
|
||||
2026-09-21 raw evidence에 worker vCPU thread의 `PSR` 연속 샘플이 남아 있다.
|
||||
|
||||
## 가정
|
||||
## 관찰 조건
|
||||
|
||||
두 가상 머신에 pinning 이나 CPU 친화도를 걸지 않았다고 전제하고 이 물음을 세웠다.
|
||||
실제로 걸었는지는 SSOT 에 적혀 있지 않다.
|
||||
`virsh vcpupin`과 `taskset -pc`에서 worker vCPU thread의 허용 CPU가 `0-7` 전체인 것을 확인해 별도 pinning이 없다는 점도 함께 검증했다.
|
||||
|
||||
일정 간격으로 여러 번 찍으면 이동이 PSR 값의 변화로 잡힌다고 전제한다.
|
||||
다만 표본과 표본 사이에 다른 논리 CPU 로 갔다가 돌아오면 두 표본은 같은 값으로 나온다.
|
||||
|
||||
게스트 부하가 있을 때와 없을 때 호스트 스케줄러가 스레드를 놓는 논리 CPU 가 달라질 수 있다고 전제한다.
|
||||
§5 는 스케줄러가 실행할 논리 CPU 를 정한다고만 적었지 부하에 따라 무엇이 달라지는지는 적지 않았다.
|
||||
「Host Linux Scheduler와 실제 CPU」에서는 스케줄러가 실행할 논리 CPU 를 정한다고만 적었지 부하에 따라 무엇이 달라지는지는 적지 않았다.
|
||||
|
||||
## 미지수
|
||||
## migration과 성능은 다른 질문이다
|
||||
|
||||
이 호스트에서 pinning 없이 같은 vCPU 스레드의 PSR 이 시간에 따라 실제로 바뀌는가.
|
||||
이 질문의 핵심인 실제 migration 여부와 pinning 유무는 해소됐다. 현재 vCPU thread는 `0-7` 전체에 실행 가능하고 짧은 관측에서도 실제 migration이 보였다. idle과 CPU-bound 상태에서 migration 빈도가 얼마나 달라지는지는 성능 비교 질문으로 분리한다.
|
||||
|
||||
바뀐다면 게스트가 유휴일 때와 CPU 부하가 있을 때가 서로 다른가.
|
||||
## 이 결과의 범위
|
||||
|
||||
현재 두 가상 머신에 친화도가 걸려 있는가.
|
||||
|
||||
스케줄러 추적을 이 호스트에서 쓸 수 있는가. §20 이 관찰 수단으로 들었지만 지원 여부는 확인하지 않았다.
|
||||
|
||||
## 제약
|
||||
|
||||
이 호스트에서 PSR 을 찍은 값이 없어서, 지금 이동 여부를 적으면 관측이 아니라 추측이 된다.
|
||||
현재 migration 여부는 추측이 아니라 2026-09-21 `PSR` 연속 샘플로 확인된 값이다.
|
||||
|
||||
PSR 은 최근 실행된 논리 CPU 하나만 보여 주므로 두 표본 사이에 일어난 이동은 잡히지 않는다.
|
||||
|
||||
§20 이 든 관찰 수단은 PSR 과 스케줄러 추적 둘이고, 이 물음은 그 둘 안에서 닫는다.
|
||||
먼저 `PSR`을 여러 번 찍고, 표본 사이 이동이 의심되거나 값이 해석되지 않을 때만 스케줄러 추적으로 내려간다.
|
||||
|
||||
이 물음을 pinning 전후를 비교하는 쪽의 관측 항목으로 넣지 않고 따로 세웠다. 이동이 없으면 그 비교를 걸어 볼 이유가 없어져서 이쪽이 먼저 닫혀야 한다.
|
||||
그 대신 이동이 성능에 얼마나 걸리는지는 여기서 재지 않는다.
|
||||
여기서는 이동 자체가 있는지만 본다. 이동이 확인돼도 그것이 성능에 얼마나 영향을 주는지는 pinning 전후 비교에서 따로 측정한다.
|
||||
|
||||
## 선택지
|
||||
## PSR과 affinity를 읽는 방법
|
||||
|
||||
### 1. ps 출력을 일정 간격으로 여러 번 찍는다
|
||||
|
||||
§14.7 이 든 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 그대로 쓰고 같은 tid 의 PSR 을 시간순으로 늘어놓는다.
|
||||
「thread가 실행되는 Host CPU 확인」에서 든 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 그대로 쓰고 같은 tid 의 PSR 을 시간순으로 늘어놓는다.
|
||||
게스트를 건드리지 않고 호스트에서만 찍으면 되고 따로 설치할 도구도 없다.
|
||||
|
||||
표본 사이의 이동은 보이지 않으니 몇 초 간격으로 몇 번 찍었는지를 값과 함께 적는다.
|
||||
|
||||
### 2. 스케줄러 추적으로 이동 시점을 본다
|
||||
|
||||
§20 이 PSR 과 함께 든 수단이다. 표본 간격에 기대지 않고 스레드가 옮겨 간 시점을 볼 수 있다.
|
||||
스케줄러 추적은 `PSR` 샘플링보다 무겁지만 표본 사이 이동을 놓치지 않고 실제 이동 시점을 볼 수 있다.
|
||||
|
||||
다만 이 호스트에서 추적을 쓸 수 있는지 아직 확인하지 않았고, 호스트에 도구와 권한이 더 필요하다.
|
||||
1번으로 이동이 이미 보이면 여기까지 가지 않는다.
|
||||
@@ -100,10 +89,6 @@ PSR 은 최근 실행된 논리 CPU 하나만 보여 주므로 두 표본 사이
|
||||
설정에 pinning 이 없다는 것과 스케줄러가 실제로 스레드를 옮겼다는 것은 다르다.
|
||||
설정 확인은 따로 두지 않고 1번 실행에서 함께 적는 항목으로 넣는다.
|
||||
|
||||
## 다음 검증
|
||||
## pinning이 없으면 vCPU thread는 실제로 이동했다
|
||||
|
||||
1. ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 일정 간격으로 여러 번 찍어 같은 tid 의 PSR 이 바뀌는지 본다.
|
||||
2. 게스트가 유휴일 때와 CPU 부하가 있을 때를 나눠 각각 찍는다.
|
||||
3. 같은 실행에서 그 가상 머신에 친화도 설정이 있는지도 함께 적는다.
|
||||
|
||||
닫는 조건 : 관측 구간에서 같은 tid 의 PSR 이 바뀌면 이동한다는 사실을 개념의 확인 사례로 흡수하고 닫는다. 그 이동이 성능에 영향을 주는지는 pinning 전후를 비교하는 OQ-10 이 받는다. PSR 이 고정으로 나오면 친화도 설정을 먼저 확인하고, 설정이 없는데도 고정이면 그 관측이 Case 가 된다.
|
||||
현재 unpinned vCPU thread의 실제 migration을 관측했다. migration의 성능 영향은 pinning 전후 비교 질문에서 따로 측정한다.
|
||||
|
||||
+35
-53
@@ -8,6 +8,7 @@ topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/da3a7b56-5691-4a9f-90c5-3a1a5d0f0013/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
source:
|
||||
@@ -18,110 +19,91 @@ source:
|
||||
|
||||
# Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가
|
||||
|
||||
§20 이 함께 관찰하라고 든 다섯 지표를 아직 한 번도 같이 찍지 않았다. Keycloak refresh 경쟁 실험은 가상 머신 두 대 위에서 돌기 때문에, 원래 검증하려던 구조 아래에 KVM 계층이 하나 더 붙는다. 실험 구간의 지연을 refresh 경쟁으로 읽어도 되는지는 같은 구간의 호스트 CPU 와 steal time 이 갈라 준다.
|
||||
이 질문은 아직 실제 refresh 경쟁 조건으로 검증하지 않았다. 2026-09-21 OIDC discovery synthetic load와 KVM/host CPU 지표는 함께 측정했지만, 질문이 요구하는 **동일 refresh token 동시 요청 + Keycloak latency + PostgreSQL 지연** 실험은 수행하지 않았다. 현재 Keycloak lab에는 Redis가 배포돼 있지 않으므로 Redis 지연을 이 질문의 필수 항목으로 두지 않는다. 별도 BFF/Redis 구성을 함께 재는 실험이라면 그때 Redis 지표를 추가한다. OIDC 부하 결과를 refresh 경쟁 실험의 대체 근거로 사용하지 않는다.
|
||||
|
||||
## 관계
|
||||
## 현재 실험대의 CPU 조건
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
게스트 안의 지연이 가상화 계층까지 내려가는 경로를 이 개념이 설명한다.
|
||||
- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가**
|
||||
경쟁이 생길 수 있는 구성인지를 먼저 묻는다. 그쪽이 닫히면 여기서 기준값을 다시 만들지 않아도 된다.
|
||||
- **cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가**
|
||||
§26 이 나눈 여섯 경계 가운데 K3s 와 Virtualization 을 어떻게 가르는지를 따로 묻는다.
|
||||
초기 설계 문서는 refresh 경로를 `Client → Nginx/Load Balancer → K3s → Keycloak 두 노드 → Session/Token State → PostgreSQL·Redis`처럼 넓게 그렸다. **현재 Keycloak lab의 실제 저장소 구성은 PostgreSQL이고 Redis는 없다.** 따라서 이번 질문은 PostgreSQL까지의 현재 경로를 기준으로 하고, Redis가 들어가는 별도 BFF/session 구조에서는 그때 지표를 추가한다.
|
||||
|
||||
## 사실
|
||||
|
||||
§16 이 그린 원래 검증 대상 구조
|
||||
|
||||
Client
|
||||
Nginx / Load Balancer
|
||||
K3s
|
||||
Keycloak Node 1 · Keycloak Node 2
|
||||
Session / Token State
|
||||
PostgreSQL · Redis
|
||||
|
||||
테스트 환경에서는 이 구조 아래에 KVM 계층이 추가된다 : §16
|
||||
Physical Host 아래에 Host Nginx 와 가상 머신 두 대가 있고 가상 머신마다 K3s 노드와 Keycloak 이 돈다 : §16
|
||||
|
||||
§16 이 테스트 결과를 해석할 때 분리하라고 든 원인 일곱
|
||||
따라서 같은 지연이라도 원인은 한 계층에만 있지 않다. 현재 실험에서 분리해서 볼 대상은 다음 일곱 가지다.
|
||||
|
||||
Keycloak refresh/session 동시성
|
||||
PostgreSQL contention/locking
|
||||
Redis 상태 관리
|
||||
Redis 상태 관리 — Redis를 포함한 별도 구조에서만
|
||||
K3s resource scheduling
|
||||
VM vCPU scheduling
|
||||
Host CPU saturation
|
||||
Nginx/LB
|
||||
|
||||
§16 은 KVM CPU 가상화를 이해하는 목적을 이렇게 적었다.
|
||||
「현재 Keycloak/K3s 실험과의 관계」에서는 KVM CPU 가상화를 이해하는 목적을 이렇게 적었다.
|
||||
|
||||
Keycloak 멀티 노드 실험에서 발생한 지연이나 실패가 application/storage 문제인지, VM/Host 자원 문제인지 구분할 수 있도록 실험 기반을 이해하기 위해서다.
|
||||
|
||||
§26 은 같은 원인들을 여섯 경계로 다시 나눈다.
|
||||
「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서는 같은 원인들을 여섯 경계로 다시 나눈다.
|
||||
|
||||
Application / Auth : Refresh Token 경쟁 · Session 상태 경쟁 · Keycloak 내부 처리
|
||||
Storage : PostgreSQL lock / latency · Redis latency / consistency
|
||||
Storage : 현재 lab은 PostgreSQL lock / latency · Redis를 포함한 별도 구조에서는 Redis latency / consistency 추가
|
||||
K3s : Pod CPU throttling · Pod scheduling/resource limit
|
||||
Guest : Guest CPU saturation
|
||||
Virtualization : vCPU scheduling · Steal time · VM Exit overhead
|
||||
Host : CPU contention · CPU overcommit · Host saturation
|
||||
|
||||
§26 은 refresh 경쟁을 검증하는 첫 실험에서 가능하면 CPU 자원을 여유 있게 유지하고, 그 상태에서 같은 세션과 같은 refresh token 에 대한 동시 요청을 만들어 동시성 문제를 먼저 확인하라고 적는다. 트래픽을 늘려 CPU/DB/Redis/K3s 자원 포화를 관찰하는 것은 별도의 부하·스트레스 Case 로 나눈다.
|
||||
첫 refresh 경쟁 실험은 CPU 자원을 여유 있게 유지한 상태에서 같은 세션과 같은 refresh token에 동시 요청을 보내는 조건으로 잡는다. 트래픽을 늘려 CPU·PostgreSQL·K3s 자원 포화를 보는 부하 실험은 이 실행과 분리한다. Redis가 있는 별도 구조를 시험할 때만 Redis 포화도 같은 방식으로 별도 측정한다.
|
||||
|
||||
§13 은 steal time 을 게스트 vCPU 에 실행할 작업이 있는데 다른 작업 때문에 즉시 실행되지 못하는 상황을 가리키는 단서로 적었다.
|
||||
「Steal Time」에서는 steal time 을 게스트 vCPU 에 실행할 작업이 있는데 다른 작업 때문에 즉시 실행되지 못하는 상황을 가리키는 단서로 적었다.
|
||||
|
||||
§20 이 refresh 경쟁 실험 중 동시에 관찰하라고 든 다섯
|
||||
현재 Keycloak lab의 refresh 경쟁 실험과 같은 시간축에 놓을 값은 다섯이다.
|
||||
|
||||
Host CPU
|
||||
Guest CPU
|
||||
steal time
|
||||
Keycloak latency
|
||||
DB/Redis latency
|
||||
PostgreSQL latency
|
||||
|
||||
§20 은 그 목적이 refresh 경쟁과 호스트 자원 경쟁을 분리하는 것이라고 밝힌다.
|
||||
이 다섯 값을 함께 보는 이유는 refresh 동시성 문제와 호스트 자원 경쟁을 같은 지연으로 오해하지 않기 위해서다.
|
||||
|
||||
§197 은 2026-09-10 에 이 호스트에서 논리 코어 8 과 Mem: 11648 을 받아 적었고, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 실험 구간의 값은 아직 없다.
|
||||
「측정 환경」에서는 2026-09-10 에 이 호스트에서 논리 코어 8 과 Mem: 11648 을 받아 적었고, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 실험 구간의 값은 아직 없다.
|
||||
|
||||
## 가정
|
||||
## refresh 실험에서 같이 볼 조건
|
||||
|
||||
refresh 경쟁 실험이 Keycloak latency 와 DB/Redis latency 를 이미 재고 있다고 전제한다. 그 실험이 어떤 값을 어떤 주기로 내는지는 이 근거 문서에 적혀 있지 않다.
|
||||
refresh 경쟁 실험이 Keycloak latency와 PostgreSQL latency를 함께 기록한다고 전제한다. 다만 원문에는 그 실험이 어떤 값을 어떤 주기로 기록하는지는 적혀 있지 않다.
|
||||
|
||||
기준값을 찍는 구간과 실험 구간 사이에 호스트의 다른 작업이 달라지지 않는다.
|
||||
§211 은 2026-09-03 과 2026-09-10 사이에 호스트 RAM 이 물리 증설되고 게스트가 두 대에서 세 대로 늘었다고 적으면서, 두 값이 어긋나 보이면 「틀린 것이 아니라 다른 날이다」라고 못 박았다. 기준값과 실험 구간은 같은 날 같은 구성에서 받아야 이 전제가 선다.
|
||||
「이 부의 출처와 범위」에서는 2026-09-03 과 2026-09-10 사이에 호스트 RAM 이 물리 증설되고 게스트가 두 대에서 세 대로 늘었다고 적으면서, 두 값이 어긋나 보이면 「틀린 것이 아니라 다른 날이다」라고 못 박았다. 기준값과 실험 구간은 같은 날 같은 구성에서 받아야 이 전제가 선다.
|
||||
|
||||
다섯 지표의 시각을 맞춰 읽을 수 있다고 전제한다. 호스트 쪽과 게스트 쪽 시계가 어긋나면 부하 구간을 겹쳐 놓을 수 없기 때문이다.
|
||||
|
||||
§26 이 말한 「CPU 자원을 여유 있게 유지한」 상태를 이 호스트에서 만들 수 있다.
|
||||
「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서 말한 「CPU 자원을 여유 있게 유지한」 상태를 이 호스트에서 만들 수 있다.
|
||||
|
||||
## 미지수
|
||||
## 아직 모르는 가상화 계층의 병목 여부
|
||||
|
||||
실험을 걸기 전 다섯 지표의 기준값.
|
||||
|
||||
실험 구간의 호스트 CPU 와 게스트 CPU, 그리고 각 게스트의 steal time.
|
||||
|
||||
같은 구간의 Keycloak latency 와 DB/Redis latency.
|
||||
같은 구간의 Keycloak latency와 PostgreSQL latency.
|
||||
|
||||
가상화 쪽 지표가 얼마나 움직여야 실험 결과를 다르게 읽어야 하는지. 그 문턱을 아직 정하지 않았다.
|
||||
|
||||
두 가상 머신이 같은 호스트에 있으므로 한쪽 Keycloak 노드에 몰린 요청이 다른 쪽 게스트의 steal time 을 올리는지.
|
||||
|
||||
## 제약
|
||||
## 원인 섞임을 막는 기준
|
||||
|
||||
§26 이 첫 실험을 CPU 여유 상태로 못박기 때문에, 이 질문은 실험 조건을 바꾸지 않고 관찰 지표만 덧붙여 답해야 한다. §17.1 이 refresh token 경쟁을 확인하는 데 반드시 호스트 CPU 를 100% 까지 밀 필요는 없다고 적었으므로, 실험을 그대로 두고 관찰만 덧붙이는 것이 §26 의 조건과도 어긋나지 않는다.
|
||||
첫 refresh 경쟁 실험은 CPU 여유 상태에서 돌린다. 따라서 이 확인 때문에 부하 조건을 바꾸지 않고, 기존 실험에 호스트 CPU·게스트 CPU·steal time 관측만 덧붙인다.
|
||||
|
||||
이 호스트에서 그 다섯 지표를 잰 값이 없어 기준값부터 만들어야 한다. 실험 구간의 값만 있으면 그 값이 평소 값인지 실험 때문에 오른 값인지 갈리지 않는다.
|
||||
|
||||
§22 의 Claim 12·13 은 이 환경에서 실제로 그러한지를 주장하는 것이라, 재기 전에는 Case 도 Question 도 되지 않는다고 보고 그대로 두었다. 이 물음을 그와 갈라 먼저 올린 것은 아는 것과 모르는 것이 실험 전에도 갈리기 때문이다.
|
||||
현재 자료만으로는 가상화 계층이 refresh 실험 결과를 흔들지 않았다고 말할 수 없다. 그래서 애플리케이션 동시성 결론과 별개로, 같은 구간의 호스트 CPU와 steal time을 먼저 확인한다.
|
||||
|
||||
§16 은 CPU 가상화가 refresh token 경쟁의 원인은 아니라고 적는다. 여기서 「포화되지 않았다」가 나와도 refresh 경쟁 실험의 결론이 바뀌지는 않고, 그 결론을 애플리케이션·저장소 쪽으로 읽어도 되는지만 갈린다.
|
||||
「현재 Keycloak/K3s 실험과의 관계」에서는 CPU 가상화가 refresh token 경쟁의 원인은 아니라고 적는다. 여기서 「포화되지 않았다」가 나와도 refresh 경쟁 실험의 결론이 바뀌지는 않고, 그 결론을 애플리케이션·저장소 쪽으로 읽어도 되는지만 갈린다.
|
||||
|
||||
§20 이 든 다섯 가운데 Keycloak latency 와 DB/Redis latency 는 실험 쪽 도구가 낸다. 가상화 쪽에서 새로 만들 값은 Host CPU · Guest CPU · steal time 셋이다.
|
||||
Keycloak 지연과 PostgreSQL 지연은 refresh 실험에서 함께 기록하고, 가상화 계층 판정을 위해 호스트 CPU·게스트 CPU·steal time 세 가지를 같은 시간축에 추가한다.
|
||||
|
||||
## 선택지
|
||||
## 같은 시간축에 놓을 지표
|
||||
|
||||
### 1. 실험을 그대로 두고 관찰만 덧붙인다
|
||||
|
||||
§26 이 첫 실험의 CPU 조건을 정해 두었으므로 실험 자체는 건드리지 않는다. 같은 실험을 돌리면서 호스트 쪽 QEMU vCPU 스레드 사용량과 게스트 쪽 %st 만 함께 기록한다. 이 방법으로는 이번 실험 구간에서 가상화 계층이 움직였는지 하나만 알 수 있다.
|
||||
「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서는 첫 실험의 CPU 조건을 정해 두었으므로 실험 자체는 건드리지 않는다. 같은 실험을 돌리면서 호스트 쪽 QEMU vCPU 스레드 사용량과 게스트 쪽 %st 만 함께 기록한다. 이 방법으로는 이번 실험 구간에서 가상화 계층이 움직였는지 하나만 알 수 있다.
|
||||
|
||||
### 2. 실험 직전 구간을 기준값으로 따로 찍는다
|
||||
|
||||
@@ -129,16 +111,16 @@ refresh 경쟁 실험이 Keycloak latency 와 DB/Redis latency 를 이미 재고
|
||||
|
||||
### 3. 여섯 경계 가운데 가상화 쪽 둘만 먼저 잰다
|
||||
|
||||
§26 은 Application / Auth 부터 Host 까지 여섯 경계를 든다. 여섯을 한 번에 분리하려면 경계마다 지표를 붙여야 하는데, 이 질문은 Virtualization 과 Host 두 경계가 실험 결과를 흔들었는지만 묻는다. 나머지 넷은 실험 쪽 기록을 그대로 쓰고 이 둘만 새로 잰다.
|
||||
여기서는 모든 계층을 새로 측정하지 않는다. 기존 실험이 애플리케이션·스토리지 지표를 이미 남긴다고 보고, 추가로 Virtualization과 Host 두 계층의 값만 붙인다.
|
||||
|
||||
### 4. 제외 — CPU 를 일부러 포화시켜 견준다
|
||||
|
||||
포화 구간과 여유 구간을 나란히 놓으면 가상화 계층이 결과를 얼마나 흔드는지 바로 보인다. 그러나 §26 이 첫 refresh 실험을 CPU 여유 상태로 정해 두어서 같은 실험 안에서는 할 수 없다. 별도의 부하·스트레스 Case 로 뺀다.
|
||||
포화 구간과 여유 구간을 나란히 두면 CPU 자원 경쟁의 영향을 더 직접 볼 수 있다. 다만 첫 refresh 경쟁 실험은 CPU 여유 상태를 유지하는 조건이므로 같은 실행에서 일부러 포화를 만들지 않는다. 자원 포화 자체를 보는 부하 실험은 별도로 진행한다.
|
||||
|
||||
## 다음 검증
|
||||
## refresh 부하에서는 같은 시간축으로 다시 묶어야 한다
|
||||
|
||||
1. 실험을 걸기 전 §20 이 든 다섯 지표를 한 번 찍어 기준값으로 둔다.
|
||||
2. refresh 경쟁 실험을 돌리면서 같은 다섯을 같은 시각에 기록한다. 게스트의 steal time 은 top (§14.8), 호스트 쪽 QEMU vCPU 스레드는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 로 본다.
|
||||
3. Keycloak 과 DB/Redis latency 는 실험이 이미 재는 값을 그대로 쓴다.
|
||||
1. refresh 요청을 보내기 전에 호스트 CPU, 게스트 CPU, steal time, Keycloak 지연, PostgreSQL 지연을 한 번 찍어 기준값으로 둔다.
|
||||
2. refresh 경쟁 실험을 돌리면서 같은 다섯을 같은 시각에 기록한다. 게스트의 steal time 은 top (「Guest의 steal time 확인」), 호스트 쪽 QEMU vCPU 스레드는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (「thread가 실행되는 Host CPU 확인」) 로 본다.
|
||||
3. Keycloak과 PostgreSQL latency는 같은 refresh 실행에서 기록한 값을 쓴다. Redis가 포함된 별도 구조를 시험할 때만 Redis 지표를 추가한다.
|
||||
|
||||
닫는 조건 : 실험 구간의 호스트 CPU 와 steal time 이 기준값과 다르지 않으면, 그 실험 결과를 애플리케이션·저장소 문제로 읽어도 된다고 적고 닫는다. 둘 중 하나라도 움직이면 §26 의 여섯 경계를 분리해 다시 재고, refresh 경쟁 실험을 CPU 여유 상태에서 따로 돌릴지는 Decision 으로 넘긴다.
|
||||
실험 구간의 호스트 CPU와 steal time이 기준값과 다르지 않다면 적어도 CPU 가상화 계층이 결과를 흔들었다는 근거는 없다. 둘 중 하나라도 크게 움직이면 같은 구간의 K3s throttling, 게스트 CPU, PostgreSQL 지연까지 다시 나눠 보고 refresh 경쟁 결과와 자원 포화 결과를 섞지 않는다.
|
||||
|
||||
+42
-57
@@ -7,9 +7,17 @@ topic: cpu-virtualization
|
||||
topicName: CPU 가상화
|
||||
project: virtualization
|
||||
status: 초안
|
||||
questionStatus: OPEN
|
||||
questionStatus: RESOLVED
|
||||
lastVerifiedOn: 2026-09-21
|
||||
studio: "https://hyeonworks.com/studio/documents/61b7486f-5dab-41df-8f4f-e8fc21d88617/edit"
|
||||
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
|
||||
evidence:
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt
|
||||
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt
|
||||
source:
|
||||
- final/document.md#20-이-concept에서-파생되는-open-question-oq-4
|
||||
- final/document.md#8-무엇이-실제로-vm-exit을-발생시키는가
|
||||
@@ -18,18 +26,18 @@ source:
|
||||
|
||||
# 실제 작업에서 주로 발생하는 VM Exit 은 무엇인가
|
||||
|
||||
`perf kvm` 이 이 환경에서 열리는지부터 아직 확인하지 않았다. VM Exit 은 게스트를 실행하던 CPU 가 KVM 쪽으로 제어권을 넘기는 전환이지 가상 머신이 꺼지는 것이 아니다(§7.2). §8 이 든 일곱 동작 가운데 무엇이 실제로 Exit 을 내는지는 이 호스트의 VMX 설정과 돌리는 작업이 정한다.
|
||||
2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 이 호스트에서 동작하는 것을 확인하고, 같은 `kc-lab-1` QEMU를 대상으로 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 비교했다. **workload에 따라 VM Exit 분포가 실제로 달라졌다.** CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer 비중이 크게 늘었고, Keycloak 고부하에서는 baseline보다 EPT_MISCONFIG 비중과 전체 sample 수가 증가했다.
|
||||
|
||||
## 관계
|
||||
## workload마다 달라진 Exit 분포
|
||||
|
||||
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
|
||||
VM Entry 와 VM Exit 이 무엇이고 Exit 뒤에 무엇이 처리하는지를 이 개념이 설명한다.
|
||||
- **Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가**
|
||||
같은 측정에서 Keycloak 쪽 분포만 떼어 묻는다. 도구가 열리지 않으면 두 질문이 같은 이유로 닫힌다.
|
||||
- 2026-09-21 재검증에서 `perf version 7.2.2-1`을 설치했고 `perf kvm stat live`가 `-p <pid>`와 `--event vmexit`를 지원했다. `/sys/kernel/tracing/events/kvm` 아래 `kvm_exit`, `kvm_entry` 등 KVM tracepoint도 존재했다.
|
||||
- 2026-09-21 재검증에서 같은 `kc-lab-1`의 baseline에서 2초 구간 sample은 655/702개였고 `MSR_WRITE` 약 60%, `HLT` 약 32~33%가 중심이었다.
|
||||
- 2026-09-21 재검증에서 CPU-bound에서는 `HLT`가 보이지 않았고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%, `MSR_WRITE` 약 34~41%로 바뀌었다.
|
||||
- 2026-09-21 재검증에서 I/O-heavy에서는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%가 중심이었고 `EPT_MISCONFIG` 약 1.4~1.6%, `CPUID` 약 2%가 추가로 보였다.
|
||||
- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회 구간은 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다. 요청은 모두 HTTP 200이고 개별 지연은 약 5.7~21.8 ms였다.
|
||||
- 2026-09-21 재검증에서 같은 노드에 OIDC discovery 1000회, concurrency 20을 걸자 `rc=0`이었고 2초 구간 sample이 987→1211→1339로 늘었다. `EPT_MISCONFIG`은 약 9.9%→18.0%→19.0%까지 나타났다.
|
||||
|
||||
## 사실
|
||||
|
||||
§8 이 든, VM Exit 을 발생시킬 수 있는 동작
|
||||
「무엇이 실제로 VM Exit을 발생시키는가」에서 든, VM Exit 을 발생시킬 수 있는 동작
|
||||
|
||||
HLT
|
||||
I/O Port 접근 - IN / OUT
|
||||
@@ -39,22 +47,15 @@ MSR 접근
|
||||
Exception
|
||||
External Interrupt
|
||||
|
||||
Intel VMX 에는 VMCS(Virtual Machine Control Structure)가 있고 하이퍼바이저는 VM-Execution Control 등을 통해 어떤 동작을 가로챌지 설정한다 : §8
|
||||
Intel VMX에서는 VMCS의 실행 제어 설정에 따라 어떤 동작을 하이퍼바이저가 가로챌지가 달라진다. 그래서 ‘특권 명령이면 전부 VM Exit’이나 ‘root가 실행하면 VM Exit’처럼 단순화해서 볼 수 없다.
|
||||
|
||||
§8 은 「특권 명령이면 전부 VM Exit」이나 「root 가 실행하면 VM Exit」 같은 규칙이 맞지 않는다고 적는다. VM Exit 여부는 VMX 설정과 해당 동작의 종류에 따라 결정된다.
|
||||
Control Register 접근, CPU 예외, MSR 접근도 항상 같은 방식으로 처리되는 것은 아니다. 설정에 따라 게스트가 직접 처리할 수도 있고 KVM이 가로챌 수도 있다. I/O port 접근처럼 사용자 공간의 장치 에뮬레이션이 필요하면 KVM에서 QEMU로 제어가 올라갔다가 다시 `KVM_RUN`으로 돌아오는 경로가 생긴다.
|
||||
|
||||
모든 CR(control register) 접근이 항상 VM Exit 을 발생시키지는 않는다 : §8.4
|
||||
Page Fault, Breakpoint, Debug Exception 같은 CPU 예외도 Exception Bitmap 등의 설정에 따라 게스트가 직접 처리할 수도 있고 하이퍼바이저가 가로챌 수도 있다 : §8.6
|
||||
「KVM Exit 관찰」에서는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다.
|
||||
|
||||
CPU 에는 MSR(Model-Specific Register)이 있고 RDMSR 과 WRMSR 로 접근한다. 특정 MSR 접근을 하이퍼바이저가 가로채도록 설정했다면 VM Exit 이 발생할 수 있다 : §8.5
|
||||
2026-09-21 재검증 기준 이 호스트는 kernel `7.2.2-arch1-1`, QEMU 11.1.1, Intel i5-1135G7 VT-x이고 `perf version 7.2.2-1`을 사용했다. VM Exit reason 이름과 비율은 이 환경 조건에 종속된 값으로 읽는다.
|
||||
|
||||
§8.2 는 I/O port 접근에서 나온 Exit 을 KVM 이 받고, 사용자 공간에서 가상 장치를 흉내 내야 하면 KVM_RUN 이 반환되어 QEMU 가 처리한 뒤 다시 KVM_RUN 을 호출한다고 적는다.
|
||||
|
||||
§14.9 는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다.
|
||||
|
||||
§197 은 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. §14.9 가 표시되는 Exit 이유를 좌우한다고 든 것 가운데 커널과 CPU 아키텍처는 여기서 정해진다. perf 버전은 적혀 있지 않다.
|
||||
|
||||
§20 이 든 비교 후보 다섯
|
||||
비교할 작업은 다섯이다.
|
||||
|
||||
idle
|
||||
CPU-bound workload
|
||||
@@ -62,60 +63,44 @@ I/O-heavy workload
|
||||
Keycloak 정상 요청
|
||||
Keycloak 부하 테스트
|
||||
|
||||
## 가정
|
||||
## workload만 바꾸고 나머지 조건은 고정했다
|
||||
|
||||
다섯 작업을 이 호스트에서 각각 만들 수 있다. Keycloak 정상 요청과 부하 테스트는 이미 돌리는 실험을 그대로 쓴다고 전제한다.
|
||||
다섯 workload를 같은 `kc-lab-1` QEMU에서 차례로 만들고 `-p <QEMU_PID>`로 해당 프로세스만 필터링했다. `sudo -n`도 사용 가능해 비대화식 측정으로 실행했고, baseline·CPU-bound·I/O-heavy·Keycloak 정상·Keycloak 부하를 같은 도구와 같은 2초 관측 단위로 비교했다.
|
||||
|
||||
호스트에서 sudo 로 perf 를 돌릴 수 있다. §204 는 이 호스트의 sudo 가 비밀번호를 요구해 비대화식으로는 읽지 못했다고 적었으므로, 콘솔에 붙어 직접 치는 실행으로 잡는다.
|
||||
## Exit 분포가 답하지 않는 것
|
||||
|
||||
한 작업을 재는 동안 다른 가상 머신이 내는 Exit 이 결과에 섞이지 않는다고 전제하는데, perf kvm 이 호스트 전체를 보는지 프로세스 하나만 보는지는 확인하지 않았다.
|
||||
현재 환경에서 `perf kvm stat live` 지원 여부와 다섯 workload의 분포 차이는 해소됐다. 출력에는 `HLT`, `MSR_WRITE`, `MSR_READ`, `EXTERNAL_INTERRUPT`, `PREEMPTION_TIMER`, `CPUID`, `EPT_MISCONFIG`, `PAUSE_INSTRUCTION` 등이 workload에 따라 나타났다.
|
||||
|
||||
Exit 이유가 다섯 작업 사이에서 같은 이름으로 표시된다.
|
||||
남는 것은 더 긴 구간에서 분포가 얼마나 안정되는지와 각 Exit의 실제 end-to-end latency 영향이다. 이번 질문은 **어떤 workload에서 어떤 Exit 분포가 보이는가**까지를 답하며, sample 비중 증가를 곧바로 성능 문제로 판정하지 않는다.
|
||||
|
||||
## 미지수
|
||||
## 이 호스트에 종속된 값
|
||||
|
||||
이 환경에서 perf kvm 이 어떤 하위 명령을 지원하는지.
|
||||
2026-09-21 현재 `perf kvm`과 KVM tracepoint가 모두 사용 가능한 것을 확인했다. 이번 분포는 `kc-lab-1` QEMU PID로 필터링해 다른 VM의 Exit을 섞지 않았다.
|
||||
|
||||
열린다면 어떤 Exit 이유가 표시되는지.
|
||||
「무엇이 실제로 VM Exit을 발생시키는가」에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다.
|
||||
|
||||
다섯 작업의 Exit 이유 분포가 서로 얼마나 다른지.
|
||||
「KVM Exit 관찰」에서는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다.
|
||||
|
||||
perf kvm 이 열리지 않을 때 KVM tracepoint 로 같은 것을 볼 수 있는지.
|
||||
Exit 총 횟수만으로는 작업을 비교할 수 없다. I/O port 접근처럼 QEMU까지 올라가는 Exit과 KVM 안에서 끝나는 Exit은 처리 경로가 다르다. 따라서 Exit이 많다는 사실 자체를 장애 판정으로 쓰지 않고 이유와 처리 경로를 함께 본다.
|
||||
|
||||
한 작업을 얼마나 오래 재야 분포가 더 흔들리지 않는지.
|
||||
## 어떻게 측정했나
|
||||
|
||||
## 제약
|
||||
### 1. perf kvm 지원 범위를 먼저 확인했다
|
||||
|
||||
이 호스트에서 Exit 분포를 잰 값이 없기 때문에, 분포를 재기 전에 도구가 열리는지부터 확인해야 한다. 열리지 않는 것으로 확인되는 것도 이 물음을 닫는 결과다.
|
||||
|
||||
§8 에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다.
|
||||
|
||||
§14.9 는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다.
|
||||
|
||||
Exit 총 횟수만으로는 작업을 견줄 수 없다. §8.2 처럼 QEMU 까지 돌아가는 Exit 과 KVM 안에서 끝나는 Exit 은 처리 경로가 다르다. §24.9 도 확인할 때 Exit 횟수만 보지 말라고 적으면서 「VM Exit이 많다 = 장애로 바로 판단하지 않는다」로 닫는다.
|
||||
|
||||
## 선택지
|
||||
|
||||
### 1. perf kvm --help 로 열리는 하위 명령부터 확인한다
|
||||
|
||||
§14.9 가 지원 여부는 환경마다 다르다고 적어 두었기 때문에 도구부터 확인한다. 여기서 안 열리면 뒤의 계획이 통째로 바뀐다.
|
||||
`perf kvm --help`와 실제 실행으로 `stat live`, `-p`, `--event vmexit` 지원 여부를 확인한 뒤 본 측정을 진행했다.
|
||||
|
||||
### 2. 열리면 sudo perf kvm stat live 로 다섯 작업을 각각 돌린다
|
||||
|
||||
§20 이 든 다섯을 하나씩 돌리며 Exit 이유 분포를 받아 적는다. 유휴 구간을 먼저 재 두면 나머지 넷에서 늘어난 Exit 이 무엇인지 견줄 수 있다.
|
||||
다섯 작업을 하나씩 돌리며 Exit 이유 분포를 같은 형식으로 남긴다. 유휴 구간을 먼저 재 두면 나머지 네 작업에서 무엇이 늘었는지 비교하기 쉽다.
|
||||
|
||||
### 3. 열리지 않으면 KVM tracepoint 추적을 검토한다
|
||||
### 3. KVM tracepoint는 대안으로 남긴다
|
||||
|
||||
§14.9 가 대안으로 든 방법이다. 이쪽도 안 되면 「이 호스트에서는 Exit 분포를 관측할 수 없다」가 이 질문의 답이 된다.
|
||||
현재는 `perf kvm`이 동작하므로 tracepoint를 직접 수집할 필요가 없었다. 더 세밀한 원인 추적이 필요할 때만 `kvm_exit`/`kvm_entry` tracepoint를 사용한다.
|
||||
|
||||
### 4. 제외 — Exit 총 횟수만 세어 작업을 견준다
|
||||
|
||||
숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 §8.2 가 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다.
|
||||
숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 「I/O Port 접근 - IN / OUT」에 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다.
|
||||
|
||||
## 다음 검증
|
||||
## workload가 바뀌자 Exit 분포도 바뀌었다
|
||||
|
||||
1. perf kvm --help 로 이 환경이 지원하는 하위 명령을 확인한다.
|
||||
2. 열리면 sudo perf kvm stat live 로 §20 의 비교 후보 다섯을 각각 돌리며 Exit 이유 분포를 받아 적는다.
|
||||
3. 열리지 않으면 §14.9 가 말한 KVM tracepoint 추적을 검토하고 그 결과도 기록한다.
|
||||
|
||||
닫는 조건 : 다섯 작업의 Exit 이유 분포를 한 표로 놓을 수 있으면 그 표가 Case 가 되고 닫는다. perf kvm 도 tracepoint 도 이 환경에서 열리지 않으면, 「이 호스트에서는 Exit 분포를 관측할 수 없다」를 그대로 적고 §24.9 의 확인 항목에서 Exit 이유를 빼는 근거로 남긴 뒤 닫는다.
|
||||
같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak 부하의 VM Exit 분포가 서로 다르게 나타나는 것을 `perf kvm stat live`로 확인했다. 이 분포는 workload fingerprint로 사용할 수 있지만, Exit sample이 많거나 특정 이유의 비중이 높다는 사실만으로 병목이라고 판정하지 않는다.
|
||||
|
||||
Reference in New Issue
Block a user