Files
document-haness/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throttling-vs-contention.md
T

95 lines
8.5 KiB
Markdown

---
id: 116b806c-b176-401c-9363-1489fffb721c
kind: QUESTION
slug: throttling-vs-contention
title: cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가
topic: cpu-virtualization
topicName: CPU 가상화
project: virtualization
status: 초안
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/116b806c-b176-401c-9363-1489fffb721c/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt
source:
- final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-9
- final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-8
- final/document.md#25-cpu-문제를-계층별로-구분하는-진단표
---
# cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가
2026-09-21 현재 Keycloak은 CPU request `100m`만 있고 CPU limit은 없으며 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. 두 원인은 실제 지표 조합이 다르게 나타났다.
## 두 원인을 따로 재현한 결과
- 2026-09-21 재검증에서 `keycloak-0`, `keycloak-1`은 CPU request `100m`, CPU limit 없음이다. 두 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`, `throttled_usec=0`이었다.
- 2026-09-21 재검증에서 disposable `cpu-throttle-probe`에 CPU limit `100m`를 적용하자 `cpu.max=10000 100000`, `nr_periods=54`, `nr_throttled=46`, `throttled_usec=4317644`가 나왔다. 약 5초의 CPU-bound 실행에서 cgroup quota가 실제로 throttle을 걸었다.
- 2026-09-21 재검증에서 반대 비교군에서는 `kc-lab-1`의 vCPU 2개를 모두 pCPU0에 live pinning하고 guest 안에서 CPU-bound thread 2개를 실행했다. guest `vmstat`은 반복해서 `%st=50%`를 보였고 host CPU0은 `%guest≈99%`, `%idle≈0%`였다.
- 2026-09-21 재검증에서 같은 host-contention 구간에도 `keycloak-1`의 `cpu.max=max 100000`, `nr_throttled=0`, `throttled_usec=0`은 그대로였다. 즉 steal 증가와 cgroup throttling은 서로 다른 계층에서 독립적으로 관측됐다.
- 2026-09-21 재검증에서 contention 실험 뒤 `kc-lab-1` vCPU affinity를 다시 `0-7`로 복원했고 disposable pod도 삭제했다.
- 가상 머신 안에서 K3s 를 돌리면 물리 CPU 와 Keycloak 파드 사이에 호스트·하이퍼바이저, 게스트 Linux, K3s, cgroup CPU limit 이 차례로 놓인다.
- 호스트 CPU 에 여유가 있어도 Keycloak 파드는 설정된 CPU 상한 때문에 실행이 제한될 수 있다.
- 호스트 CPU 를 받지 못해 생긴 문제와 파드가 자신의 CPU 상한을 넘겨 생긴 문제는 서로 다른 계층에 있다.
앞의 것은 경쟁과 steal time, 스케줄링 쪽이고 뒤의 것은 cgroup 제한 쪽이다.
- cgroup 제한 자체는 KVM 문제가 아니다. 그래도 가상 머신 안에서 K3s를 운영하는 지금 환경에서는 cgroup 제한과 호스트 CPU 경쟁이 같은 애플리케이션 지연으로 보일 수 있다. 그래서 두 원인을 함께 비교하되, 각각 다른 계층의 지표로 가른다.
- 계층별 진단표가 적은 우선 확인 항목은 이렇게 갈린다.
CPU throttling : CPU limit · throttled time
CPU contention : 호스트 CPU · 실행 대기열 · CPU 별 사용률
- 같은 표가 두 원인의 대표적인 현상도 갈라 적었다.
cgroup 쪽은 파드가 CPU 를 더 쓰려 해도 상한에 막힌 것이고, 경쟁 쪽은 실행 가능한 작업이 늘면서 지연이 늘어난 것이다.
갈라 적힌 현상은 각 계층에서 보이는 모습이라, 애플리케이션 지연만 보고 있으면 그 구분이 드러나지 않는다.
- 그 표는 지표 하나로 원인을 확정하려고 만든 것이 아니라 어느 계층부터 조사할지 범위를 줄인다.
- 「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
- 2026-09-21 재검증에서 cgroup throttling과 host contention을 각각 따로 재현해 `cpu.stat`, guest `%st`, host pCPU 사용률을 직접 비교했다.
## 재현 조건
- 두 원인은 같은 애플리케이션 지연 크기로 맞추지 않고, 각 계층의 대표 지표가 어떻게 달라지는지를 비교했다.
- cgroup 쪽은 disposable pod에 `100m` limit을 걸어 재현했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning해 의도적으로 경쟁을 만들었다.
- 실험용 pod와 vCPU affinity는 측정 뒤 원상복구했다.
- 두 재현 사이에 다른 조건이 바뀌지 않는다는 것을 전제로 두 실행을 견준다.
## 지표가 갈리는 지점
두 원인을 하나씩 만든 실행에서는 지표가 갈리는 것이 확인됐다. cgroup throttling은 `cpu.max`와 `cpu.stat`의 `nr_throttled/throttled_usec`로 직접 보였고, host contention은 cgroup throttle 없이 guest `%st`와 특정 host pCPU 포화로 보였다.
두 원인이 **동시에** 걸린 경우 어떤 지표가 먼저 튀는지는 이번 실행의 범위 밖이다. 또한 두 재현의 애플리케이션 지연 크기를 동일하게 맞추는 실험은 하지 않았다.
## 한 값만 보고 판정하지 않는다
- 두 재현의 목적은 지연량 자체를 맞추는 것이 아니라 **서로 다른 원인이 어떤 계층 지표를 남기는지** 구분하는 것이다.
- 지표 하나로 원인을 확정하지 않는다. 게스트 · 호스트 · K3s 세 쪽을 같은 시각에 받아 적는다.
- refresh 경쟁 실험은 CPU 자원을 여유 있게 둔 상태에서 먼저 돌리므로 이 재현은 그 실험과 같은 시간에 걸지 않는다.
- 두 게스트의 vCPU 합 4 가 논리 코어 8 보다 적어서, 부하 쪽 재현이 경쟁을 만들려면 호스트 쪽 작업까지 같은 코어를 써야 한다.
부하를 걸었는데 경쟁이 나오지 않는 것도 이 재현의 결과로 받는다.
## throttling과 contention을 만든 방법
### 1. 두 원인을 따로 재현해 지표 조합을 나란히 놓는다
2026-09-21에는 실제 Keycloak 설정을 바꾸지 않았다. cgroup 쪽은 disposable `cpu-throttle-probe`에 `100m` limit을 걸어 quota가 남기는 `cpu.max`·`cpu.stat` 변화를 확인했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning한 뒤 guest CPU-bound 부하를 걸어 `%st`와 host pCPU 포화를 확인했다.
두 실행의 애플리케이션 지연을 같은 크기로 맞추는 것이 목적이 아니라, **각 원인이 어느 계층에 어떤 지표를 남기는지**를 분리하는 것이 목적이다. 실험이 끝난 뒤 disposable pod를 삭제하고 vCPU affinity도 `0-7`로 복원했다.
### 2. 호스트 쪽 항목부터 보고 범위를 줄인다
호스트 CPU 와 실행 대기열, CPU 별 사용률을 먼저 본다.
호스트에 여유가 있는데 파드만 느리면 조사 범위가 cgroup 쪽으로 줄어든다.
호스트가 포화된 것으로 나오면 거기서 끝나지 않는다. 그 구간에 파드의 상한도 함께 걸려 있었는지는 이 순서로 가려낼 수 없어서, 결국 첫 번째 선택지의 두 재현으로 돌아간다.
### 3. throttled time 하나로 가른다 — 제외
throttled time 이 0 이 아니면 cgroup 제한, 0 이면 호스트 경쟁으로 읽는 방법이다.
진단표는 두 행에 각각 두 항목 이상을 적어 두었다. 지표 하나로 원인을 확정하지 않기로 하고 만든 표이므로 이 순서는 쓰지 않는다.
## quota와 steal을 함께 봐야 두 경로를 가를 수 있다
진단 순서는 다음처럼 잡을 수 있다: 먼저 pod/container의 `cpu.max`와 `cpu.stat`에서 quota/throttling을 확인하고, 동시에 guest `%st`와 host pCPU 사용률을 본다. **`nr_throttled`가 증가하고 steal이 낮으면 cgroup quota 쪽, quota가 없거나 throttle이 0인데 steal과 host pCPU 포화가 보이면 host/vCPU contention 쪽**으로 조사 범위를 줄인다. 지표 하나만으로 최종 원인을 확정하지는 않는다.