8.5 KiB
id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
| id | kind | slug | title | topic | topicName | project | status | questionStatus | lastVerifiedOn | studio | sourceRevision | evidence | source | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 116b806c-b176-401c-9363-1489fffb721c | QUESTION | throttling-vs-contention | cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가 | cpu-virtualization | CPU 가상화 | virtualization | 초안 | RESOLVED | 2026-09-21 | https://hyeonworks.com/studio/documents/116b806c-b176-401c-9363-1489fffb721c/edit | no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 |
|
|
cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가
2026-09-21 현재 Keycloak은 CPU request 100m만 있고 CPU limit은 없으며 컨테이너의 cpu.max는 max 100000, nr_throttled=0이었다. 별도 disposable pod에 100m CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. 두 원인은 실제 지표 조합이 다르게 나타났다.
두 원인을 따로 재현한 결과
-
2026-09-21 재검증에서
keycloak-0,keycloak-1은 CPU request100m, CPU limit 없음이다. 두 컨테이너의cpu.max는max 100000,nr_throttled=0,throttled_usec=0이었다. -
2026-09-21 재검증에서 disposable
cpu-throttle-probe에 CPU limit100m를 적용하자cpu.max=10000 100000,nr_periods=54,nr_throttled=46,throttled_usec=4317644가 나왔다. 약 5초의 CPU-bound 실행에서 cgroup quota가 실제로 throttle을 걸었다. -
2026-09-21 재검증에서 반대 비교군에서는
kc-lab-1의 vCPU 2개를 모두 pCPU0에 live pinning하고 guest 안에서 CPU-bound thread 2개를 실행했다. guestvmstat은 반복해서%st=50%를 보였고 host CPU0은%guest≈99%,%idle≈0%였다. -
2026-09-21 재검증에서 같은 host-contention 구간에도
keycloak-1의cpu.max=max 100000,nr_throttled=0,throttled_usec=0은 그대로였다. 즉 steal 증가와 cgroup throttling은 서로 다른 계층에서 독립적으로 관측됐다. -
2026-09-21 재검증에서 contention 실험 뒤
kc-lab-1vCPU affinity를 다시0-7로 복원했고 disposable pod도 삭제했다. -
가상 머신 안에서 K3s 를 돌리면 물리 CPU 와 Keycloak 파드 사이에 호스트·하이퍼바이저, 게스트 Linux, K3s, cgroup CPU limit 이 차례로 놓인다.
-
호스트 CPU 에 여유가 있어도 Keycloak 파드는 설정된 CPU 상한 때문에 실행이 제한될 수 있다.
-
호스트 CPU 를 받지 못해 생긴 문제와 파드가 자신의 CPU 상한을 넘겨 생긴 문제는 서로 다른 계층에 있다. 앞의 것은 경쟁과 steal time, 스케줄링 쪽이고 뒤의 것은 cgroup 제한 쪽이다.
-
cgroup 제한 자체는 KVM 문제가 아니다. 그래도 가상 머신 안에서 K3s를 운영하는 지금 환경에서는 cgroup 제한과 호스트 CPU 경쟁이 같은 애플리케이션 지연으로 보일 수 있다. 그래서 두 원인을 함께 비교하되, 각각 다른 계층의 지표로 가른다.
-
계층별 진단표가 적은 우선 확인 항목은 이렇게 갈린다. CPU throttling : CPU limit · throttled time CPU contention : 호스트 CPU · 실행 대기열 · CPU 별 사용률
-
같은 표가 두 원인의 대표적인 현상도 갈라 적었다. cgroup 쪽은 파드가 CPU 를 더 쓰려 해도 상한에 막힌 것이고, 경쟁 쪽은 실행 가능한 작업이 늘면서 지연이 늘어난 것이다. 갈라 적힌 현상은 각 계층에서 보이는 모습이라, 애플리케이션 지연만 보고 있으면 그 구분이 드러나지 않는다.
-
그 표는 지표 하나로 원인을 확정하려고 만든 것이 아니라 어느 계층부터 조사할지 범위를 줄인다.
-
「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다.
-
2026-09-21 재검증에서 cgroup throttling과 host contention을 각각 따로 재현해
cpu.stat, guest%st, host pCPU 사용률을 직접 비교했다.
재현 조건
- 두 원인은 같은 애플리케이션 지연 크기로 맞추지 않고, 각 계층의 대표 지표가 어떻게 달라지는지를 비교했다.
- cgroup 쪽은 disposable pod에
100mlimit을 걸어 재현했고, host contention 쪽은kc-lab-1의 두 vCPU를 pCPU0 하나에 live pinning해 의도적으로 경쟁을 만들었다. - 실험용 pod와 vCPU affinity는 측정 뒤 원상복구했다.
- 두 재현 사이에 다른 조건이 바뀌지 않는다는 것을 전제로 두 실행을 견준다.
지표가 갈리는 지점
두 원인을 하나씩 만든 실행에서는 지표가 갈리는 것이 확인됐다. cgroup throttling은 cpu.max와 cpu.stat의 nr_throttled/throttled_usec로 직접 보였고, host contention은 cgroup throttle 없이 guest %st와 특정 host pCPU 포화로 보였다.
두 원인이 동시에 걸린 경우 어떤 지표가 먼저 튀는지는 이번 실행의 범위 밖이다. 또한 두 재현의 애플리케이션 지연 크기를 동일하게 맞추는 실험은 하지 않았다.
한 값만 보고 판정하지 않는다
- 두 재현의 목적은 지연량 자체를 맞추는 것이 아니라 서로 다른 원인이 어떤 계층 지표를 남기는지 구분하는 것이다.
- 지표 하나로 원인을 확정하지 않는다. 게스트 · 호스트 · K3s 세 쪽을 같은 시각에 받아 적는다.
- refresh 경쟁 실험은 CPU 자원을 여유 있게 둔 상태에서 먼저 돌리므로 이 재현은 그 실험과 같은 시간에 걸지 않는다.
- 두 게스트의 vCPU 합 4 가 논리 코어 8 보다 적어서, 부하 쪽 재현이 경쟁을 만들려면 호스트 쪽 작업까지 같은 코어를 써야 한다. 부하를 걸었는데 경쟁이 나오지 않는 것도 이 재현의 결과로 받는다.
throttling과 contention을 만든 방법
1. 두 원인을 따로 재현해 지표 조합을 나란히 놓는다
2026-09-21에는 실제 Keycloak 설정을 바꾸지 않았다. cgroup 쪽은 disposable cpu-throttle-probe에 100m limit을 걸어 quota가 남기는 cpu.max·cpu.stat 변화를 확인했고, host contention 쪽은 kc-lab-1의 두 vCPU를 pCPU0 하나에 live pinning한 뒤 guest CPU-bound 부하를 걸어 %st와 host pCPU 포화를 확인했다.
두 실행의 애플리케이션 지연을 같은 크기로 맞추는 것이 목적이 아니라, 각 원인이 어느 계층에 어떤 지표를 남기는지를 분리하는 것이 목적이다. 실험이 끝난 뒤 disposable pod를 삭제하고 vCPU affinity도 0-7로 복원했다.
2. 호스트 쪽 항목부터 보고 범위를 줄인다
호스트 CPU 와 실행 대기열, CPU 별 사용률을 먼저 본다. 호스트에 여유가 있는데 파드만 느리면 조사 범위가 cgroup 쪽으로 줄어든다.
호스트가 포화된 것으로 나오면 거기서 끝나지 않는다. 그 구간에 파드의 상한도 함께 걸려 있었는지는 이 순서로 가려낼 수 없어서, 결국 첫 번째 선택지의 두 재현으로 돌아간다.
3. throttled time 하나로 가른다 — 제외
throttled time 이 0 이 아니면 cgroup 제한, 0 이면 호스트 경쟁으로 읽는 방법이다. 진단표는 두 행에 각각 두 항목 이상을 적어 두었다. 지표 하나로 원인을 확정하지 않기로 하고 만든 표이므로 이 순서는 쓰지 않는다.
quota와 steal을 함께 봐야 두 경로를 가를 수 있다
진단 순서는 다음처럼 잡을 수 있다: 먼저 pod/container의 cpu.max와 cpu.stat에서 quota/throttling을 확인하고, 동시에 guest %st와 host pCPU 사용률을 본다. nr_throttled가 증가하고 steal이 낮으면 cgroup quota 쪽, quota가 없거나 throttle이 0인데 steal과 host pCPU 포화가 보이면 host/vCPU contention 쪽으로 조사 범위를 줄인다. 지표 하나만으로 최종 원인을 확정하지는 않는다.