12 KiB
id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
| id | kind | slug | title | topic | topicName | project | status | questionStatus | lastVerifiedOn | studio | sourceRevision | evidence | source | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 79ac61d6-cbe6-483b-9961-02ca8c02b5c2 | QUESTION | network-virtualization-cpu-cost-under-load | 부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가 | network-virtualization | 네트워크 가상화 | virtualization | 초안 | RESOLVED | 2026-09-21 | https://hyeonworks.com/studio/documents/79ac61d6-cbe6-483b-9961-02ca8c02b5c2/edit | no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 |
|
|
부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가
2026-09-21 외부 auth.hyeonworks.com 경로에 OIDC discovery 4000회, concurrency 40 부하를 걸고 host의 vhost thread, QEMU vCPU, /proc/softirqs, /proc/stat, vmstat과 별도 probe latency를 함께 기록했다. 부하 중 vhost CPU와 NET_RX softirq는 실제로 증가했지만 host에는 39~56% idle CPU가 남았다. 현재 부하 수준에서는 network virtualization CPU cost가 관측되지만 host CPU를 포화시켜 지연을 지배했다는 근거는 없다.
부하 중 vhost와 softirq CPU 결과
-
2026-09-21 재검증에서 baseline에서
vhost-167796,vhost-272123,vhost-272149thread는pidstat평균 0.00% CPU였다. host는 약 95~97% idle이었다. -
2026-09-21 재검증에서 외부 OIDC discovery 4000회/concurrency 40 부하는 6.469초에
rc=0으로 끝났다. 이 구간 vhost 평균 CPU는 edge 9.75%,kc-lab-13.62%,kc-lab-23.75%였다. -
2026-09-21 재검증에서 같은 구간 host
vmstat은 가장 바쁜 샘플에서도 idle 약 3956%를 남겼다. guest 실행을 나타내는44%까지 올라 vCPU workload 자체의 CPU 사용이 vhost보다 훨씬 컸다.gu는 약 31 -
2026-09-21 재검증에서
NET_RXsoftirq event는 8 CPU 합계로 15,265회 증가했다. 별도 3000회/concurrency 40 실행에서/proc/statsoftirq CPU time은 26 tick 증가했고CLK_TCK=100이므로 0.26 CPU-second다. 3.953초 구간에서 한 core 기준 약 6.58%, 전체 8 CPU capacity 기준 약 0.82%에 해당한다. -
2026-09-21 재검증에서 외부 serial probe latency는 baseline 20회에서 avg 15.2 ms, p95 31.8 ms였다. concurrency 40 부하 중 40개 probe는 avg 33.4 ms, p95 62.9 ms였다. 지연은 올랐지만 같은 구간 guest vCPU 사용량도 크게 올라 network virtualization 비용만의 영향으로 분리되지 않는다.
-
「Host CPU Contention으로 network latency 증가」에서는 vhost-net · QEMU thread · softirq 도 호스트 CPU 를 쓰고, 따라서 네트워크 문제처럼 보여도 CPU 스케줄링 문제일 수 있다고 적었다.
-
「vhost-net 최적화」에서는 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간을 오가는 전환 비용이 쌓인다고 밝혔다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다.
-
「Interrupt / Notification 최적화」에서는 게스트와 호스트가 큐에 새 패킷이나 버퍼가 있음을 서로 알려야 한다고 적었다. 패킷마다 인터럽트나 알림이 지나치게 많이 발생하면 오버헤드가 커지므로 batching · interrupt moderation · queueing 이 중요하다고 밝혔다.
-
Refresh token 경쟁과 네트워크 가상화 비용은 별도로 측정한다. 현재 lab에서는 클라이언트부터 PostgreSQL까지의 경로를 확인하고, Redis를 사용하는 별도 구조에서는 Redis 구간을 추가한다.
-
「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁이나 DB lock 으로 오해할 수 있다고 든 다섯 Node1 요청만 지연 VM2 packet loss Host bridge misconfiguration NAT/conntrack issue Host CPU contention으로 vhost 처리 지연
-
같은 시간축에 놓을 값은 여섯이다. QEMU CPU vhost thread CPU softirq Host CPU Guest CPU network latency
-
QEMU CPU와 Guest CPU는 같은 부하 구간의 CPU 가상화 측정값을 재사용한다.
ps ... | grep qemu는 QEMU 스레드만 남기므로 vhost 커널 스레드는 별도로 찾아야 한다. -
이번 재검증에서는
/proc/softirqs의NET_RXevent 증가량과/proc/stat의 softirq CPU time을 함께 사용했다. event 수와 CPU time은 같은 값이 아니므로 둘을 구분해 기록했다. -
「vhost-net은 QEMU를 제거하지 않는다」에서는 vhost-net 을 써도 QEMU 가 VM lifecycle · virtio device 생성 · feature negotiation · queue configuration · backend 연결 · device reset 을 계속 맡는다고 적었다.
-
「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT 만 두었다고 관측으로 적었다. 지금 호스트에는
:443을 듣는 리스너가 없다. -
「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 호스트의 논리 코어가 8 이고 게스트 셋에 vCPU 2 · 2 · 1 을 배분했다고 적었다. 부하 구간의 호스트 CPU 사용량은 이 수와 나란히 읽는다.
-
「단계 06 — Prometheus 와 Grafana」에 적은 스크레이프 대상은 keycloak · kubelet · node-exporter · prometheus 넷이고 node-exporter 는 게스트 노드마다 하나씩 붙는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 이 실험대가 호스트 쪽 지표를 긁지 않는다고 적었다.
-
2026-09-21 외부 OIDC read-only 부하에서 vhost thread CPU, NET_RX event, softirq CPU time, host idle, guest workload CPU, probe latency를 같은 실행 구간에 기록했다.
외부 OIDC 부하 동안 vhost와 softirq를 함께 재었다
- baseline과 외부 OIDC load 구간을 나눠 같은 host에서 연속 측정했다.
- vhost kernel thread는
pidstat으로 thread별 CPU를 읽고, QEMU/guest workload CPU와 분리했다. - network latency는 별도 serial probe를 baseline과 load 구간에 각각 실행해 avg/p95를 비교했다.
- host와 guest 절대 시각은 약 90초 어긋나 있었다. 이번 측정은 workmachine이 외부 load를 시작하는 동안 host 측정 프로세스를 동시에 실행해 같은 wall-clock timestamp join 없이도 overlap을 보장했다.
- Edge Nginx workload는 edge guest와 그 QEMU/vCPU 경로의 CPU 사용량에 포함된다. 따라서 host CPU 증가분 전체를 vhost/softirq 비용으로 읽지 않고, vhost thread CPU와 softirq CPU time을 별도로 분리했다.
비용 존재와 병목 여부는 다르다
현재 OIDC read-only 부하 수준에서 vhost thread CPU, softirq event/time, host idle, guest vCPU 사용량, 외부 latency 변화는 모두 측정됐다. vhost와 softirq 비용은 baseline보다 증가했지만 host CPU capacity를 포화시키지 않았다.
남는 것은 실제 refresh-token/DB workload에서 같은 패턴이 유지되는지와, vhost CPU 배치나 multi-queue 변경이 latency를 개선하는지다. 이 둘은 현재 구조의 비용 존재 여부가 아니라 다른 workload/튜닝 효과를 묻는 별도 실험이다.
현재 packet rate에서의 범위
- 실험 조건을 바꾸지 않고 관찰만 덧붙인다. CPU 가상화 쪽 물음이 같은 실험 구간을 쓰기로 되어 있어 부하 수준을 바꾸면 두 기록을 겹쳐 읽지 못한다.
- 기준값을 먼저 찍는다. 부하 구간의 값만 있으면 그것이 평소 값인지 부하 때문에 오른 값인지 판정할 수 없다.
- 새로 추가할 값은 vhost 처리 주체의 CPU 사용량과 softirq다. QEMU CPU·Guest CPU·steal time은 같은 실험의 CPU 측정값을 쓰고, network latency는 부하 도구 값을 쓴다.
- 호스트 쪽 값은 손으로 읽어 남긴다. 「단계 06 — Prometheus 와 Grafana」의 관측 스택은 게스트 안에서 돌고 「이 구축이 제1
4부의 어느 구조에 닿나」에 적은 대로 호스트 지표를 긁지 않는다. 「이 구축이 제14부의 어느 구조에 닿나」에서는 node-exporter 가 게스트 커널이 내놓는 값을 읽으므로 그 값이 전부 게스트가 본 것이고 호스트에서 같은 것을 재면 다른 수가 나올 수 있다고 추론으로 덧붙였다. - 두 지표가 움직이지 않았다는 결과가 나와도 Refresh Token 실험의 결론이 바뀌지는 않는다. 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁과 네트워크 가상화를 별개 문제로 놓았기 때문에, 여기서 갈리는 것은 그 실험 결과를 애플리케이션과 저장소 쪽으로 읽어도 되는지 하나다.
- 2026-09-21
lscpu전체 출력으로 host가 4 cores / 8 logical CPUs, single socket, single NUMA node임을 확인했다. 향후 vhost affinity를 비교할 때는 이 topology와PSR을 함께 기록한다. - 2026-09-21 현재 host에서 직접 측정한 값으로 판단한다. 이 수치를 다른 장비나 더 높은 packet rate에 그대로 적용하지 않는다.
어떻게 겹쳐 봤나
1. 실험을 그대로 두고 vhost 스레드와 softirq 만 덧붙여 잰다
CPU 가상화 쪽 물음이 이미 같은 구간에서 Guest steal time 과 QEMU vCPU 스레드를 기록하므로, 여기서는 그 기록에 없는 둘을 같은 시각에 붙인다. 실험 조건을 건드리지 않아서 두 기록을 겹쳐 읽을 수 있다.
이 방법으로는 이번 부하 수준에서 두 지표가 움직였는지 하나만 알 수 있다.
2. 부하 직전 구간을 기준값으로 따로 찍는다
부하를 걸기 전에 같은 여섯 지표를 한 번 찍어 baseline을 만든다. 기준값 없이 부하 구간만 찍으면 vhost 스레드 사용량이 어떤 값으로 나오든 그것이 평소 값인지 부하 때문에 오른 값인지 판정하지 못한다.
3. network latency 를 같은 시간축에 올려 함께 본다
vhost 스레드와 softirq 가 올라도 지연이 그대로면 이 부하 수준에서는 지연을 바꾸지 않았다고 적을 수 있다. 원문의 7번째 확인 항목에서 network latency 를 함께 보도록 한 이유가 여기에 있다. 대신 호스트와 부하 도구의 시각을 맞춰야 세 값을 겹쳐 놓을 수 있다.
4. 제외 — 초당 패킷 수를 따로 올려 vhost를 포화시킨다
그렇게 하면 vhost 자체의 처리 한계를 측정할 수 있지만 현재 Keycloak 부하 조건과는 다른 실험이 된다. 먼저 실제 Keycloak 부하 조건을 그대로 두고 측정하고, vhost 자체의 한계를 보려면 별도 네트워크 부하 실험으로 분리한다.
비용은 보였지만 host CPU 병목으로 보이지 않았다
현재 외부 OIDC read-only 부하에서는 vhost thread와 NET_RX softirq 비용이 baseline보다 증가하고 request latency도 상승했지만, host에는 3956% idle CPU가 남았고 vhost CPU는 edge 약 9.75%, worker 각각 약 3.63.8%였다. softirq CPU time도 전체 8 CPU capacity의 약 0.82% 수준이었다. 따라서 network virtualization CPU cost는 실제로 존재하지만, 이 부하에서 host CPU를 포화시켜 지연을 지배하는 병목으로 보이지 않는다. 실제 refresh workload에서는 같은 지표를 다시 겹쳐 확인한다.