--- id: 79ac61d6-cbe6-483b-9961-02ca8c02b5c2 kind: QUESTION slug: network-virtualization-cpu-cost-under-load title: 부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가 topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 questionStatus: RESOLVED lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/79ac61d6-cbe6-483b-9961-02ca8c02b5c2/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 evidence: - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt source: - final/document.md#122-open-question-oq-7 - final/document.md#117-이-구조에서-발생할-수-있는-문제-117-7 - final/document.md#107-vhost-net-최적화 - final/document.md#111-interrupt-notification-최적화 - final/document.md#120-keycloak-refresh-token-실험과의-관계 --- # 부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가 2026-09-21 외부 `auth.hyeonworks.com` 경로에 OIDC discovery 4000회, concurrency 40 부하를 걸고 host의 vhost thread, QEMU vCPU, `/proc/softirqs`, `/proc/stat`, `vmstat`과 별도 probe latency를 함께 기록했다. 부하 중 vhost CPU와 NET_RX softirq는 실제로 증가했지만 host에는 39~56% idle CPU가 남았다. 현재 부하 수준에서는 network virtualization CPU cost가 관측되지만 host CPU를 포화시켜 지연을 지배했다는 근거는 없다. ## 부하 중 vhost와 softirq CPU 결과 - 2026-09-21 재검증에서 baseline에서 `vhost-167796`, `vhost-272123`, `vhost-272149` thread는 `pidstat` 평균 0.00% CPU였다. host는 약 95~97% idle이었다. - 2026-09-21 재검증에서 외부 OIDC discovery 4000회/concurrency 40 부하는 6.469초에 `rc=0`으로 끝났다. 이 구간 vhost 평균 CPU는 edge 9.75%, `kc-lab-1` 3.62%, `kc-lab-2` 3.75%였다. - 2026-09-21 재검증에서 같은 구간 host `vmstat`은 가장 바쁜 샘플에서도 idle 약 39~56%를 남겼다. guest 실행을 나타내는 `gu`는 약 31~44%까지 올라 vCPU workload 자체의 CPU 사용이 vhost보다 훨씬 컸다. - 2026-09-21 재검증에서 `NET_RX` softirq event는 8 CPU 합계로 15,265회 증가했다. 별도 3000회/concurrency 40 실행에서 `/proc/stat` softirq CPU time은 26 tick 증가했고 `CLK_TCK=100`이므로 0.26 CPU-second다. 3.953초 구간에서 한 core 기준 약 6.58%, 전체 8 CPU capacity 기준 약 0.82%에 해당한다. - 2026-09-21 재검증에서 외부 serial probe latency는 baseline 20회에서 avg 15.2 ms, p95 31.8 ms였다. concurrency 40 부하 중 40개 probe는 avg 33.4 ms, p95 62.9 ms였다. 지연은 올랐지만 같은 구간 guest vCPU 사용량도 크게 올라 network virtualization 비용만의 영향으로 분리되지 않는다. - 「Host CPU Contention으로 network latency 증가」에서는 vhost-net · QEMU thread · softirq 도 호스트 CPU 를 쓰고, 따라서 네트워크 문제처럼 보여도 CPU 스케줄링 문제일 수 있다고 적었다. - 「vhost-net 최적화」에서는 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간을 오가는 전환 비용이 쌓인다고 밝혔다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다. - 「Interrupt / Notification 최적화」에서는 게스트와 호스트가 큐에 새 패킷이나 버퍼가 있음을 서로 알려야 한다고 적었다. 패킷마다 인터럽트나 알림이 지나치게 많이 발생하면 오버헤드가 커지므로 batching · interrupt moderation · queueing 이 중요하다고 밝혔다. - Refresh token 경쟁과 네트워크 가상화 비용은 별도로 측정한다. 현재 lab에서는 클라이언트부터 PostgreSQL까지의 경로를 확인하고, Redis를 사용하는 별도 구조에서는 Redis 구간을 추가한다. - 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁이나 DB lock 으로 오해할 수 있다고 든 다섯 Node1 요청만 지연 VM2 packet loss Host bridge misconfiguration NAT/conntrack issue Host CPU contention으로 vhost 처리 지연 - 같은 시간축에 놓을 값은 여섯이다. QEMU CPU vhost thread CPU softirq Host CPU Guest CPU network latency - QEMU CPU와 Guest CPU는 같은 부하 구간의 CPU 가상화 측정값을 재사용한다. `ps ... | grep qemu`는 QEMU 스레드만 남기므로 vhost 커널 스레드는 별도로 찾아야 한다. - 이번 재검증에서는 `/proc/softirqs`의 `NET_RX` event 증가량과 `/proc/stat`의 softirq CPU time을 함께 사용했다. event 수와 CPU time은 같은 값이 아니므로 둘을 구분해 기록했다. - 「vhost-net은 QEMU를 제거하지 않는다」에서는 vhost-net 을 써도 QEMU 가 VM lifecycle · virtio device 생성 · feature negotiation · queue configuration · backend 연결 · device reset 을 계속 맡는다고 적었다. - 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT 만 두었다고 관측으로 적었다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다. - 「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 호스트의 논리 코어가 8 이고 게스트 셋에 vCPU 2 · 2 · 1 을 배분했다고 적었다. 부하 구간의 호스트 CPU 사용량은 이 수와 나란히 읽는다. - 「단계 06 — Prometheus 와 Grafana」에 적은 스크레이프 대상은 keycloak · kubelet · node-exporter · prometheus 넷이고 node-exporter 는 게스트 노드마다 하나씩 붙는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 이 실험대가 호스트 쪽 지표를 긁지 않는다고 적었다. - 2026-09-21 외부 OIDC read-only 부하에서 vhost thread CPU, NET_RX event, softirq CPU time, host idle, guest workload CPU, probe latency를 같은 실행 구간에 기록했다. ## 외부 OIDC 부하 동안 vhost와 softirq를 함께 재었다 - baseline과 외부 OIDC load 구간을 나눠 같은 host에서 연속 측정했다. - vhost kernel thread는 `pidstat`으로 thread별 CPU를 읽고, QEMU/guest workload CPU와 분리했다. - network latency는 별도 serial probe를 baseline과 load 구간에 각각 실행해 avg/p95를 비교했다. - host와 guest 절대 시각은 약 90초 어긋나 있었다. 이번 측정은 workmachine이 외부 load를 시작하는 동안 host 측정 프로세스를 동시에 실행해 같은 wall-clock timestamp join 없이도 overlap을 보장했다. - Edge Nginx workload는 edge guest와 그 QEMU/vCPU 경로의 CPU 사용량에 포함된다. 따라서 host CPU 증가분 전체를 vhost/softirq 비용으로 읽지 않고, vhost thread CPU와 softirq CPU time을 별도로 분리했다. ## 비용 존재와 병목 여부는 다르다 현재 OIDC read-only 부하 수준에서 vhost thread CPU, softirq event/time, host idle, guest vCPU 사용량, 외부 latency 변화는 모두 측정됐다. vhost와 softirq 비용은 baseline보다 증가했지만 host CPU capacity를 포화시키지 않았다. 남는 것은 실제 refresh-token/DB workload에서 같은 패턴이 유지되는지와, vhost CPU 배치나 multi-queue 변경이 latency를 개선하는지다. 이 둘은 현재 구조의 비용 존재 여부가 아니라 다른 workload/튜닝 효과를 묻는 별도 실험이다. ## 현재 packet rate에서의 범위 - 실험 조건을 바꾸지 않고 관찰만 덧붙인다. CPU 가상화 쪽 물음이 같은 실험 구간을 쓰기로 되어 있어 부하 수준을 바꾸면 두 기록을 겹쳐 읽지 못한다. - 기준값을 먼저 찍는다. 부하 구간의 값만 있으면 그것이 평소 값인지 부하 때문에 오른 값인지 판정할 수 없다. - 새로 추가할 값은 vhost 처리 주체의 CPU 사용량과 softirq다. QEMU CPU·Guest CPU·steal time은 같은 실험의 CPU 측정값을 쓰고, network latency는 부하 도구 값을 쓴다. - 호스트 쪽 값은 손으로 읽어 남긴다. 「단계 06 — Prometheus 와 Grafana」의 관측 스택은 게스트 안에서 돌고 「이 구축이 제1~4부의 어느 구조에 닿나」에 적은 대로 호스트 지표를 긁지 않는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 node-exporter 가 게스트 커널이 내놓는 값을 읽으므로 그 값이 전부 게스트가 본 것이고 호스트에서 같은 것을 재면 다른 수가 나올 수 있다고 추론으로 덧붙였다. - 두 지표가 움직이지 않았다는 결과가 나와도 Refresh Token 실험의 결론이 바뀌지는 않는다. 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁과 네트워크 가상화를 별개 문제로 놓았기 때문에, 여기서 갈리는 것은 그 실험 결과를 애플리케이션과 저장소 쪽으로 읽어도 되는지 하나다. - 2026-09-21 `lscpu` 전체 출력으로 host가 4 cores / 8 logical CPUs, single socket, single NUMA node임을 확인했다. 향후 vhost affinity를 비교할 때는 이 topology와 `PSR`을 함께 기록한다. - 2026-09-21 현재 host에서 직접 측정한 값으로 판단한다. 이 수치를 다른 장비나 더 높은 packet rate에 그대로 적용하지 않는다. ## 어떻게 겹쳐 봤나 ### 1. 실험을 그대로 두고 vhost 스레드와 softirq 만 덧붙여 잰다 CPU 가상화 쪽 물음이 이미 같은 구간에서 Guest steal time 과 QEMU vCPU 스레드를 기록하므로, 여기서는 그 기록에 없는 둘을 같은 시각에 붙인다. 실험 조건을 건드리지 않아서 두 기록을 겹쳐 읽을 수 있다. 이 방법으로는 이번 부하 수준에서 두 지표가 움직였는지 하나만 알 수 있다. ### 2. 부하 직전 구간을 기준값으로 따로 찍는다 부하를 걸기 전에 같은 여섯 지표를 한 번 찍어 baseline을 만든다. 기준값 없이 부하 구간만 찍으면 vhost 스레드 사용량이 어떤 값으로 나오든 그것이 평소 값인지 부하 때문에 오른 값인지 판정하지 못한다. ### 3. network latency 를 같은 시간축에 올려 함께 본다 vhost 스레드와 softirq 가 올라도 지연이 그대로면 이 부하 수준에서는 지연을 바꾸지 않았다고 적을 수 있다. 원문의 7번째 확인 항목에서 network latency 를 함께 보도록 한 이유가 여기에 있다. 대신 호스트와 부하 도구의 시각을 맞춰야 세 값을 겹쳐 놓을 수 있다. ### 4. 제외 — 초당 패킷 수를 따로 올려 vhost를 포화시킨다 그렇게 하면 vhost 자체의 처리 한계를 측정할 수 있지만 현재 Keycloak 부하 조건과는 다른 실험이 된다. 먼저 실제 Keycloak 부하 조건을 그대로 두고 측정하고, vhost 자체의 한계를 보려면 별도 네트워크 부하 실험으로 분리한다. ## 비용은 보였지만 host CPU 병목으로 보이지 않았다 현재 외부 OIDC read-only 부하에서는 vhost thread와 NET_RX softirq 비용이 baseline보다 증가하고 request latency도 상승했지만, host에는 39~56% idle CPU가 남았고 vhost CPU는 edge 약 9.75%, worker 각각 약 3.6~3.8%였다. softirq CPU time도 전체 8 CPU capacity의 약 0.82% 수준이었다. 따라서 **network virtualization CPU cost는 실제로 존재하지만, 이 부하에서 host CPU를 포화시켜 지연을 지배하는 병목으로 보이지 않는다.** 실제 refresh workload에서는 같은 지표를 다시 겹쳐 확인한다.