refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 14:43:41 +09:00
parent a5d68c0767
commit 1549e62b5e
321 changed files with 13091 additions and 4522 deletions
@@ -52,30 +52,6 @@ source:
가상 머신 안의 Keycloak 이 HTTP 요청 하나를 받으려면 그 패킷이 호스트의 물리 NIC 에서 Linux Bridge 와 TAP, vhost-net, virtqueue 를 지나 게스트 커널의 TCP/IP 스택까지 올라와야 한다. virtio-net 은 그 경로에 놓인 프로그램 하나가 아니라 게스트 쪽 프런트엔드 드라이버와 호스트 쪽 백엔드를 잇는 I/O 계약이고, 그 백엔드 자리는 QEMU 사용자 공간이 맡을 수도 호스트 커널의 vhost-net 이 맡을 수도 있다. 가상 머신 두 대로 Keycloak 멀티 노드 실험을 돌리다 요청이 느려지거나 아예 닿지 않으면, 이 경로를 알아야 그 증상을 애플리케이션·저장소 쪽 문제와 네트워크 가상화 계층 문제로 갈라 볼 수 있다.
## 관계
- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다**
이 글이 세운 계층을 그대로 관측 지점으로 쓰는 절차다. 어느 계층까지 패킷이 보였는지로 의심 구간을 좁힌다.
- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다**
이 경로가 실험의 여러 노드에 공유되기 때문에 생기는 오귀속을 막는 기준이다.
- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가**
이 글은 Bridge 와 라우팅, NAT 가 각각 무엇을 하는지까지만 적었다. 이 호스트가 NAT 로 돈다는 것은 실험대를 세운 기록이 나중에 적었고, 그 구성에서 프레임이 어느 계층을 지나는지는 그 물음이 받는다.
- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가**
TAP 이 게스트의 이더넷 프레임과 호스트 네트워크를 잇는 접점이라는 설명이 이 물음의 전제다.
- **이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가**
백엔드가 QEMU 사용자 공간일 수도 vhost-net 일 수도 있다고 적었다. 이 호스트가 어느 쪽인지는 아직 모른다.
- **QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가**
두 백엔드의 경로 차이는 여기 적었지만, 그 차이가 지연이나 CPU 사용량으로 드러나는지는 재지 않았다.
- **이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가**
큐를 하나만 쓰면 부하가 몰릴 수 있다고만 적었다. 지금 큐가 몇 개인지는 확인하지 않았다.
- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가**
여기 그린 경로는 가장 기본적인 조합을 기준으로 한 것이고, 이 테스트 환경의 실제 경로는 추적하지 않았다.
- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가**
vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다는 것까지가 이 글의 범위다.
- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지**
QEMU 가 장치를 만들지만 반복 실행은 커널이 맡는다는 구조가 CPU 쪽과 같다. 그쪽 글이 같은 구분을 명령 실행으로 설명한다.
## 본문
<!-- body:start -->
@@ -326,16 +302,18 @@ sudo tcpdump -ni <tap-or-vnet>
sudo tcpdump -ni <guest-interface>
```
## 이 문서가 확인하지 않은 것
## 이 호스트에서 확인한 경로와 남은 것
위의 명령을 이 호스트에서 돌린 출력은 대부분 없다. 네트워크 구성만은 나중에 갈렸다. 실험대를 세운 기록이 이 호스트에 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT 를 골랐다고 적었고, 게스트는 그 NAT 가 만드는 브리지에 붙는다. 브리지를 막은 것은 무선 링크다. 802.11 데이터 프레임은 기본적으로 주소 필드가 3개라, AP(Access Point, 무선 접속 장치) 는 연결된 단말의 MAC 만 알고 있고 그 단말이 자기 것이 아닌 출발지 MAC 을 단 프레임을 보내면 버린다. 브리지된 가상 머신이 보내는 것이 정확히 그런 프레임이다. 우회로 4-address 모드(WDS) 가 있지만 AP 와 클라이언트 드라이버가 모두 지원해야 하고 실제로는 거의 지원되지 않아, 그 기록은 현실적인 우회로 USB 이더넷 어댑터를 들었다. 같은 기록이 NAT 와 브리지와 macvtap 을 견준 표에서 뒤의 둘은 나란히 WiFi 라 불가다. TAP 또는 vnet 인터페이스의 이름과 vhost-net 이 실제로 데이터 경로를 맡는지, multi-queue 가 켜져 있는지는 아직 읽지 않았다. 그래서 이 글은 「이 구조에서는 이렇게 동작한다」까지만 말하고 「이 서버가 그 구조다」라고는 말하지 않는다. QEMU 백엔드와 vhost-net 의 성능 차이가 이 호스트에서 관찰되는지, Keycloak 부하 시험에서 네트워크 가상화가 지연에 영향을 줄 만큼 호스트 CPU 를 쓰는지도 재지 않았다.
2026-09-21 재검증으로 현재 host의 VM network는 libvirt `default` NAT network이고 내부 L2 연결은 `virbr0`가 맡는다는 것을 확인했다. host-side interface는 `kc-lab-edge → vnet13`, `kc-lab-1 → vnet18`, `kc-lab-2 → vnet19`이고 모두 `virbr0` forwarding port다. 세 VM의 QEMU 인자에는 `vhost:true`가 있어 datapath backend는 vhost-net이며, worker 둘의 guest queue는 각각 `rx-0`/`tx-0` 한 쌍이라 현재 single-queue 구성이다.
이 문서가 Keycloak 테스트 환경에 얹어 그린 경로는 그대로 쓰지 못한다. 그 그림은 호스트의 nginx 가 가상 머신 두 대로 프록시하는 모양인데, 실험대는 그 뒤에 nginx 를 게스트 한 대로 옮기고 호스트에는 커널 DNAT(Destination NAT, 목적지 주소 변환) 만 두었다. 게스트도 둘이 아니라 셋이고, 엣지 한 대와 K3s 노드 두 대다. 브리지와 라우팅·NAT, TAP, vhost-net, virtqueue 로 펼친 뒷부분은 TAP 이름과 vhost-net 사용 여부를 확인하기 전의 가정이어서, 재기 전에는 이 글의 그림으로 올리지 않는다.
외부 진입 경로도 packet capture로 확인했다. workmachine의 요청은 `tailscale0`에서 host로 들어와 DNAT과 Tailscale postrouting source rewrite를 거친 뒤 `vnet13`으로 나가 edge guest에 도달했다. edge Nginx는 TLS를 종료하고 `192.168.122.11:80` 또는 `.12:80`으로 새 HTTP 연결을 만들었고, 해당 요청은 `vnet18` 또는 `vnet19`와 worker `enp1s0`에서 확인됐다. 따라서 현재 실험대에서는 generic physical-NIC 그림을 그대로 대입하지 않고 **Tailscale ingress → host NAT → Edge VM → virbr0 L2 forwarding → worker**라는 실제 경로를 기준으로 본다.
과거의 `Host Nginx → worker VM` 그림은 현재 구성과 다르다. 지금은 nginx가 `kc-lab-edge` 안에 있고 host는 ingress DNAT을 담당한다. 다만 그 아래의 `virbr0 → vnetN → vhost-net → virtqueue → virtio-net → guest NIC` 구조는 현재 VM별 mapping과 QEMU runtime 설정으로 확인됐다. K3s CNI·Service·Pod 내부 경로는 이 문서 범위 밖이므로 worker guest NIC 이후를 곧바로 Keycloak Pod까지 한 줄로 단정하지 않는다.
여기 적은 것은 가장 기본적인 조합 안에서만 성립한다. 실제 환경은 Bridge 와 NAT, routed network, macvtap, SR-IOV, VFIO(Virtual Function I/O) passthrough, Open vSwitch, Kubernetes CNI(Container Network Interface) 에 따라 달라질 수 있다. 이 서술 자체는 판 번호를 달고 있지 않다. 실험대를 잰 기록이 그 호스트의 libvirt 12.7.0 과 QEMU 11.1.1, 커널 7.2.2-arch1-1 을 적었다. 여기 적은 동작은 그 판에서 읽은 것이 아니라 구조를 서술한 것이라, 세 값은 확인할 때의 조건으로 쓴다. 복사 동작 하나만 봐도 커널 버전과 QEMU 버전, vhost 설정, 오프로드, NIC 의 기능에 따라 달라지므로, 버전이 바뀌어 이 서술이 낡았는지는 위 확인 명령을 실제 호스트에서 돌릴 때 드러난다.
가상 머신 위에 올린 K3s 안쪽도 이 문서 밖이다. K3s 의 CNI 와 Service, Pod 네트워크는 이 네트워크 가상화 위에 더해지는 계층이라 따로 분석한다.
확인 순서는 물리 NIC 에서 시작한다. 그다음 libvirt 가상 네트워크와 Bridge·NAT·Route 구성, 가상 머신별 TAP 또는 vnet, virtio-net 장치, vhost-net 사용 여부, 게스트 NIC 와 route 를 차례로 본다. 이어서 호스트 Nginx 에서 가상 머신까지 패킷이 지나는 길을 `tcpdump` 로 추적하고, VM1 과 VM2 사이의 경로와 Keycloak 요청 때의 패킷 흐름을 확인한다. 마지막으로 부하를 걸었을 때 QEMU 와 vhost 의 CPU 사용량을 비교하고 multi-queue 와 오프로드 설정을 본다. 검증되지 않은 항목은 열린 질문으로 두고, 실제 결과가 나오면 재현 조건을 붙인 기록으로 옮긴다.
현재까지 구성·mapping·vhost-net·single queue·실제 ingress와 edge→worker packet path는 확인됐다. 부하 중 네트워크 가상화 CPU 비용도 2026-09-21에 측정했고, 이번 OIDC 부하 수준에서는 vhost/softirq 증가가 host CPU 전체를 지배하는 병목으로 보이지 않았다. 아직 남은 것은 QEMU userspace backend와 vhost-net을 같은 조건으로 비교하는 실험, RSS/RPS/XPS와 offload feature의 실제 상태다. 특히 offload feature 출력은 이번 캡처에서 확보하지 못했으므로 `tcpdump`의 packet size나 checksum을 wire-level 값으로 일반화하지 않는다.
<!-- body:end -->
@@ -2,14 +2,25 @@
id: 600a2621-f6d8-42df-9629-7db65011545d
kind: QUESTION
slug: actual-packet-path-nginx-to-keycloak
title: Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가
title: 외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가
topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/600a2621-f6d8-42df-9629-7db65011545d/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt
source:
- final/document.md#122-open-question-oq-6
- final/document.md#116-현재-keycloak-k3s-테스트-환경과-연결
@@ -18,83 +29,73 @@ source:
- final/document.md#125-최종-기준-구조
---
# Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가
# 외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가
경로가 한 번 바뀌었다. §179 는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT(Destination NAT, 목적지 주소 변환) 만 두었다고 적었다. §116 이 그린 그림은 옮기기 전 모양이고, 네 지점에 tcpdump 를 걸어 본 기록은 아직 없다.
2026-09-21 같은 OIDC discovery 요청을 `tailscale0`, `virbr0`, edge의 `vnet13/enp1s0`, worker의 `vnet18/vnet19/enp1s0`에서 추적했다. 실제 경로는 **Tailscale ingress → host DNAT/source rewrite → edge Nginx → virbr0 L2 forwarding → worker Traefik**으로 확인됐다. edge Nginx가 TLS를 종료한 뒤 worker로 새 HTTP 연결을 만들기 때문에 ingress TLS 연결과 worker HTTP 연결은 같은 TCP flow가 아니다.
## 관계
## 2026-09-21에 캡처한 실제 경로
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
§94 와 §125 가 그린 기준 경로를 이 개념이 설명한다. 이 물음은 그 경로가 이 호스트에서도 같은지를 묻는다.
- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다**
§119 가 든 계층별 캡처 방법을 규칙으로 편 기준이다. 요청이 중간에서 끊기면 그쪽이 받는다.
- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가**
구성이 셋 중 무엇이냐에 따라 캡처를 걸 지점이 달라진다.
- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가**
tcpdump 를 걸 인터페이스의 이름을 그쪽이 댄다.
- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다**
§120 이 요구한 별도 검증에서 이 경로 확인이 첫 항목이 된다.
- 2026-09-21 재검증에서 workmachine의 요청은 `tailscale0`에서 `100.92.240.34:42996 → 100.83.212.4:443`으로 보였다. 같은 TCP sequence가 `vnet13`에서는 `192.168.122.1:42996 → 192.168.122.10:443`으로 보였다. destination DNAT뿐 아니라 source rewrite도 실제로 발생했다.
- host `ip nat`에는 Tailscale의 `ts-postrouting` chain이 있고 fwmark `0x00040000` 패킷을 `MASQUERADE`하는 규칙이 존재했다. 따라서 기존 문서의 “lab_edge에 SNAT 규칙이 없으므로 edge가 원래 Tailscale client IP를 그대로 본다”는 설명은 현재 전체 netfilter 경로를 설명하지 못한다.
- edge Nginx는 요청을 `192.168.122.10:<ephemeral> → 192.168.122.11:80` 또는 `.12:80`의 새 HTTP 연결로 전달했다. 6회 요청에서 `worker-1/3/5`는 `vnet18 → kc-lab-1 enp1s0`, `worker-2/4/6`은 `vnet19 → kc-lab-2 enp1s0`에서 동일 GET path가 확인됐다.
- packet capture 전에 `lab-edge-dnat.service`가 active였는데도 libvirt `guest_input`의 generic reject가 allow rule보다 앞에 있어 외부 443가 `connection refused`였다. service를 restart해 allow rule을 chain 앞쪽으로 다시 삽입한 뒤 같은 OIDC 요청이 HTTP 200으로 복구됐다. service active 여부만으로 forwarding 가능 여부를 판단할 수 없다.
- 이번 캡처 시점에는 host와 guest에서 `ethtool` feature 값을 확보하지 못했다. `79-network-offload-state.txt`에도 대상 이름만 남고 feature 출력은 없다. 따라서 `tcpdump`의 packet size/checksum을 wire-level 값으로 일반화하지 않고, 경로 판정에는 주소·포트·동일 HTTP path를 사용했다.
## 사실
- §116 이 그린 테스트 환경의 요청 경로
- 「현재 Keycloak/K3s 테스트 환경과 연결」에서 그린 테스트 환경의 요청 경로
Client → Host Physical NIC → Host Nginx → Host Network → VM1 / VM2 → K3s → Keycloak Node 1 / 2
- §116 이 가상 머신 네트워크까지 펼친 경로
- 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 가상 머신 네트워크까지 펼친 경로
Client → Physical NIC → Host Network Stack / Bridge / Route / NAT → TAP(vm1) / TAP(vm2) → vhost-net → virtqueue → virtio-net → Guest Network Stack → K3s networking → Keycloak
- §116 은 그 뒤에 K3s 내부의 CNI · Service · Pod network 가 추가되므로 별도 계층으로 분석한다고 적었다.
- §94 는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 놓고 수신 방향과 송신 방향을 각각 그렸다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 밝혔다.
- §125 는 같은 경로를 vhost-net 을 쓸 때와 QEMU backend 를 쓸 때로 나눠 다시 그렸다. 두 그림은 TAP 다음이 vhost-net 인지 QEMU virtio backend 인지에서 갈리고 나머지 구간은 같다.
- §119 는 경로를 확인하는 방법으로 호스트의 physical NIC · bridge · tap 또는 vnet 세 곳과 게스트의 guest interface 한 곳에 sudo tcpdump -ni 를 걸고, 어디까지 보이는지로 의심 구간을 좁히라고 적었다.
- §119 가 든 판정 예 셋
- 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 그 뒤에 K3s 내부의 CNI · Service · Pod network 가 추가되므로 별도 계층으로 분석한다고 적었다.
- 「전체 네트워크 계층」에서는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 놓고 수신 방향과 송신 방향을 각각 그렸다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 밝혔다.
- 「최종 기준 구조」에서는 같은 경로를 vhost-net 을 쓸 때와 QEMU backend 를 쓸 때로 나눠 다시 그렸다. 두 그림은 TAP 다음이 vhost-net 인지 QEMU virtio backend 인지에서 갈리고 나머지 구간은 같다.
- 「실제 packet path 추적」에서는 경로를 확인하는 방법으로 호스트의 physical NIC · bridge · tap 또는 vnet 세 곳과 게스트의 guest interface 한 곳에 sudo tcpdump -ni 를 걸고, 어디까지 보이는지로 의심 구간을 좁히라고 적었다.
- 「실제 packet path 추적」에서 든 판정 예 셋
Physical NIC O · Bridge O · TAP X : Guest 내부보다 먼저 Host Bridge/TAP mapping 을 의심한다
TAP O · Guest NIC X : virtio/vhost/Guest NIC 계층을 의심한다
Guest NIC O · Socket X : Guest routing/firewall/listen 상태를 의심한다
- §122 OQ-6 은 Host NIC · Bridge · TAP · Guest NIC 에서 tcpdump 로 추적한다고만 적었다. 어느 이름의 인터페이스인지는 적혀 있지 않다.
- §116 의 그림은 앞부분과 뒷부분의 근거가 다르다. 호스트 Nginx 아래에 가상 머신 두 대가 있고 그 안에서 K3s 와 Keycloak 노드가 돈다는 앞부분은 §89 가 밝힌 실험 구성이다. 브리지와 라우팅·NAT, TAP, vhost-net 으로 펼친 뒷부분은 OQ-1 과 OQ-2, OQ-3 를 확인하기 전의 가정이다.
- §179 와 §254 는 같은 nginx 를 물리 호스트에서 엣지 게스트로 옮겼다고 적고 전후를 나란히 그렸다.
- 원문의 6번째 확인 항목은 Host NIC · Bridge · TAP · Guest NIC 에서 `tcpdump`로 추적한다고만 적었다. 실제 인터페이스 이름은 적혀 있지 않았다.
- 과거 「현재 Keycloak/K3s 테스트 환경과 연결」 그림은 Host Nginx 배치를 전제로 작성됐다. 그 아래의 Bridge·NAT·TAP·vhost-net 구간도 당시에는 확인 전 가정이 섞여 있었다. 2026-09-21에는 현재 Edge VM 배치에서 network mode·vnet mapping·vhost runtime backend·packet capture를 각각 확인했으므로, 과거 그림은 현재 topology 설명이 아니라 변경 전 기록으로 읽는다.
- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」와 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 같은 nginx 를 물리 호스트에서 엣지 게스트로 옮겼다고 적고 전후를 나란히 그렸다.
전 : `tailnet:443` → 호스트 nginx → Traefik(게스트 .11/.12)
후 : `tailnet:443` → 호스트 커널 DNAT → 엣지 nginx(.10) → Traefik(.11/.12)
- §179 는 그렇게 옮겨도 L7 홉 수는 2홉 그대로라고 관측으로 적었다. 늘어난 것은 커널이 하는 L4 전달 한 번이다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다.
- §179 는 옮긴 이유를 성능이 아니라 더러워지는 층의 격리로 적었다. nginx 설정과 인증서, certbot, deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. 그 대가로 일곱 가지가 새로 필요해졌고 §179 는 그중 DNAT 와 libvirt 방화벽 구멍 둘을 이 이동의 본질로 꼽았다. 그 둘을 본질로 본 것은 추론이라고 밝혔다.
- §254 는 호스트에서 게스트로 가는 요청이 OUTPUT 경로라 필터를 타지 않는다고 적었다. 밖에서 게스트로 들어오는 요청은 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다.
- §207 은 DNAT 파일에 forward 체인을 두지 않은 이유를 그 파일의 주석으로 적어 두었다. libvirt 의 guest_input 체인은 virbr0 으로 나가는 프레임을 reject 하며 끝난다. nftables 에서는 앞 base 체인의 accept 가 뒤 체인의 reject 를 멈추지 못하므로 구멍을 libvirt 체인 맨 앞에 뚫었고, 그래서 그 파일에 forward 체인이 없는 것은 실수가 아니다.
- §207 은 이 DNAT 가 PREROUTING nat 에 있어 라우팅 결정보다 먼저 돌고 호스트의 로컬 소켓보다 이긴다고 적었다. 그래서 엣지를 띄운 채 전환하고, 되돌릴 때는 테이블 하나를 지운다.
- §207 은 DNAT 만 하고 SNAT 는 하지 않는다고 적었다. 게스트의 기본 경로가 호스트여서 응답이 이 경로를 다시 지나고 conntrack 이 변환을 알아서 되돌린다. masquerade 를 붙이면 엣지가 모든 클라이언트를 192.168.122.1 로 보게 된다.
- §208 은 DNAT 유닛의 ExecStartPost 앞에 붙은 하이픈을 설명했다. libvirt_network 테이블은 가상 네트워크가 떠 있어야 존재하는데, 부팅 순서에 따라 이 유닛이 먼저 돌 수 있다. 하이픈이 없으면 그때 규칙 삽입이 실패하면서 DNAT 까지 같이 안 실린다. 하이픈을 두면 DNAT 는 실리고 구멍만 빠진 상태가 되어 systemctl restart 한 번으로 다시 뚫린다.
- §208 은 그 상태에서 유닛이 active 이고 아무 오류도 없다고 적고, 유닛이 active 라는 것은 DNAT 가 실렸다는 뜻이지 구멍이 뚫렸다는 뜻이 아니라고 추론으로 밝혔다. 그 상태를 실제로 재현해 보지는 않았다고 적혀 있다.
- §180 은 구멍이 빠졌을 때의 출력을 관측으로 남겼다. 호스트에서 게스트 주소로 친 curl 은 404 였고, 밖에서 tailnet 주소로 친 curl 은 connection refused 였다. reject 규칙의 카운터는 packets 4 bytes 240 으로 밖에서 친 횟수와 맞았다.
- §254 는 안쪽과 바깥쪽을 한 번씩 쳐서 같은 값이 나오는지 보는 확인을 적었다. 둘 다 404 면 경로가 이어진 것이고, 안쪽만 404 면 nginx 설치 · DNAT · libvirt 구멍 셋 가운데 하나가 빠진 것이다.
- 이 호스트에서 계층마다 패킷을 잡아 본 기록은 없다. §116 이 펼친 경로는 확인한 결과가 아니라 §94 의 기준 구조를 이 환경에 얹은 그림이다.
- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그렇게 옮겨도 L7 홉 수는 2홉 그대로라고 관측으로 적었다. 늘어난 것은 커널이 하는 L4 전달 한 번이다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다.
- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 옮긴 이유를 성능이 아니라 더러워지는 층의 격리로 적었다. nginx 설정과 인증서, certbot, deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. 그 대가로 일곱 가지가 새로 필요해졌고 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그중 DNAT 와 libvirt 방화벽 구멍 둘을 이 이동의 본질로 꼽았다. 그 둘을 본질로 본 것은 추론이라고 밝혔다.
- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 호스트에서 게스트로 가는 요청이 OUTPUT 경로라 필터를 타지 않는다고 적었다. 밖에서 게스트로 들어오는 요청은 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다.
- 「`lab-edge-dnat.nft` — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 DNAT 파일에 forward 체인을 두지 않은 이유를 그 파일의 주석으로 적어 두었다. libvirt 의 guest_input 체인은 virbr0 으로 나가는 프레임을 reject 하며 끝난다. nftables 에서는 앞 base 체인의 accept 가 뒤 체인의 reject 를 멈추지 못하므로 구멍을 libvirt 체인 맨 앞에 뚫었고, 그래서 그 파일에 forward 체인이 없는 것은 실수가 아니다.
- 「`lab-edge-dnat.nft` — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 이 DNAT 가 PREROUTING nat 에 있어 라우팅 결정보다 먼저 돌고 호스트의 로컬 소켓보다 이긴다고 적었다. 그래서 엣지를 띄운 채 전환하고, 되돌릴 때는 테이블 하나를 지운다.
- 「`lab-edge-dnat.nft` — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 DNAT 만 하고 SNAT 는 하지 않는다고 적었다. 게스트의 기본 경로가 호스트여서 응답이 이 경로를 다시 지나고 conntrack 이 변환을 알아서 되돌린다. masquerade 를 붙이면 엣지가 모든 클라이언트를 192.168.122.1 로 보게 된다.
- 「`lab-edge-dnat.service` — `ExecStartPost` 앞의 `-` 가 무엇을 봐주나」에서는 초기 설계의 의도를 설명했다. `ExecStartPost` 실패를 무시해 DNAT 자체는 살리고, 필요하면 유닛을 재시작해 accept 규칙을 다시 넣는 방식이었다. 하지만 2026-09-21 재검증에서 **유닛이 이미 active인 뒤 libvirt가 체인을 다시 쓰면 규칙 순서가 깨질 수 있음**이 확인됐다. 따라서 재시작은 현재 상태를 복구하는 수단일 뿐, 이후 libvirt chain rewrite까지 보장하는 persistence 해법으로 보지 않는다.
- 「`lab-edge-dnat.service` — `ExecStartPost` 앞의 `-` 가 무엇을 봐주나」에서는 그 상태에서 유닛이 active 이고 아무 오류도 없다고 적고, 유닛이 active 라는 것은 DNAT 가 실렸다는 뜻이지 구멍이 뚫렸다는 뜻이 아니라고 추론으로 밝혔다. 그 상태를 실제로 재현해 보지는 않았다고 적혀 있다.
- 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 구멍이 빠졌을 때의 출력을 관측으로 남겼다. 호스트에서 게스트 주소로 친 curl 은 404 였고, 밖에서 tailnet 주소로 친 curl 은 connection refused 였다. reject 규칙의 카운터는 packets 4 bytes 240 으로 밖에서 친 횟수와 맞았다.
- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 안쪽과 바깥쪽을 한 번씩 쳐서 같은 값이 나오는지 보는 확인을 적었다. 둘 다 404 면 경로가 이어진 것이고, 안쪽만 404 면 nginx 설치 · DNAT · libvirt 구멍 셋 가운데 하나가 빠진 것이다.
- 2026-09-21에는 host ingress, edge vnet/guest NIC, worker vnet/guest NIC에서 같은 OIDC 요청을 캡처해 실제 경로를 이어 붙였다. 따라서 과거의 기준 구조 그림과 현재 Edge VM 구조를 구분해 읽을 수 있게 됐다.
## 가정
## capture를 해석한 기준
- 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낼 수 있고, 그 요청이 두 k3s 노드 가운데 어느 쪽으로 갔는지 확인하는 쪽이 알 수 있다고 본다.
- 네 지점에 동시에 캡처를 걸어 둘 수 있다고 전제한다. 지점마다 따로 걸면 같은 요청을 본 것인지 갈리지 않는다.
- §116 이 그린 뒷부분 가운데 TAP 다음 구간은 지금도 같다고 전제한다. 앞부분은 §179 가 바꿔 놓았고, TAP 뒤쪽 서술이 그 이동으로 달라졌는지는 적힌 것이 없다.
- 재검증에서는 workmachine에서 tailnet 주소로 동일 OIDC discovery 요청을 반복해 보내고, worker 양쪽의 host/guest capture에서 어느 노드로 갔는지 확인했다.
- 요청 path와 주소·포트를 기준으로 host와 guest capture를 대조했다. 두 worker를 번갈아 지나는 요청은 요청 번호와 동일 GET path로 구분했다.
- vhost-net backend와 VM별 vnet mapping은 앞선 재검증에서 확인한 값을 사용했고, 이번 capture로 Edge VM 이후 worker까지의 실제 packet path를 추가로 확인했다.
- 오프로드 설정이 캡처하는 동안 바뀌지 않는다.
## 미지수
## 남은 구간과 offload
- 밖에서 온 요청이 호스트 커널 DNAT 를 지난 뒤 virbr0 에서 어느 TAP 으로 나가 엣지 게스트로 들어가는지.
- 엣지 nginx 가 k3s 노드로 넘기는 두 번째 홉이 virbr0 안에서 L2 로만 도는지, 호스트의 L3/Netfilter 를 지나는지. §119 의 네 지점은 밖에서 게스트로 들어오는 한 홉만 본다.
- 그 두 번째 홉의 TAP 이 kc-lab-1 과 kc-lab-2 가운데 어느 쪽의 인터페이스인지.
- 게스트 안의 인터페이스에서 같은 요청이 보이는지.
- 네 지점의 결과가 §116 이 펼친 그림과 같은지, 다르다면 어느 지점부터 다른지.
- 지금 오프로드 설정이 무엇인지. 캡처에서 본 패킷 크기와 체크섬을 wire 값으로 읽어도 되는지가 이것으로 갈린다.
요청이 어느 인터페이스를 지나 edge와 worker에 도달하는지는 해소됐다. first hop은 `tailscale0 → host NAT → virbr0/vnet13 → edge enp1s0`, second hop은 edge의 새 HTTP 연결이 `vnet13 → virbr0 → vnet18 또는 vnet19 → worker enp1s0`으로 전달된다. 6회 요청에서는 두 worker가 번갈아 선택됐다.
## 제약
남은 미지수는 이번 캡처 시점의 offload feature 상태다. `ethtool`이 설치돼 있지 않아 읽지 못했으므로 packet size/checksum을 wire-level 값으로 해석하지 않는다. 이 미지수는 주소·포트·HTTP path로 확정한 packet path 자체를 다시 열 이유는 아니다.
## K3s 내부는 범위 밖이다
- 캡처 지점의 이름을 먼저 확정해야 한다. 어느 브리지와 어느 TAP 인지 모르면 tcpdump 를 걸 곳을 고르지 못한다. 그 이름은 네트워크 구성을 묻는 물음과 인터페이스를 묻는 물음이 댄다.
- K3s 안에서 Keycloak Pod 까지 가는 구간은 이 물음이 닫는 범위 밖이다. §116 이 CNI · Service · Pod network 를 별도 계층으로 미뤄 두었다.
- 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니라 장애다. §119 가 든 세 판정 예를 따라 의심 구간을 적고 계층별 캡처 기준으로 넘긴다.
- §116 의 그림은 엣지를 옮기기 전 모양이다. 지금 구성으로 캡처하면 호스트 nginx 였던 칸에 커널 DNAT 와 엣지 게스트가 들어가므로 캡처 지점이 그만큼 늘어난다.
- 이 호스트에서 잰 값이 없어 §116 의 그림을 확인된 경로로 삼지 않는다. 이 환경이 실제로 그렇다는 주장이라 재기 전에는 Case 도 Concept 도 아니라고 보고 근거가 모자란 후보로 남겨 두었다. OQ-1 과 OQ-2, OQ-3, OQ-6 이 답하면 다시 판정한다.
- K3s 안에서 Keycloak Pod 까지 가는 구간은 이 물음이 닫는 범위 밖이다. 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 CNI · Service · Pod network 를 별도 계층으로 미뤄 두었다.
- 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니라 장애다. 「실제 packet path 추적」에서 든 세 판정 예를 따라 의심 구간을 적고 계층별 캡처 기준으로 넘긴다.
- 「현재 Keycloak/K3s 테스트 환경과 연결」의 그림은 엣지를 옮기기 전 모양이다. 지금 구성으로 캡처하면 호스트 nginx 였던 칸에 커널 DNAT 와 엣지 게스트가 들어가므로 캡처 지점이 그만큼 늘어난다.
- 2026-09-21 재검증으로 NAT network, VM별 `vnetN` mapping, vhost-net backend뿐 아니라 같은 요청의 Host ingress → Edge guest → worker vnet/guest NIC 이동까지 packet capture로 확인했다. 남은 것은 K3s CNI/Service/Pod 내부 경로와 offload feature 분석이다.
## 선택지
## 경로를 이어 붙인 방법
### 1. 네 지점에 한 번에 걸고 요청을 한 번 보낸다
§119 가 든 호스트 세 지점과 게스트 한 지점에 동시에 tcpdump 를 걸어 두고, 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. 같은 요청 하나가 네 지점에서 각각 보이는지로 경로가 확정되기 때문에 실행이 한 번으로 끝난다.
「실제 packet path 추적」에서 든 호스트 세 지점과 게스트 한 지점에 동시에 tcpdump 를 걸어 두고, 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. 같은 요청 하나가 네 지점에서 각각 보이는지로 경로가 확정되기 때문에 실행이 한 번으로 끝난다.
지점 이름을 미리 확정해 두어야 하고 네 곳을 동시에 열어 두어야 한다.
@@ -106,20 +107,14 @@ source:
### 3. 두 가상 머신 쪽 TAP 을 모두 열어 놓고 한 번 보낸다
VM1 과 VM2 의 TAP 을 둘 다 열어 두면 요청이 어느 쪽으로 갔는지까지 같은 실행에서 나온다. §120 이 든 「Node1 요청만 지연」 같은 증상을 나중에 볼 때 어느 경로를 먼저 열어야 하는지도 이 기록에서 나온다.
VM1 과 VM2 의 TAP 을 둘 다 열어 두면 요청이 어느 쪽으로 갔는지까지 같은 실행에서 나온다. 「Keycloak Refresh Token 실험과의 관계」에서 든 「Node1 요청만 지연」 같은 증상을 나중에 볼 때 어느 경로를 먼저 열어야 하는지도 이 기록에서 나온다.
캡처 지점이 다섯으로 늘어난다.
### 4. 제외 — 호스트 Nginx 설정에서 경로를 읽는다
Nginx 가 어느 주소로 요청을 넘기는지 설정만 읽어도 어느 가상 머신으로 가는지는 알 수 있다. 그러나 이 물음은 설정이 말하는 경로가 아니라 패킷이 실제로 지나는 계층을 묻는다. §116 이 그린 그림이 확인된 것이 아니라는 데서 물음이 시작했으므로, 설정을 읽으면 같은 종류의 근거가 하나 더 늘어난다.
Nginx 가 어느 주소로 요청을 넘기는지 설정만 읽어도 어느 가상 머신으로 가는지는 알 수 있다. 그러나 이 물음은 설정이 말하는 경로가 아니라 패킷이 실제로 지나는 계층을 묻는다. 「현재 Keycloak/K3s 테스트 환경과 연결」에서 그린 그림이 확인된 것이 아니라는 데서 물음이 시작했으므로, 설정을 읽으면 같은 종류의 근거가 하나 더 늘어난다.
## 다음 검증
## OIDC 요청은 host DNAT와 edge를 거쳐 worker까지 도달했다
1. 캡처를 걸 지점의 이름을 먼저 확정한다. 어느 브리지와 어느 TAP 인지는 네트워크 구성을 묻는 물음과 인터페이스를 묻는 물음이 답한다.
2. 호스트에서 sudo tcpdump -ni 뒤에 physical NIC 이름 · bridge 이름 · tap 또는 vnet 이름을 넣어 세 곳에 걸고, 게스트에서 같은 명령을 guest interface 이름에 건다 (§122 OQ-6 · §119). 엣지 게스트의 TAP 과 k3s 노드의 TAP 을 함께 열어야 §179 가 적은 두 홉이 한 실행에서 잡힌다.
3. 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. §179 대로라면 그 요청은 호스트 커널 DNAT 를 지나 엣지 nginx 로 가고, 거기서 다시 k3s 노드로 넘어간다.
4. 네 지점에서 그 요청이 보였는지를 §119 처럼 O 와 X 로 적는다.
5. 캡처하는 동안의 오프로드 상태를 함께 적는다. §113 은 오프로드가 켜져 있으면 tcpdump 에서 보이는 패킷 크기나 체크섬이 실제 wire 에서 보이는 것과 다르게 보일 수 있다고 적었다.
닫는 조건 : 네 지점의 캡처 결과로 실제 경로를 한 줄로 적으면 닫는다. §116 이 펼친 그림과 같으면 그 그림을 이 호스트에서 확인된 경로로 올리고, §116 을 근거로 삼는 후보를 다시 판정한다. 다르면 어느 지점부터 다른지를 적고 §119 의 판정 예대로 그 구간을 의심 구간으로 넘긴다. 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니므로 계층별 캡처 기준으로 넘긴다.
실제 OIDC discovery 요청의 ingress와 edge→worker 두 번째 홉을 host vnet과 guest NIC에서 확인했다. 앞으로 장애가 나면 같은 지점에 다시 `tcpdump`를 걸어 처음 사라지는 구간을 찾는다. offload 기능의 정확한 상태가 필요한 성능/packet-size 분석은 `ethtool`을 준비한 뒤 별도로 확인한다.
@@ -7,9 +7,12 @@ topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/484fd832-c7d3-413e-897a-97892e4e10ac/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt
source:
- final/document.md#122-open-question-oq-3
- final/document.md#103-qemu-virtio-device-model의-역할
@@ -22,83 +25,64 @@ source:
# 이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가
§103 은 패킷이 TAP 에서 게스트로 올라오는 길을 둘로 갈라 적었다. QEMU 백엔드를 쓰면 그 사이에 QEMU virtio backend 가 들어가고, vhost-net 을 쓰면 호스트 커널의 vhost-net 이 들어간다. 어느 쪽으로 도는지가 SSOT 에 없어서, 이 물음은 가상 머신 두 대의 데이터 경로 백엔드를 각각 확정한다.
2026-09-21 실제 `test-server`에서 세 VM의 QEMU 실행 인자를 읽었다. `kc-lab-1`·`kc-lab-2`·`kc-lab-edge` 모두 TAP netdev에 `vhost:true`와 `vhostfd`가 설정돼 있었다. 따라서 현재 세 VM의 packet datapath backend는 **vhost-net**이다. `lsmod`에 모듈이 올라와 있다는 사실만으로 결론내리지 않고 VM별 QEMU 구성까지 확인했다.
## 관계
## runtime에서 확인한 backend
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
그 경로 그림이 vhost-net 을 쓰는 구성을 기준으로 그려져 있어서, 이 호스트가 그 기준에 해당하는지를 이 물음이 정한다.
- **QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가**
비교하려면 지금 어느 백엔드로 돌고 있는지가 먼저 정해져야 한다.
- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가**
§117.4 가 든 CPU 오버헤드는 QEMU 사용자 공간이 데이터 경로를 직접 처리할 때의 이야기다.
- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가**
TAP 과 virtqueue 사이에 무엇이 있는지가 그 경로 서술의 한 칸을 채운다.
- 2026-09-21 재검증에서 `vhost_net` 모듈이 올라와 있었고, 세 VM의 `virsh domxml-to-native qemu-argv` 모두 `{"type":"tap",...,"vhost":true,"vhostfd":"31"...}`를 냈다. 현재 구성은 `Guest virtio-net ↔ virtqueue ↔ vhost-net ↔ TAP` 경로다.
## 사실
- §103 은 QEMU 의 virtio Device Model 이 호스트 사용자 공간의 QEMU 프로세스 안에 있다고 적고, 그 역할을 둘로 나눴다. 하나는 장치 생성/설정/관리이고 다른 하나는 실제로 패킷을 나르는 처리다.
- §103 이 적은 데이터 경로 두 가지는 이렇게 갈린다.
- 「QEMU virtio Device Model의 역할」에서는 QEMU 의 virtio Device Model 이 호스트 사용자 공간의 QEMU 프로세스 안에 있다고 적고, 그 역할을 둘로 나눴다. 하나는 장치 생성/설정/관리이고 다른 하나는 실제로 패킷을 나르는 처리다.
- 「QEMU virtio Device Model의 역할」에 적은 데이터 경로 두 가지는 이렇게 갈린다.
QEMU backend 를 직접 쓰는 경우 : TAP → QEMU virtio backend → virtqueue → Guest
vhost-net 을 쓰는 경우 : TAP → vhost-net → virtqueue → Guest
- §104 는 TAP → vhost-net → QEMU → virtqueue 를 일반적인 경로로 그리면 안 된다고 못 박았다. vhost-net 의 목적 하나가 데이터 경로에서 QEMU 사용자 공간을 우회하는 것이기 때문이다.
- §106 은 장치를 만들고 관리하는 주체와 실제로 패킷을 나르는 주체가 다르다는 것을 CPU 가상화에 견주어 적었다. QEMU 가 vCPU 를 만들어도 게스트의 ADD · MOV · SUB 를 전부 QEMU 가 실행하지는 않는다.
- §107 은 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간 사이의 전환이 쌓인다고 적었다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다.
- §108 은 vhost-net 을 써도 QEMU 가 남아서 맡는 일을 열거했다.
- 「왜 `TAP → vhost-net → QEMU → virtqueue`라고 일반화하면 안 되는가」에서는 TAP → vhost-net → QEMU → virtqueue 를 일반적인 경로로 그리면 안 된다고 못 박았다. vhost-net 의 목적 하나가 데이터 경로에서 QEMU 사용자 공간을 우회하는 것이기 때문이다.
- 「QEMU가 Userspace인데 packet이 QEMU를 안 거칠 수 있는 이유」에서는 장치를 만들고 관리하는 주체와 실제로 패킷을 나르는 주체가 다르다는 것을 CPU 가상화에 견주어 적었다. QEMU 가 vCPU 를 만들어도 게스트의 ADD · MOV · SUB 를 전부 QEMU 가 실행하지는 않는다.
- 「vhost-net 최적화」에서는 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간 사이의 전환이 쌓인다고 적었다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다.
- 「vhost-net은 QEMU를 제거하지 않는다」에서는 vhost-net 을 써도 QEMU 가 남아서 맡는 일을 열거했다.
VM lifecycle · Virtual hardware model · virtio device 생성
Feature negotiation · Queue configuration · Backend 연결
Device reset · Control/configuration handling
- §117.4 는 초당 지나는 패킷이 많은데 QEMU 사용자 공간이 데이터 경로를 직접 처리하면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰 대상으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다.
- 확인 명령으로 §122 OQ-3 과 §118 이 든 것은 lsmod | grep vhost 하나다. §122 OQ-3 은 그 뒤에 QEMU arguments 와 libvirt domain XML 을 추가로 확인한다고 적었지만, 그 둘을 읽는 명령은 제3부 어디에도 적혀 있지 않다.
- §123 은 개념에서 열린 질문을 거쳐 Case 로 가는 순서를 설명하면서 이 물음을 예로 들었다. 개념 자리에 「vhost-net은 QEMU userspace를 우회해 packet datapath를 처리할 수 있다」를, 물음 자리에 「현재 테스트 Host에서 vhost-net이 실제 활성화되어 있는가?」를 놓았다. 답이 나오면 「libvirt/QEMU virtio-net backend 구성 확인 및 vhost-net 사용 검증」이 Case 가 된다고 적었다.
- §178 은 이 실험대의 게스트를 3대로 적었고, §202 의 철거 출력이 그 domain 이름을 kc-lab-edge · kc-lab-1 · kc-lab-2 로 남겼다. §122 OQ-3 이 vm1 과 vm2 로 적은 두 대가 그중 k3s 노드 쪽이다.
- §197 은 이 호스트의 판 번호를 실측으로 적었다. libvirt 12.7.0 · QEMU emulator version 11.1.1 · 커널 7.2.2-arch1-1 이다. 어느 backend 로 도는지는 그 줄에서 나오지 않는다.
- 실험대를 적은 제5부부터 제9부까지 vhost 라는 낱말이 한 번도 나오지 않는다. 두 가상 머신이 어느 백엔드로 도는지도, vhost 모듈이 올라와 있는지도 확인한 기록이 SSOT 에 없다.
- 「vhost-net 미사용 또는 비효율적 datapath」에서는 초당 지나는 패킷이 많은데 QEMU 사용자 공간이 데이터 경로를 직접 처리하면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰 대상으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다.
- 원문의 3번째 확인 항목과 「실제 Linux에서 확인할 명령어」에 적힌 명령은 `lsmod | grep vhost` 하나다. 이어서 QEMU arguments 와 libvirt domain XML 도 확인한다고 적혀 있지만, 그 둘을 읽는 구체적인 명령은 제3부에 없었다.
- 원문은 개념에서 질문을 만들고 실제 환경에서 확인하는 흐름의 예로 이 항목을 들었다. 출발점은 「vhost-net은 QEMU userspace를 우회해 packet datapath를 처리할 수 있다」였고, 실제 환경에서 확인할 내용은 「현재 테스트 Host에서 vhost-net이 실제 활성화되어 있는가?」였다.
- 「이 부의 출처와 범위」에서는 이 실험대의 게스트를 3대로 적었고, 「철거 — 실제 출력 전문」의 철거 출력에는 domain 이름이 kc-lab-edge · kc-lab-1 · kc-lab-2 로 남아 있다. 원문의 `vm1`, `vm2` 표기는 이 가운데 k3s 노드 두 대를 가리킨다.
- 「측정 환경」에서는 이 호스트의 판 번호를 실측으로 적었다. libvirt 12.7.0 · QEMU emulator version 11.1.1 · 커널 7.2.2-arch1-1 이다. 어느 backend 로 도는지는 그 줄에서 나오지 않는다.
- 기존 구축 기록만으로는 backend를 확정할 수 없었지만, 2026-09-21 재검증에서 모듈 적재와 VM별 QEMU 인자를 함께 읽어 세 VM 모두 vhost-net을 사용하는 것을 확인했다.
## 가정
## 판정 조건
- 호스트에 붙어 lsmod 를 실행하고 libvirt 설정을 읽을 수 있다고 본다.
- 모듈이 올라와 있다는 것과 그 가상 머신이 그 백엔드를 쓴다는 것을 다른 사실로 놓고 물음을 세웠다. §103 은 백엔드 선택을 가상 머신의 구성으로 적었지 모듈 적재로 적지 않았다.
- 모듈이 올라와 있다는 것과 그 가상 머신이 그 백엔드를 쓴다는 것을 다른 사실로 놓고 물음을 세웠다. 「QEMU virtio Device Model의 역할」에서는 백엔드 선택을 가상 머신의 구성으로 적었지 모듈 적재로 적지 않았다.
- 두 가상 머신이 같은 백엔드를 쓴다고 전제하지 않는다. 가상 머신마다 따로 읽어 각각 적는다.
- 읽는 동안 가상 머신을 재시작하지 않는다고 전제한다. 백엔드는 §105 가 적은 설정 경로에서 정해지므로 재시작하면 달라질 수 있다.
- 게스트가 떠 있어야 QEMU 실행 인자를 읽는다. SSOT 가 마지막으로 적은 게스트 상태는 §202 의 철거이고 그 뒤 기록이 없다.
- 읽는 동안 가상 머신을 재시작하지 않는다고 전제한다. 백엔드는 「Control Path와 Data Path」에 적은 설정 경로에서 정해지므로 재시작하면 달라질 수 있다.
- 재검증 당시 세 VM이 실행 중인 상태에서 QEMU 실행 인자를 읽었다. 중지된 domain의 정의만 보고 runtime backend를 단정하지 않는다.
## 미지수
## 현재 미지수는 해소됐다
- 이 호스트에 vhost 커널 모듈이 올라와 있는지.
- 두 가상 머신의 libvirt domain 설정과 QEMU arguments 가 vhost 백엔드를 쓰도록 되어 있는지.
- 그래서 지금 흐르는 패킷이 §103 이 그린 두 경로 가운데 어느 쪽으로 가는지.
- QEMU arguments 와 libvirt domain XML 을 이 환경에서 어떤 명령으로 읽는지. 제3부가 그 명령을 적지 않아 실행하는 쪽이 정한다.
현재 backend 종류에 대한 미지수는 해소됐다. 세 VM 모두 vhost-net을 사용한다. QEMU userspace backend와 비교했을 때 성능이 얼마나 달라지는지는 별도 질문으로 남긴다.
## 제약
## backend 사용과 성능은 다르다
- 백엔드가 무엇인지를 확정하는 데서 끊는다. 두 백엔드의 성능 차이는 그것을 비교하는 물음이 받는다.
- 이 호스트에서 읽은 설정이 없어 §94 와 §125 가 기준으로 삼은 vhost-net 구성을 이 호스트의 값으로 쓰지 않는다.
- 명령을 SSOT 가 하나만 주었으므로, 나머지 둘을 무엇으로 읽었는지 실행한 명령과 출력을 함께 남긴다.
- 2026-09-21 이후에는 vhost-net 경로를 이 호스트의 확인된 현재 구성으로 사용할 수 있다. 다만 VM NIC backend 설정을 바꾸면 다시 확인해야 한다.
- 명령을 기존 문서가 하나만 주었으므로, 나머지 둘을 무엇으로 읽었는지 실행한 명령과 출력을 함께 남긴다.
## 선택지
## QEMU 실행 인자에서 vhost를 확인했다
### 1. 모듈 적재부터 보고 가상 머신 설정으로 좁힌다
lsmod | grep vhost 로 호스트에 그 기능이 있는지 먼저 보고, 나오면 가상 머신마다 설정을 읽어 실제로 쓰는지 좁힌다. 모듈이 아예 없으면 두 대 모두 QEMU 백엔드라는 답이 한 번에 나온다.
모듈이 있을 때는 이 명령만으로 아무것도 정해지지 않아서 결국 가상 머신 설정을 읽어야 한다.
`lsmod | grep vhost`는 host에 vhost 관련 모듈이 적재돼 있는지 보는 보조 확인이다. 출력이 있다고 해서 특정 VM이 vhost-net을 쓴다는 뜻은 아니고, 출력이 없다고 해서 곧바로 QEMU userspace backend라고 단정하지도 않는다. 커널 빌드 방식과 실제 VM별 runtime 구성을 구분해야 하므로 최종 판정은 QEMU 실행 인자와 domain 구성을 함께 본다.
### 2. 가상 머신 설정부터 읽고 모듈 적재로 뒷받침한다
두 가상 머신의 libvirt domain 설정과 QEMU arguments 에서 백엔드 지정을 먼저 읽고, lsmod 출력으로 그 설정이 실제로 성립할 수 있는지 뒷받침한다. 가상 머신마다 다른 답이 나오는 경우까지 한 번에 잡힌다.
설정을 읽는 명령을 SSOT 가 주지 않아서 무엇으로 읽었는지 따로 적어야 한다.
설정을 읽는 명령을 기존 문서가 주지 않아서 무엇으로 읽었는지 따로 적어야 한다.
### 3. §117.4 의 관찰 대상으로 되짚는다 — 제외
### 3. 「vhost-net 미사용 또는 비효율적 datapath」의 관찰 대상으로 되짚는다 — 제외
호스트에 vhost 스레드가 보이는지, 부하 중 QEMU CPU 가 어떻게 움직이는지로 백엔드를 역추정하자는 방법이다. 그 관찰은 부하를 걸어야 값이 생기고, §117.4 는 그 목록을 성능 문제를 진단할 때 볼 것으로 적었다. 지금 필요한 것은 설정이 무엇으로 되어 있는가 하나다. 그것은 부하 없이 읽힌다.
호스트에 vhost 스레드가 보이는지, 부하 중 QEMU CPU 가 어떻게 움직이는지로 백엔드를 역추정하자는 방법이다. 그 관찰은 부하를 걸어야 값이 생기고, 「vhost-net 미사용 또는 비효율적 datapath」에서는 그 목록을 성능 문제를 진단할 때 볼 것으로 적었다. 지금 필요한 것은 설정이 무엇으로 되어 있는가 하나다. 그것은 부하 없이 읽힌다.
## 다음 검증
## vhost 여부는 모듈이 아니라 QEMU 인자로 판단한다
1. lsmod | grep vhost 로 vhost 커널 모듈이 올라와 있는지 본다.
2. libvirt domain 설정에서 인터페이스의 driver 지정을 읽는다. domain 이름은 §202 가 적은 kc-lab-1 과 kc-lab-2 를 쓰고, 엣지 게스트 kc-lab-edge 도 같이 읽는다. 무엇으로 읽었는지 명령을 함께 적는다.
3. 같은 가상 머신의 QEMU 실행 인자에서 백엔드 지정을 읽는다. 이것도 명령을 함께 적는다.
4. 세 출력을 가상 머신별로 짝지어 적고 실행한 명령과 함께 증거로 남긴다.
닫는 조건 : 가상 머신 두 대 각각의 데이터 경로 백엔드가 vhost-net 인지 QEMU 사용자 공간인지 설정으로 확정되면 닫는다. vhost-net 이면 §125 의 「Data Path - vhost-net 사용」 이 이 호스트의 경로라고 적고, QEMU 백엔드면 「Data Path - QEMU backend 사용」 쪽이라고 적는다. 어느 쪽이든 그 결과가 QEMU backend 와 vhost-net 을 견주는 물음의 비교 대상 하나를 고정한다. 두 대가 서로 다르게 나오면 그 사실을 적고, 이후 측정에서 둘을 같은 조건으로 묶지 않는다.
VM을 재정의하거나 NIC backend 옵션을 바꾼 경우에만 QEMU 인자의 `vhost` 값을 다시 확인한다. 모듈 적재 여부만으로 이 질문을 다시 판정하지 않는다.
@@ -7,9 +7,15 @@ topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/79ac61d6-cbe6-483b-9961-02ca8c02b5c2/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt
source:
- final/document.md#122-open-question-oq-7
- final/document.md#117-이-구조에서-발생할-수-있는-문제-117-7
@@ -20,76 +26,66 @@ source:
# 부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가
§117.7 은 vhost-net 과 QEMU 스레드와 softirq 도 호스트 CPU 를 쓰므로, 네트워크 문제처럼 보이는 것이 CPU 스케줄링 문제일 수 있다고 적었다. 그 셋 가운데 QEMU 스레드와 게스트 쪽 지표는 CPU 가상화를 다루는 물음 둘이 같은 실험 구간에서 이미 재기로 해 두었다. 그래서 여기서는 Keycloak 부하 시험 구간에서 vhost 커널 스레드와 softirq 가 호스트 CPU 를 얼마나 쓰는지, 그 사용량이 네트워크 지연과 같이 움직이는지만 본다.
2026-09-21 외부 `auth.hyeonworks.com` 경로에 OIDC discovery 4000회, concurrency 40 부하를 걸고 host의 vhost thread, QEMU vCPU, `/proc/softirqs`, `/proc/stat`, `vmstat`과 별도 probe latency를 함께 기록했다. 부하 중 vhost CPU와 NET_RX softirq는 실제로 증가했지만 host에는 39~56% idle CPU가 남았다. **현재 부하 수준에서는 network virtualization CPU cost가 관측되지만 host CPU를 포화시켜 지연을 지배했다는 근거는 없다.**
## 관계
## 부하 중 vhost와 softirq CPU 결과
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
vhost-net 이 데이터 경로의 어느 구간을 맡는지를 이 개념이 설명한다. 여기서 재려는 커널 스레드가 그 구간을 돌린다.
- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다**
§120 이 요구한 별도 검증을 규칙으로 편 기준이다. 이 측정이 없으면 그 검증을 마쳤다고 적을 수 없다.
- **QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가**
백엔드를 바꿔 견주는 물음이라 §122 가 든 관찰 대상을 상당 부분 함께 쓴다. 여기서 찍은 기준값을 그쪽이 그대로 받는다.
- **이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가**
큐가 하나로 나오면 §117.5 가 든 쏠림이 이 측정의 vCPU 별 사용량에서 드러난다.
- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가**
Guest steal time 과 QEMU vCPU 스레드는 그쪽이 잰다. 같은 실험 구간에서 두 기록을 함께 남기고 여기서는 vhost 커널 스레드와 softirq 만 새로 잰다.
- 2026-09-21 재검증에서 baseline에서 `vhost-167796`, `vhost-272123`, `vhost-272149` thread는 `pidstat` 평균 0.00% CPU였다. host는 약 95~97% idle이었다.
- 2026-09-21 재검증에서 외부 OIDC discovery 4000회/concurrency 40 부하는 6.469초에 `rc=0`으로 끝났다. 이 구간 vhost 평균 CPU는 edge 9.75%, `kc-lab-1` 3.62%, `kc-lab-2` 3.75%였다.
- 2026-09-21 재검증에서 같은 구간 host `vmstat`은 가장 바쁜 샘플에서도 idle 약 39~56%를 남겼다. guest 실행을 나타내는 `gu`는 약 31~44%까지 올라 vCPU workload 자체의 CPU 사용이 vhost보다 훨씬 컸다.
- 2026-09-21 재검증에서 `NET_RX` softirq event는 8 CPU 합계로 15,265회 증가했다. 별도 3000회/concurrency 40 실행에서 `/proc/stat` softirq CPU time은 26 tick 증가했고 `CLK_TCK=100`이므로 0.26 CPU-second다. 3.953초 구간에서 한 core 기준 약 6.58%, 전체 8 CPU capacity 기준 약 0.82%에 해당한다.
- 2026-09-21 재검증에서 외부 serial probe latency는 baseline 20회에서 avg 15.2 ms, p95 31.8 ms였다. concurrency 40 부하 중 40개 probe는 avg 33.4 ms, p95 62.9 ms였다. 지연은 올랐지만 같은 구간 guest vCPU 사용량도 크게 올라 network virtualization 비용만의 영향으로 분리되지 않는다.
## 사실
- §117.7 은 vhost-net · QEMU thread · softirq 도 호스트 CPU 를 쓰고, 따라서 네트워크 문제처럼 보여도 CPU 스케줄링 문제일 수 있다고 적었다.
- §107 은 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간을 오가는 전환 비용이 쌓인다고 밝혔다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다.
- §111 은 게스트와 호스트가 큐에 새 패킷이나 버퍼가 있음을 서로 알려야 한다고 적었다. 패킷마다 인터럽트나 알림이 지나치게 많이 발생하면 오버헤드가 커지므로 batching · interrupt moderation · queueing 이 중요하다고 밝혔다.
- §120 은 Refresh Token 경쟁 자체가 virtio-net 문제는 아니지만 클라이언트부터 PostgreSQL/Redis 까지 같은 경로를 공유하므로 네트워크 경로를 별도로 검증한다고 적었다.
- §120 이 Refresh Token 경쟁이나 DB lock 으로 오해할 수 있다고 든 다섯
- 「Host CPU Contention으로 network latency 증가」에서는 vhost-net · QEMU thread · softirq 도 호스트 CPU 를 쓰고, 따라서 네트워크 문제처럼 보여도 CPU 스케줄링 문제일 수 있다고 적었다.
- 「vhost-net 최적화」에서는 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간을 오가는 전환 비용이 쌓인다고 밝혔다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다.
- 「Interrupt / Notification 최적화」에서는 게스트와 호스트가 큐에 새 패킷이나 버퍼가 있음을 서로 알려야 한다고 적었다. 패킷마다 인터럽트나 알림이 지나치게 많이 발생하면 오버헤드가 커지므로 batching · interrupt moderation · queueing 이 중요하다고 밝혔다.
- 「Keycloak Refresh Token 실험과의 관계」의 핵심은 refresh 경쟁과 네트워크 가상화 문제를 섞지 않는 것이다. 현재 lab에서는 클라이언트부터 PostgreSQL까지의 경로를 검증하고, Redis를 사용하는 별도 구조에서는 Redis 구간을 추가한다.
- 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁이나 DB lock 으로 오해할 수 있다고 든 다섯
Node1 요청만 지연
VM2 packet loss
Host bridge misconfiguration
NAT/conntrack issue
Host CPU contention으로 vhost 처리 지연
- §122 OQ-7 이 든 관찰 대상 여섯
- 같은 시간축에 놓을 값은 여섯이다.
QEMU CPU
vhost thread
vhost thread CPU
softirq
Host CPU
Guest CPU
network latency
- 이 여섯 가운데 QEMU CPU 와 Guest CPU 는 CPU 가상화 쪽 물음이 같은 실험 구간에서 이미 잰다. §14.7 이 호스트 스레드를 보는 명령으로 적은 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 는 이름이 qemu 인 스레드만 걸러 내므로 vhost 커널 스레드는 그 출력에 나오지 않는다.
- softirq 시간을 읽는 명령이 근거 문서에 없다. §118 의 네트워크 확인 명령 목록에도, CPU 관측 명령을 모아 둔 §14 에도 softirq 항목이 없고 이 낱말은 §117.7 과 §122 OQ-7 두 곳에만 나온다.
- §108 은 vhost-net 을 써도 QEMU 가 VM lifecycle · virtio device 생성 · feature negotiation · queue configuration · backend 연결 · device reset 을 계속 맡는다고 적었다.
- §179 는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT 만 두었다고 관측으로 적었다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다.
- §197 과 §218 은 이 호스트의 논리 코어가 8 이고 게스트 셋에 vCPU 2 · 2 · 1 을 배분했다고 적었다. 부하 구간의 호스트 CPU 사용량은 이 수와 나란히 읽는다.
- §192 가 적은 스크레이프 대상은 keycloak · kubelet · node-exporter · prometheus 넷이고 node-exporter 는 게스트 노드마다 하나씩 붙는다. §193 은 이 실험대가 호스트 쪽 지표를 긁지 않는다고 적었다.
- 이 호스트에서 부하 구간의 vhost 스레드 CPU 사용량이나 softirq 시간을 잰 기록이 없다.
- QEMU CPU와 Guest CPU는 같은 부하 구간의 CPU 가상화 측정값을 재사용한다. `ps ... | grep qemu`는 QEMU 스레드만 남기므로 vhost 커널 스레드는 별도로 찾아야 한다.
- 이번 재검증에서는 `/proc/softirqs`의 `NET_RX` event 증가량과 `/proc/stat`의 softirq CPU time을 함께 사용했다. event 수와 CPU time은 같은 값이 아니므로 둘을 구분해 기록했다.
- 「vhost-net은 QEMU를 제거하지 않는다」에서는 vhost-net 을 써도 QEMU 가 VM lifecycle · virtio device 생성 · feature negotiation · queue configuration · backend 연결 · device reset 을 계속 맡는다고 적었다.
- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT 만 두었다고 관측으로 적었다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다.
- 「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 호스트의 논리 코어가 8 이고 게스트 셋에 vCPU 2 · 2 · 1 을 배분했다고 적었다. 부하 구간의 호스트 CPU 사용량은 이 수와 나란히 읽는다.
- 「단계 06 — Prometheus 와 Grafana」에 적은 스크레이프 대상은 keycloak · kubelet · node-exporter · prometheus 넷이고 node-exporter 는 게스트 노드마다 하나씩 붙는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 이 실험대가 호스트 쪽 지표를 긁지 않는다고 적었다.
- 2026-09-21 외부 OIDC read-only 부하에서 vhost thread CPU, NET_RX event, softirq CPU time, host idle, guest workload CPU, probe latency를 같은 실행 구간에 기록했다.
## 가정
## 외부 OIDC 부하 동안 vhost와 softirq를 함께 재었다
- Keycloak 부하 시험을 돌릴 수 있고, 부하 구간과 그 직전 구간을 나눠 기록할 수 있다고 본다.
- 호스트에서 vhost 커널 스레드를 스레드 단위로 구분해 볼 수 있다고 전제한다. §108 이 vhost-net 을 써도 QEMU 가 설정과 수명 주기를 계속 맡는다고 적었으므로, QEMU 프로세스의 CPU 사용량과 vhost 커널 스레드의 CPU 사용량을 따로 세야 한다.
- 부하 도구가 네트워크 지연을 이미 내고 있다고 전제한다. 그 도구가 어떤 값을 어떤 주기로 내는지는 근거 문서에 적혀 있지 않다.
- 호스트와 게스트 둘의 시각을 맞춰 읽을 수 있다. 시계가 어긋나면 세 값을 같은 부하 구간에 겹쳐 놓지 못한다.
- 엣지 게스트의 nginx 가 쓰는 CPU 는 그 게스트를 돌리는 QEMU 프로세스 쪽에 나타난다고 본다. §179 가 nginx 를 게스트로 옮긴 뒤로 호스트에는 그 프로세스가 없으므로, 부하 구간의 호스트 CPU 상승을 전부 네트워크 가상화 몫으로 읽으면 이 전제가 깨진다.
- baseline과 외부 OIDC load 구간을 나눠 같은 host에서 연속 측정했다.
- vhost kernel thread는 `pidstat`으로 thread별 CPU를 읽고, QEMU/guest workload CPU와 분리했다.
- network latency는 별도 serial probe를 baseline과 load 구간에 각각 실행해 avg/p95를 비교했다.
- host와 guest 절대 시각은 약 90초 어긋나 있었다. 이번 측정은 workmachine이 외부 load를 시작하는 동안 host 측정 프로세스를 동시에 실행해 같은 wall-clock timestamp join 없이도 overlap을 보장했다.
- Edge Nginx workload는 edge guest와 그 QEMU/vCPU 경로의 CPU 사용량에 포함된다. 따라서 host CPU 증가분 전체를 vhost/softirq 비용으로 읽지 않고, vhost thread CPU와 softirq CPU time을 별도로 분리했다.
## 미지수
## 비용 존재와 병목 여부는 다르다
- 부하를 걸기 전 vhost 커널 스레드의 CPU 사용량과 softirq 시간.
- 부하 구간에서 그 둘이 얼마나 오르는지.
- 오른 몫이 QEMU vCPU 스레드 사용량과 어떻게 나뉘는지. 게스트가 셋이라 엣지 게스트를 돌리는 QEMU 프로세스의 몫도 k3s 노드 두 대와 갈라 세야 한다.
- vhost 커널 스레드와 softirq 의 움직임이 네트워크 지연과 같은 시간축에서 함께 움직이는지.
- 두 지표가 얼마나 움직여야 실험 결과를 다르게 읽어야 하는지. 그 문턱을 아직 정하지 않았다.
- softirq 시간을 이 환경에서 어떤 도구로 읽는지. 근거 문서가 명령을 적지 않아 실행하는 쪽이 정한다.
현재 OIDC read-only 부하 수준에서 vhost thread CPU, softirq event/time, host idle, guest vCPU 사용량, 외부 latency 변화는 모두 측정됐다. vhost와 softirq 비용은 baseline보다 증가했지만 host CPU capacity를 포화시키지 않았다.
## 제약
남는 것은 실제 refresh-token/DB workload에서 같은 패턴이 유지되는지와, vhost CPU 배치나 multi-queue 변경이 latency를 개선하는지다. 이 둘은 현재 구조의 비용 존재 여부가 아니라 다른 workload/튜닝 효과를 묻는 별도 실험이다.
## 현재 packet rate에서의 범위
- 실험 조건을 바꾸지 않고 관찰만 덧붙인다. CPU 가상화 쪽 물음이 같은 실험 구간을 쓰기로 되어 있어 부하 수준을 바꾸면 두 기록을 겹쳐 읽지 못한다.
- 기준값을 먼저 찍는다. 부하 구간의 값만 있으면 그것이 평소 값인지 부하 때문에 오른 값인지 판정할 수 없다.
- 이 물음이 새로 만드는 값은 vhost 커널 스레드 사용량과 softirq 시간 둘이다. QEMU CPU 와 Guest CPU 와 steal time 은 CPU 가상화 쪽 기록을 그대로 쓰고, 네트워크 지연은 부하 도구가 낸 값을 쓴다.
- 호스트 쪽 값은 손으로 읽어 남긴다. §192 의 관측 스택은 게스트 안에서 돌고 §193 이 적은 대로 호스트 지표를 긁지 않는다. §193 은 node-exporter 가 게스트 커널이 내놓는 값을 읽으므로 그 값이 전부 게스트가 본 것이고 호스트에서 같은 것을 재면 다른 수가 나올 수 있다고 추론으로 덧붙였다.
- 두 지표가 움직이지 않았다는 결과가 나와도 Refresh Token 실험의 결론이 바뀌지는 않는다. §120 이 Refresh Token 경쟁과 네트워크 가상화를 별개 문제로 놓았기 때문에, 여기서 갈리는 것은 그 실험 결과를 애플리케이션과 저장소 쪽으로 읽어도 되는지 하나다.
- 스레드가 어느 논리 CPU 에서 돌았는지는 §14.7 의 psr 로 읽히지만, 그 번호가 어느 물리 코어인지는 SSOT 에서 나오지 않는다. §197 이 남긴 lscpu 출력이 grep 으로 걸러져 Model name 과 CPU(s), Thread(s) per core, Core(s) per socket 네 줄뿐이기 때문이다. vhost 스레드를 어느 CPU 에 둘지를 나중에 정하려면 그 배치를 호스트에서 다시 읽어야 한다.
- 이 호스트에서 잰 값이 없어 다른 장비의 수치를 근거로 삼지 않는다.
- 새로 추가할 값은 vhost 처리 주체의 CPU 사용량과 softirq다. QEMU CPU·Guest CPU·steal time은 같은 실험의 CPU 측정값을 쓰고, network latency는 부하 도구 값을 쓴다.
- 호스트 쪽 값은 손으로 읽어 남긴다. 「단계 06 — Prometheus 와 Grafana」의 관측 스택은 게스트 안에서 돌고 「이 구축이 제1~4부의 어느 구조에 닿나」에 적은 대로 호스트 지표를 긁지 않는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 node-exporter 가 게스트 커널이 내놓는 값을 읽으므로 그 값이 전부 게스트가 본 것이고 호스트에서 같은 것을 재면 다른 수가 나올 수 있다고 추론으로 덧붙였다.
- 두 지표가 움직이지 않았다는 결과가 나와도 Refresh Token 실험의 결론이 바뀌지는 않는다. 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁과 네트워크 가상화를 별개 문제로 놓았기 때문에, 여기서 갈리는 것은 그 실험 결과를 애플리케이션과 저장소 쪽으로 읽어도 되는지 하나다.
- 2026-09-21 `lscpu` 전체 출력으로 host가 4 cores / 8 logical CPUs, single socket, single NUMA node임을 확인했다. 향후 vhost affinity를 비교할 때는 이 topology와 `PSR`을 함께 기록한다.
- 2026-09-21 현재 host에서 직접 측정한 값으로 판단한다. 이 수치를 다른 장비나 더 높은 packet rate에 그대로 적용하지 않는다.
## 선택지
## 어떻게 겹쳐 봤나
### 1. 실험을 그대로 두고 vhost 스레드와 softirq 만 덧붙여 잰다
@@ -99,22 +95,16 @@ CPU 가상화 쪽 물음이 이미 같은 구간에서 Guest steal time 과 QEMU
### 2. 부하 직전 구간을 기준값으로 따로 찍는다
부하를 걸기 전에 §122 OQ-7 의 여섯을 한 번 찍어 두면 부하 구간의 값을 견줄 대상이 생긴다. 기준값 없이 부하 구간만 찍으면 vhost 스레드 사용량이 어떤 값으로 나오든 그것이 평소 값인지 부하 때문에 오른 값인지 판정하지 못한다.
부하를 걸기 전에 같은 여섯 지표를 한 번 찍어 baseline을 만든다. 기준값 없이 부하 구간만 찍으면 vhost 스레드 사용량이 어떤 값으로 나오든 그것이 평소 값인지 부하 때문에 오른 값인지 판정하지 못한다.
### 3. network latency 를 같은 시간축에 올려 함께 본다
vhost 스레드와 softirq 가 올라도 지연이 그대로면 이 부하 수준에서는 지연을 바꾸지 않았다고 적을 수 있다. §122 OQ-7 이 network latency 를 여섯째 관찰 대상으로 둔 이유가 여기에 있다. 대신 호스트와 부하 도구의 시각을 맞춰야 세 값을 겹쳐 놓을 수 있다.
vhost 스레드와 softirq 가 올라도 지연이 그대로면 이 부하 수준에서는 지연을 바꾸지 않았다고 적을 수 있다. 원문의 7번째 확인 항목에서 network latency 를 함께 보도록 한 이유가 여기에 있다. 대신 호스트와 부하 도구의 시각을 맞춰야 세 값을 겹쳐 놓을 수 있다.
### 4. 제외 — 초당 패킷 수를 올려 vhost 처리를 포화시켜 견준다
### 4. 제외 — 초당 패킷 수를 따로 올려 vhost를 포화시킨다
§107 은 초당 지나는 패킷이 많아질수록 전환과 복사와 알림 비용이 커질 수 있다고 적었으므로, 그 수를 올리면 vhost 처리 비용이 더 잘 드러난다. 그러나 이 물음은 Keycloak 부하 시험 구간에서 네트워크 가상화가 결과를 흔들었는지를 묻는 것이라, 부하를 다르게 걸고 잰 값은 그 답이 되지 않는다. 포화 구간과 견주는 측정은 별도 부하 Case 로 뺀다.
그렇게 하면 vhost 처리 한계는 보기 쉽지만 현재 Keycloak 부하 시험의 영향 여부와는 다른 실험이 된다. 먼저 실제 Keycloak 부하 조건을 그대로 두고 측정하고, vhost 자체의 한계를 보려면 별도 네트워크 부하 실험으로 분리한다.
## 다음 검증
## 비용은 보였지만 host CPU 병목으로 보이지 않았다
1. 부하를 걸기 전 §122 OQ-7 이 든 여섯을 한 번 찍어 기준값으로 둔다.
2. Keycloak 부하 시험을 돌리면서 같은 여섯을 같은 시각에 기록한다. 호스트에서는 QEMU 프로세스와 vhost 커널 스레드의 CPU 사용량을 스레드 단위로, softirq 시간을, 호스트 전체 CPU 를 적는다.
3. 각 게스트의 CPU 사용량과 부하 도구가 낸 네트워크 지연을 같은 구간에서 적는다.
4. vhost 커널 스레드와 softirq 를 읽는 데 쓴 명령을 함께 남긴다. §14.7 의 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 는 qemu 로 걸러 내 vhost 커널 스레드를 내지 않고, softirq 를 읽는 명령은 근거 문서에 없다.
5. Guest steal time 과 QEMU vCPU 스레드 쪽은 「Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가」가 같은 구간에서 재므로, 두 기록을 한 실험에서 함께 남긴다.
닫는 조건 : 부하 구간의 vhost 커널 스레드 사용량과 softirq 시간이 기준값과 다르지 않고 네트워크 지연도 움직이지 않으면, 이 부하 수준에서는 네트워크 가상화가 지연에 영향을 줄 만큼 호스트 CPU 를 쓰지 않는다고 적고 닫는다. 셋 중 하나라도 움직이면 그 부하 전후 표가 Case 가 되고, vhost 스레드를 어느 CPU 에 둘지나 multi-queue 를 켤지는 그 Case 뒤에 Decision 으로 넘긴다. 어느 쪽이든 이 결과가 없으면 §120 이 경고한 오귀속, 곧 네트워크 지연을 Refresh Token 경쟁으로 읽는 것을 배제했다고 적을 근거가 없다.
현재 외부 OIDC read-only 부하에서는 vhost thread와 NET_RX softirq 비용이 baseline보다 증가하고 request latency도 상승했지만, host에는 39~56% idle CPU가 남았고 vhost CPU는 edge 약 9.75%, worker 각각 약 3.6~3.8%였다. softirq CPU time도 전체 8 CPU capacity의 약 0.82% 수준이었다. 따라서 **network virtualization CPU cost는 실제로 존재하지만, 이 부하에서 host CPU를 포화시켜 지연을 지배하는 병목으로 보이지 않는다.** 실제 refresh workload에서는 같은 지표를 다시 겹쳐 확인한다.
@@ -8,8 +8,16 @@ topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/bded6560-dc8d-473d-966c-5b037bb84c4c/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt
source:
- final/document.md#122-open-question-oq-4
- final/document.md#107-vhost-net-최적화
@@ -20,70 +28,65 @@ source:
# QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가
백엔드(backend)는 virtqueue 를 사이에 두고 게스트와 버퍼를 주고받는 호스트 쪽을 가리킨다. §107 은 패킷 처리를 QEMU 사용자 공간(userspace)에서 호스트 커널로 옮기면 컨텍스트 스위치와 사용자 공간 오버헤드가 줄어든다고 적었지만, 방향만 있을 뿐 이 호스트에서 두 백엔드를 나란히 재 본 값은 없다. §110 은 실제로 복사가 일어나는지가 커널 버전과 offload 를 비롯한 여러 조건에 따라 달라질 수 있다고 밝혔으니, 다른 환경의 수치를 이 호스트 값으로 옮겨 쓸 수도 없다. 이 물음은 §122 OQ-4 가 든 여섯 축을 이 호스트에서 나란히 재서 차이가 보이는지 가른다.
현재 세 VM의 packet datapath backend는 vhost-net으로 확인됐다. 2026-09-21 `kc-lab-2`에 libvirt 문서가 설명하는 `<driver name='qemu'/>`를 persistent XML로 넣고 실제 재부팅까지 했지만, **실행 중 QEMU argv는 여전히 `vhost:true`였다.** 따라서 이 세션에서는 QEMU userspace backend 조건 자체를 만들지 못했고, 두 backend 성능 비교는 아직 수행하지 않았다. XML 설정값만으로 runtime backend 전환을 성공했다고 처리하지 않는다.
## 관계
## 현재 baseline backend
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
그 경로에서 두 백엔드가 갈리는 곳은 TAP 다음 한 칸이고, 이 물음은 거기서 무엇이 달라지는지를 잰다.
- **이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가**
지금 어느 쪽으로 돌고 있는지가 정해져야 견줄 두 값 가운데 한쪽이 고정된다.
- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가**
두 물음이 QEMU CPU 와 Host CPU 를 같은 부하에서 읽으므로 측정을 한 번으로 묶을 수 있다.
- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다**
백엔드 차이가 지연에 얼마나 들어오는지를 이 물음이 재면, 그 기준이 그 값을 가져다 쓴다.
- 2026-09-21 재검증에서 현재 vhost baseline에서 `kc-lab-2`의 QEMU argv는 `{"type":"tap",...,"vhost":true,"vhostfd":"31"}`였다. host→`.12:80` direct OIDC 2000회/concurrency 20은 `2419.4 rps`, avg `8.07 ms`, p95 `15.07 ms`였다. 이 수치는 vhost 조건의 환경 의존 baseline이다.
- 2026-09-21 재검증에서 inactive domain XML에 `<driver name='qemu'/>`를 넣는 것은 libvirt가 받아들였고 live XML에도 재부팅 후 그 요소가 남았다.
- 2026-09-21 재검증에서 그러나 실제 재부팅 뒤 `virsh domxml-to-native qemu-argv`는 계속 `vhost:true`와 `vhostfd`를 냈다. 즉 XML 문자열만 보고 userspace backend로 전환됐다고 판단하면 틀린다.
- 설치된 libvirt 문서(`/usr/share/doc/libvirt/html/formatdomain.html`)는 virtio NIC의 `driver name='qemu'`를 user-space backend, `name='vhost'`를 kernel backend로 설명한다. 현재 호스트의 실제 런타임과 문서상 기대는 일치하지 않았다.
- 2026-09-21 재검증에서 실험 후 원본 inactive XML을 다시 `virsh define`했고 live datapath도 계속 기존 vhost-net 상태다. `kc-lab-2`는 `Ready`로 복구됐다.
## 사실
- §107 은 QEMU 가 사용자 공간에서 패킷마다 I/O 를 처리하면 호스트 커널과 QEMU 사용자 공간 사이를 오가는 전환이 쌓인다고 적었다. 초당 패킷 수(packet rate)가 높아질수록 사용자 공간과 커널 사이의 전환 · 스케줄링 · 복사 · 알림 비용이 커질 수 있다.
- §107 이 적은 두 구성은 TAP 다음에 무엇이 오는지로 갈린다.
- 「vhost-net 최적화」에서는 QEMU 가 사용자 공간에서 패킷마다 I/O 를 처리하면 호스트 커널과 QEMU 사용자 공간 사이를 오가는 전환이 쌓인다고 적었다. 초당 패킷 수(packet rate)가 높아질수록 사용자 공간과 커널 사이의 전환 · 스케줄링 · 복사 · 알림 비용이 커질 수 있다.
- 「vhost-net 최적화」에 적은 두 구성은 TAP 다음에 무엇이 오는지로 갈린다.
QEMU userspace backend : TAP → QEMU → virtqueue
vhost-net kernel backend : TAP → vhost-net → virtqueue
- §125 는 최종 기준 구조에 두 Data Path 를 나란히 그렸다. 열한 칸 가운데 다른 곳은 TAP 다음 한 칸이고, 거기에 vhost-net 이 오느냐 QEMU virtio backend 가 오느냐로 갈린다.
- §107 이 든 최적화 방향은 패킷마다 QEMU 사용자 공간이 끼어들던 처리를 커널 백엔드로 옮겨 컨텍스트 스위치와 사용자 공간 오버헤드를 줄이는 것이다.
- §110 은 virtio · virtqueue · vhost 구조가 버퍼 디스크립터(descriptor)로 불필요한 복사와 컨텍스트 스위치를 줄이도록 설계되어 있다고 적었다. 그렇다고 이를 항상 zero-copy 라고 일반화하면 안 된다고 못 박았다. 실제로 복사가 일어나는지는 아래에 따라 달라질 수 있다.
- 「최종 기준 구조」에서는 최종 기준 구조에 두 Data Path 를 나란히 그렸다. 열한 칸 가운데 다른 곳은 TAP 다음 한 칸이고, 거기에 vhost-net 이 오느냐 QEMU virtio backend 가 오느냐로 갈린다.
- 「vhost-net 최적화」에서 든 최적화 방향은 패킷마다 QEMU 사용자 공간이 끼어들던 처리를 커널 백엔드로 옮겨 컨텍스트 스위치와 사용자 공간 오버헤드를 줄이는 것이다.
- 「Data Copy 최적화」에서는 virtio · virtqueue · vhost 구조가 버퍼 디스크립터(descriptor)로 불필요한 복사와 컨텍스트 스위치를 줄이도록 설계되어 있다고 적었다. 그렇다고 이를 항상 zero-copy 라고 일반화하면 안 된다고 못 박았다. 실제로 복사가 일어나는지는 아래에 따라 달라질 수 있다.
Kernel version · QEMU version · vhost configuration
offload · NIC capability · packet path · GSO/GRO/TSO
- §111 은 게스트와 호스트가 큐에 새 패킷이 들어왔음을 서로 알려야 한다고 적고, 패킷마다 인터럽트와 알림이 지나치게 많이 나가면 오버헤드가 커질 수 있다고 덧붙였다. 그래서 batching 과 interrupt moderation 과 queueing 이 중요하다.
- §117.4 는 초당 패킷 수가 높은 구간에서 QEMU 사용자 공간이 처리 경로를 직접 맡으면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰할 것으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다.
- §122 OQ-4 는 비교할 축 여섯을 적었다.
- 「Interrupt / Notification 최적화」에서는 게스트와 호스트가 큐에 새 패킷이 들어왔음을 서로 알려야 한다고 적고, 패킷마다 인터럽트와 알림이 지나치게 많이 나가면 오버헤드가 커질 수 있다고 덧붙였다. 그래서 batching 과 interrupt moderation 과 queueing 이 중요하다.
- 「vhost-net 미사용 또는 비효율적 datapath」에서는 초당 패킷 수가 높은 구간에서 QEMU 사용자 공간이 처리 경로를 직접 맡으면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰할 것으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다.
- 비교할 축은 여섯이다.
Latency
Throughput
QEMU CPU
Host CPU
Context Switch
Packet rate
- §122 OQ-4 는 축의 이름만 적어 두었고, 여섯을 무슨 도구로 어떻게 재는지는 제3부에 없다. 같은 §122 에서 OQ-1 과 OQ-2 는 돌릴 명령을 그대로 적었고 OQ-3 은 lsmod | grep vhost 를 확인 후보로 들었다.
- §197 은 이 호스트의 판 번호를 실측으로 적었다.
- 이 여섯 값을 어떤 도구로 읽을지는 현재 문서에 고정돼 있지 않으므로, 실행할 때 사용한 명령과 도구 버전을 함께 남긴다.
- 「측정 환경」에서는 이 호스트의 판 번호를 실측으로 적었다.
libvirt : 12.7.0
QEMU emulator version : 11.1.1
커널 : 7.2.2-arch1-1
- 그래서 §110 이 든 조건 여섯 가운데 kernel version 과 QEMU version 은 이제 적을 수 있다. vhost configuration 과 offload, NIC capability 는 이 호스트에서 읽은 값이 없다.
- §202 와 §204 는 게스트를 지우고 다시 세울 때 무엇이 사라지고 무엇이 남는지 적었다. 게스트 디스크와 시드 ISO 는 사라지고 base.qcow2 와 libvirt 의 default 네트워크 정의는 남으며, 재구축해도 IP 가 같다. 다만 백엔드를 바꿔 다시 세운 기록은 없다.
- 이 호스트에서 두 백엔드를 재 본 값은 SSOT 에 없다.
- 그래서 「Data Copy 최적화」에서 든 조건 여섯 가운데 kernel version 과 QEMU version 은 이제 적을 수 있다. vhost configuration 과 offload, NIC capability 는 이 호스트에서 읽은 값이 없다.
- 「철거 — 실제 출력 전문」와 「재구축할 때 무엇이 남아 있나」에서는 게스트를 지우고 다시 세울 때 무엇이 사라지고 무엇이 남는지 적었다. 게스트 디스크와 시드 ISO 는 사라지고 base.qcow2 와 libvirt 의 default 네트워크 정의는 남으며, 재구축해도 IP 가 같다. 다만 백엔드를 바꿔 다시 세운 기록은 없다.
- 이 호스트에서 두 백엔드를 재 본 값은 기존 문서에 없다.
## 가정
## A/B 비교 조건
- 같은 가상 머신을 다른 백엔드로 다시 구성해 띄울 수 있다고 본다. 그것이 이 실험 환경에서 되는지는 SSOT 에 적혀 있지 않다.
- 같은 가상 머신을 다른 백엔드로 다시 구성해 띄울 수 있다고 본다. 그것이 이 실험 환경에서 되는지는 기존 문서에 적혀 있지 않다.
- 두 구성에 같은 부하를 걸 수 있다고 전제한다. 부하 도구와 요청 구성이 같아야 여섯 축을 견줄 수 있기 때문이다.
- 부하를 걸기 전 값과 부하 중 값의 차이가 백엔드 차이보다 작다고 전제하지 않는다. 그래서 부하 전 값을 먼저 찍어 둔다.
- 두 구성을 같은 시각에 나란히 돌릴 수 없다고 보고 차례로 잰다. 그 사이에 호스트의 다른 부하가 달라지면 값이 흔들릴 수 있다.
## 미지수
## 아직 없는 성능 차이
- 같은 부하를 두 백엔드로 돌렸을 때 여섯 축이 실제로 얼마나 달라지는지.
- 그 차이가 이 실험의 결과를 다르게 읽어야 할 만큼인지, 아니면 측정 흔들림 안인지.
- 이 호스트가 내는 초당 패킷 수가 §107 이 말한 「높아질수록 비용이 커지는」 구간에 들어가는지.
- 이 호스트가 내는 초당 패킷 수가 「vhost-net 최적화」에서 말한 「높아질수록 비용이 커지는」 구간에 들어가는지.
- 여섯 축을 이 환경에서 무엇으로 재는지. 제3부가 도구를 적지 않아 실행하는 쪽이 정한다.
## 제약
## 다른 환경의 수치는 제외한다
- 지금 백엔드가 무엇인지는 이 물음이 정하지 않는다. 그것을 확정하는 물음이 닫힌 뒤에 시작한다. §116 은 이 테스트 환경의 경로를 펼치면서 TAP 다음 칸에 vhost-net 을 적어 두었다. 그 칸이 실제로 그런지를 §122 가 OQ-3 으로 아직 묻고 있으므로 그 그림을 지금 백엔드의 근거로 쓰지 않는다.
- §110 이 든 조건들(kernel version · QEMU version · vhost configuration · offload · NIC capability · packet path · GSO/GRO/TSO)을 함께 적지 않으면 이 측정을 다른 환경에 재사용할 수 없다. 앞의 둘은 §197 이 이미 적었으므로 잴 때 나머지를 채운다.
- 현재 baseline backend는 vhost-net으로 확인됐다. 비교 실험은 이 구성을 먼저 측정한 뒤 같은 VM을 QEMU userspace backend로 바꿔 동일 부하를 다시 거는 순서로 진행한다.
- 「Data Copy 최적화」에서 든 조건들(kernel version · QEMU version · vhost configuration · offload · NIC capability · packet path · GSO/GRO/TSO)을 함께 적지 않으면 이 측정을 다른 환경에 재사용할 수 없다. 앞의 둘은 「측정 환경」에서는 이미 적었으므로 잴 때 나머지를 채운다.
- 이 호스트에서 잰 값이 없어 다른 장비의 백엔드 비교 수치를 근거로 삼지 않는다.
- 여기서 어느 백엔드로 실험을 고정할지는 정하지 않는다. 그것은 측정 결과가 나온 뒤의 Decision 이다.
- 어느 backend를 기본 구성으로 둘지는 두 조건의 측정 결과를 본 뒤 판단한다.
## 선택지
## 두 backend를 비교하는 방법
### 1. 지금 백엔드만 먼저 찍어 나중에 견줄 값을 만든다
@@ -93,20 +96,20 @@ source:
### 2. 두 백엔드로 바꿔 가며 같은 부하를 건다
§122 OQ-4 가 요구하는 비교가 이것이다. 같은 가상 머신을 다른 백엔드로 다시 구성하고 같은 부하를 양쪽에 걸어 여섯 축을 같은 시각에 기록한다. 차이가 나면 그 표가 그대로 Case 가 된다.
같은 VM을 vhost-net과 QEMU userspace backend로 각각 구성하고 동일한 부하를 걸어 여섯 축을 같은 방식으로 기록한다. 두 실행 사이에는 backend 외의 조건을 바꾸지 않는다.
가상 머신을 다시 구성하고 재시작해야 하므로 그동안 Keycloak 실험을 멈춰야 하고, 두 측정 사이에 호스트 상태가 달라지지 않도록 관리해야 한다.
### 3. 문헌의 백엔드 비교 수치를 가져다 쓴다 — 제외
§110 은 실제로 복사가 일어나는지가 여러 조건에 따라 달라질 수 있다고 밝혔다. 그 조건은 kernel version · QEMU version · vhost configuration · offload · NIC capability · packet path · GSO/GRO/TSO 다. 조건이 이만큼 걸려 있으니 다른 환경에서 나온 수치는 이 호스트의 값이 되지 못한다. 이 물음은 이 호스트에서 잰 값으로만 닫힌다.
실제 copy 경로와 offload 효과는 kernel·QEMU·vhost 설정·NIC capability·GSO/GRO/TSO에 따라 달라진다. 다른 환경의 수치는 방향을 이해하는 참고 자료일 뿐 이 호스트의 성능 차이를 대신하지 못한다.
## 다음 검증
## backend를 가르려면 QEMU 인자와 thread를 다시 잡아야 한다
1. 지금 백엔드가 무엇인지 먼저 확정한다. 그것을 묻는 물음이 닫히기 전에는 견줄 두 값 가운데 한쪽이 무엇인지 알 수 없다.
1. 현재 baseline이 vhost-net임을 2026-09-21 QEMU 인자와 함께 기록한다.
2. 부하를 걸기 전에 여섯 축을 한 번 찍어 둔다.
3. 지금 구성에 부하를 걸고 여섯 축을 같은 시각에 기록한다. Latency 와 Throughput 과 Packet rate 는 부하 도구가 내는 값을 쓰고, QEMU CPU 와 Host CPU 와 Context Switch 는 호스트에서 읽는다.
4. 같은 가상 머신을 다른 백엔드로 구성하고 같은 부하를 걸어 3 을 되풀이한다.
5. 두 구성의 여섯 축을 나란히 적고, §110 이 든 조건들과 실행한 명령을 함께 증거로 남긴다.
5. 두 구성의 여섯 축을 나란히 적고, 「Data Copy 최적화」에서 든 조건들과 실행한 명령을 함께 증거로 남긴다.
닫는 조건 : 두 구성의 여섯 축을 나란히 놓으면 닫는다. 차이가 부하 전 값의 흔들림 안이면 이 호스트가 내는 초당 패킷 수에서는 백엔드 선택이 결과를 바꾸지 않는다고 적고 닫는다. 차이가 나면 그 측정이 Case 가 되고, 어느 백엔드로 실험을 고정할지는 그 Case 뒤에 Decision 으로 넘긴다.
두 구성의 여섯 축을 나란히 놓고 baseline 흔들림보다 큰 차이가 있는지 본다. 차이가 없다면 현재 packet rate에서는 backend 선택 영향이 관측되지 않은 것으로 기록한다. 차이가 반복되면 그 결과를 바탕으로 이후 실험의 backend를 정한다.
@@ -7,9 +7,12 @@ topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/397c4789-0272-449b-86d6-2c4a3a122401/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt
source:
- final/document.md#122-open-question-oq-2
- final/document.md#99-tap의-역할
@@ -19,79 +22,67 @@ source:
# VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가
§99 는 TAP 을 가상 머신의 이더넷 프레임과 호스트 리눅스 네트워크를 잇는 접점으로 놓았다. 그 접점의 이름은 호스트마다 다르게 붙는데, 이 호스트의 두 가상 머신에 무엇이 붙었는지는 SSOT 에 없다. 이름을 모르면 §119 의 계층별 tcpdump 가 대상을 채우지 못하고, §117.1 이 든 「특정 VM 만 통신 불가」도 어느 가상 머신인지 가릴 수 없다. 이 물음은 두 가상 머신의 호스트 쪽 인터페이스 이름과 붙어 있는 곳을 확정한다.
2026-09-21 현재 host 쪽 인터페이스는 `kc-lab-edge → vnet13`, `kc-lab-1 → vnet18`, `kc-lab-2 → vnet19`이고 세 인터페이스 모두 `virbr0`의 forwarding port다. MAC도 DHCP 예약과 일치한다. `vnetN` 번호는 VM 재생성 과정에서 바뀔 수 있으므로 현재 실행의 관측값으로 기록한다.
## 관계
## 세 VM의 vnet mapping
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
그 경로에서 TAP 이 무엇을 하는지 이미 설명해 두었으므로 이 물음은 거기서 이어진다.
- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다**
그 기준이 요구하는 캡처 지점의 이름을 이 물음이 댄다.
- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가**
ip link 와 bridge link 를 두 물음이 같이 쓰므로 한 번 찍어 둘을 함께 읽는다.
- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가**
tcpdump 를 어느 인터페이스에 걸지가 이 물음의 답에서 나온다.
- 2026-09-21 재검증에서 `virsh domiflist`, domain XML, `ip -brief link`, `bridge link`를 대조했다. `vnet13/18/19`는 각각 edge/kc-lab-1/kc-lab-2에 대응하며 모두 `master virbr0 state forwarding`이었다.
## 사실
- §99 는 TAP 을 호스트 리눅스 커널이 제공하는 가상 이더넷 네트워크 인터페이스로 적었다. 물리 장치가 아니고, 이름의 예로 tap0 과 vnet0 을 들었다.
- §99 가 적은 TAP 의 역할은 가상 머신의 이더넷 프레임과 호스트 리눅스 네트워크를 연결하는 접점이다.
- 「TAP의 역할」에서는 TAP 을 호스트 리눅스 커널이 제공하는 가상 이더넷 네트워크 인터페이스로 적었다. 물리 장치가 아니고, 이름의 예로 tap0 과 vnet0 을 들었다.
- 「TAP의 역할」에 적은 TAP 의 역할은 가상 머신의 이더넷 프레임과 호스트 리눅스 네트워크를 연결하는 접점이다.
수신 : Linux Bridge → TAP → VM
송신 : VM → TAP → Linux Bridge
- §99 는 확인 명령으로 ip link · ip tuntap show · bridge link · virsh domiflist 넷을 들었고, §118 이 같은 명령을 계층별 목록으로 다시 적었다.
- 「TAP의 역할」에서는 확인 명령으로 ip link · ip tuntap show · bridge link · virsh domiflist 넷을 들었고, 「실제 Linux에서 확인할 명령어」에서는 같은 명령을 계층별 목록으로 다시 적었다.
TAP/vnet : ip link · ip tuntap show
libvirt VM NIC : virsh domiflist 에 domain 이름을 넣는다
Linux Bridge : ip link show type bridge · bridge link · bridge fdb show
- §122 OQ-2 는 이 호스트에서 돌릴 명령을 네 줄로 적었다.
- 원문의 2번째 확인 항목에는 이 호스트에서 돌릴 명령 네 줄이 적혀 있었다.
virsh domiflist vm1
virsh domiflist vm2
ip link
bridge link
- §99 와 §118 이 TAP 확인 명령으로 든 ip tuntap show 는 OQ-2 의 네 줄에 없다.
- §117.1 은 TAP/Bridge 연결 오류의 증상 셋을 들었다.
- 「TAP의 역할」와 「실제 Linux에서 확인할 명령어」에서는 TAP 확인 명령으로 든 ip tuntap show 는 2번째 확인 항목 의 네 줄에 없다.
- 「TAP/Bridge 연결 오류」에서는 TAP/Bridge 연결 오류의 증상 셋을 들었다.
VM 외부 통신 불가
Host ↔ VM 통신 불가
특정 VM 만 통신 불가
- §117.1 이 그 증상에서 확인하라고 든 명령은 ip link · bridge link · bridge fdb show · virsh domiflist 다.
- §116 은 이 테스트 환경의 경로를 펼치면서 TAP 칸을 TAP(vm1) 과 TAP(vm2) 로 적었다. 호스트에서 읽은 이름은 그 그림에도 없다.
- §178 은 이 실험대의 게스트를 Debian 12 genericcloud 3대로 적었다. 엣지 1대와 k3s 2노드이고, §122 OQ-2 가 vm1 과 vm2 로 적은 두 대가 그중 k3s 노드 쪽이다.
- §202 는 2026-09-10 에 돌린 철거 명령의 출력을 그대로 남겼고, 거기서 libvirt domain 이름이 kc-lab-edge · kc-lab-1 · kc-lab-2 로 확인된다. 한 대분 출력의 첫 줄은 Domain 'kc-lab-edge' destroyed 다.
- §201 과 §247 이 적은 세 게스트의 MAC 주소와 IP 주소
- 「TAP/Bridge 연결 오류」에서는 그 증상에서 확인하라고 든 명령은 ip link · bridge link · bridge fdb show · virsh domiflist 다.
- 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 이 테스트 환경의 경로를 펼치면서 TAP 칸을 TAP(vm1) 과 TAP(vm2) 로 적었다. 호스트에서 읽은 이름은 그 그림에도 없다.
- 「이 부의 출처와 범위」에서는 이 실험대의 게스트를 Debian 12 genericcloud 3대로 적었다. 엣지 1대와 k3s 2노드이고, 원문의 `vm1`, `vm2` 표기는 그중 k3s 노드 두 대를 가리킨다.
- 「철거 — 실제 출력 전문」에서는 2026-09-10 에 돌린 철거 명령의 출력을 그대로 남겼고, 거기서 libvirt domain 이름이 kc-lab-edge · kc-lab-1 · kc-lab-2 로 확인된다. 한 대분 출력의 첫 줄은 Domain 'kc-lab-edge' destroyed 다.
- 「네트워크 — DHCP 예약의 실제 동작」와 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에 적은 세 게스트의 MAC 주소와 IP 주소
kc-lab-edge : `52:54:00:aa:bb:10` · 192.168.122.10
kc-lab-1 : `52:54:00:aa:bb:11` · 192.168.122.11
kc-lab-2 : `52:54:00:aa:bb:12` · 192.168.122.12
- §247 은 `52:54:00` 이 QEMU/KVM 에 할당된 OUI(제조사 식별 접두사)라고 적고, 예약의 mac 과 VM 을 만들 때 준 mac 이 정확히 같아야 한다고 밝혔다. 다르면 예약이 조용히 무시되고 게스트가 동적 범위에서 아무 주소나 받는다.
- §201 은 예약과 리스를 다른 것으로 갈라 적었다. virsh net-dumpxml 의 예약은 줄 의도이고 virsh net-dhcp-leases 는 실제로 준 기록이라 둘이 다를 수 있다. 실제로 준 기록에는 `52:54:00:aa:bb:11` 이 192.168.122.11/24 을, `52:54:00:aa:bb:12` 가 192.168.122.12/24 을 각각 kc-lab-1 과 kc-lab-2 이름으로 받은 줄이 남아 있다.
- §178 과 §245 는 게스트가 libvirt 의 default 네트워크에 붙는다고 적었다. §245 는 VM 이 한 대라도 뜨면 그 VM 의 vnetN 인터페이스가 virbr0 에 붙으면서 브리지가 UP 으로 바뀐다고 덧붙였다.
- §201 은 VM 세 대가 돌 때 virbr0 이 UP 이고 전부 철거한 뒤에는 DOWN 이라는 출력을 남겼다. 상태가 갈린 이유를 브리지에 붙은 tap 인터페이스가 하나도 없어서라고 적었다.
- 호스트 쪽 인터페이스의 이름은 SSOT 에 없다. virsh domiflist 를 돌린 출력도 ip link 출력도 없다.
- 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 `52:54:00` 이 QEMU/KVM 에 할당된 OUI(제조사 식별 접두사)라고 적고, 예약의 mac 과 VM 을 만들 때 준 mac 이 정확히 같아야 한다고 밝혔다. 다르면 예약이 조용히 무시되고 게스트가 동적 범위에서 아무 주소나 받는다.
- 「네트워크 — DHCP 예약의 실제 동작」에서는 예약과 리스를 다른 것으로 갈라 적었다. virsh net-dumpxml 의 예약은 줄 의도이고 virsh net-dhcp-leases 는 실제로 준 기록이라 둘이 다를 수 있다. 실제로 준 기록에는 `52:54:00:aa:bb:11` 이 192.168.122.11/24 을, `52:54:00:aa:bb:12` 가 192.168.122.12/24 을 각각 kc-lab-1 과 kc-lab-2 이름으로 받은 줄이 남아 있다.
- 「이 부의 출처와 범위」와 「libvirt `default` 네트워크와 `virbr0`」에서는 게스트가 libvirt 의 default 네트워크에 붙는다고 적었다. 「libvirt `default` 네트워크와 `virbr0`」에서는 VM 이 한 대라도 뜨면 그 VM 의 vnetN 인터페이스가 virbr0 에 붙으면서 브리지가 UP 으로 바뀐다고 덧붙였다.
- 「네트워크 — DHCP 예약의 실제 동작」에서는 VM 세 대가 돌 때 virbr0 이 UP 이고 전부 철거한 뒤에는 DOWN 이라는 출력을 남겼다. 상태가 갈린 이유를 브리지에 붙은 tap 인터페이스가 하나도 없어서라고 적었다.
- 2026-09-21 재검증에서 VM별 host-side `vnetN` 이름과 MAC, `virbr0` 연결을 직접 읽어 대응표를 만들었다.
## 가정
## mapping 확인 조건
- 호스트에 붙어 virsh 와 ip 계열 명령을 실행할 수 있다고 본다.
- §122 OQ-2 는 명령에 vm1 과 vm2 를 적었지만 §202 의 철거 출력에 찍힌 domain 이름은 kc-lab-1 과 kc-lab-2 다. 그래서 명령에 넣을 이름은 뒤쪽을 쓴다. §99 와 §118 은 같은 명령에 넣을 domain 을 비워 두었다.
- virsh domiflist 출력에 인터페이스 이름과 MAC 주소가 함께 나온다고 전제한다. §99 도 §118 도 이 명령의 출력 형식은 적지 않았다.
- 두 가상 머신이 켜져 있는 동안 읽는다고 전제한다. 꺼진 가상 머신의 TAP 이 호스트에 남아 있는지는 SSOT 에 적혀 있지 않다.
- 원문의 명령에는 `vm1`, `vm2`가 쓰였지만 「철거 — 실제 출력 전문」에 남은 실제 domain 이름은 `kc-lab-1`, `kc-lab-2`다. 따라서 실제 확인 명령에는 뒤쪽 이름을 쓴다. 「TAP의 역할」와 「실제 Linux에서 확인할 명령어」에서는 같은 명령의 domain 이름을 비워 두었다.
- virsh domiflist 출력에 인터페이스 이름과 MAC 주소가 함께 나온다고 전제한다. 「TAP의 역할」도 「실제 Linux에서 확인할 명령어」도 이 명령의 출력 형식은 적지 않았다.
- 두 가상 머신이 켜져 있는 동안 읽는다고 전제한다. 꺼진 가상 머신의 TAP 이 호스트에 남아 있는지는 기존 문서에 적혀 있지 않다.
## 미지수
## runtime interface 이름의 수명
- kc-lab-1 과 kc-lab-2 의 호스트 쪽 인터페이스 이름이 각각 무엇인지. 엣지 게스트 kc-lab-edge 의 것도 같이 모른다.
- 각 인터페이스의 NIC model 이 무엇인지. MAC 주소는 §247 의 예약이 대지만 virsh domiflist 가 같은 값을 내는지는 대조해야 갈린다.
- 세 인터페이스가 모두 virbr0 에 붙어 있는지. §245 는 default 네트워크의 VM 들이 이 브리지에 연결된다고 적었고, bridge link 로 포트 목록을 읽은 출력은 없다.
- ip tuntap show 에 나오는 TAP 목록과 virsh domiflist 가 대는 이름이 그대로 맞아떨어지는지.
VM과 host-side vnet 이름, MAC, bridge의 현재 대응은 해소됐다. 이어진 packet-path 재검증에서는 이 mapping을 다시 읽은 뒤 같은 요청이 host ingress에서 edge `vnet13`, worker `vnet18/19`와 guest NIC까지 이동하는 것도 캡처했다. 따라서 host/libvirt 구간에서는 mapping과 실제 흐름이 연결돼 확인됐다. K3s CNI·Service·Pod 내부 경로는 packet-path 질문의 별도 범위로 남는다.
## 제약
## 재생성 뒤 다시 읽어야 하는 이유
- 이름과 어디에 붙어 있는지를 적는 데서 끊는다. 그 경로로 패킷이 실제로 흘렀는지는 tcpdump 를 쓰는 물음이 받는다.
- 이 질문의 판정 자체는 이름과 bridge mapping에서 끝낸다. 다만 2026-09-21 후속 packet capture에서 같은 `vnetN`을 관측 지점으로 사용해 실제 요청 흐름과도 대조했다.
- 두 가상 머신을 같은 시점에 읽는다. 한쪽을 재시작한 뒤 다른 쪽을 읽으면 이름이 바뀌어도 알 수 없기 때문이다.
- 이 호스트에서 읽은 출력이 없어 tap0 이나 vnet0 같은 §99 의 예시 이름을 이 호스트의 값으로 쓰지 않는다.
- SSOT 가 마지막으로 적은 게스트 상태는 §202 의 철거다. 그 뒤에 다시 세웠는지는 적혀 있지 않으므로 세 게스트가 떠 있는 상태에서 읽는다. 철거된 상태로 읽으면 볼 것이 없다 — §201 은 세 대를 전부 철거한 뒤 virbr0 이 DOWN 인 이유를 브리지에 붙은 tap 인터페이스가 하나도 없어서라고 적었다.
- `vnetN` 이름은 예시가 아니라 2026-09-21 실행 시점의 실제 값으로 기록한다. VM 재생성이나 재연결 뒤에는 번호가 바뀔 수 있으므로 캡처 직전에 다시 읽는다.
- 2026-09-21 재검증은 세 VM이 실행 중일 때 수행했다. domain을 내리거나 다시 만들면 host-side `vnetN` 인터페이스가 사라지거나 번호가 바뀔 수 있다.
## 선택지
## 어떻게 대조했나
### 1. libvirt 가 대는 이름을 먼저 받아 호스트에서 대조한다
virsh domiflist 로 가상 머신마다 붙은 인터페이스를 받고, 그 이름이 ip link 목록에 실재하는지 확인한 뒤 bridge link 로 어느 브리지의 포트인지 잡는다. §122 OQ-2 가 적은 네 줄이 이 순서다. 가상 머신과 인터페이스의 짝이 처음부터 정해져 나오므로 두 대의 것을 헷갈리지 않는다.
`virsh domiflist`로 가상 머신마다 붙은 인터페이스를 받고, 그 이름이 `ip link` 목록에 실제로 있는지 확인한 뒤 `bridge link`로 어느 브리지의 포트인지 잡는다. 원문에 적힌 네 줄도 이 순서다. 가상 머신과 인터페이스의 짝이 처음부터 정해져 나오므로 두 대의 것을 헷갈리지 않는다.
libvirt 가 모르는 인터페이스는 이 순서에서 빠진다.
@@ -101,15 +92,10 @@ ip link 와 ip tuntap show 로 호스트에 있는 TAP 을 모두 적고, bridge
가상 머신이 두 대뿐인데 호스트에 TAP 이 여럿이면 짝짓는 데 MAC 주소를 다시 대조해야 한다.
### 3. 통신이 안 될 때 §117.1 의 확인 목록으로 함께 본다 — 제외
### 3. 통신이 안 될 때 「TAP/Bridge 연결 오류」의 확인 목록으로 함께 본다 — 제외
§117.1 이 증상과 확인 명령을 이미 묶어 두었으니 장애가 났을 때 같이 보자는 방법이다. 지금 필요한 것은 정상일 때의 이름과 붙어 있는 곳이고, 그것이 있어야 장애 때 무엇이 달라졌는지 견줄 수 있다. 증상이 난 뒤에 처음 읽으면 그 값이 원래 그랬는지 그때 바뀐 것인지 가릴 수 없다.
「TAP/Bridge 연결 오류」에서는 증상과 확인 명령을 이미 묶어 두었으니 장애가 났을 때 같이 보자는 방법이다. 지금 필요한 것은 정상일 때의 이름과 붙어 있는 곳이고, 그것이 있어야 장애 때 무엇이 달라졌는지 견줄 수 있다. 증상이 난 뒤에 처음 읽으면 그 값이 원래 그랬는지 그때 바뀐 것인지 가릴 수 없다.
## 다음 검증
## vnet 번호는 고정값이 아니므로 capture 직전에 다시 매핑한다
1. virsh domiflist 에 §202 가 적은 domain 이름 kc-lab-1 · kc-lab-2 · kc-lab-edge 를 차례로 넣어 각 가상 머신에 붙은 인터페이스를 읽는다.
2. ip link 로 그 이름이 호스트에 실재하는지 대조한다.
3. bridge link 로 각 인터페이스가 어느 브리지의 포트인지 적는다.
4. 두 가상 머신의 결과를 인터페이스 이름 · MAC 주소 · 붙어 있는 브리지로 나란히 적고, 실행한 명령과 출력을 함께 증거로 남긴다.
닫는 조건 : 가상 머신마다 인터페이스 이름과 MAC 주소와 붙어 있는 브리지를 적어 두 대를 나란히 놓으면 닫는다. 이 목록이 계층별 캡처 기준이 요구하는 지점의 이름이 되고, 이것이 없으면 실제 패킷 경로를 묻는 물음의 tcpdump 를 어느 인터페이스에 걸지 정할 수 없다. 두 가상 머신이 서로 다른 브리지에 붙어 있으면 §117.1 의 「특정 VM 만 통신 불가」를 진단할 때 그 사실을 먼저 본다고 적는다.
VM 재생성 뒤에는 `vnetN` 이름이 바뀔 수 있으므로 packet capture 직전에 `virsh domiflist`와 `bridge link`를 다시 읽는다.
@@ -7,9 +7,14 @@ topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/1a996f8d-b04e-49d2-88ef-4877e21f7c0e/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt
source:
- final/document.md#122-open-question-oq-5
- final/document.md#112-multi-queue-최적화
@@ -19,93 +24,72 @@ source:
# 이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가
multi-queue 는 virtio-net 이 송수신 큐를 여러 개 두고 쓰는 구성이다. §112 는 큐를 하나만 쓰면 패킷 처리가 한 vCPU 나 한 처리 경로에 몰릴 수 있어서 이것을 최적화 방향으로 들었을 뿐, 이 가상 머신들의 큐 수는 적지 않았다. 이 물음은 그 쏠림이 실제로 일어나는지를 재지 않고, 두 대가 애초에 큐를 몇 개 쓰도록 구성되어 있는지를 읽는다.
현재 worker 두 대의 virtio-net은 multi-queue가 아니다. 2026-09-21 게스트의 `/sys/class/net/enp1s0/queues`를 직접 읽었고 둘 다 `rx-0`, `tx-0` 한 쌍만 있었다. QEMU/libvirt NIC 설정에도 별도 queue 수 지정이 없다.
## 관계
## 현재 queue 구성
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
게스트와 호스트 백엔드가 virtqueue 로 무엇을 주고받는지를 이 개념이 설명한다. 큐를 몇 개 두느냐는 그 구조 위의 설정이다.
- **이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가**
큐를 실제로 돌리는 백엔드가 어느 쪽이냐에 따라 큐 수를 읽을 곳이 달라진다.
- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가**
큐가 하나로 나왔을 때 그것이 실제 병목인지는 부하 구간의 vCPU 별 사용량이 답한다.
- 2026-09-21 재검증에서 `kc-lab-1`과 `kc-lab-2`의 queue 디렉터리는 모두 `rx-0`, `tx-0`만 포함했다. `/proc/interrupts`에서 RX와 TX interrupt가 서로 다른 vCPU에 잡힌 순간이 있어도 queue pair 자체는 하나다.
## 사실
- §112 는 큐를 하나만 쓰면 특정 vCPU 나 처리 경로에 부하가 몰릴 수 있다고 적었고, virtio-net 이 multi-queue 를 쓸 수 있다고 밝혔다. 든 예는 RX Queue 0 부터 3 까지를 vCPU 0 부터 3 까지에 하나씩 대응시킨 구성이다.
- §112 가 적은 multi-queue 의 목적 셋
- 「Multi-Queue 최적화」에서는 큐를 하나만 쓰면 특정 vCPU 나 처리 경로에 부하가 몰릴 수 있다고 적었고, virtio-net 이 multi-queue 를 쓸 수 있다고 밝혔다. 든 예는 RX Queue 0 부터 3 까지를 vCPU 0 부터 3 까지에 하나씩 대응시킨 구성이다.
- 「Multi-Queue 최적화」에 적은 multi-queue 의 목적 셋
Packet processing 병렬화
Single queue bottleneck 완화
Multi-core 활용
- §112 는 그 효과가 workload · CPU affinity · IRQ placement · queue configuration 에 따라 달라진다고 덧붙였다. IRQ(Interrupt Request, 인터럽트 요청)는 장치가 처리할 일이 생겼음을 CPU 에 알리는 신호다.
- §100 은 virtqueue 를 게스트와 호스트 백엔드가 디스크립터(descriptor)를 써서 I/O 버퍼를 주고받는 공유 큐 구조로 놓고, 네트워크에서는 보통 TX/RX 큐를 쓴다고 적었다. TX virtqueue 는 게스트에서 호스트로, RX virtqueue 는 호스트에서 게스트로 버퍼를 넘긴다.
- §117.5 는 single queue bottleneck 을 큐 하나나 vCPU 하나에 패킷 처리가 몰리는 문제로 놓고, 확인 대상 넷을 들었다.
- 「Multi-Queue 최적화」에서는 그 효과가 workload · CPU affinity · IRQ placement · queue configuration 에 따라 달라진다고 덧붙였다. IRQ(Interrupt Request, 인터럽트 요청)는 장치가 처리할 일이 생겼음을 CPU 에 알리는 신호다.
- 「virtqueue의 역할」에서는 virtqueue 를 게스트와 호스트 백엔드가 디스크립터(descriptor)를 써서 I/O 버퍼를 주고받는 공유 큐 구조로 놓고, 네트워크에서는 보통 TX/RX 큐를 쓴다고 적었다. TX virtqueue 는 게스트에서 호스트로, RX virtqueue 는 호스트에서 게스트로 버퍼를 넘긴다.
- 「Single Queue Bottleneck」에서는 single queue bottleneck 을 큐 하나나 vCPU 하나에 패킷 처리가 몰리는 문제로 놓고, 확인 대상 넷을 들었다.
virtio multi-queue
IRQ distribution
per-vCPU CPU usage
RSS/RPS/XPS
- §122 OQ-5 가 적은 확인 대상 넷
QEMU/libvirt NIC configuration
Guest ethtool
queue count
IRQ distribution
- 같은 §122 에서 OQ-1 과 OQ-2 는 돌릴 명령을 그대로 적었고, OQ-5 는 확인 대상 넷의 이름만 적었다. §117.5 가 든 넷도 이름이다.
- §197 과 §218 은 이 실험대의 vCPU 배분을 실측으로 적었다. k3s 노드 kc-lab-1 과 kc-lab-2 가 각각 vCPU 2 이고 엣지 게스트가 1 이며, 합 5 를 논리 코어 8 위에 얹었다. §112 가 큐와 vCPU 를 하나씩 짝지어 든 예는 넷씩이라 이 게스트들의 수와 다르다.
- §247 은 VM 이 부팅하면 게스트 커널이 virtio NIC 를 인식하고 DHCP 클라이언트가 DHCPDISCOVER 를 브로드캐스트한다고 적었다. 이 게스트들의 NIC 가 virtio 라는 것은 거기까지 나온다.
- §201 은 게스트 안에서 본 인터페이스 이름을 한 줄 남겼다. 엣지 게스트가 첫 부팅에서 enp1s0 으로 192.168.122.10/24 을 받았다. ethtool 에 넣을 이름이 그 줄에서 나오지만 k3s 노드 두 대의 인터페이스 이름은 적혀 있지 않다.
- 두 가상 머신에 설정된 큐 수가 SSOT 에 없다. 게스트가 몇 개를 쓰고 있는지도, IRQ 가 어느 vCPU 에 붙어 있는지도 적혀 있지 않다.
- §126 이 적은 실습 순서 열둘 가운데 multi-queue / offload 확인은 마지막 열두째다.
- 네트워크 계층의 확인 명령을 모아 둔 §118 에는 큐 수나 IRQ 분포를 읽는 명령이 없다. Guest NIC 항목에 적힌 것은 ip link · ip addr · ip route · ip neigh 이고, virtio 장치 항목은 lspci 와 lsmod | grep virtio 다. ethtool 은 Physical NIC 항목에서 인터페이스 이름을 받는 형태로만 나온다.
- 현재 queue 구성을 확인할 때는 QEMU/libvirt NIC 설정, guest queue count, IRQ distribution을 함께 본다. queue 수만 보고 병목까지 단정하지 않는다.
- 「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 실험대의 vCPU 배분을 실측으로 적었다. k3s 노드 kc-lab-1 과 kc-lab-2 가 각각 vCPU 2 이고 엣지 게스트가 1 이며, 합 5 를 논리 코어 8 위에 얹었다. 「Multi-Queue 최적화」에서는 큐와 vCPU 를 하나씩 짝지어 든 예는 넷씩이라 이 게스트들의 수와 다르다.
- 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 VM 이 부팅하면 게스트 커널이 virtio NIC 를 인식하고 DHCP 클라이언트가 DHCPDISCOVER 를 브로드캐스트한다고 적었다. 이 게스트들의 NIC 가 virtio 라는 것은 거기까지 나온다.
- 「네트워크 — DHCP 예약의 실제 동작」에서는 게스트 안에서 본 인터페이스 이름을 한 줄 남겼다. 엣지 게스트가 첫 부팅에서 enp1s0 으로 192.168.122.10/24 을 받았다. ethtool 에 넣을 이름이 그 줄에서 나오지만 k3s 노드 두 대의 인터페이스 이름은 적혀 있지 않다.
- 2026-09-21 재검증에서 worker 둘의 guest queue count와 IRQ 상태를 직접 읽었다. 둘 다 single RX/TX queue 구성이다.
- 「다음 실습 순서」에 적은 실습 순서 열둘 가운데 multi-queue / offload 확인은 마지막 열두째다.
- 네트워크 계층의 확인 명령을 모아 둔 「실제 Linux에서 확인할 명령어」에는 큐 수나 IRQ 분포를 읽는 명령이 없다. Guest NIC 항목에 적힌 것은 ip link · ip addr · ip route · ip neigh 이고, virtio 장치 항목은 lspci 와 lsmod | grep virtio 다. ethtool 은 Physical NIC 항목에서 인터페이스 이름을 받는 형태로만 나온다.
## 가정
## host와 guest 확인 조건
- 두 가상 머신의 구성과 게스트 내부를 지금 읽을 수 있다고 본다.
- §112 가 든 RX Queue 넷과 vCPU 넷의 짝은 multi-queue 를 설명하려고 든 예시이지 이 호스트에서 읽은 값이 아니다.
- 설정에 적힌 큐 수와 게스트가 실제로 쓰는 큐 수를 따로 읽어야 한다고 전제한다. 설정에 여럿을 적어 두면 게스트 드라이버가 그만큼 쓴다는 서술이 근거 문서에 없기 때문이다.
- 큐를 여럿 두어도 IRQ 를 한 vCPU 가 몰아서 받으면 처리가 한쪽에 몰린다고 본다. §117.5 는 IRQ distribution 을 확인 대상으로 들었을 뿐 그렇게 된다고 적지는 않았다.
- 「Multi-Queue 최적화」에서 든 RX Queue 넷과 vCPU 넷의 짝은 multi-queue 를 설명하려고 든 예시이지 이 호스트에서 읽은 값이 아니다.
- 설정에 적힌 큐 수와 게스트가 실제로 쓰는 큐 수를 따로 읽어야 한다. 설정에 여러 큐를 적었다고 해서 게스트 드라이버가 모두 사용한다고 볼 근거는 원문에 없기 때문이다.
- 큐를 여럿 두어도 IRQ 를 한 vCPU 가 몰아서 받으면 처리가 한쪽에 몰린다고 본다. 「Single Queue Bottleneck」에서는 IRQ distribution 을 확인 대상으로 들었을 뿐 그렇게 된다고 적지는 않았다.
- 두 가상 머신의 NIC 구성이 확인하는 동안 바뀌지 않는다.
## 미지수
## single queue가 뜻하지 않는 것
- 두 가상 머신의 virtio-net 에 설정된 큐 수.
- 게스트가 실제로 쓰고 있는 큐 수, 그리고 그 수가 설정값과 같은지.
- 각 큐의 IRQ 가 여러 vCPU 에 흩어져 있는지 한 vCPU 에 몰려 있는지.
- 설정된 큐 수와 vCPU 수의 관계. vCPU 는 §218 이 두 노드 모두 2 로 적었으므로, 큐가 몇이면 §112 가 든 하나씩 대응이 되는지는 큐 수를 읽어야 갈린다.
- 이 환경의 RSS/RPS/XPS 설정. §117.5 가 확인 대상으로 들었지만 값을 읽는 방법은 적지 않았다.
현재 queue 수에 대한 미지수는 해소됐다. worker 둘은 single RX/TX queue 구성이다. 이것이 실제 병목인지와 multi-queue를 켰을 때 latency/CPU가 개선되는지는 별도 성능 실험으로 남긴다. RSS/RPS/XPS 튜닝 상태도 그 성능 실험에서 함께 읽는다.
## 제약
## 성능 병목은 별도 질문이다
- 이 호스트에서 잰 값이 하나도 없다. 근거는 개념을 정리한 문서 한 편이고 §112 의 큐 넷과 vCPU 넷은 예시 숫자다.
- 현재 queue 수는 이 호스트에서 직접 확인했다. 다만 single queue가 실제 성능 병목인지는 부하 실험 전에는 알 수 없다.
- 이 물음은 큐 구성이 무엇인지까지만 답한다. 쏠림이 실제 병목인지는 부하를 걸어야 갈리고, 그 부하 측정은 다른 물음이 가져간다.
- 확인하는 동안 NIC 구성을 바꾸지 않는다. 큐 수를 늘려 놓고 읽으면 지금 실험이 어떤 구성에서 돌았는지 못 본다.
- 게스트 안에서 읽는 항목이 둘이라 게스트가 떠 있어야 한다. SSOT 가 마지막으로 적은 게스트 상태는 §202 의 철거이고, 그 뒤 다시 세웠는지는 적혀 있지 않다.
- §118 이 큐 수와 IRQ 분포를 읽는 명령을 적지 않았으므로, 실행한 명령과 그 출력을 함께 증거로 남겨야 다음 사람이 같은 값을 다시 읽는다.
- 2026-09-21 재검증은 worker guest 둘이 실행 중일 때 수행했다. NIC를 재정의하거나 guest를 다시 만들면 queue 구성을 다시 읽는다.
- 「실제 Linux에서 확인할 명령어」에서는 큐 수와 IRQ 분포를 읽는 명령을 적지 않았으므로, 실행한 명령과 그 출력을 함께 증거로 남겨야 다음 사람이 같은 값을 다시 읽는다.
## 선택지
## queue를 읽는 방법
### 1. 호스트 쪽 설정값만 먼저 읽는다
libvirt 와 QEMU 쪽 NIC 구성에 큐 수가 적혀 있는지부터 본다. §90.2 가 libvirt 의 관리 대상 예로 든 여덟은 vCPU · Memory · Disk · NIC model · MAC address · Virtual network · Bridge · QEMU arguments 이고, 큐 수는 그 목록에 없다. 가상 머신에 들어가지 않고 호스트에서 끝나고, 큐가 하나로 적혀 있으면 그 구성은 single queue 로 확정된다.
libvirt 와 QEMU 쪽 NIC 구성에 큐 수가 적혀 있는지부터 본다. 「libvirt」에서는 libvirt 의 관리 대상 예로 든 여덟은 vCPU · Memory · Disk · NIC model · MAC address · Virtual network · Bridge · QEMU arguments 이고, 큐 수는 그 목록에 없다. 가상 머신에 들어가지 않고 호스트에서 끝나고, 큐가 하나로 적혀 있으면 그 구성은 single queue 로 확정된다.
설정에 큐를 여럿 적어 두었을 때 게스트가 그만큼 쓰는지는 이 확인으로 알 수 없다.
### 2. 설정값과 게스트 쪽 채널 수를 함께 읽는다
§122 OQ-5 가 든 넷 가운데 앞의 셋에 해당한다. 호스트의 NIC 구성과 게스트 안에서 본 채널 수를 같이 적으면 둘이 어긋나는 경우까지 잡힌다. 가상 머신 두 대에 각각 들어가야 해서 실행 횟수가 늘어난다.
원문의 5번째 확인 항목에 적힌 네 가지 가운데 앞의 셋에 해당한다. 호스트의 NIC 구성과 게스트 안에서 본 채널 수를 같이 적으면 둘이 어긋나는 경우까지 잡힌다. 가상 머신 두 대에 각각 들어가야 해서 실행 횟수가 늘어난다.
### 3. IRQ 분포까지 한 번에 읽는다
큐가 여럿이어도 IRQ 가 한 vCPU 에 몰려 있으면 §117.5 가 든 쏠림은 그대로 생길 수 있다. §122 OQ-5 가 IRQ distribution 을 넷째 확인 대상으로 둔 이유가 여기에 있다. 세 항목을 한 번에 받아 적으면 큐 수만으로 판정을 끝내지 않게 된다.
큐가 여럿이어도 IRQ 가 한 vCPU 에 몰려 있으면 「Single Queue Bottleneck」에서 든 쏠림은 그대로 생길 수 있다. 그래서 원문의 5번째 확인 항목도 IRQ distribution 을 따로 확인하도록 했다. 큐 수와 IRQ 분포를 함께 보면 큐 개수만으로 판정을 끝내는 일을 피할 수 있다.
### 4. 제외 — 큐 수를 바꿔 가며 견준다
multi-queue 를 켜고 끄면서 재면 이 환경에서 큐 수가 무엇을 바꾸는지 바로 보인다. 그러나 지금 물음은 실험이 어떤 구성에서 돌고 있는지를 읽는 것이라, 구성을 바꾸고 잰 값은 답이 되지 않는다. 켜고 끈 두 구성을 견주는 측정은 별도 Case 로 뺀다.
multi-queue를 켜고 끄면 성능 영향까지 볼 수 있지만, 현재 질문은 실행 중인 구성이 single queue인지 확인하는 데까지만 다룬다. queue 수 변경 전후의 latency·CPU 비교는 별도 성능 실험으로 분리한다.
## 다음 검증
## single-queue라는 사실만으로 병목이라고 보지 않는다
1. 호스트에서 두 가상 머신의 libvirt/QEMU NIC configuration 을 열어 큐 수가 적혀 있는지 읽는다. §122 에서 libvirt domain XML 을 확인하라고 적은 곳은 OQ-3 이고 OQ-5 에는 그 문장이 없다. §118 이 이 확인의 명령을 적지 않았으므로 무엇을 실행했는지 함께 기록한다.
2. 각 게스트에서 ethtool 로 채널 수를 읽고, 실제 queue count 를 그 옆에 적는다. §122 OQ-5 가 Guest ethtool 과 queue count 를 나눠 적었으므로 둘을 따로 남긴다.
3. 각 게스트의 IRQ 분포를 읽어 큐마다 어느 vCPU 에 붙어 있는지 적는다.
4. 두 가상 머신의 결과를 vCPU 수와 나란히 한 표로 정리한다.
닫는 조건 : 가상 머신마다 설정된 큐 수 · 게스트가 쓰는 큐 수 · IRQ 분포를 한 표로 적으면 닫는다. 큐가 하나로 나오면 §117.5 가 든 single queue bottleneck 이 이 환경에서도 일어날 수 있는 구성이라고 적는다. 그것이 실제 병목인지는 부하를 건 뒤 vCPU 별 CPU 사용량이 답하기 때문에 「부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가」로 넘긴다. 큐가 여럿이고 IRQ 도 흩어져 있으면 이 항목은 지금 실험에서 우선순위를 낮추고 닫는다.
NIC 설정을 바꾼 경우에만 queue 디렉터리와 QEMU/libvirt NIC 인자를 다시 대조한다. 현재 single-queue라는 사실만으로 성능 병목이라고 단정하지 않는다.
@@ -7,9 +7,12 @@ topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
questionStatus: OPEN
questionStatus: RESOLVED
lastVerifiedOn: 2026-09-21
studio: "https://hyeonworks.com/studio/documents/38716d7f-1aa1-48d8-ab4c-3fc505332128/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
evidence:
- ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt
source:
- final/document.md#122-open-question-oq-1
- final/document.md#96-linux-bridge의-역할
@@ -21,73 +24,61 @@ source:
# 이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가
이 실험대는 NAT(Network Address Translation, 네트워크 주소 변환) 를 쓴다. 이더넷 없이 WiFi 만 있어 브리지를 못 쓴다고 §178 이 관측으로 적었다. §249 가 세 모드를 견준 표에서 브리지와 macvtap 은 둘 다 「WiFi라 불가」이고 채택 표시는 NAT 한 줄에만 붙어 있다. 감수한 것도 같은 표에 적혀 있다 — VM 주소가 사설이라 LAN 에서 VM 으로 바로 들어가지 못하고 포워딩이 필요하다. 엣지를 게스트로 옮긴 뒤 호스트 커널 DNAT(Destination NAT, 목적지 주소 변환) 와 libvirt 체인의 구멍이 새로 필요해진 것이 그 포워딩이다. 다만 §122 OQ-1 이 요구한 다섯 명령의 출력이 없어 virbr0 에 무엇이 붙어 있고 라우팅이 어떻게 걸려 있는지는 아직 적지 못한다.
2026-09-21 실제 libvirt network 정의를 읽었다. 이 실험대는 게스트를 `virbr0` Linux bridge에 붙이고 `default` network의 `forward mode='nat'`를 사용한다. 따라서 libvirt 분류로는 NAT network이고, 계층을 정확히 쓰면 **guest L2 연결은 bridge, 외부 egress는 NAT**다.
## 관계
## 현재 libvirt network 구조
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
그 경로 그림에서 TAP 과 Physical NIC 사이에 놓인 계층이 이 물음이 확정하려는 부분이다.
- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다**
구성이 무엇이냐에 따라 캡처를 걸 계층의 이름이 달라진다.
- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가**
ip link 와 bridge link 를 두 물음이 같이 쓰므로 한 번 찍어 둘을 함께 읽는다.
- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가**
이 물음이 닫혀야 그 추적에서 tcpdump 를 걸 대상이 정해진다.
- 2026-09-21 재검증에서 `virsh net-dumpxml default`에 `<forward mode='nat'>`와 `<bridge name='virbr0' .../>`가 함께 있었다. `bridge link`에서는 `vnet13/18/19`가 `virbr0`에 붙고, `ip route`에는 `192.168.122.0/24 dev virbr0`와 `default via 192.168.0.1 dev wlo1`가 있었다.
## 사실
- §96 은 Linux Bridge 를 호스트 커널 안의 L2 소프트웨어 스위치로 적었다. 이더넷 프레임의 Destination MAC 을 보고 어느 포트로 보낼지 정하고, MAC learning 을 하며, 여러 가상 포트와 물리 포트를 잇는다.
- §97 은 Routing 을 L3 에서 IP 를 보고 내리는 결정으로 놓았다. Bridge 가 같은 이더넷 네트워크를 잇는 것과 달리 Routing 은 서로 다른 IP 네트워크를 잇고, 목적지 IP 를 보고 어느 인터페이스나 next-hop 으로 보낼지 정한다.
- §98 은 NAT 을 패킷의 IP 와 포트 정보를 바꾸는 것으로 놓고, 가상 머신이 사설 서브넷을 쓰면 호스트가 NAT 게이트웨이처럼 동작할 수 있다는 예를 들었다.
- 「Linux Bridge의 역할」에서는 Linux Bridge 를 호스트 커널 안의 L2 소프트웨어 스위치로 적었다. 이더넷 프레임의 Destination MAC 을 보고 어느 포트로 보낼지 정하고, MAC learning 을 하며, 여러 가상 포트와 물리 포트를 잇는다.
- 「Routing의 역할」에서는 Routing 을 L3 에서 IP 를 보고 내리는 결정으로 놓았다. Bridge 가 같은 이더넷 네트워크를 잇는 것과 달리 Routing 은 서로 다른 IP 네트워크를 잇고, 목적지 IP 를 보고 어느 인터페이스나 next-hop 으로 보낼지 정한다.
- 「NAT의 역할」에서는 NAT 을 패킷의 IP 와 포트 정보를 바꾸는 것으로 놓고, 가상 머신이 사설 서브넷을 쓰면 호스트가 NAT 게이트웨이처럼 동작할 수 있다는 예를 들었다.
VM : 192.168.122.10
Host NAT 를 지난 뒤 : 203.0.113.10
- §96 과 §97 은 절 끝에 확인 명령을 달았다. §96 은 bridge link · bridge fdb show · ip link show type bridge 를, §97 은 ip route 를 들었다. 셋을 구분하라고 적은 §98 에는 확인 명령이 없다.
- §114 는 Bridge 가 단순 L2 forwarding 만 하는 구성이면 프레임이 호스트의 일반적인 L3 TCP/IP 스택을 지나지 않고 다른 TAP 으로 나갈 수 있다고 적었다. 호스트가 Routing · NAT · Host-local termination · Firewall 을 맡으면 그때는 L3/Netfilter 경로가 끼어든다.
- 그래서 §114 는 Physical NIC → Host TCP/IP Stack → Bridge 를 고정된 패킷 경로로 보면 안 되고, 실제 경로는 bridge/routing/NAT 구성에 따라 달라진다고 못 박았다.
- §94 는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 적었다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 덧붙였다.
- 확인할 명령은 §122 OQ-1 이 다섯 줄로 적어 두었다.
- 「Linux Bridge의 역할」와 「Routing의 역할」에서는 절 끝에 확인 명령을 달았다. 「Linux Bridge의 역할」에서는 bridge link · bridge fdb show · ip link show type bridge 를, 「Routing의 역할」에서는 ip route 를 들었다. 셋을 구분하라고 적은 「NAT의 역할」에는 확인 명령이 없다.
- 「Linux Bridge가 항상 Host TCP/IP Stack을 거치는 것은 아니다」에서는 Bridge 가 단순 L2 forwarding 만 하는 구성이면 프레임이 호스트의 일반적인 L3 TCP/IP 스택을 지나지 않고 다른 TAP 으로 나갈 수 있다고 적었다. 호스트가 Routing · NAT · Host-local termination · Firewall 을 맡으면 그때는 L3/Netfilter 경로가 끼어든다.
- 그래서 「Linux Bridge가 항상 Host TCP/IP Stack을 거치는 것은 아니다」에서는 Physical NIC → Host TCP/IP Stack → Bridge 를 고정된 패킷 경로로 보면 안 되고, 실제 경로는 bridge/routing/NAT 구성에 따라 달라진다고 못 박았다.
- 「전체 네트워크 계층」에서는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 적었다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 덧붙였다.
- 원문의 1번째 확인 항목에는 확인 명령 다섯 줄이 적혀 있었다.
정의된 가상 네트워크 열거 : virsh net-list --all
그 가상 네트워크의 정의 읽기 : virsh net-dumpxml 에 이름을 넣는다
호스트 인터페이스 목록 : ip link
어느 인터페이스가 어느 브리지의 포트인지 : bridge link
라우팅 테이블 : ip route
- §118 이 같은 계층에 든 명령 가운데 virsh net-info 와 ip rule 은 OQ-1 의 다섯 줄에 없다.
- §178 은 이 실험대의 대상 환경을 관측으로 적었다. test-server 는 Arch Linux 이고 이더넷 없이 WiFi 만 있어 브리지를 못 쓴다. 그래서 libvirt NAT(virbr0) 과 호스트 진입 구조를 택했고, 게스트는 Debian 12 genericcloud 3대로 엣지 1대와 k3s 2노드다.
- §250 은 WiFi 에서 브리지가 안 되는 이유를 적었다. 802.11 데이터 프레임은 기본적으로 주소 필드가 3개다(3-address 모드). AP(Access Point, 무선 접속 장치)는 연결(association)된 단말(station)의 MAC 만 알고 있어서, 그 단말이 자기 것이 아닌 출발지 MAC 을 단 프레임을 보내면 버린다. 브리지된 가상 머신은 자기 MAC 을 출발지로 쓰므로 정확히 그런 프레임을 보낸다.
- §250 이 든 우회 수단은 둘이다.
- 「실제 Linux에서 확인할 명령어」에서는 같은 계층에 든 명령 가운데 virsh net-info 와 ip rule 은 1번째 확인 항목 의 다섯 줄에 없다.
- 「이 부의 출처와 범위」에서는 이 실험대의 대상 환경을 관측으로 적었다. test-server 는 Arch Linux 이고 이더넷 없이 WiFi 만 있어 브리지를 못 쓴다. 그래서 libvirt NAT(virbr0) 과 호스트 진입 구조를 택했고, 게스트는 Debian 12 genericcloud 3대로 엣지 1대와 k3s 2노드다.
- 「WiFi에서 브리지가 안 되는 이유」에서는 WiFi 에서 브리지가 안 되는 이유를 적었다. 802.11 데이터 프레임은 기본적으로 주소 필드가 3개다(3-address 모드). AP(Access Point, 무선 접속 장치)는 연결(association)된 단말(station)의 MAC 만 알고 있어서, 그 단말이 자기 것이 아닌 출발지 MAC 을 단 프레임을 보내면 버린다. 브리지된 가상 머신은 자기 MAC 을 출발지로 쓰므로 정확히 그런 프레임을 보낸다.
- 「WiFi에서 브리지가 안 되는 이유」에서 든 우회 수단은 둘이다.
4-address 모드(WDS) : AP 와 클라이언트 드라이버가 모두 지원해야 하는데 실제로는 거의 지원되지 않는다
USB 이더넷 어댑터를 꽂는 것 : 현실적인 우회
- §250 은 test-server 에 이더넷이 없고 wlo1 만 있어서 「VM 에 LAN IP 를 직접 주자」는 계획이 물리적으로 성립하지 않는다고 적었다. 이 제약 하나가 토폴로지 전체를 NAT + 호스트 nginx 로 확정시켰다고 밝혔다. 이더넷 인터페이스가 있는지는 ip -brief link 로 보고 무선 인터페이스 정보는 iw dev 로 본다고 확인 명령을 달았다.
- §249 는 세 모드를 한 표로 놓고 이 실험대가 무엇을 골랐는지 적었다.
- 「WiFi에서 브리지가 안 되는 이유」에서는 test-server 에 이더넷이 없고 `wlo1`만 있어 VM에 LAN IP를 직접 주는 bridge 구성을 택하지 못했다고 적었다. 이 제약이 **libvirt NAT network 선택**에 영향을 줬다. 초기에는 Host Nginx를 함께 썼지만 이후 Nginx는 Edge VM으로 옮겼으므로, Wi‑Fi 제약과 현재 L7 배치를 같은 결정으로 묶지 않는다. 이더넷 인터페이스는 `ip -brief link`, 무선 인터페이스는 `iw dev`로 확인한다.
- 「NAT vs 브리지 vs macvtap」에서는 세 모드를 한 표로 놓고 이 실험대가 무엇을 골랐는지 적었다.
NAT(virbr0) : VM 주소는 192.168.122.x 사설, LAN 에서 VM 접근 불가, 채택
브리지(br0) : LAN 에서 직접 IP, WiFi 라 불가
macvtap : LAN 에서 직접 IP(호스트↔VM 은 제외), WiFi 라 불가
- §245 는 libvirt 의 default 네트워크를 소프트웨어 브리지 virbr0 과 거기 붙은 NAT 규칙으로 적었다. 기본 대역은 192.168.122.0/24 이고 호스트가 .1 을 가지며, VM 들은 이 브리지에 연결되어 서로 직접 통신하고 외부로 나갈 때만 호스트 IP 로 마스커레이딩된다. NAT 가 막는 것은 외부에서 VM 으로 들어오는 방향이다.
- §201 은 이 호스트에서 ip -br addr show virbr0 을 돌린 출력을 남겼다. VM 세 대가 돌 때는 virbr0 이 UP 이고 192.168.122.1/24 을 갖고, 전부 철거한 뒤에는 주소는 그대로인 채 DOWN 이다.
- §180 과 §255 는 밖에서 게스트로 들어오는 방향이 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다고 적었다. 그 체인이 oif "virbr0" reject 로 끝나 게스트 대역으로 새로 들어오는 연결을 거절했고, 밖에서 친 curl 은 connection refused 를 받았다. 호스트 안에서 같은 게스트 주소로 친 curl 은 OUTPUT 경로라 forward 를 타지 않아 404 로 응답했다. 그 reject 줄을 범인으로 확정한 것은 카운터다. 밖에서 curl 을 네 번 쳤을 때 그 줄에 packets 4 bytes 240 이 찍혀 있었다.
- 이 호스트에서 §122 OQ-1 의 다섯 명령을 돌린 출력은 SSOT 에 없다.
- 「libvirt `default` 네트워크와 `virbr0`」에서는 libvirt 의 default 네트워크를 소프트웨어 브리지 virbr0 과 거기 붙은 NAT 규칙으로 적었다. 기본 대역은 192.168.122.0/24 이고 호스트가 .1 을 가지며, VM 들은 이 브리지에 연결되어 서로 직접 통신하고 외부로 나갈 때만 호스트 IP 로 마스커레이딩된다. NAT 가 막는 것은 외부에서 VM 으로 들어오는 방향이다.
- 「네트워크 — DHCP 예약의 실제 동작」에서는 이 호스트에서 ip -br addr show virbr0 을 돌린 출력을 남겼다. VM 세 대가 돌 때는 virbr0 이 UP 이고 192.168.122.1/24 을 갖고, 전부 철거한 뒤에는 주소는 그대로인 채 DOWN 이다.
- 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」와 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 밖에서 게스트로 들어오는 방향이 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다고 적었다. 그 체인이 oif "virbr0" reject 로 끝나 게스트 대역으로 새로 들어오는 연결을 거절했고, 밖에서 친 curl 은 connection refused 를 받았다. 호스트 안에서 같은 게스트 주소로 친 curl 은 OUTPUT 경로라 forward 를 타지 않아 404 로 응답했다. 그 reject 줄을 범인으로 확정한 것은 카운터다. 밖에서 curl 을 네 번 쳤을 때 그 줄에 packets 4 bytes 240 이 찍혀 있었다.
- 2026-09-21 재검증에서 `net-dumpxml`, `bridge link`, `ip route`를 직접 읽어 NAT network와 `virbr0` 내부 L2 연결을 확인했다.
## 가정
## bridge와 NAT를 같이 읽는 기준
- 호스트에 붙어 virsh 와 ip 계열 명령을 실행할 수 있다고 본다.
- §201 과 §247 이 virsh net-update default 로 DHCP 예약을 넣었으므로 이 호스트의 가상 머신이 libvirt 의 default 네트워크를 쓴다고 본다. 그 네트워크 말고 다른 정의가 더 있는지는 열거해 봐야 갈린다.
- 2026-09-21에는 `default` network 정의와 실제 `virbr0` 포트 구성을 함께 확인했다. 현재 세 VM은 이 NAT network에 붙어 있다.
- 확인하는 동안 네트워크 구성이 바뀌지 않는다고 전제한다.
- 셋 가운데 하나로 갈린다고 보고 물음을 세웠다. 다만 §114 가 Bridge 구성에도 Routing 과 NAT 과 Firewall 이 함께 걸릴 수 있다고 적었으므로, 하나로 갈리지 않으면 걸린 것을 모두 적는다.
- 셋 가운데 하나로 갈린다고 보고 물음을 세웠다. 다만 「Linux Bridge가 항상 Host TCP/IP Stack을 거치는 것은 아니다」에서는 Bridge 구성에도 Routing 과 NAT 과 Firewall 이 함께 걸릴 수 있다고 적었으므로, 하나로 갈리지 않으면 걸린 것을 모두 적는다.
## 미지수
## 현재 모드는 확인됐다
- §178 과 §249 가 NAT 이라고 적은 것이 libvirt 네트워크 정의의 forward mode 로도 그렇게 적혀 있는지. virsh net-dumpxml default 를 통째로 찍은 출력이 SSOT 에 없고, §247 이 인용한 것은 그 정의의 dhcp 절뿐이다.
- default 말고 정의된 가상 네트워크가 더 있는지. virsh net-list --all 의 출력이 없다.
- virbr0 에 어느 인터페이스가 포트로 붙어 있는지, 그리고 이 호스트의 라우팅 테이블이 무엇인지. bridge link 와 ip route 의 출력이 없다.
- 게스트끼리 오가는 프레임과 게스트가 밖으로 나가는 프레임이 호스트의 L3/Netfilter 경로를 지나는지. 밖에서 게스트로 들어오는 방향만 §180 이 FORWARD 로 관측했다.
이 host의 기본 VM network 방식은 해소됐다. libvirt `default`는 NAT network이고 내부 연결에는 `virbr0` bridge가 사용된다. 동일 패킷이 실제로 어떤 netfilter hook을 통과하는지는 packet-path 질문으로 분리한다.
## 제약
## 구성이 바뀌면 다시 볼 것
- 구성이 셋 중 무엇인지를 확정하는 데서 끊는다. 그 구성이 지연에 얼마나 영향을 주는지는 부하 중 호스트 CPU 사용을 보는 물음이 받는다.
- SSOT 에 남은 출력은 §201 의 virbr0 주소와 상태뿐이다. 나머지 네 명령은 다른 장비에서 읽은 값으로 대신하지 않는다.
- 돌릴 명령은 §122 OQ-1 이 정해 두었다. 실행한 명령과 출력을 함께 남겨야 다음 사람이 같은 값을 다시 읽는다.
- 현재 판단은 2026-09-21 `test-server`에서 직접 읽은 libvirt network 정의, bridge port, route를 근거로 한다. 다른 장비의 값을 가져와 대체하지 않는다.
- 돌릴 명령은 원문의 1번째 확인 항목에 이미 정리돼 있었다. 실행한 명령과 출력을 함께 남겨야 다음 사람이 같은 값을 다시 읽을 수 있다.
## 선택지
## libvirt 정의와 host route를 함께 읽었다
### 1. libvirt 쪽부터 읽는다
@@ -99,19 +90,12 @@ libvirt 로 정의하지 않고 호스트 브리지에 직접 붙인 구성이
ip link 로 실재하는 인터페이스를 세우고, bridge link 로 어느 인터페이스가 어느 브리지의 포트인지를 잡고, ip route 로 L3 결정을 본다. libvirt 로 정의했든 안 했든 호스트에 실재하는 것을 읽으므로 구성 방식과 무관하게 답이 나온다.
forward mode 라는 이름으로 적힌 의도는 나오지 않으므로, NAT 이 걸려 있는지는 routing 과 방화벽 규칙을 따로 봐야 한다. §117.3 이 NAT/Firewall 오류에 든 것은 nftables · iptables · NAT rules · IP forwarding 이라는 확인 대상 이름이고 돌릴 명령이 아니다. 방화벽 쪽 명령은 §255 가 대신 적어 두었다 — libvirt 체인 하나를 열어 보는 sudo nft -a list chain ip libvirt_network guest_input 이다. 그 명령이 통하는 것은 이 호스트가 nftables 백엔드이기 때문이고, §180 은 libvirt 의 firewall_backend 가 iptables 일 때도 같은지는 재지 않았다고 적었다.
forward mode 라는 이름으로 적힌 의도는 나오지 않으므로, NAT 이 걸려 있는지는 routing 과 방화벽 규칙을 따로 봐야 한다. 「NAT/Firewall 오류」에서는 NAT/Firewall 오류에 든 것은 nftables · iptables · NAT rules · IP forwarding 이라는 확인 대상 이름이고 돌릴 명령이 아니다. 방화벽 쪽 명령은 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 대신 적어 두었다 — libvirt 체인 하나를 열어 보는 sudo nft -a list chain ip libvirt_network guest_input 이다. 그 명령이 통하는 것은 이 호스트가 nftables 백엔드이기 때문이고, 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 libvirt 의 firewall_backend 가 iptables 일 때도 같은지는 재지 않았다고 적었다.
### 3. tcpdump 로 경로부터 잡는다 — 제외
### 3. tcpdump 는 mode 판정 뒤 실제 경로를 확인할 때 쓴다
§119 는 Host NIC · Bridge · TAP · Guest NIC 에서 tcpdump 로 패킷을 추적하는 순서를 적어 두었다. 다만 그 추적은 캡처를 걸 인터페이스 이름을 이미 알고 있을 때 성립한다. 브리지 이름은 §245 와 §201 이 virbr0 으로 적었지만 TAP 이름은 아직 없으므로 게스트 쪽 대상을 채울 수 없다. §126 의 실습 순서에서도 Bridge/NAT/Route 확인이 셋째이고 Host Nginx → VM packet path tcpdump 는 여덟째다. 이 방법은 이 물음이 닫힌 뒤 실제 패킷 경로를 묻는 물음이 받는다.
network mode 자체는 `net-dumpxml`·`bridge link`·`ip route`로 먼저 확정한다. 2026-09-21 후속 재검증에서는 VM별 `vnetN` mapping까지 확인한 뒤 `tailscale0`, `virbr0`, edge/worker의 host-side `vnetN`, guest `enp1s0`에 capture를 걸어 실제 요청 경로도 이어 붙였다. 따라서 tcpdump는 더 이상 “인터페이스 이름이 없어 제외한 방법”이 아니라, **구성 판정 뒤 실제 packet flow를 검증하는 다음 단계**다.
## 다음 검증
## 네트워크 정의가 바뀌면 libvirt와 route를 다시 읽는다
1. virsh net-list --all 로 정의된 가상 네트워크를 열거한다.
2. 나온 이름마다 virsh net-dumpxml 에 그 이름을 넣어 forward mode 와 bridge 이름을 읽는다.
3. ip link 로 호스트의 인터페이스 목록을 적는다.
4. bridge link 로 어느 인터페이스가 어느 브리지에 붙어 있는지 적는다.
5. ip route 로 라우팅 테이블을 적는다.
6. 다섯 출력을 실행한 명령과 함께 증거로 남긴다.
닫는 조건 : 세 구성 가운데 무엇인지가 출력으로 확정되면 닫는다. Bridge 로 나오면 §96 과 §114 의 L2 forwarding 서술이 이 호스트에 적용된다고 적는다. NAT 으로 나오면 §98 의 주소 변환이 경로에 들어가고, Routing 으로 나오면 §97 의 L3 결정이 들어간다. 어느 쪽이든 그 결과로 실제 패킷 경로를 묻는 물음의 캡처 지점이 정해진다. §94 가 기준으로 삼은 구조와 다르게 나오면 제3부의 서술 가운데 이 호스트에 적용되지 않는 절을 함께 적는다.
libvirt network 정의나 VM NIC source를 바꾼 경우에만 `net-dumpxml`, `bridge link`, `ip route`를 다시 읽는다.
@@ -23,22 +23,9 @@ source:
# packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다
가상 머신이 밖과 통신하지 못하면 게스트부터 뒤지지 말고 패킷이 지나야 할 네 지점에 캡처를 걸어 어디까지 보였는지로 구간을 좁힌다. 호스트의 물리 NIC(Network Interface Card) 와 브리지, 가상 머신에 붙은 TAP, 게스트 안의 인터페이스가 그 지점이다. 보이지 않은 첫 지점의 앞 구간이 의심 구간이 된다.
가상 머신이 밖과 통신하지 못하면 게스트부터 뒤지지 말고 패킷이 지나야 할 지점에 캡처를 걸어 어디까지 보였는지로 구간을 좁힌다. 첫 지점은 물리 NIC일 수도 있고 `tailscale0` 같은 host ingress 인터페이스일 수도 있다. 그 뒤로 브리지, 가상 머신에 붙은 TAP/vnet, 게스트 인터페이스를 따라간다. 보이지 않은 첫 지점의 앞 구간이 의심 구간이 된다.
## 관계
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
이 절차가 관측 지점으로 쓰는 계층을 세운 글이다. 어느 계층이 무엇을 하는지는 그쪽에 있다.
- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다**
그 기준은 문제가 네트워크인지 아닌지를 가르고, 이 절차는 네트워크 안에서 어느 구간인지를 가른다.
- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가**
캡처 지점 이름을 확정하는 첫 규칙이 그대로 이 물음의 확인 절차다.
- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가**
TAP 이름을 모르면 이 절차의 세 번째 지점에 캡처를 걸 수 없다.
- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가**
그 경로를 처음 확인할 때 쓰는 절차다.
## 목적
## capture point를 나눠야 하는 이유
이 기준은 두 가지를 막는다.
@@ -46,13 +33,13 @@ source:
오프로드 때문에 실제 wire 와 다르게 보이는 정상 패킷을 결함으로 판정하는 일이 다른 하나다.
이 순서는 물음 셋이 함께 쓴다. 이 호스트의 가상 머신 네트워크가 무엇으로 구성돼 있는지, TAP 인터페이스가 무엇인지, 호스트 Nginx 에서 Keycloak 까지 패킷이 어디를 지나는지 셋이 모두 이 순서 위에서 돈다. 그래서 세 곳에 같은 절차를 되풀이하지 않고 한 편에 두었다.
이 순서는 여러 네트워크 질문이 함께 쓴다. VM network mode와 host-side `vnetN` mapping을 먼저 확인하고, 실제 요청은 현재 진입점인 `tailscale0 → host DNAT → edge VM → worker VM` 순서로 캡처한다. 과거 Host Nginx 배치와 현재 Edge VM 배치를 섞지 않고, 각 시점의 실제 ingress 인터페이스에서 시작한다.
## 규칙
## 바깥에서 안쪽으로 경로를 자른다
### 1. 캡처할 지점의 이름을 먼저 확정한다
관측 지점은 넷이다. 호스트의 물리 NIC, 호스트의 브리지, 가상 머신에 붙은 tap 또는 vnet, 그리고 게스트 안의 인터페이스.
기본 관측 지점은 host ingress 인터페이스, host bridge, 가상 머신에 붙은 tap 또는 vnet, 그리고 게스트 안의 인터페이스다. 현재 실험대의 외부 진입점은 물리 NIC가 아니라 `tailscale0`이다.
이름을 모른 채 시작하면 없는 인터페이스에 캡처를 걸어 놓고 패킷이 안 보인다고 판정하게 된다.
@@ -65,14 +52,14 @@ libvirt 가 만든 가상 네트워크가 무엇인지는 virsh net-list --all
### 2. 네 지점에 같은 요청을 흘리면서 캡처를 건다
호스트에서는 물리 NIC 와 브리지, tap 또는 vnet 에 각각 tcpdump -ni 로 캡처를 건다.
호스트에서는 실제 ingress 인터페이스와 브리지, tap 또는 vnet에 각각 `tcpdump -ni`로 캡처를 건다.
게스트에서는 게스트 인터페이스에 같은 방식으로 건다.
### 3. 보이지 않은 첫 지점의 앞 구간을 의심 구간으로 삼는다
판독은 어느 지점까지 보였는가로만 한다.
물리 NIC 에 보이고 브리지에도 보이는데 tap 에 안 보이면, 게스트 내부보다 먼저 호스트의 브리지와 tap 연결을 의심한다.
host ingress에 보이고 브리지에도 보이는데 tap에 안 보이면, 게스트 내부보다 먼저 호스트의 브리지와 tap 연결을 의심한다.
tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스트 NIC 계층을 의심한다.
@@ -88,7 +75,7 @@ tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스
가상 머신에서 인터넷으로 나가지 못하거나 외부에서 가상 머신에 접근하지 못하거나 특정 포트만 실패하면 nftables 와 iptables, NAT(Network Address Translation) 규칙, IP(Internet Protocol) forwarding 설정을 확인 대상으로 둔다.
이 실험대가 가장 오래 막힌 지점도 여기였다. 밖에서 온 요청만 엣지 게스트에 닿지 않았고, 거절한 것은 libvirt 가 자기 테이블의 guest_input 체인 끝에 둔 reject 규칙이었다(§180).
이 실험대가 가장 오래 막힌 지점도 여기였다. 밖에서 온 요청만 엣지 게스트에 닿지 않았고, 거절한 것은 libvirt 가 자기 테이블의 guest_input 체인 끝에 둔 reject 규칙이었다(「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」).
증상 셋을 각각 다른 기준으로 나누지 않은 것은 셋이 모두 어느 지점에서 끊겼는가 하나로 모이기 때문이다. 따로 적으면 같은 규칙의 부분 증상이 셋으로 늘어난다.
@@ -108,7 +95,7 @@ tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스
이 절차가 가르는 것은 패킷이 어디서 끊겼는가다. 끊기지 않고 느리기만 하면 다른 기준으로 넘긴다.
## 적용 조건
## packet path를 의심할 때
KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외부와 통신하지 못할 때.
@@ -116,7 +103,7 @@ KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외
실제 패킷 경로를 처음 확인할 때.
## 예외
## capture만으로 답이 안 되는 경우
오프로드가 켜진 구성에서는 패킷 크기와 체크섬이 그대로 증거가 되지 않는데, 다섯 번째 규칙이 그 경우다.
@@ -124,13 +111,13 @@ KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외
네 지점이 모두 보이는데 느린 경우는 이 기준이 다루지 않는다. 「Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다」 쪽으로 넘긴다.
이 저장소에는 아직 이 절차를 실제로 돌린 출력이 없다. 여기 적은 판독은 원문 문서가 서술한 것이고 이 호스트의 캡처로 확인한 것이 아니다.
2026-09-21에는 실제 요청을 여러 지점에서 캡처해 이 절차를 다시 확인했다. 따라서 아래 판독은 개념 설명만이 아니라 현재 실험대에서 확보한 패킷 캡처와 함께 읽는다.
§180 의 사건에서도 구간을 좁힌 것은 네 지점 캡처가 아니었다. 호스트에서 친 curl 은 404 를 받는데 밖에서 친 curl 만 connection refused 를 받았다는 차이가 단서였고, 범인은 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 횟수와 맞아떨어져서 확정했다.
「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」의 사건에서도 구간을 좁힌 것은 네 지점 캡처가 아니었다. 호스트에서 친 curl 은 404 를 받는데 밖에서 친 curl 만 connection refused 를 받았다는 차이가 단서였고, 범인은 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 횟수와 맞아떨어져서 확정했다.
## 예시
## 어디서 끊겼는지 판정하는 예
- 물리 NIC 에 보이고 브리지에도 보이는데 tap 에 안 보임 : 호스트의 브리지와 tap 연결을 먼저 확인한다
- host ingress 에 보이고 브리지에도 보이는데 tap 에 안 보임 : 호스트의 브리지와 tap 연결을 먼저 확인한다
- tap 에 보이는데 게스트 NIC 에 안 보임 : virtio 와 vhost, 게스트 NIC 계층을 확인한다
- 게스트 NIC 에 보이는데 소켓까지 안 옴 : 게스트의 라우팅과 방화벽, listen 상태를 확인한다
- 특정 가상 머신만 통신 불가 : ip link 와 bridge link, virsh domiflist 로 그 가상 머신의 tap 이 브리지에 붙어 있는지 본다
@@ -20,22 +20,9 @@ source:
# Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다
Refresh Token 경쟁 자체는 virtio-net 문제가 아니다. 다만 그 실험에서는 클라이언트에서 Nginx 와 가상 머신, K3s, Keycloak 을 거쳐 PostgreSQL 또는 Redis 까지 가는 경로를 여러 노드가 함께 쓴다. 그 경로 위의 네트워크 가상화 문제는 애플리케이션 동시성 문제와 비슷한 증상으로 나타난다.
Refresh Token 경쟁 자체는 virtio-net 문제가 아니다. 현재 Keycloak lab에서는 클라이언트에서 Edge Nginx와 가상 머신, K3s, Keycloak을 거쳐 PostgreSQL까지 가는 경로를 여러 노드가 함께 쓴다. Redis를 사용하는 별도 패턴 실험이라면 그 구간을 추가한다. 그 경로 위의 네트워크 가상화 문제는 애플리케이션 동시성 문제와 비슷한 증상으로 나타난다.
## 관계
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
이 기준이 「따로 검증한다」고 말하는 계층을 세운 글이다.
- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다**
이 기준이 문제가 네트워크인지 아닌지를 가른다면, 그 절차는 네트워크 안에서 어느 구간인지를 가른다.
- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가**
검증 순서의 첫 항목이다. 경로를 모르면 무엇을 관측할지도 정해지지 않는다.
- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가**
검증 순서의 마지막 항목이고, 네트워크 처리와 CPU 경쟁을 가르는 관측이다.
- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가**
같은 실험을 CPU 쪽에서 본 물음이다. 두 계층이 같은 지연으로 보이므로 함께 기록한다.
## 목적
## 애플리케이션 원인으로 바로 읽지 않는 이유
이 기준은 실험 결과를 잘못된 원인에 붙이는 일을 막는다.
@@ -45,15 +32,15 @@ Keycloak 멀티 노드 실험에서 관측되는 지연과 실패에는 네트
이 분리는 실험 결과를 보고 나서 세운 규칙이 아니다. 원문 문서는 이 실험 기반으로 검증하려는 항목을 일곱 개 적어 두었고, 그 마지막이 「네트워크 계층 문제와 애플리케이션/저장소 문제의 분리」였다.
## 규칙
## 경로 · 노드 · CPU 비용을 따로 확인한다
### 1. 실험이 지나는 경로를 먼저 적고 시작한다
요청은 클라이언트에서 Nginx 로 가고, 거기서 가상 머신 두 대 중 하나로, 그 안의 K3s 를 지나 Keycloak 으로, 다시 PostgreSQL 또는 Redis 로 간다. 이 경로를 노드들이 공유한다.
현재 실험대의 진입 경로는 `Client → Tailscale ingress → Host DNAT/source rewrite → Edge Nginx → virbr0 → worker VM → Traefik`까지 실제 packet capture로 확인됐다. Edge Nginx가 TLS를 종료하고 worker로 새 HTTP 연결을 만들기 때문에 첫 번째 TLS flow와 두 번째 HTTP flow를 같은 연결로 보지 않는다. K3s CNI·Service·Pod 내부와 Keycloak 이후 PostgreSQL 구간은 별도 계층으로 남긴다. Redis는 현재 lab에는 없으므로 Redis를 포함한 별도 실험에서만 추가한다.
경로를 적지 않으면 어느 관측이 어느 구간을 덮는지 정해지지 않는다.
이 실험대에서 그렇게 어긋난 확인이 한 번 있었다. 04 단계의 확인 명령을 엣지 가상 머신 안에서 tailnet 주소로 쳤더니 connection refused 가 돌아왔는데, 엣지에서 나간 패킷은 호스트의 virbr0 으로 들어가고, 들어온 패킷의 도착지 주소를 바꿔 넘기는 호스트의 DNAT(Destination NAT, 도착지 주소 변환) 규칙은 tailscale0 으로 들어온 것만 매칭해서 안 걸렸기 때문이다(§190 · §182). 「설정 문제가 아니라 친 위치 문제다」가 그 단계가 남긴 한 줄이다.
이 실험대에서 그렇게 어긋난 확인이 한 번 있었다. 04 단계의 확인 명령을 엣지 가상 머신 안에서 tailnet 주소로 쳤더니 connection refused 가 돌아왔는데, 엣지에서 나간 패킷은 호스트의 virbr0 으로 들어가고, 들어온 패킷의 도착지 주소를 바꿔 넘기는 호스트의 DNAT(Destination NAT, 도착지 주소 변환) 규칙은 tailscale0 으로 들어온 것만 매칭해서 안 걸렸기 때문이다(「단계 04 — Let's Encrypt 와 인증서 갱신」· 「이 구축에서 드러난 문서 결함의 공통 원인」). 「설정 문제가 아니라 친 위치 문제다」가 그 단계가 남긴 한 줄이다.
### 2. 노드 하나에서만 나는 증상을 애플리케이션 동시성으로 먼저 읽지 않는다
@@ -73,13 +60,13 @@ vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다. 그래서
부하 실험을 돌릴 때 QEMU 와 vhost 의 CPU 사용량, 호스트와 게스트의 CPU, 네트워크 지연을 같은 시간축에 남긴다. 나중에 따로 재면 그때의 부하를 다시 만들어야 한다.
### 5. 세 가지 검증을 마친 뒤에 원인을 적는다
### 5. 경로와 CPU 비용을 분리해서 확인한 뒤 원인을 적는다
경로가 무엇인지, 그 경로가 끊기지 않았는지, 네트워크 처리가 호스트 CPU 를 얼마나 쓰는지 셋을 확인한다.
2026-09-21 재검증으로 Host ingress부터 Edge와 worker NIC까지의 실제 packet path는 확인됐다. 따라서 이후 장애에서는 같은 capture point에 패킷이 보이는지부터 비교하면 된다.
첫째는 호스트 Nginx 에서 Keycloak 까지의 실제 패킷 경로를 추적해서, 둘째는 계층마다 캡처해서, 셋째는 부하 중 CPU 사용량을 재서 답한다.
부하 중 네트워크 가상화 CPU 비용도 2026-09-21에 따로 측정했다. 외부 OIDC 부하에서 vhost와 softirq 사용량은 증가했지만 host CPU에는 여유가 남았고, 이번 부하 수준에서 네트워크 가상화 비용이 host CPU를 지배했다고 볼 근거는 없었다. 다만 guest workload 자체도 함께 증가했으므로 지연 변화를 네트워크 가상화 하나의 원인으로 귀속하지 않는다.
## 적용 조건
## 이 검증이 필요한 실험
여러 노드가 같은 네트워크 경로를 공유하는 실험의 결과를 원인에 귀속할 때.
@@ -89,22 +76,22 @@ vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다. 그래서
부하 구간에서만 커지는 지연을 애플리케이션 동시성이나 저장소 lock 으로 결론내려 할 때.
## 예외
## network가 깨끗해도 분석은 끝나지 않는다
애플리케이션 쪽 관측을 늘리는 것으로는 이 기준을 적용할 수 없다. Keycloak 이 게스트 소켓 위에서만 동작하므로 애플리케이션 로그로는 이 계층이 원인인지 가릴 수 없다.
네트워크 계층이 깨끗하다고 해서 이 기준이 애플리케이션 결함을 배제해 주지는 않는다. 여기서 나오는 것은 네트워크가 원인이 아니라는 것까지다.
네트워크 계층에서 뚜렷한 이상을 찾지 못했다고 해서 애플리케이션 결함이 증명되는 것은 아니다. 여기서 얻는 것은 **관측한 경로와 부하 범위에서는 네트워크 쪽 원인 후보가 줄었다**는 정도다.
가상 머신 위 K3s 안쪽은 이 기준의 범위 밖이다. CNI(Container Network Interface) 와 Service, Pod 네트워크는 별도 계층으로 두고 따로 분석한다.
원문 문서가 이 테스트 환경에 얹어 그린 경로는 확인된 것이 아니라 기준 구조를 그대로 옮겨 놓은 그림이다. 이 저장소에는 이 기준으로 원인을 실제로 가른 실험이 아직 없다.
과거 문서의 `Host Nginx → worker VM` 그림은 현재 구조와 달랐지만, 2026-09-21에는 실제 OIDC discovery 요청을 `tailscale0`, Edge/worker의 host-side `vnetN`, guest `enp1s0`에서 추적해 현재 경로를 확인했다. 이 검증은 애플리케이션 원인을 증명한 것이 아니라 **네트워크 경로 자체를 독립적으로 검증할 수 있게 된 것**이다.
가까운 것은 실험대를 세울 때 한 번 있었다. 밖에서 온 요청만 엣지에 닿지 않았는데 원인은 게스트 안이 아니라 호스트의 libvirt 방화벽 규칙이었고, 그때 엣지 nginx 는 호스트에서 친 요청에 404 로 응답하고 있었다(§180).
가까운 것은 실험대를 세울 때 한 번 있었다. 밖에서 온 요청만 엣지에 닿지 않았는데 원인은 게스트 안이 아니라 호스트의 libvirt 방화벽 규칙이었고, 그때 엣지 nginx 는 호스트에서 친 요청에 404 로 응답하고 있었다(「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」).
## 예시
## Keycloak 실험에 적용하는 방법
- Keycloak 노드 하나만 응답이 느림 : 그 노드가 있는 가상 머신까지의 경로부터 확인한다
- 가상 머신 하나에서만 요청이 실패 : 호스트 브리지 구성과 그 가상 머신의 tap 연결을 본다
- 부하를 올릴수록 지연이 커짐 : QEMU 와 vhost 의 CPU 사용량을 같은 시간축에서 함께 본다
- 동시 갱신 실험에서 두 번째 요청이 거부됨 : 네트워크 검증 셋을 마친 뒤에 Refresh Token 경쟁으로 적는다
- 네트워크 검증이 전부 깨끗함 : 네트워크가 원인이 아니라는 것까지만 적고 애플리케이션 쪽을 계속 본다
- 네트워크 검증에서 이상을 찾지 못함 : 관측한 범위에서 네트워크 원인 후보를 낮추고 애플리케이션 쪽을 계속 본다