Files
document-haness/docs/virtualization/tech-log-studio/network-virtualization/question/question-actual-packet-path-nginx-to-keycloak.md
T

16 KiB

id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
id kind slug title topic topicName project status questionStatus lastVerifiedOn studio sourceRevision evidence source
600a2621-f6d8-42df-9629-7db65011545d QUESTION actual-packet-path-nginx-to-keycloak 외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가 network-virtualization 네트워크 가상화 virtualization 초안 RESOLVED 2026-09-21 https://hyeonworks.com/studio/documents/600a2621-f6d8-42df-9629-7db65011545d/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
../../../final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt
final/document.md#122-open-question-oq-6
final/document.md#116-현재-keycloak-k3s-테스트-환경과-연결
final/document.md#119-실제-packet-path-추적
final/document.md#94-전체-네트워크-계층
final/document.md#125-최종-기준-구조

외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가

2026-09-21 같은 OIDC discovery 요청을 tailscale0, virbr0, edge의 vnet13/enp1s0, worker의 vnet18/vnet19/enp1s0에서 추적했다. 실제 경로는 Tailscale ingress → host DNAT/source rewrite → edge Nginx → virbr0 L2 forwarding → worker Traefik으로 확인됐다. edge Nginx가 TLS를 종료한 뒤 worker로 새 HTTP 연결을 만들기 때문에 ingress TLS 연결과 worker HTTP 연결은 같은 TCP flow가 아니다.

2026-09-21에 캡처한 실제 경로

  • 2026-09-21 재검증에서 workmachine의 요청은 tailscale0에서 100.92.240.34:42996 → 100.83.212.4:443으로 보였다. 같은 TCP sequence가 vnet13에서는 192.168.122.1:42996 → 192.168.122.10:443으로 보였다. destination DNAT뿐 아니라 source rewrite도 실제로 발생했다.

  • host ip nat에는 Tailscale의 ts-postrouting chain이 있고 fwmark 0x00040000 패킷을 MASQUERADE하는 규칙이 존재했다. 따라서 Edge VM이 항상 원래 Tailscale client IP를 그대로 본다고 가정할 수 없으며, 현재 netfilter 전체 경로를 기준으로 source address를 확인해야 한다.

  • edge Nginx는 요청을 192.168.122.10:<ephemeral> → 192.168.122.11:80 또는 .12:80의 새 HTTP 연결로 전달했다. 6회 요청에서 worker-1/3/5는 vnet18 → kc-lab-1 enp1s0, worker-2/4/6은 vnet19 → kc-lab-2 enp1s0에서 동일 GET path가 확인됐다.

  • packet capture 전에 lab-edge-dnat.service가 active였는데도 libvirt guest_input의 generic reject가 allow rule보다 앞에 있어 외부 443가 connection refused였다. service를 restart해 allow rule을 chain 앞쪽으로 다시 삽입한 뒤 같은 OIDC 요청이 HTTP 200으로 복구됐다. service active 여부만으로 forwarding 가능 여부를 판단할 수 없다.

  • 이번 캡처 시점에는 host와 guest에서 ethtool feature 값을 확보하지 못했다. 79-network-offload-state.txt에도 대상 이름만 남고 feature 출력은 없다. 따라서 tcpdump의 packet size/checksum을 wire-level 값으로 일반화하지 않고, 경로 판정에는 주소·포트·동일 HTTP path를 사용했다.

  • 「현재 Keycloak/K3s 테스트 환경과 연결」에서 그린 테스트 환경의 요청 경로 Client → Host Physical NIC → Host Nginx → Host Network → VM1 / VM2 → K3s → Keycloak Node 1 / 2

  • 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 가상 머신 네트워크까지 펼친 경로 Client → Physical NIC → Host Network Stack / Bridge / Route / NAT → TAP(vm1) / TAP(vm2) → vhost-net → virtqueue → virtio-net → Guest Network Stack → K3s networking → Keycloak

  • 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 그 뒤에 K3s 내부의 CNI · Service · Pod network 가 추가되므로 별도 계층으로 분석한다고 적었다.

  • 「전체 네트워크 계층」에서는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 놓고 수신 방향과 송신 방향을 각각 그렸다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 밝혔다.

  • 「최종 기준 구조」에서는 같은 경로를 vhost-net 을 쓸 때와 QEMU backend 를 쓸 때로 나눠 다시 그렸다. 두 그림은 TAP 다음이 vhost-net 인지 QEMU virtio backend 인지에서 갈리고 나머지 구간은 같다.

  • 「실제 packet path 추적」에서는 경로를 확인하는 방법으로 호스트의 physical NIC · bridge · tap 또는 vnet 세 곳과 게스트의 guest interface 한 곳에 sudo tcpdump -ni 를 걸고, 어디까지 보이는지로 의심 구간을 좁히라고 적었다.

  • 「실제 packet path 추적」에서 든 판정 예 셋 Physical NIC O · Bridge O · TAP X : Guest 내부보다 먼저 Host Bridge/TAP mapping 을 의심한다 TAP O · Guest NIC X : virtio/vhost/Guest NIC 계층을 의심한다 Guest NIC O · Socket X : Guest routing/firewall/listen 상태를 의심한다

  • 원문의 6번째 확인 항목은 Host NIC · Bridge · TAP · Guest NIC 에서 tcpdump로 추적한다고만 적었다. 실제 인터페이스 이름은 적혀 있지 않았다.

  • 과거 「현재 Keycloak/K3s 테스트 환경과 연결」 그림은 Host Nginx 배치를 전제로 작성됐다. 그 아래의 Bridge·NAT·TAP·vhost-net 구간도 당시에는 확인 전 가정이 섞여 있었다. 2026-09-21에는 현재 Edge VM 배치에서 network mode·vnet mapping·vhost runtime backend·packet capture를 각각 확인했으므로, 과거 그림은 현재 topology 설명이 아니라 변경 전 기록으로 읽는다.

  • 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」와 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 같은 nginx 를 물리 호스트에서 엣지 게스트로 옮겼다고 적고 전후를 나란히 그렸다. 전 : tailnet:443 → 호스트 nginx → Traefik(게스트 .11/.12) 후 : tailnet:443 → 호스트 커널 DNAT → 엣지 nginx(.10) → Traefik(.11/.12)

  • 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그렇게 옮겨도 L7 홉 수는 2홉 그대로라고 관측으로 적었다. 늘어난 것은 커널이 하는 L4 전달 한 번이다. 지금 호스트에는 :443 을 듣는 리스너가 없다.

  • Edge Nginx를 VM으로 분리하면서 외부 요청은 물리 호스트의 DNAT과 libvirt FORWARD 경로를 새로 지나게 됐다. 그래서 호스트 DNAT 규칙과 guest_input의 Edge VM 허용 규칙이 추가로 필요해졌다. nginx 설정과 인증서, certbot은 Edge VM에서 관리한다.

  • 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 호스트에서 게스트로 가는 요청이 OUTPUT 경로라 필터를 타지 않는다고 적었다. 밖에서 게스트로 들어오는 요청은 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다.

  • 「lab-edge-dnat.nft — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 DNAT 파일에 forward 체인을 두지 않은 이유를 그 파일의 주석으로 적어 두었다. libvirt 의 guest_input 체인은 virbr0 으로 나가는 프레임을 reject 하며 끝난다. nftables에서는 앞 base chain의 accept가 뒤쪽 libvirt reject를 막지 못하므로 Edge VM 허용 규칙을 guest_input의 reject보다 앞에 추가했고, 그래서 그 파일에 forward 체인이 없는 것은 실수가 아니다.

  • 「lab-edge-dnat.nft — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 이 DNAT 가 PREROUTING nat 에 있어 라우팅 결정보다 먼저 돌고 호스트의 로컬 소켓보다 이긴다고 적었다. 그래서 엣지를 띄운 채 전환하고, 되돌릴 때는 테이블 하나를 지운다.

  • 「lab-edge-dnat.nft — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 DNAT 만 하고 SNAT 는 하지 않는다고 적었다. 게스트의 기본 경로가 호스트여서 응답이 이 경로를 다시 지나고 conntrack 이 변환을 알아서 되돌린다. masquerade 를 붙이면 엣지가 모든 클라이언트를 192.168.122.1 로 보게 된다.

  • 「lab-edge-dnat.service — ExecStartPost 앞의 - 가 무엇을 봐주나」에서는 초기 설계의 의도를 설명했다. ExecStartPost 실패를 무시해 DNAT 자체는 살리고, 필요하면 유닛을 재시작해 accept 규칙을 다시 넣는 방식이었다. 하지만 2026-09-21 재검증에서 유닛이 이미 active인 뒤 libvirt가 체인을 다시 쓰면 규칙 순서가 깨질 수 있음이 확인됐다. 따라서 재시작은 현재 상태를 복구하는 수단일 뿐, 이후 libvirt chain rewrite까지 보장하는 persistence 해법으로 보지 않는다.

  • 「lab-edge-dnat.service — ExecStartPost 앞의 - 가 무엇을 봐주나」에서는 그 상태에서 유닛이 active 이고 아무 오류도 없다고 적고, 유닛이 active라는 것은 DNAT가 적용됐다는 뜻이지 guest_input 허용 규칙까지 적용됐다는 뜻은 아니라고 추론으로 밝혔다. 그 상태를 실제로 재현해 보지는 않았다고 적혀 있다.

  • 「nftables 는 앞 체인의 accept 로 뒤 체인의 reject 를 막지 못한다」에서는 guest_input 허용 규칙이 없을 때의 출력을 관측으로 남겼다. 호스트에서 게스트 주소로 친 curl 은 404 였고, 밖에서 tailnet 주소로 친 curl 은 connection refused 였다. reject 규칙의 카운터는 packets 4 bytes 240 으로 밖에서 친 횟수와 맞았다.

  • 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 안쪽과 바깥쪽을 한 번씩 쳐서 같은 값이 나오는지 보는 확인을 적었다. 둘 다 404면 해당 경로가 이어진 것이고, 안쪽만 404면 nginx 설정, DNAT, libvirt guest_input 허용 규칙 가운데 하나를 확인한다.

  • 2026-09-21에는 host ingress, edge vnet/guest NIC, worker vnet/guest NIC에서 같은 OIDC 요청을 캡처해 실제 경로를 이어 붙였다. 따라서 과거의 기준 구조 그림과 현재 Edge VM 구조를 구분해 읽을 수 있게 됐다.

capture를 해석한 기준

  • 재검증에서는 workmachine에서 tailnet 주소로 동일 OIDC discovery 요청을 반복해 보내고, worker 양쪽의 host/guest capture에서 어느 노드로 갔는지 확인했다.
  • 요청 path와 주소·포트를 기준으로 host와 guest capture를 대조했다. 두 worker를 번갈아 지나는 요청은 요청 번호와 동일 GET path로 구분했다.
  • vhost-net backend와 VM별 vnet mapping은 앞선 재검증에서 확인한 값을 사용했고, 이번 capture로 Edge VM 이후 worker까지의 실제 packet path를 추가로 확인했다.
  • 오프로드 설정이 캡처하는 동안 바뀌지 않는다.

남은 구간과 offload

요청이 어느 인터페이스를 지나 edge와 worker에 도달하는지는 해소됐다. first hop은 tailscale0 → host NAT → virbr0/vnet13 → edge enp1s0, second hop은 edge의 새 HTTP 연결이 vnet13 → virbr0 → vnet18 또는 vnet19 → worker enp1s0으로 전달된다. 6회 요청에서는 두 worker가 번갈아 선택됐다.

남은 미지수는 이번 캡처 시점의 offload feature 상태다. ethtool이 설치돼 있지 않아 읽지 못했으므로 packet size/checksum을 wire-level 값으로 해석하지 않는다. 이 미지수는 주소·포트·HTTP path로 확정한 packet path 자체를 다시 열 이유는 아니다.

K3s 내부는 범위 밖이다

  • 캡처 지점의 이름을 먼저 확정해야 한다. 어느 브리지와 어느 TAP 인지 모르면 tcpdump 를 걸 곳을 고르지 못한다. 그 이름은 네트워크 구성을 묻는 물음과 인터페이스를 묻는 물음이 댄다.
  • K3s 안에서 Keycloak Pod 까지 가는 구간은 이 물음이 닫는 범위 밖이다. 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 CNI · Service · Pod network 를 별도 계층으로 미뤄 두었다.
  • 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니라 장애다. 「실제 packet path 추적」에서 든 세 판정 예를 따라 의심 구간을 적고 계층별 캡처 기준으로 넘긴다.
  • 「현재 Keycloak/K3s 테스트 환경과 연결」의 그림은 엣지를 옮기기 전 모양이다. 지금 구성으로 캡처하면 호스트 nginx 였던 칸에 커널 DNAT 와 엣지 게스트가 들어가므로 캡처 지점이 그만큼 늘어난다.
  • 2026-09-21 재검증으로 NAT network, VM별 vnetN mapping, vhost-net backend뿐 아니라 같은 요청의 Host ingress → Edge guest → worker vnet/guest NIC 이동까지 packet capture로 확인했다. 남은 것은 K3s CNI/Service/Pod 내부 경로와 offload feature 분석이다.

경로를 이어 붙인 방법

1. 네 지점에 한 번에 걸고 요청을 한 번 보낸다

「실제 packet path 추적」에서 든 호스트 세 지점과 게스트 한 지점에 동시에 tcpdump 를 걸어 두고, 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. 같은 요청 하나가 네 지점에서 각각 보이는지로 경로가 확정되기 때문에 실행이 한 번으로 끝난다.

지점 이름을 미리 확정해 두어야 하고 네 곳을 동시에 열어 두어야 한다.

2. 바깥에서 안쪽으로 한 지점씩 옮겨 간다

물리 NIC 에서 시작해 브리지, TAP, 게스트 인터페이스 순으로 한 지점씩 옮기며 같은 요청을 반복해서 보낸다. 여러 곳을 동시에 열지 않아도 되고 어디서부터 안 보이는지가 바로 드러난다.

요청을 여러 번 보내야 해서 매번 같은 경로로 갔다고 전제해야 한다. 두 가상 머신에 요청이 번갈아 가면 그 전제가 깨진다.

3. 두 가상 머신 쪽 TAP 을 모두 열어 놓고 한 번 보낸다

VM1 과 VM2 의 TAP 을 둘 다 열어 두면 요청이 어느 쪽으로 갔는지까지 같은 실행에서 나온다. 「Keycloak Refresh Token 실험과의 관계」에서 든 「Node1 요청만 지연」 같은 증상을 나중에 볼 때 어느 경로를 먼저 열어야 하는지도 이 기록에서 나온다.

캡처 지점이 다섯으로 늘어난다.

4. 제외 — 호스트 Nginx 설정에서 경로를 읽는다

Nginx 가 어느 주소로 요청을 넘기는지 설정만 읽어도 어느 가상 머신으로 가는지는 알 수 있다. 그러나 이 물음은 설정이 말하는 경로가 아니라 패킷이 실제로 지나는 계층을 묻는다. 「현재 Keycloak/K3s 테스트 환경과 연결」에서 그린 그림이 확인된 것이 아니라는 데서 물음이 시작했으므로, 설정을 읽으면 같은 종류의 근거가 하나 더 늘어난다.

OIDC 요청은 host DNAT와 edge를 거쳐 worker까지 도달했다

실제 OIDC discovery 요청의 ingress와 edge→worker 두 번째 홉을 host vnet과 guest NIC에서 확인했다. 앞으로 장애가 나면 같은 지점에 다시 tcpdump를 걸어 처음 사라지는 구간을 찾는다. offload 기능의 정확한 상태가 필요한 성능/packet-size 분석은 ethtool을 준비한 뒤 별도로 확인한다.