Files
document-haness/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-bisect-the-packet-path-with-capture-points.md
T

9.1 KiB

id, kind, slug, title, topic, topicName, project, status, studio, sourceRevision, source
id kind slug title topic topicName project status studio sourceRevision source
68a848c7-eaff-4421-ad25-de21673ca40c REFERENCE bisect-the-packet-path-with-capture-points packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다 network-virtualization 네트워크 가상화 virtualization 초안 https://hyeonworks.com/studio/documents/68a848c7-eaff-4421-ad25-de21673ca40c/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
final/document.md#119-실제-packet-path-추적
final/document.md#118-실제-linux에서-확인할-명령어
final/document.md#117-이-구조에서-발생할-수-있는-문제-117-1
final/document.md#117-이-구조에서-발생할-수-있는-문제-117-2
final/document.md#117-이-구조에서-발생할-수-있는-문제-117-3
final/document.md#117-이-구조에서-발생할-수-있는-문제-117-6
final/document.md#113-offload-최적화
final/document.md#114-linux-bridge가-항상-host-tcp-ip-stack을-거치는-것은-아니다
final/document.md#99-tap의-역할

packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다

가상 머신이 밖과 통신하지 못하면 게스트부터 뒤지지 말고 패킷이 지나야 할 지점에 캡처를 걸어 어디까지 보였는지로 구간을 좁힌다. 첫 지점은 물리 NIC일 수도 있고 tailscale0 같은 host ingress 인터페이스일 수도 있다. 그 뒤로 브리지, 가상 머신에 붙은 TAP/vnet, 게스트 인터페이스를 따라간다. 보이지 않은 첫 지점의 앞 구간이 의심 구간이 된다.

capture point를 나눠야 하는 이유

이 기준은 두 가지를 막는다.

가상 머신이 통신하지 못할 때 게스트 안쪽과 애플리케이션부터 뒤지느라 호스트의 브리지와 TAP 연결을 늦게 보는 일이 하나다. 그 사이의 계층은 애플리케이션 로그에 아무것도 남기지 않는다.

오프로드 때문에 실제 wire 와 다르게 보이는 정상 패킷을 결함으로 판정하는 일이 다른 하나다.

이 순서는 여러 네트워크 질문이 함께 쓴다. VM network mode와 host-side vnetN mapping을 먼저 확인하고, 실제 요청은 현재 진입점인 tailscale0 → host DNAT → edge VM → worker VM 순서로 캡처한다. 과거 Host Nginx 배치와 현재 Edge VM 배치를 섞지 않고, 각 시점의 실제 ingress 인터페이스에서 시작한다.

바깥에서 안쪽으로 경로를 자른다

1. 캡처할 지점의 이름을 먼저 확정한다

기본 관측 지점은 host ingress 인터페이스, host bridge, 가상 머신에 붙은 tap 또는 vnet, 그리고 게스트 안의 인터페이스다. 현재 실험대의 외부 진입점은 물리 NIC가 아니라 tailscale0이다.

이름을 모른 채 시작하면 없는 인터페이스에 캡처를 걸어 놓고 패킷이 안 보인다고 판정하게 된다.

인터페이스 목록은 ip link 로 본다. 브리지에 무엇이 붙어 있는지는 bridge link 와 bridge fdb show 가 알려 준다. tap 목록은 ip tuntap show 로 본다. 어느 가상 머신이 어느 tap 에 붙어 있는지는 virsh domiflist 에 도메인 이름을 붙여 확인한다. libvirt 가 만든 가상 네트워크가 무엇인지는 virsh net-list --all 과 virsh net-dumpxml 로 확인한다. 라우팅이 개입하는 구성이면 ip route 와 ip rule 도 함께 본다.

2. 네 지점에 같은 요청을 흘리면서 캡처를 건다

호스트에서는 실제 ingress 인터페이스와 브리지, tap 또는 vnet에 각각 tcpdump -ni로 캡처를 건다. 게스트에서는 게스트 인터페이스에 같은 방식으로 건다.

3. 보이지 않은 첫 지점의 앞 구간을 의심 구간으로 삼는다

판독은 어느 지점까지 보였는가로만 한다.

host ingress에 보이고 브리지에도 보이는데 tap에 안 보이면, 게스트 내부보다 먼저 호스트의 브리지와 tap 연결을 의심한다.

tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스트 NIC 계층을 의심한다.

게스트 NIC 에는 보이는데 소켓까지 오지 않으면 게스트의 라우팅과 방화벽, listen 상태를 의심한다.

4. 증상마다 다음에 볼 명령을 미리 정해 둔다

의심 구간이 나오면 그 구간의 증상에 맞는 확인으로 넘어간다.

가상 머신이 외부와 통신하지 못하거나 호스트와 통신하지 못하거나 특정 가상 머신만 통신하지 못하면 tap 과 브리지 연결을 본다. ip link, bridge link, bridge fdb show, virsh domiflist 가 그 확인이다.

같은 서브넷은 통신되는데 다른 서브넷이 안 되거나 게이트웨이까지는 가는데 외부 통신이 실패하면 라우팅을 본다. ip route 와 ip rule 이다.

가상 머신에서 인터넷으로 나가지 못하거나 외부에서 가상 머신에 접근하지 못하거나 특정 포트만 실패하면 nftables 와 iptables, NAT(Network Address Translation) 규칙, IP(Internet Protocol) forwarding 설정을 확인 대상으로 둔다.

이 실험대가 가장 오래 막힌 지점도 여기였다. 밖에서 온 요청만 엣지 게스트에 닿지 않았고, 거절한 것은 libvirt 가 자기 테이블의 guest_input 체인 끝에 둔 reject 규칙이었다(「nftables 는 앞 체인의 accept 로 뒤 체인의 reject 를 막지 못한다」).

증상 셋을 각각 다른 기준으로 나누지 않은 것은 셋이 모두 어느 지점에서 끊겼는가 하나로 모이기 때문이다. 따로 적으면 같은 규칙의 부분 증상이 셋으로 늘어난다.

5. 패킷 크기와 체크섬이 예상과 다르다는 이유만으로 결함이라고 읽지 않는다

오프로드가 켜져 있으면 캡처에서 보이는 패킷 크기나 체크섬이 실제 wire 에서 보이는 것과 다르게 보일 수 있다. 원인 후보는 GSO(Generic Segmentation Offload), GRO(Generic Receive Offload), TSO(TCP Segmentation Offload), checksum offload 다.

크기와 체크섬이 예상과 다르면 오프로드 설정을 먼저 확인하고, 그 값만으로 판정하지 않는다.

6. 호스트의 L3 쪽에서 안 보이는 것을 곧바로 실패로 읽지 않는다

브리지가 L2 전달만 하는 경우 프레임이 호스트의 일반적인 L3 TCP/IP 스택을 반드시 거치지는 않는다. 한 가상 머신의 tap 에서 브리지를 지나 다른 가상 머신의 tap 으로 가는 경로가 그렇다.

호스트가 라우팅이나 NAT, host-local termination, 방화벽 역할을 할 때 L3 와 Netfilter 경로가 개입한다. 그래서 구성에 따라 호스트의 L3 관측에서 안 보이는 것이 정상이다.

7. 네 지점이 모두 보이는데 느리기만 한 경우는 이 절차가 답하지 않는다

이 절차가 가르는 것은 패킷이 어디서 끊겼는가다. 끊기지 않고 느리기만 하면 다른 기준으로 넘긴다.

packet path를 의심할 때

KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외부와 통신하지 못할 때.

특정 구간에서만 통신이 실패할 때.

실제 패킷 경로를 처음 확인할 때.

capture만으로 답이 안 되는 경우

오프로드가 켜진 구성에서는 패킷 크기와 체크섬이 그대로 증거가 되지 않는데, 다섯 번째 규칙이 그 경우다.

브리지가 L2 전달만 하는 구성에서는 호스트의 L3 관측에 안 보이는 것이 정상인데, 여섯 번째 규칙이 그 경우다.

네 지점이 모두 보이는데 느린 경우는 이 기준이 다루지 않는다. 「Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다」 쪽으로 넘긴다.

2026-09-21에는 실제 요청을 여러 지점에서 캡처해 이 절차를 다시 확인했다. 따라서 아래 판독은 개념 설명만이 아니라 현재 실험대에서 확보한 패킷 캡처와 함께 읽는다.

「nftables 는 앞 체인의 accept 로 뒤 체인의 reject 를 막지 못한다」의 사건에서도 구간을 좁힌 것은 네 지점 캡처가 아니었다. 호스트에서 친 curl 은 404 를 받는데 밖에서 친 curl 만 connection refused 를 받았다는 차이가 단서였고, 범인은 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 횟수와 맞아떨어져서 확정했다.

어디서 끊겼는지 판정하는 예

  • host ingress 에 보이고 브리지에도 보이는데 tap 에 안 보임 : 호스트의 브리지와 tap 연결을 먼저 확인한다
  • tap 에 보이는데 게스트 NIC 에 안 보임 : virtio 와 vhost, 게스트 NIC 계층을 확인한다
  • 게스트 NIC 에 보이는데 소켓까지 안 옴 : 게스트의 라우팅과 방화벽, listen 상태를 확인한다
  • 특정 가상 머신만 통신 불가 : ip link 와 bridge link, virsh domiflist 로 그 가상 머신의 tap 이 브리지에 붙어 있는지 본다
  • 같은 서브넷은 되고 다른 서브넷만 실패 : ip route 와 ip rule 을 본다
  • 캡처에 보이는 패킷이 예상보다 크고 체크섬이 어긋남 : 오프로드 설정을 먼저 확인한다
  • 네 지점이 모두 보이는데 응답만 느림 : 이 절차를 여기서 멈춘다