Files
document-haness/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-bisect-the-packet-path-with-capture-points.md
T

127 lines
9.1 KiB
Markdown

---
id: 68a848c7-eaff-4421-ad25-de21673ca40c
kind: REFERENCE
slug: bisect-the-packet-path-with-capture-points
title: packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다
topic: network-virtualization
topicName: 네트워크 가상화
project: virtualization
status: 초안
studio: "https://hyeonworks.com/studio/documents/68a848c7-eaff-4421-ad25-de21673ca40c/edit"
sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
source:
- final/document.md#119-실제-packet-path-추적
- final/document.md#118-실제-linux에서-확인할-명령어
- final/document.md#117-이-구조에서-발생할-수-있는-문제-117-1
- final/document.md#117-이-구조에서-발생할-수-있는-문제-117-2
- final/document.md#117-이-구조에서-발생할-수-있는-문제-117-3
- final/document.md#117-이-구조에서-발생할-수-있는-문제-117-6
- final/document.md#113-offload-최적화
- final/document.md#114-linux-bridge가-항상-host-tcp-ip-stack을-거치는-것은-아니다
- final/document.md#99-tap의-역할
---
# packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다
가상 머신이 밖과 통신하지 못하면 게스트부터 뒤지지 말고 패킷이 지나야 할 지점에 캡처를 걸어 어디까지 보였는지로 구간을 좁힌다. 첫 지점은 물리 NIC일 수도 있고 `tailscale0` 같은 host ingress 인터페이스일 수도 있다. 그 뒤로 브리지, 가상 머신에 붙은 TAP/vnet, 게스트 인터페이스를 따라간다. 보이지 않은 첫 지점의 앞 구간이 의심 구간이 된다.
## capture point를 나눠야 하는 이유
이 기준은 두 가지를 막는다.
가상 머신이 통신하지 못할 때 게스트 안쪽과 애플리케이션부터 뒤지느라 호스트의 브리지와 TAP 연결을 늦게 보는 일이 하나다. 그 사이의 계층은 애플리케이션 로그에 아무것도 남기지 않는다.
오프로드 때문에 실제 wire 와 다르게 보이는 정상 패킷을 결함으로 판정하는 일이 다른 하나다.
이 순서는 여러 네트워크 질문이 함께 쓴다. VM network mode와 host-side `vnetN` mapping을 먼저 확인하고, 실제 요청은 현재 진입점인 `tailscale0 → host DNAT → edge VM → worker VM` 순서로 캡처한다. 과거 Host Nginx 배치와 현재 Edge VM 배치를 섞지 않고, 각 시점의 실제 ingress 인터페이스에서 시작한다.
## 바깥에서 안쪽으로 경로를 자른다
### 1. 캡처할 지점의 이름을 먼저 확정한다
기본 관측 지점은 host ingress 인터페이스, host bridge, 가상 머신에 붙은 tap 또는 vnet, 그리고 게스트 안의 인터페이스다. 현재 실험대의 외부 진입점은 물리 NIC가 아니라 `tailscale0`이다.
이름을 모른 채 시작하면 없는 인터페이스에 캡처를 걸어 놓고 패킷이 안 보인다고 판정하게 된다.
인터페이스 목록은 ip link 로 본다.
브리지에 무엇이 붙어 있는지는 bridge link 와 bridge fdb show 가 알려 준다.
tap 목록은 ip tuntap show 로 본다.
어느 가상 머신이 어느 tap 에 붙어 있는지는 virsh domiflist 에 도메인 이름을 붙여 확인한다.
libvirt 가 만든 가상 네트워크가 무엇인지는 virsh net-list --all 과 virsh net-dumpxml 로 확인한다.
라우팅이 개입하는 구성이면 ip route 와 ip rule 도 함께 본다.
### 2. 네 지점에 같은 요청을 흘리면서 캡처를 건다
호스트에서는 실제 ingress 인터페이스와 브리지, tap 또는 vnet에 각각 `tcpdump -ni`로 캡처를 건다.
게스트에서는 게스트 인터페이스에 같은 방식으로 건다.
### 3. 보이지 않은 첫 지점의 앞 구간을 의심 구간으로 삼는다
판독은 어느 지점까지 보였는가로만 한다.
host ingress에 보이고 브리지에도 보이는데 tap에 안 보이면, 게스트 내부보다 먼저 호스트의 브리지와 tap 연결을 의심한다.
tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스트 NIC 계층을 의심한다.
게스트 NIC 에는 보이는데 소켓까지 오지 않으면 게스트의 라우팅과 방화벽, listen 상태를 의심한다.
### 4. 증상마다 다음에 볼 명령을 미리 정해 둔다
의심 구간이 나오면 그 구간의 증상에 맞는 확인으로 넘어간다.
가상 머신이 외부와 통신하지 못하거나 호스트와 통신하지 못하거나 특정 가상 머신만 통신하지 못하면 tap 과 브리지 연결을 본다. ip link, bridge link, bridge fdb show, virsh domiflist 가 그 확인이다.
같은 서브넷은 통신되는데 다른 서브넷이 안 되거나 게이트웨이까지는 가는데 외부 통신이 실패하면 라우팅을 본다. ip route 와 ip rule 이다.
가상 머신에서 인터넷으로 나가지 못하거나 외부에서 가상 머신에 접근하지 못하거나 특정 포트만 실패하면 nftables 와 iptables, NAT(Network Address Translation) 규칙, IP(Internet Protocol) forwarding 설정을 확인 대상으로 둔다.
이 실험대가 가장 오래 막힌 지점도 여기였다. 밖에서 온 요청만 엣지 게스트에 닿지 않았고, 거절한 것은 libvirt 가 자기 테이블의 guest_input 체인 끝에 둔 reject 규칙이었다(「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」).
증상 셋을 각각 다른 기준으로 나누지 않은 것은 셋이 모두 어느 지점에서 끊겼는가 하나로 모이기 때문이다. 따로 적으면 같은 규칙의 부분 증상이 셋으로 늘어난다.
### 5. 패킷 크기와 체크섬이 예상과 다르다는 이유만으로 결함이라고 읽지 않는다
오프로드가 켜져 있으면 캡처에서 보이는 패킷 크기나 체크섬이 실제 wire 에서 보이는 것과 다르게 보일 수 있다. 원인 후보는 GSO(Generic Segmentation Offload), GRO(Generic Receive Offload), TSO(TCP Segmentation Offload), checksum offload 다.
크기와 체크섬이 예상과 다르면 오프로드 설정을 먼저 확인하고, 그 값만으로 판정하지 않는다.
### 6. 호스트의 L3 쪽에서 안 보이는 것을 곧바로 실패로 읽지 않는다
브리지가 L2 전달만 하는 경우 프레임이 호스트의 일반적인 L3 TCP/IP 스택을 반드시 거치지는 않는다. 한 가상 머신의 tap 에서 브리지를 지나 다른 가상 머신의 tap 으로 가는 경로가 그렇다.
호스트가 라우팅이나 NAT, host-local termination, 방화벽 역할을 할 때 L3 와 Netfilter 경로가 개입한다. 그래서 구성에 따라 호스트의 L3 관측에서 안 보이는 것이 정상이다.
### 7. 네 지점이 모두 보이는데 느리기만 한 경우는 이 절차가 답하지 않는다
이 절차가 가르는 것은 패킷이 어디서 끊겼는가다. 끊기지 않고 느리기만 하면 다른 기준으로 넘긴다.
## packet path를 의심할 때
KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외부와 통신하지 못할 때.
특정 구간에서만 통신이 실패할 때.
실제 패킷 경로를 처음 확인할 때.
## capture만으로 답이 안 되는 경우
오프로드가 켜진 구성에서는 패킷 크기와 체크섬이 그대로 증거가 되지 않는데, 다섯 번째 규칙이 그 경우다.
브리지가 L2 전달만 하는 구성에서는 호스트의 L3 관측에 안 보이는 것이 정상인데, 여섯 번째 규칙이 그 경우다.
네 지점이 모두 보이는데 느린 경우는 이 기준이 다루지 않는다. 「Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다」 쪽으로 넘긴다.
2026-09-21에는 실제 요청을 여러 지점에서 캡처해 이 절차를 다시 확인했다. 따라서 아래 판독은 개념 설명만이 아니라 현재 실험대에서 확보한 패킷 캡처와 함께 읽는다.
「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」의 사건에서도 구간을 좁힌 것은 네 지점 캡처가 아니었다. 호스트에서 친 curl 은 404 를 받는데 밖에서 친 curl 만 connection refused 를 받았다는 차이가 단서였고, 범인은 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 횟수와 맞아떨어져서 확정했다.
## 어디서 끊겼는지 판정하는 예
- host ingress 에 보이고 브리지에도 보이는데 tap 에 안 보임 : 호스트의 브리지와 tap 연결을 먼저 확인한다
- tap 에 보이는데 게스트 NIC 에 안 보임 : virtio 와 vhost, 게스트 NIC 계층을 확인한다
- 게스트 NIC 에 보이는데 소켓까지 안 옴 : 게스트의 라우팅과 방화벽, listen 상태를 확인한다
- 특정 가상 머신만 통신 불가 : ip link 와 bridge link, virsh domiflist 로 그 가상 머신의 tap 이 브리지에 붙어 있는지 본다
- 같은 서브넷은 되고 다른 서브넷만 실패 : ip route 와 ip rule 을 본다
- 캡처에 보이는 패킷이 예상보다 크고 체크섬이 어긋남 : 오프로드 설정을 먼저 확인한다
- 네 지점이 모두 보이는데 응답만 느림 : 이 절차를 여기서 멈춘다