Files
document-haness/docs/virtualization/tech-log-studio/lab-environment-build/case/case-nftables-accept-did-not-stop-the-libvirt-reject.md

13 KiB

kind, slug, title, topic, topicName, project, status, assets, sourceRevision, source
kind slug title topic topicName project status assets sourceRevision source
CASE nftables-accept-did-not-stop-the-libvirt-reject libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례 lab-environment-build 실험대 환경 구성 virtualization 게시 전
key file
nftables-forward-hook-chain-order ../../../final/assets/diagrams/nftables-forward-hook-chain-order/nftables-forward-hook-chain-order.svg
import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
final/document.md#180-nftables-는-앞-체인의-accept-로-뒤-체인의-reject-를-막지-못한다
final/document.md#179-엣지를-물리-호스트에서-vm-으로-옮기면-무엇이-새로-필요해지나
final/document.md#178-이-부의-출처와-범위

libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례

외부 요청은 먼저 실행되는 forward 체인에서 accept 되었지만, 이후 libvirt의 guest_input 체인 끝에 있는 reject 규칙에서 다시 거절됐다. 같은 hook에 연결된 base chain이 우선순위에 따라 계속 평가되기 때문이다. 외부에서 Edge VM의 80·443 포트로 들어오는 새 연결은 guest_input 체인 앞쪽에서 허용하도록 예외 규칙을 추가했다.

host에서는 되는데 외부 요청만 즉시 거절됐다

엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴 뒤 밖에서 들어오는 요청만 엣지에 닿지 않았다.

호스트에서 친 요청 : curl http://192.168.122.10 → 404, 엣지 nginx 가 응답한다 밖에서 친 요청 : curl http://100.83.212.4 → connection refused

호스트에서 친 요청에는 404 를 돌려줬으니 엣지 nginx 는 게스트 안에서 돌고 있었다. 밖에서 친 요청만 끊겼고, 타임아웃이 아니라 즉시 거절이었다.

앞 체인의 accept 뒤에서 libvirt reject가 다시 평가됐다

밖에서 온 패킷을 거절한 것은 libvirt 가 만든 규칙이다. libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 ct state established,related accept 다음의 reject 로 끝낸다. 그 reject 규칙의 카운터가 4 packets / 240 bytes였고, 외부에서 실행한 curl 횟수와 일치해 실제로 이 규칙이 요청을 거절하고 있음을 확인했다.

DNAT 를 정의한 파일에는 priority filter - 10 을 줘서 먼저 돌게 한 forward 체인이 있는데, 거기 넣은 ct state new accept 가 그 reject 를 막지 못한다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞 체인의 accept 는 그 체인을 통과했다는 뜻이지 평가가 끝났다는 뜻이 아니고, 즉시 종결하는 것은 drop 뿐이다.

외부에서 Edge VM의 80·443 포트로 들어오는 새 연결을 허용하는 규칙을 guest_input 체인 앞쪽에 추가했다. 이때 insert는 체인 앞쪽에, add는 뒤쪽에 규칙을 추가하므로 순서가 중요했다. 수명은 별도 문제다. libvirt 가 guest_input 을 다시 쓰면 이 규칙은 휘발된다. 예전에는 DNAT 유닛의 ExecStartPost 에 넣어 두면 충분하다고 보았지만, 2026-09-21 worker VM 재구축에서 그 가정이 깨졌다. libvirt 가 체인을 다시 만든 뒤 기존 accept 규칙 셋이 reject 뒤로 밀렸고, 유닛은 계속 active 인데 외부 80/443 두 요청이 둘 다 실패했다. 따라서 ExecStartPost 한 번은 재작성 이후 복구 장치가 아니다.

nftables 백엔드인 test-server

호스트 : test-server, Arch Linux CPU : i5-1135G7, 논리 코어 8 RAM : 11,648MiB QEMU : 11.1.1 libvirt : 12.7.0 libvirt firewall_backend : nftables 호스트 유선 이더넷 : 없음, WiFi 사용 게스트 네트워크 : libvirt NAT, virbr0 게스트 : Debian 12 genericcloud 3대 — 엣지 1대(nginx·certbot), k3s 2노드 엣지 게스트 주소 : 192.168.122.10

reject 카운터로 끊기는 지점을 찾는 순서

  1. 엣지 nginx 를 게스트 192.168.122.10 에 두고, 호스트 커널의 DNAT 로 밖에서 들어온 요청을 그 게스트로 넘긴다.
  2. 호스트에서 curl http://192.168.122.10 을 친다. 엣지 nginx 가 404 로 응답한다.
  3. 밖에서 curl http://100.83.212.4 를 친다. connection refused 가 온다.
  4. libvirt 테이블 ip libvirt_network 의 guest_input 체인을 규칙과 카운터까지 덤프한다. 마지막 reject 규칙의 패킷 수가 3번을 친 횟수와 맞으면 그 규칙이 그 패킷을 끝냈다.
  5. guest_input 앞쪽에 Edge VM 80·443 허용 규칙을 추가하고 3번을 다시 실행한다.

엣지 nginx 를 게스트로 옮기고 새로 필요해진 것

이 호스트에는 이더넷이 없고 WiFi 만 있어서 브리지를 못 쓰고, libvirt NAT(virbr0)에 호스트로 들어온 요청을 넘기는 구조를 택했다. 그 위에 Debian 12 게스트 세 대가 있고, 그중 한 대가 nginx 와 certbot 을 돌리는 엣지다. 엣지 nginx 는 원래 호스트에 있었고 사는 곳만 게스트로 바꿨다.

전:  tailnet:443 ─▶ [호스트 nginx] ─────────────▶ Traefik(게스트 .11/.12)
후:  tailnet:443 ─▶ [호스트 커널 DNAT] ─▶ [엣지 nginx(.10)] ─▶ Traefik(.11/.12)

L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널이 하는 L4 전달 한 번이다. 하지만 2026-09-21 실제 packet capture에서는 Tailscale MASQUERADE 때문에 edge에 도착하기 전에 source가 192.168.122.1로 바뀌었다. 따라서 L7 홉 수가 같다는 이유만으로 X-Forwarded-* 계약이 그대로라고 볼 수는 없다. 옮긴 이유는 성능이 아니라 nginx·인증서·certbot·deploy hook 같은 변경이 잦은 층을 물리 호스트에서 분리하는 것이었다.

그 대가로 일곱 가지가 새로 필요해졌는데 그중 둘은 배포판 차이가 아니라 패킷이 지나는 길이 달라져서 생겼다. 하나는 DNAT(Destination NAT) 다. 들어온 패킷의 도착지 주소를 바꿔 다른 기계로 넘기는 것을 말한다. 전에는 호스트가 직접 :443 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. 다른 하나는 libvirt의 guest_input 체인에 Edge VM으로 가는 새 연결을 허용하는 규칙을 추가하는 일이다. 호스트가 게스트에 접속할 때는 OUTPUT 경로라 필터를 안 탔지만, 밖에서 게스트로 들어오는 것은 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. 외부 요청이 어느 방화벽 규칙에서 거절되는지 확인하는 데 가장 많은 시간이 들었다.

호스트 안에서는 되는데 밖에서만 안 된다

호스트에서 Edge VM으로 직접 보낸 요청은 nginx의 404 응답을 받았지만, 외부에서 tailnet 주소로 보낸 요청은 connection refused로 끝났다.

어디서 쳤나 결과
호스트에서 curl http://192.168.122.10 404, 엣지 nginx 가 응답
밖에서 curl http://100.83.212.4 connection refused

drop 규칙에 걸렸다면 응답 없이 대기하다 타임아웃이 발생했을 가능성이 높다. 여기서는 즉시 connection refused가 반환됐기 때문에 reject 계열 규칙을 먼저 확인했다.

guest_input 체인 끝의 reject 와 카운터 4 패킷

libvirt 는 자기 테이블 ip libvirt_network 안에 guest_input 체인을 만들고, 이미 맺어진 연결과 그에 딸린 연결만 통과시킨 다음 나머지를 거절하는 규칙으로 그 체인을 끝낸다.

oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related accept
oif "virbr0" counter packets 4 bytes 240 reject          ← 외부 요청이 이 규칙에서 거절됐다

규칙 하나를 지목해 놓고 시작한 것이 아니다. nft list ruleset 에서 reject 와 drop 이 든 줄만 뽑아 놓고, 밖에서 친 횟수와 카운터가 맞아떨어지는 줄을 찾았다. 이 reject 규칙의 카운터가 4 패킷 240 바이트였고, 밖에서 친 curl 횟수와 정확히 일치했다. 이 카운터 값으로 해당 reject 규칙이 외부 요청을 처리했다는 것을 확인했다.

앞선 base chain의 accept만으로 요청이 끝나지 않은 이유

DNAT 를 정의한 파일에는 libvirt 체인보다 먼저 돌도록 priority filter - 10 을 준 forward 체인을 두고 거기에 ct state new accept 를 넣어 두었다. 밖에서 온 패킷은 그 accept 를 지나고도 거절됐는데, nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞선 base chain에서 accept verdict가 나와도 이후 우선순위의 base chain이 계속 평가될 수 있다. 반면 drop verdict는 이후 체인 평가를 중단한다. 따라서 앞쪽 체인에 accept 규칙을 추가한 것만으로는 libvirt의 뒤쪽 reject를 피할 수 없었다.

현재 DNAT 파일에는 해당 forward 체인을 두지 않고 prerouting 체인만 남겼다. 외부 연결 허용 규칙은 DNAT 파일의 별도 base chain이 아니라 libvirt의 guest_input 체인에 추가하도록 구성했다.

밖에서 온 패킷 하나가 forward 훅에 붙은 base 체인 둘을 우선순위 순으로 지나는 경로도. 왼쪽 점선 상자가 priority filter - 10 인 forward 체인이고 그 안에 ct state new accept 가 있다. 오른쪽 점선 상자가 ip libvirt_network 의 guest_input 체인이고 그 안에 맨 앞의 inserted accept 와 맨 끝의 reject 두 상자가 있다. 점선 화살표는 허용 규칙을 추가하기 전의 경로로 체인 끝 reject를 지나 connection refused로 끝나고, 실선 화살표는 허용 규칙을 추가한 뒤 Edge Nginx로 전달되는 경로다.

점선 상자 두 개가 같은 훅에 붙은 base 체인 둘이고, 왼쪽이 먼저 돈다. 점선 화살표는 허용 규칙을 추가하기 전의 경로다 — 앞 체인의 accept 를 지난 패킷이 guest_input 으로 이어지고, 위 덤프에 적힌 ct state established,related accept 에 걸리지 못한 채 체인 끝 reject 에 닿아 connection refused 로 끝난다.

실선 화살표는 guest_input 앞쪽에 추가한 허용 규칙을 지나는 경로다. guest_input 상자 안에 놓인 두 규칙의 위아래가 체인 안의 순서이고, 허용 규칙이 reject보다 앞에 있기 때문에 같은 패킷은 reject에 도달하기 전에 accept된다.

허용 규칙은 reject보다 앞에 있어야 한다

그래서 Edge VM의 80·443 포트로 들어오는 새 연결을 허용하는 규칙을 guest_input의 reject보다 앞에 추가했다.

nft insert rule ip libvirt_network guest_input \
  oif virbr0 ip daddr 192.168.122.10 tcp dport '{80,443}' ct state new counter accept

이 규칙은 휘발성이다. 처음에는 DNAT 유닛의 ExecStartPost 에 넣어 두면 재기동 때마다 복구될 것이라고 가정했다. 그 가정은 2026-09-21 재검증에서 틀린 것으로 확인됐다.

worker VM 둘을 철거했다 다시 만드는 동안 libvirt 가 guest_input 체인을 다시 구성했고, 이미 세 번 누적된 accept 규칙은 모두 reject 뒤에 남았다. 그 상태에서 외부 80·443 연결 두 번이 모두 실패했고 reject 카운터가 0 → 2 로 증가했다. lab-edge-dnat.service 는 여전히 active 였다.

즉 ExecStartPost 는 그 유닛이 시작될 때 한 번 실행될 뿐, 이후 libvirt 가 자기 체인을 다시 쓰는 사건에는 반응하지 않는다. - 접두어도 실패를 무시할 뿐 재삽입을 예약하지 않는다. 따라서 ExecStartPost에서 한 번 규칙을 넣는 방식만으로는 libvirt가 체인을 다시 작성하는 상황을 처리할 수 없었다.

이번 재검증에서는 기존 host firewall/nftables rule을 임의 변경하지 않는 안전 조건 때문에 대체 persistence 방식까지 적용하지 않았다. libvirt가 체인을 다시 작성한 뒤 규칙을 어떤 방식으로 다시 적용할지는 아직 실제 환경에서 검증하지 못했다.

아직 다른 환경에서는 확인하지 못했다

이 호스트 한 대에서만 봤다. libvirt 의 firewall_backend 가 iptables 인 호스트에서도 같은 예외 규칙이 필요한지는 재지 않았고, 이 호스트는 nftables 백엔드다.

카운터 4 패킷 240 바이트는 당시 본문에 옮긴 규칙 덤프에 찍힌 값이다. 그때의 전체 ruleset과 curl 원문은 별도 raw 파일로 남기지 않았다. 2026-09-21에는 같은 nftables backend에서 reject 카운터 증가와 외부 실패를 다시 확인했으므로 현재 동작은 후속 증거가 있지만, 과거 숫자 4 packets / 240 bytes 자체는 당시 기록 범위로 읽는다.