refactor: 문서 사람처럼 작성하기
This commit is contained in:
+40
-34
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: declared-memory-and-disk-are-ceilings-not-occupancy
|
||||
title: 메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다
|
||||
title: 설정한 메모리·디스크 크기와 실제 사용량을 구분해서 본다
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -20,56 +20,62 @@ source:
|
||||
- final/document.md#211-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다
|
||||
# 설정한 메모리·디스크 크기와 실제 사용량을 구분해서 본다
|
||||
|
||||
2026-09-10 기록에는 `kc-lab-1`의 `dommemstat actual-unused` 차이가 353MB, `kc-lab-2`가 301MB로 남아 있고, 두 qcow2 overlay의 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. 당시 문서는 이 값을 ‘실사용/실제 점유’라고 불렀지만 서로 다른 계층의 지표다. `dommemstat` 차이는 host RSS가 아니고, `ls -l` 파일 길이도 host가 실제로 할당한 disk block 양과 같지 않을 수 있다. 2026-09-21 재검증에서는 configured/current memory·guest-visible memory·QEMU RSS와 qcow2 virtual size·disk allocation·file length를 따로 읽어 이 구분을 명확히 했다.
|
||||
|
||||
## 선언한 용량과 실제로 관측하는 값이 같은 지표인지부터 확인해야 했다
|
||||
## 설정값과 실제 사용량은 서로 다른 지표였다
|
||||
|
||||
제1~4부에는 이 호스트에서 잰 값이 하나도 없다. 제5·6부는 버전과 주소와 명령까지만 적었다.
|
||||
|
||||
게스트 세 대에 메모리 8240MB 와 디스크 40GB 를 선언해 두었는데, 그 선언이 11,648MiB 와 226G 짜리 호스트 한 대에서 실제로 얼마를 먹는지는 어디에도 없었다. 「5GB 를 줬으니 5GB 를 쓴다」와 「20GB 두 장이면 40GB 를 쓴다」가 맞는지 모르는 채로 게스트를 더 띄울지 정해야 했다.
|
||||
게스트에 설정한 메모리와 디스크 용량만으로는 호스트에서 실제로 사용하는 RAM과 디스크 공간을 알 수 없었다. 추가 게스트를 띄울 수 있는지 판단하려면 libvirt의 메모리 설정값과 QEMU RSS를 구분하고, qcow2의 가상 크기와 호스트 파일시스템 할당량도 따로 측정해야 했다.
|
||||
|
||||
## 메모리와 qcow2는 한 숫자로 점유량을 말할 수 없었다
|
||||
## 메모리와 qcow2는 측정하는 값이 각각 다르다
|
||||
|
||||
메모리의 configured/current 값과 qcow2의 virtual size는 **용량을 설명하는 값**이고, host RAM RSS나 host filesystem allocation과는 다른 계층의 지표다. k3s만 떠 있고 Keycloak은 아직 안 올린 상태에서 당시 문서가 여러 값을 한 번에 쟀는데, 지금은 각 값이 무엇을 뜻하는지 분리해 읽는다.
|
||||
|
||||
메모리 : `kc-lab-1`은 `actual=5120MB`에서 `unused`를 뺀 차이가 353MB, `kc-lab-2`는 `actual=3120MB`에서 같은 방식의 차이가 301MB
|
||||
메모리 합계 : 당시 두 차이를 더하면 654MB였지만, 이것을 host physical RSS 합계로 읽지는 않는다
|
||||
디스크 : `kc-lab-1.qcow2`의 `ls -l` 파일 길이 1.4GiB, `kc-lab-2.qcow2` 665MiB, 바닥 `base.qcow2`는 `virtual size` 3GiB에 `qemu-img info disk size` 335MiB
|
||||
디스크 합계 : overlay 파일 길이 합은 약 2.1GiB였지만, sparse file의 실제 host allocation 합계라고 단정하지 않는다
|
||||
철거 : 게스트 셋을 지우자 `df -h /` 가 11G 에서 7.9G 로 내려 3.1GB 가 회수됐다
|
||||
| 측정 항목 | 2026-09-10에 기록한 값 | 해석 |
|
||||
|---|---|---|
|
||||
| `kc-lab-1` `actual-unused` | 353MB | host QEMU RSS가 아니라 libvirt가 제공한 guest memory 통계의 차이 |
|
||||
| `kc-lab-2` `actual-unused` | 301MB | 위와 동일 |
|
||||
| 두 값의 합 | 654MB | host physical RSS 합계로 사용하지 않음 |
|
||||
| `kc-lab-1.qcow2` `ls -l` 길이 | 1.4GiB | 파일 길이 |
|
||||
| `kc-lab-2.qcow2` `ls -l` 길이 | 665MiB | 파일 길이 |
|
||||
| `base.qcow2` | virtual size 3GiB, `disk size` 335MiB | backing image의 가상 크기와 할당량 |
|
||||
| 게스트 삭제 전후 `df -h /` | 11G → 7.9G | 파일시스템 전체 사용량이 약 3.1GB 감소 |
|
||||
|
||||
2026-09-10에는 `virt-install --memory 4096`으로 만든 `kc-lab-2`의 `dommemstat actual`이 3120MB로 보였다. 당시 current allocation과 선언값이 달랐다는 관측은 맞지만, 원인을 virtio-balloon 회수로 확정할 근거는 없었다. 2026-09-21 재검증에서는 `dominfo`와 `dommemstat`을 나란히 읽었고 configured/current/actual이 모두 4096MiB였다. virtio-balloon 장치는 실제로 존재하지만, 장치 존재와 active inflation은 같은 사실이 아니다.
|
||||
|
||||
## 2026-09-10 측정 환경
|
||||
|
||||
측정일 : 2026-09-10
|
||||
호스트 : `test-server`, Arch Linux
|
||||
CPU : `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, 논리 코어 8
|
||||
RAM : 11,648MiB
|
||||
루트 파일시스템 : 226G 가운데 9.9G 사용
|
||||
QEMU : 11.1.1
|
||||
libvirt : 12.7.0
|
||||
커널 : `7.2.2-arch1-1`
|
||||
중첩 가상화 : `nested` 가 `Y` 지만 이 실험대는 쓰지 않는다
|
||||
게스트 : Debian 12 genericcloud 3대 — 엣지 1대, k3s 2노드
|
||||
워크로드 : k3s 만 떠 있고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리기 전
|
||||
| 항목 | 값 |
|
||||
|---|---|
|
||||
| 측정일 | 2026-09-10 |
|
||||
| 호스트 | `test-server`, Arch Linux |
|
||||
| CPU | `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, 논리 코어 8 |
|
||||
| RAM | 11,648MiB |
|
||||
| 루트 파일시스템 | 226G 가운데 9.9G 사용 |
|
||||
| QEMU | 11.1.1 |
|
||||
| libvirt | 12.7.0 |
|
||||
| 커널 | `7.2.2-arch1-1` |
|
||||
| 중첩 가상화 | `nested=Y`, 이 실험에서는 사용하지 않음 |
|
||||
| 게스트 | Debian 12 genericcloud 3대: Edge VM 1대, k3s 노드 2대 |
|
||||
| 당시 워크로드 | k3s만 실행, Keycloak·PostgreSQL·Redis·Prometheus는 배포 전 |
|
||||
|
||||
## 메모리와 디스크를 계층별 지표로 나눠 재는 방법
|
||||
|
||||
1. k3s 두 노드만 띄우고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리지 않는다.
|
||||
2. 게스트마다 `virsh dommemstat`을 돌려 `actual`과 `unused`를 읽는다. 두 값의 차이는 **당시 libvirt가 보고한 guest-side memory 지표의 차이**로 기록하고, host QEMU RSS나 물리 RAM 점유량으로 바꾸어 부르지 않는다.
|
||||
3. `qemu-img info`로 각 qcow2의 `virtual size`와 `disk size`를 읽고, `du`와 `ls -l`을 함께 사용해 host allocation과 file length를 구분한다. historical 2026-09-10 기록에는 overlay의 `ls -l` 값만 남아 있어 그 시점의 VM별 block allocation은 다시 만들 수 없다.
|
||||
3. `qemu-img info`로 각 qcow2의 `virtual size`와 `disk size`를 읽고, `du`와 `ls -l`을 함께 사용해 호스트 할당량과 파일 길이를 구분한다. 2026-09-10 기록에는 overlay의 `ls -l` 값만 남아 있어 그 시점의 VM별 실제 블록 할당량은 다시 계산할 수 없다.
|
||||
4. 철거하기 전에 `df -h /` 를 읽어 둔다.
|
||||
5. `virsh destroy` 와 `virsh undefine --remove-all-storage` 로 게스트 셋을 지우고 `df -h /` 를 다시 읽는다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
|
||||
## 이 호스트에서 처음으로 양을 쟀다
|
||||
## 호스트 자원 사용량을 실제 값으로 확인했다
|
||||
|
||||
이 실험대의 문서는 제5·6부까지 버전과 주소와 명령을 적었고 자원의 양은 적지 않았다. 제7부가 그 양과 시간을 처음 쟀고, 원본이 표기 규약을 스스로 밝혀 두었다.
|
||||
초기 구축 기록에는 버전과 주소, 명령은 있었지만 호스트에서 실제로 사용하는 메모리와 디스크 양은 측정돼 있지 않았다. 2026-09-10에 처음으로 자원 사용량을 측정했고, 이후 2026-09-21에 같은 항목을 다시 확인했다.
|
||||
|
||||
> 여기 적힌 숫자는 전부 2026-09-10 에 `test-server` 에서 실제로 돌려 받은 출력이다. 추정값·예상값은 없다. 없는 값은 「미측정」이라고 쓴다.
|
||||
|
||||
@@ -82,7 +88,7 @@ Mem: 11648 5642 2599 4 3776 6005
|
||||
|
||||
`available` 이 6005 로 `free` 2599 보다 훨씬 큰데, `buff/cache` 3776 이 필요해지면 회수되기 때문이다. 게스트를 몇 대 더 띄울 수 있는지는 `free` 가 아니라 `available` 로 읽는다.
|
||||
|
||||
## 메모리 — 5120MB current에서 `actual-unused` 차이는 353MB였다
|
||||
## `dommemstat` 값은 QEMU RSS와 같지 않았다
|
||||
|
||||
당시 기록은 `dommemstat`의 `actual`에서 `unused`를 뺀 값을 ‘실사용’이라고 불렀다. 지금은 그 표현을 그대로 쓰지 않는다. `actual`은 libvirt가 보는 현재 memory target이고 `unused`는 guest balloon 통계에서 온 값이므로, 그 차이는 **그 시점의 guest memory 상태를 보는 한 지표**이지 host QEMU RSS와 같은 값이 아니다.
|
||||
|
||||
@@ -101,11 +107,11 @@ kc-lab-2 actual 3120MB actual-unused 차이 301MB
|
||||
|
||||
당시에는 virtio-balloon 회수 가능성을 추론했지만, **3120MB의 직접 원인은 확인되지 않았다.** 2026-09-21에는 세 domain에 virtio-balloon 장치가 있고 worker guest에도 driver가 bind된 것을 확인했지만, `kc-lab-2`의 configured/current/actual은 모두 4096MiB였다. 따라서 과거의 3120MB를 현재도 지속되는 balloon 회수 상태로 설명하지 않는다.
|
||||
|
||||
## 디스크 — 20GiB virtual size와 파일 길이는 달랐다
|
||||
## qcow2의 가상 크기와 호스트 파일 크기는 달랐다
|
||||
|
||||
게스트 디스크는 `base.qcow2` 위의 오버레이다. 20GB 짜리를 두 장 만들어도 바닥은 한 벌이고 변경분만 쌓인다.
|
||||
게스트 디스크는 공통 `base.qcow2`를 backing image로 사용하는 오버레이다. 각 오버레이를 20GiB로 만들더라도 base 이미지를 복제하는 것이 아니라 변경된 블록이 오버레이에 추가된다.
|
||||
|
||||
```text label="qemu-img info 가 읽은 바닥 이미지"
|
||||
```text label="qemu-img info 가 읽은 base 이미지"
|
||||
image: /var/lib/libvirt/images/base.qcow2
|
||||
file format: qcow2
|
||||
virtual size: 3 GiB (3221225472 bytes)
|
||||
@@ -120,7 +126,7 @@ disk size: 335 MiB
|
||||
-rw------- seed-kc-lab-2.iso 378880 (370 KiB)
|
||||
```
|
||||
|
||||
바닥 이미지는 virtual size가 3GiB였고 `qemu-img info`의 disk size가 335MiB였다. 두 overlay는 각각 20GiB virtual size로 만들었지만 당시 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. **이 둘의 합 2.1GiB는 파일 길이 합이지 sparse 파일이 host block을 실제로 2.1GiB 할당했다는 측정은 아니다.** host allocation을 말하려면 같은 시점의 `qemu-img info disk size`나 `du`를 따로 읽어야 한다. `kc-lab-1` 쪽 파일이 더 컸다는 관측은 남기되, 그 차이를 컨트롤 플레인과 SQLite 하나로 확정하지 않는다.
|
||||
base 이미지는 virtual size가 3GiB였고 `qemu-img info`의 disk size가 335MiB였다. 두 overlay는 각각 20GiB virtual size로 만들었지만 당시 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. **이 둘의 합 2.1GiB는 파일 길이 합이지 sparse 파일이 host block을 실제로 2.1GiB 할당했다는 측정은 아니다.** host allocation을 말하려면 같은 시점의 `qemu-img info disk size`나 `du`를 따로 읽어야 한다. `kc-lab-1` 쪽 파일이 더 컸다는 관측은 남기되, 그 차이를 컨트롤 플레인과 SQLite 하나로 확정하지 않는다.
|
||||
|
||||
## `virsh pool-info` 의 `Allocation` 은 VM 사용량이 아니다
|
||||
|
||||
@@ -137,7 +143,7 @@ Available: 217.46 GiB
|
||||
|
||||
`Allocation` 7.84 GiB는 directory storage pool이 놓인 호스트 파일시스템의 사용 상태를 반영하는 풀 단위 값이다. **VM별 실제 block allocation을 말해 주는 값이 아니다.** 반대로 위의 `ls -l`은 VM별 파일 길이를 보여 줄 뿐 sparse qcow2가 host block을 얼마나 실제 할당했는지는 말해 주지 않는다. VM별 host allocation을 비교하려면 `qemu-img info`의 `disk size`나 `du`처럼 그 기준을 직접 읽는 명령을 쓴다.
|
||||
|
||||
## 철거 — `df -h /` 가 11G 에서 7.9G 로
|
||||
## 게스트를 삭제한 뒤 파일시스템 사용량이 11G에서 7.9G로 줄었다
|
||||
|
||||
게스트 셋을 `virsh destroy` 로 내리고 `virsh undefine --remove-all-storage` 로 지웠다. 한 대분 출력은 이렇다.
|
||||
|
||||
@@ -158,9 +164,9 @@ Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed.
|
||||
| `df -h /` | 11G | 7.9G |
|
||||
| `virbr0` | UP | DOWN |
|
||||
|
||||
`df -h /` 기준으로 철거 전후 사용량은 11G에서 7.9G로 내려 약 3.1GB 차이가 보였다. 다만 이 3.1GB를 위의 `ls -l` 파일 길이들로 정확히 분해하지 않는다. sparse qcow2의 파일 길이와 실제 block allocation은 다를 수 있고, `df`는 파일시스템 전체 변화를 본 값이기 때문이다. `base.qcow2`는 철거 뒤에도 남아 다음 overlay의 바닥으로 사용됐다.
|
||||
`df -h /` 기준으로 철거 전후 사용량은 11G에서 7.9G로 내려 약 3.1GB 차이가 보였다. 다만 이 3.1GB를 위의 `ls -l` 파일 길이들로 정확히 분해하지 않는다. sparse qcow2의 파일 길이와 실제 block allocation은 다를 수 있고, `df`는 파일시스템 전체 변화를 본 값이기 때문이다. `base.qcow2`는 게스트 삭제 뒤에도 남아 다음 overlay의 backing image로 사용됐다.
|
||||
|
||||
## 같은 대상의 숫자가 두 벌이다
|
||||
## 측정 날짜가 다르면 같은 항목의 값도 달라진다
|
||||
|
||||
같은 실험대라도 측정 날짜가 다르면 값이 달라진다. 「실험대 전체 배치」는 2026-09-03 스냅샷이고, 여기서 비교하는 값은 2026-09-10 스냅샷이다.
|
||||
|
||||
@@ -177,13 +183,13 @@ Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed.
|
||||
|
||||
## 2026-09-21 재검증에서 추가로 확인한 것
|
||||
|
||||
2026-09-10의 숫자는 historical snapshot으로 유지한다. 2026-09-21에는 더 진행된 현재 실험대에서 같은 계층을 다시 읽었다.
|
||||
2026-09-10 값은 당시 측정값으로 그대로 남기고, 2026-09-21에는 현재 실험대에서 같은 항목을 다시 측정했다.
|
||||
|
||||
- configured/current memory: `kc-lab-1=5120MiB`, `kc-lab-2=4096MiB`, `kc-lab-edge=1024MiB`
|
||||
- 같은 시점 QEMU RSS: 약 `3.73GiB / 2.91GiB / 0.84GiB`
|
||||
- qcow2 virtual/disk size: `kc-lab-1` 20GiB / 약 3.43GiB, `kc-lab-2` 20GiB / 약 2.66GiB, edge 10GiB / 약 345MiB
|
||||
|
||||
이 값도 시점값이다. 2026-09-10 표를 새 숫자로 덮어쓰지 않고, **환경이 진행되면서 actual usage가 달라졌다는 별도 관측**으로 둔다.
|
||||
이 값들도 측정 시점의 상태를 나타낸다. 2026-09-10 값을 새 수치로 덮어쓰지 않고, 실험대에 워크로드가 추가되면서 실제 사용량이 달라진 결과로 별도 기록한다.
|
||||
|
||||
여전히 모르는 것은 2026-09-10의 `kc-lab-2 actual=3120MB`가 정확히 무엇 때문에 만들어졌는지다. 현재 남아 있는 증거만으로는 원인을 특정할 수 없으므로, 그 원인은 확인되지 않은 상태로 남긴다.
|
||||
|
||||
|
||||
+24
-24
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: nftables-accept-did-not-stop-the-libvirt-reject
|
||||
title: 호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다
|
||||
title: libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -16,9 +16,9 @@ source:
|
||||
- final/document.md#178-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다
|
||||
# libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례
|
||||
|
||||
밖에서 온 요청은 먼저 돌게 해 둔 forward 체인의 accept 를 지나고도 libvirt 의 guest_input 체인 끝 reject 에서 끊겼다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 그래서 구멍을 libvirt 체인 맨 앞에 넣었다.
|
||||
외부 요청은 먼저 실행되는 forward 체인에서 accept 되었지만, 이후 libvirt의 `guest_input` 체인 끝에 있는 reject 규칙에서 다시 거절됐다. 같은 hook에 연결된 base chain이 우선순위에 따라 계속 평가되기 때문이다. 외부에서 Edge VM의 80·443 포트로 들어오는 새 연결은 `guest_input` 체인 앞쪽에서 허용하도록 예외 규칙을 추가했다.
|
||||
|
||||
## host에서는 되는데 외부 요청만 즉시 거절됐다
|
||||
|
||||
@@ -31,11 +31,11 @@ source:
|
||||
|
||||
## 앞 체인의 accept 뒤에서 libvirt reject가 다시 평가됐다
|
||||
|
||||
밖에서 온 패킷을 거절한 것은 libvirt 가 만든 규칙이다. libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 ct state established,related accept 다음의 reject 로 끝낸다. 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 curl 횟수와 정확히 일치해서 범인을 확정했다.
|
||||
밖에서 온 패킷을 거절한 것은 libvirt 가 만든 규칙이다. libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 ct state established,related accept 다음의 reject 로 끝낸다. 그 reject 규칙의 카운터가 4 packets / 240 bytes였고, 외부에서 실행한 `curl` 횟수와 일치해 실제로 이 규칙이 요청을 거절하고 있음을 확인했다.
|
||||
|
||||
DNAT 를 정의한 파일에는 priority filter - 10 을 줘서 먼저 돌게 한 forward 체인이 있는데, 거기 넣은 ct state new accept 가 그 reject 를 막지 못한다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞 체인의 accept 는 그 체인을 통과했다는 뜻이지 평가가 끝났다는 뜻이 아니고, 즉시 종결하는 것은 drop 뿐이다.
|
||||
|
||||
해결 자체는 구멍을 libvirt 체인 맨 앞에 넣는 것이다. `insert` 가 맨 앞이고 `add` 가 맨 뒤다.
|
||||
외부에서 Edge VM의 80·443 포트로 들어오는 새 연결을 허용하는 규칙을 `guest_input` 체인 앞쪽에 추가했다. 이때 `insert`는 체인 앞쪽에, `add`는 뒤쪽에 규칙을 추가하므로 순서가 중요했다.
|
||||
수명은 별도 문제다. libvirt 가 `guest_input` 을 다시 쓰면 이 규칙은 휘발된다. 예전에는 DNAT 유닛의 `ExecStartPost` 에 넣어 두면 충분하다고 보았지만, 2026-09-21 worker VM 재구축에서 그 가정이 깨졌다. libvirt 가 체인을 다시 만든 뒤 기존 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 계속 `active` 인데 외부 80/443 두 요청이 둘 다 실패했다. 따라서 `ExecStartPost` 한 번은 재작성 이후 복구 장치가 아니다.
|
||||
|
||||
## nftables 백엔드인 test-server
|
||||
@@ -46,7 +46,7 @@ RAM : 11,648MiB
|
||||
QEMU : 11.1.1
|
||||
libvirt : 12.7.0
|
||||
libvirt firewall_backend : nftables
|
||||
호스트 이더넷 : 없다 — WiFi 만 있다
|
||||
호스트 유선 이더넷 : 없음, WiFi 사용
|
||||
게스트 네트워크 : libvirt NAT, virbr0
|
||||
게스트 : Debian 12 genericcloud 3대 — 엣지 1대(nginx·certbot), k3s 2노드
|
||||
엣지 게스트 주소 : 192.168.122.10
|
||||
@@ -57,7 +57,7 @@ libvirt firewall_backend : nftables
|
||||
2. 호스트에서 curl http://192.168.122.10 을 친다. 엣지 nginx 가 404 로 응답한다.
|
||||
3. 밖에서 curl http://100.83.212.4 를 친다. connection refused 가 온다.
|
||||
4. libvirt 테이블 ip libvirt_network 의 guest_input 체인을 규칙과 카운터까지 덤프한다. 마지막 reject 규칙의 패킷 수가 3번을 친 횟수와 맞으면 그 규칙이 그 패킷을 끝냈다.
|
||||
5. guest_input 맨 앞에 구멍을 넣고 3번을 다시 친다.
|
||||
5. `guest_input` 앞쪽에 Edge VM 80·443 허용 규칙을 추가하고 3번을 다시 실행한다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -73,18 +73,18 @@ libvirt firewall_backend : nftables
|
||||
|
||||
L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널이 하는 L4 전달 한 번이다. 하지만 2026-09-21 실제 packet capture에서는 Tailscale MASQUERADE 때문에 edge에 도착하기 전에 source가 `192.168.122.1`로 바뀌었다. 따라서 **L7 홉 수가 같다는 이유만으로 `X-Forwarded-*` 계약이 그대로라고 볼 수는 없다.** 옮긴 이유는 성능이 아니라 nginx·인증서·certbot·deploy hook 같은 변경이 잦은 층을 물리 호스트에서 분리하는 것이었다.
|
||||
|
||||
그 대가로 일곱 가지가 새로 필요해졌는데 그중 둘은 배포판 차이가 아니라 패킷이 지나는 길이 달라져서 생겼다. 하나는 DNAT(Destination NAT) 다. 들어온 패킷의 도착지 주소를 바꿔 다른 기계로 넘기는 것을 말한다. 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. 다른 하나는 libvirt 방화벽에 구멍을 내는 일이다. 호스트가 게스트에 접속할 때는 OUTPUT 경로라 필터를 안 탔지만, 밖에서 게스트로 들어오는 것은 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. 그 구멍을 뚫는 데서 이 구축이 가장 오래 막혔다.
|
||||
그 대가로 일곱 가지가 새로 필요해졌는데 그중 둘은 배포판 차이가 아니라 패킷이 지나는 길이 달라져서 생겼다. 하나는 DNAT(Destination NAT) 다. 들어온 패킷의 도착지 주소를 바꿔 다른 기계로 넘기는 것을 말한다. 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. 다른 하나는 libvirt의 `guest_input` 체인에 Edge VM으로 가는 새 연결을 허용하는 규칙을 추가하는 일이다. 호스트가 게스트에 접속할 때는 OUTPUT 경로라 필터를 안 탔지만, 밖에서 게스트로 들어오는 것은 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. 외부 요청이 어느 방화벽 규칙에서 거절되는지 확인하는 데 가장 많은 시간이 들었다.
|
||||
|
||||
## 호스트 안에서는 되는데 밖에서만 안 된다
|
||||
|
||||
엣지 nginx 는 호스트에서 친 요청에 404 를 돌려줬으니 게스트 안에서 살아 있었는데, 밖에서 친 요청만 끊겼다.
|
||||
호스트에서 Edge VM으로 직접 보낸 요청은 nginx의 404 응답을 받았지만, 외부에서 tailnet 주소로 보낸 요청은 `connection refused`로 끝났다.
|
||||
|
||||
| 어디서 쳤나 | 결과 |
|
||||
|---|---|
|
||||
| 호스트에서 `curl http://192.168.122.10` | 404, 엣지 nginx 가 응답 |
|
||||
| 밖에서 `curl http://100.83.212.4` | connection refused |
|
||||
|
||||
패킷을 조용히 버리는 `drop` 이면 클라이언트가 응답을 기다리다 죽으므로, 타임아웃이 아니라 즉시 거절이 돌아왔다는 것이 단서였다.
|
||||
`drop` 규칙에 걸렸다면 응답 없이 대기하다 타임아웃이 발생했을 가능성이 높다. 여기서는 즉시 `connection refused`가 반환됐기 때문에 reject 계열 규칙을 먼저 확인했다.
|
||||
|
||||
## guest_input 체인 끝의 reject 와 카운터 4 패킷
|
||||
|
||||
@@ -92,28 +92,28 @@ libvirt 는 자기 테이블 `ip libvirt_network` 안에 `guest_input` 체인을
|
||||
|
||||
```text label="libvirt 가 만든 guest_input 체인의 끝"
|
||||
oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related accept
|
||||
oif "virbr0" counter packets 4 bytes 240 reject ← 여기서 죽는다
|
||||
oif "virbr0" counter packets 4 bytes 240 reject ← 외부 요청이 이 규칙에서 거절됐다
|
||||
```
|
||||
|
||||
규칙 하나를 지목해 놓고 시작한 것이 아니다. `nft list ruleset` 에서 `reject` 와 `drop` 이 든 줄만 뽑아 놓고, 밖에서 친 횟수와 카운터가 맞아떨어지는 줄을 찾았다. 이 `reject` 규칙의 카운터가 4 패킷 240 바이트였고, 밖에서 친 `curl` 횟수와 정확히 일치했다. 범인 확정에 쓴 것이 이 숫자다.
|
||||
규칙 하나를 지목해 놓고 시작한 것이 아니다. `nft list ruleset` 에서 `reject` 와 `drop` 이 든 줄만 뽑아 놓고, 밖에서 친 횟수와 카운터가 맞아떨어지는 줄을 찾았다. 이 `reject` 규칙의 카운터가 4 패킷 240 바이트였고, 밖에서 친 `curl` 횟수와 정확히 일치했다. 이 카운터 값으로 해당 reject 규칙이 외부 요청을 처리했다는 것을 확인했다.
|
||||
|
||||
## 왜 앞 체인의 accept 가 안 먹혔나
|
||||
## 앞선 base chain의 accept만으로 요청이 끝나지 않은 이유
|
||||
|
||||
DNAT 를 정의한 파일에는 libvirt 체인보다 먼저 돌도록 `priority filter - 10` 을 준 `forward` 체인을 두고 거기에 `ct state new accept` 를 넣어 두었다. 밖에서 온 패킷은 그 `accept` 를 지나고도 거절됐는데, nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞 체인의 `accept` 는 「이 체인은 통과」라는 뜻이지 「평가 끝」이 아니고, 즉시 종결하는 것은 `drop` 뿐이다. iptables 감각으로 쓰면 정확히 여기서 틀린다.
|
||||
DNAT 를 정의한 파일에는 libvirt 체인보다 먼저 돌도록 `priority filter - 10` 을 준 `forward` 체인을 두고 거기에 `ct state new accept` 를 넣어 두었다. 밖에서 온 패킷은 그 `accept` 를 지나고도 거절됐는데, nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞선 base chain에서 `accept` verdict가 나와도 이후 우선순위의 base chain이 계속 평가될 수 있다. 반면 `drop` verdict는 이후 체인 평가를 중단한다. 따라서 앞쪽 체인에 accept 규칙을 추가한 것만으로는 libvirt의 뒤쪽 reject를 피할 수 없었다.
|
||||
|
||||
그 `forward` 체인은 지금 DNAT 파일에 없다. 남은 체인은 `prerouting` 하나이고, 체인을 그냥 지우는 대신 주석 하나를 남겨 두었다 — 여기에 `forward` 체인을 두지 않은 것이 의도이며 구멍은 유닛의 `ExecStartPost` 가 libvirt 자기 체인 안에 넣는다는 내용이다.
|
||||
현재 DNAT 파일에는 해당 `forward` 체인을 두지 않고 `prerouting` 체인만 남겼다. 외부 연결 허용 규칙은 DNAT 파일의 별도 base chain이 아니라 libvirt의 `guest_input` 체인에 추가하도록 구성했다.
|
||||
|
||||

|
||||

|
||||
|
||||
점선 상자 두 개가 같은 훅에 붙은 base 체인 둘이고, 왼쪽이 먼저 돈다. 점선 화살표는 구멍을 넣기 전의 경로다 — 앞 체인의 `accept` 를 지난 패킷이 `guest_input` 으로 이어지고, 위 덤프에 적힌 `ct state established,related accept` 에 걸리지 못한 채 체인 끝 `reject` 에 닿아 connection refused 로 끝난다.
|
||||
점선 상자 두 개가 같은 훅에 붙은 base 체인 둘이고, 왼쪽이 먼저 돈다. 점선 화살표는 허용 규칙을 추가하기 전의 경로다 — 앞 체인의 `accept` 를 지난 패킷이 `guest_input` 으로 이어지고, 위 덤프에 적힌 `ct state established,related accept` 에 걸리지 못한 채 체인 끝 `reject` 에 닿아 connection refused 로 끝난다.
|
||||
|
||||
실선 화살표는 다음 절에서 뚫을 구멍을 지나는 경로다. `guest_input` 상자 안에 놓인 두 규칙의 위아래가 체인 안의 순서이고, 구멍이 위에 있어서 같은 패킷이 아래의 `reject` 를 보기 전에 그 규칙에서 `accept` 된다.
|
||||
실선 화살표는 `guest_input` 앞쪽에 추가한 허용 규칙을 지나는 경로다. `guest_input` 상자 안에 놓인 두 규칙의 위아래가 체인 안의 순서이고, 허용 규칙이 reject보다 앞에 있기 때문에 같은 패킷은 reject에 도달하기 전에 accept된다.
|
||||
|
||||
## 구멍은 맨 앞에 넣고, 네트워크를 다시 세울 때 다시 넣는다
|
||||
## 허용 규칙은 reject보다 앞에 있어야 한다
|
||||
|
||||
그래서 구멍을 libvirt 체인 맨 앞에 뚫었다. `insert` 가 맨 앞이고 `add` 가 맨 뒤다.
|
||||
그래서 Edge VM의 80·443 포트로 들어오는 새 연결을 허용하는 규칙을 `guest_input`의 reject보다 앞에 추가했다.
|
||||
|
||||
```bash label="guest_input 맨 앞에 구멍을 넣는다"
|
||||
```bash label="guest_input 앞쪽에 Edge VM 80·443 허용 규칙을 추가한다"
|
||||
nft insert rule ip libvirt_network guest_input \
|
||||
oif virbr0 ip daddr 192.168.122.10 tcp dport '{80,443}' ct state new counter accept
|
||||
```
|
||||
@@ -122,13 +122,13 @@ nft insert rule ip libvirt_network guest_input \
|
||||
|
||||
worker VM 둘을 철거했다 다시 만드는 동안 libvirt 가 `guest_input` 체인을 다시 구성했고, 이미 세 번 누적된 accept 규칙은 모두 `reject` **뒤**에 남았다. 그 상태에서 외부 80·443 연결 두 번이 모두 실패했고 `reject` 카운터가 `0 → 2` 로 증가했다. `lab-edge-dnat.service` 는 여전히 `active` 였다.
|
||||
|
||||
즉 `ExecStartPost` 는 **그 유닛이 시작될 때 한 번** 실행될 뿐, 이후 libvirt 가 자기 체인을 다시 쓰는 사건에는 반응하지 않는다. `-` 접두어도 실패를 무시할 뿐 재삽입을 예약하지 않는다. 현재 방식은 persistence 해결책으로는 실패한 상태다.
|
||||
즉 `ExecStartPost` 는 **그 유닛이 시작될 때 한 번** 실행될 뿐, 이후 libvirt 가 자기 체인을 다시 쓰는 사건에는 반응하지 않는다. `-` 접두어도 실패를 무시할 뿐 재삽입을 예약하지 않는다. 따라서 `ExecStartPost`에서 한 번 규칙을 넣는 방식만으로는 libvirt가 체인을 다시 작성하는 상황을 처리할 수 없었다.
|
||||
|
||||
이번 재검증에서는 기존 host firewall/nftables rule을 임의 변경하지 않는 안전 조건 때문에 대체 persistence 방식까지 적용하지 않았다. 따라서 “어떤 이벤트에 묶어 어떻게 idempotent하게 재삽입할 것인가”는 아직 실제로 확인하지 못했다.
|
||||
이번 재검증에서는 기존 host firewall/nftables rule을 임의 변경하지 않는 안전 조건 때문에 대체 persistence 방식까지 적용하지 않았다. libvirt가 체인을 다시 작성한 뒤 규칙을 어떤 방식으로 다시 적용할지는 아직 실제 환경에서 검증하지 못했다.
|
||||
|
||||
## 아직 다른 환경에서는 확인하지 못했다
|
||||
|
||||
이 호스트 한 대에서만 봤다. libvirt 의 `firewall_backend` 가 iptables 인 호스트에서도 같은 구멍이 필요한지는 재지 않았고, 이 호스트는 nftables 백엔드다.
|
||||
이 호스트 한 대에서만 봤다. libvirt 의 `firewall_backend` 가 iptables 인 호스트에서도 같은 예외 규칙이 필요한지는 재지 않았고, 이 호스트는 nftables 백엔드다.
|
||||
|
||||
카운터 4 패킷 240 바이트는 당시 본문에 옮긴 규칙 덤프에 찍힌 값이다. 그때의 전체 ruleset과 `curl` 원문은 별도 raw 파일로 남기지 않았다. 2026-09-21에는 같은 nftables backend에서 `reject` 카운터 증가와 외부 실패를 다시 확인했으므로 현재 동작은 후속 증거가 있지만, 과거 숫자 `4 packets / 240 bytes` 자체는 당시 기록 범위로 읽는다.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user