refactor: 문서 사람처럼 작성하기
This commit is contained in:
+8
-8
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: dns-01-because-the-lab-is-not-on-the-public-internet
|
||||
title: 인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다
|
||||
title: 공개 인터넷에 노출되지 않은 실험대에서 DNS-01을 선택한 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -13,19 +13,19 @@ source:
|
||||
- final/document.md#184-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다
|
||||
# 공개 인터넷에 노출되지 않은 실험대에서 DNS-01을 선택한 이유
|
||||
|
||||
인증서는 Let's Encrypt 의 DNS-01 로 받는다. HTTP-01 은 80 포트와 공개 A 레코드를 요구하는데 이 실험대의 주소는 공개 인터넷에 없고, certbot 이 DNS 공급자 API 로 나가는 DNS-01 만 성립한다. Cloudflare API 토큰이 엣지 VM 안 평문 파일에 놓이는 비용을 감수한다.
|
||||
|
||||
## 왜 HTTP-01이 성립하지 않았나
|
||||
|
||||
- **갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초**
|
||||
이 결정으로 받은 인증서가 갱신 뒤에 실제로 서빙되는지는 이 결정 밖이고 그 기록이 받는다. 발급 방식을 정하는 것과 갱신된 것을 nginx 가 읽게 만드는 것은 다른 일이다.
|
||||
- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리**
|
||||
- **인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제**
|
||||
여기서는 인증서 발급 방식을 DNS-01로 정하는 것까지만 다룬다. 갱신된 인증서를 nginx가 다시 읽게 만드는 deploy hook과 reload는 별도의 운영 단계다.
|
||||
- **Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유**
|
||||
그 결정이 새로 요구한 일곱 가지 가운데 7번이 certbot 과 인증서와 갱신 훅을 게스트로 옮기는 것이었다. 이 결정이 세우는 것을 전부 엣지 게스트에 두는 이유가 거기서 왔다.
|
||||
- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다**
|
||||
- **명령 출력이 실제 상태를 의미하는지 먼저 확인한다**
|
||||
체인이 이어졌는지를 openssl s_client 의 단계 수로 판정하는 근거다. cert.pem 을 써서 체인이 끊겨도 브라우저는 캐시나 AIA 로 보완해 정상으로 보인다.
|
||||
- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다**
|
||||
- **장애를 확인할 때는 가까운 계층부터 확인한다**
|
||||
04 단계의 확인을 어느 기계에서 치는지가 그 기준에 걸려 있다. 엣지 게스트 안에서 치면 층의 답이 아니라 친 위치의 답이 돌아온다.
|
||||
- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다**
|
||||
이 결정이 남긴 이름 규칙을 가이드가 틀리게 적었고, 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 그것을 결함 여섯 중 하나로 셌다. 결함 여섯을 나란히 적은 표는 그 기록에 있다.
|
||||
@@ -40,7 +40,7 @@ certbot 과 인증서와 갱신 타이머와 deploy 훅은 전부 엣지 게스
|
||||
|
||||
두 방식은 검증이 오가는 방향이 반대다. HTTP-01 은 Let's Encrypt 가 우리 서버로 들어오는 인바운드 검증이라 80 포트와 공개 A 레코드가 있어야 한다. DNS-01 은 certbot 이 DNS 공급자 API 로 나가는 아웃바운드 검증이라 공개 인터넷에서 보일 필요가 없다. 이 실험대의 주소는 공개 인터넷에 없으므로 HTTP-01 은 성립하지 않는다.
|
||||
|
||||
「단계 04 — Let's Encrypt 와 인증서 갱신」에서는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다고 대안 쪽을 먼저 적는다. 이 결정은 더 나은 방식을 고른 것이 아니라 하나만 성립하는 조건에서 그것을 쓴 것이다. 딸려 온 이득이 하나 있는데, DNS-01 은 와일드카드를 받을 수 있어 hyeonworks.com 아래의 이름을 인증서 한 장으로 덮는다. 그 이득은 뒤늦게 챙겼다. 이 실험대는 처음에 와일드카드를 안 쓰고 이름마다 따로 받았고, 네 번째 이름이 없어 다른 실험에서 app2 를 빌려 써야 했다.
|
||||
「단계 04 — Let's Encrypt 와 인증서 갱신」에서는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다고 대안 쪽을 먼저 적는다. 이 결정은 더 나은 방식을 고른 것이 아니라 하나만 성립하는 조건에서 그것을 쓴 것이다. 딸려 온 이득이 하나 있는데, DNS-01은 와일드카드 인증서를 발급할 수 있기 때문에 hyeonworks.com 아래의 여러 이름을 하나의 인증서로 처리할 수 있었다. 다만 이것은 DNS-01을 선택한 주된 이유가 아니라 함께 얻은 결과다. 이 실험대는 처음에 와일드카드를 안 쓰고 이름마다 따로 받았고, 네 번째 이름이 없어 다른 실험에서 app2 를 빌려 써야 했다.
|
||||
|
||||
정한 대로 현재 엣지 게스트에는 `certbot`과 `python3-certbot-dns-cloudflare`가 설치돼 있고 renewal 설정의 authenticator는 `dns-cloudflare`다. 자격증명 파일은 600 권한으로 두며, 2026-09-21에는 파일 크기 81 bytes 상태에서 `certbot renew --dry-run --no-random-sleep-on-renew`가 DNS 전파 대기 뒤 성공했다. 외부 TLS 확인에서도 인증서 체인과 검증 성공을 확인했다.
|
||||
|
||||
|
||||
+11
-11
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: edge-nginx-moved-into-a-guest-vm
|
||||
title: 엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리
|
||||
title: Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -14,19 +14,19 @@ source:
|
||||
- final/document.md#180-nftables-는-앞-체인의-accept-로-뒤-체인의-reject-를-막지-못한다
|
||||
---
|
||||
|
||||
# 엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리
|
||||
# Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유
|
||||
|
||||
호스트에서 돌던 엣지 nginx 를 게스트 한 대(.10) 안으로 옮기고, 호스트는 커널 DNAT 로 tailnet 의 443 포트를 그 게스트에 넘기기만 한다. 바꾼 이유는 성능이 아니라 자주 갈아엎는 층의 격리다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽에 구멍이 새로 필요해졌다.
|
||||
물리 호스트에서 실행하던 Edge Nginx를 `kc-lab-edge` VM으로 옮겼다. nginx 설정, 인증서, certbot처럼 변경이 잦은 구성 요소를 물리 호스트의 SSH·libvirt 환경과 분리하기 위해서다. 이 변경으로 외부 요청이 호스트의 FORWARD 경로를 지나게 됐고, libvirt `guest_input` 체인에는 Edge VM의 80·443 포트를 허용하는 규칙이 추가로 필요해졌다.
|
||||
|
||||
## 호스트에 두었을 때 생긴 문제
|
||||
|
||||
- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다**
|
||||
- **libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례**
|
||||
이 결정이 새로 요구한 것 가운데 3번을 실제로 치른 기록이다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽의 reject 에 막혔고, 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 이곳을 이 구축에서 가장 오래 막힌 곳으로 적었다.
|
||||
- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다**
|
||||
이 구성을 세운 기반 7단계 가이드를 순서대로 따라가면서 나온 결함 여섯이 그 기준의 근거다. 여섯 중 셋이 여기서 옮긴 nginx 와 인증서를 다룬다.
|
||||
- **libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 필요한가**
|
||||
- **libvirt firewall_backend가 iptables일 때도 guest_input 예외 규칙이 필요한가**
|
||||
「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 미확인으로 남긴 것을 받는 물음이다. 아래 3번은 이 호스트의 nftables 백엔드에서만 확인했다.
|
||||
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
|
||||
- **게스트 패킷이 호스트 물리 NIC까지 전달되는 과정**
|
||||
커널 DNAT 뒤에 이어지는 게스트 쪽 경로를 그 글이 설명한다.
|
||||
- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가**
|
||||
「이 부의 출처와 범위」에서는 적은 대로 이 호스트는 이더넷이 없어 libvirt NAT 를 택했다. 그 물음이 실제 구성을 이 호스트에서 확인한다.
|
||||
@@ -42,7 +42,7 @@ source:
|
||||
|
||||
## 성능이 아니라 격리를 택한 이유
|
||||
|
||||
바꾼 이유로 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 든 것은 성능이 아니라 더러워지는 층의 격리다. nginx 설정과 인증서와 certbot 과 deploy 훅은 자주 갈아엎는 것들이라 호스트에 있으면 초기화가 불가능하다. 엣지에 장애를 일부러 넣어 보는 실험도 호스트에서 하면 SSH 까지 위험해진다.
|
||||
nginx를 옮긴 이유는 성능이 아니라 관리 경계를 분리하기 위해서였다. nginx 설정, 인증서, certbot, deploy 훅처럼 변경이 잦은 구성 요소를 Edge VM에 모으면 물리 호스트의 SSH와 libvirt 환경을 건드리지 않고 다시 만들 수 있다. Edge 계층에 장애를 주는 실험도 물리 호스트의 관리 경로와 분리할 수 있다.
|
||||
|
||||
성능은 근거가 아니다. L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널의 L4 전달 한 번이다. 그러나 **홉 수가 같다는 사실만으로 `X-Forwarded-*` 계약이 유지되지는 않았다.** 2026-09-21 packet capture에서 Tailscale ingress의 source가 edge에 도달할 때 `192.168.122.1`로 rewrite되는 것을 확인했다. 전환 전후를 같은 부하로 잰 측정도 없으므로, 이 결정은 성능 향상이나 헤더 보존을 근거로 삼지 않는다.
|
||||
|
||||
@@ -52,12 +52,12 @@ source:
|
||||
|
||||
## 새로 생긴 네트워크 비용
|
||||
|
||||
감수한 비용은 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」의 일곱 줄 표에 정리돼 있다. 그중 DNAT과 libvirt 방화벽 구멍을 나머지 다섯과 구분한 것은 경로가 OUTPUT에서 FORWARD로 바뀐 구조를 바탕으로 한 판단이며, 별도 실험으로 둘만 분리 측정한 것은 아니다. 경로가 OUTPUT 에서 FORWARD 로 바뀌면서 생긴 것이 그 둘이다.
|
||||
감수한 비용은 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」의 일곱 줄 표에 정리돼 있다. 그중 DNAT과 libvirt 방화벽 허용 규칙을 나머지 다섯과 구분한 것은 경로가 OUTPUT에서 FORWARD로 바뀐 구조를 바탕으로 한 판단이며, 별도 실험으로 둘만 분리 측정한 것은 아니다. 경로가 OUTPUT 에서 FORWARD 로 바뀌면서 생긴 것이 그 둘이다.
|
||||
|
||||
DNAT(2번) : 전에는 호스트가 443 포트를 직접 들었으니 넘길 일이 없었다. 지금은 호스트에 리스너가 아예 없다
|
||||
libvirt 방화벽에 구멍(3번) : 호스트에서 게스트로 가는 것은 OUTPUT 경로라 필터를 안 탔다. 밖에서 게스트로 들어오는 것은 FORWARD 다
|
||||
libvirt 방화벽 허용 규칙(3번) : 호스트에서 게스트로 가는 것은 OUTPUT 경로라 필터를 안 탔다. 밖에서 게스트로 들어오는 것은 FORWARD 다
|
||||
|
||||
호스트가 게스트에 접속하는 것과 밖에서 게스트로 들어오는 것은 커널이 보기에 완전히 다른 일이다. 3번을 뚫는 데 이 구축에서 가장 오래 걸렸다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서 밖에서 친 curl 은 connection refused 로 돌아왔다. libvirt 의 guest_input 체인을 끝내는 reject 규칙의 카운터 4 패킷이 그때 친 curl 횟수와 정확히 일치했다. 구멍이 필요하다는 것을 몰라서 오래 걸린 것은 아니다. DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인과 거기 넣은 ct state new accept 가 이미 있었고, 그것이면 열린다고 보고 세웠다 — iptables 감각으로 쓰면 정확히 여기서 틀린다고 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 적었다.
|
||||
호스트가 게스트에 접속하는 것과 밖에서 게스트로 들어오는 것은 커널이 보기에 완전히 다른 일이다. 외부 요청이 어느 규칙에서 거절되는지 확인하는 데 가장 많은 시간이 걸렸다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서 밖에서 친 curl 은 connection refused 로 돌아왔다. libvirt 의 guest_input 체인을 끝내는 reject 규칙의 카운터 4 패킷이 그때 친 curl 횟수와 정확히 일치했다. 허용 규칙의 필요 여부만으로 원인을 찾을 수 있었던 것은 아니다. DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인과 거기 넣은 ct state new accept 가 이미 있었고, 그것이면 열린다고 보고 세웠다 — iptables 감각으로 쓰면 정확히 여기서 틀린다고 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 적었다.
|
||||
|
||||
같은 계열의 가드레일이 하나 더 붙는다.
|
||||
|
||||
@@ -72,4 +72,4 @@ certbot 과 인증서와 갱신 훅이 게스트로(7번) : 인증서를 읽는
|
||||
|
||||
얻은 것은 격리다. 자주 갈아엎는 층이 게스트 한 대 안으로 들어가니 그 게스트를 통째로 다시 세울 수 있고, 엣지에 장애를 넣는 실험이 호스트 SSH를 직접 건드리지 않는다. L7 홉 수는 2홉 그대로지만 **뒤쪽 Traefik이 받는 client-address/header 조건은 바뀌었다.** source rewrite와 proxy trust는 별도로 검증해야 한다.
|
||||
|
||||
남은 것은 둘이고, 하나는 2026-09-21 재검증으로 닫혔다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없다. libvirt `guest_input` 구멍을 DNAT 유닛의 `ExecStartPost`에 넣은 방식이 재구성을 견디는지는 이번에 실제로 재 봤고 **견디지 못했다.** worker VM 둘을 재구축하자 libvirt가 체인을 다시 쓰면서 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 `active`인데 외부 80/443이 실패했다. 따라서 현재 persistence 방식은 실패한 구현이고 대체 방식은 아직 실제로 확인하지 않았다. libvirt 의 `firewall_backend` 가 iptables 일 때도 같은 구멍이 필요한지는 여전히 미확인이고, 이 호스트는 nftables 백엔드다.
|
||||
남은 것은 둘이고, 하나는 2026-09-21 재검증으로 닫혔다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없다. libvirt `guest_input` 허용 규칙을 DNAT 유닛의 `ExecStartPost`에서 추가한 방식이 재구성을 견디는지는 이번에 실제로 재 봤고 **견디지 못했다.** worker VM 둘을 재구축하자 libvirt가 체인을 다시 쓰면서 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 `active`인데 외부 80/443이 실패했다. 따라서 현재 persistence 방식은 실패한 구현이고 대체 방식은 아직 실제로 확인하지 않았다. libvirt의 `firewall_backend`가 iptables일 때도 같은 허용 규칙이 필요한지는 여전히 미확인이고, 이 호스트는 nftables 백엔드다.
|
||||
|
||||
+10
-10
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: fix-guest-addresses-with-a-dhcp-reservation
|
||||
title: 게스트 주소는 libvirt DHCP 예약으로 고정한다 — 바꿀 수 없어서가 아니라 되돌리기가 가장 비싸서
|
||||
title: 게스트 IP를 libvirt DHCP 예약으로 고정한 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -16,7 +16,7 @@ source:
|
||||
sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
|
||||
---
|
||||
|
||||
# 게스트 주소는 libvirt DHCP 예약으로 고정한다 — 바꿀 수 없어서가 아니라 되돌리기가 가장 비싸서
|
||||
# 게스트 IP를 libvirt DHCP 예약으로 고정한 이유
|
||||
|
||||
게스트 IP 를 libvirt 의 DHCP 예약으로 묶고 예약을 넣은 다음에 게스트를 만든다. 주소가 바뀌면 k3s 가 설정 파일과 인증서에 구워 둔 IP 부터 어긋나, 고치는 값이 한 곳이 아니라 재발급이나 재설치가 된다.
|
||||
|
||||
@@ -28,11 +28,11 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit
|
||||
고정한 `192.168.122.11` 과 `192.168.122.12` 를 그대로 받아 쓰는 절차다. `--node-ip` 와 `--tls-san` 과 agent 의 `K3S_URL` 이 그 주소를 담는다.
|
||||
- **엣지 게스트에 nginx 를 세우고 호스트 DNAT 으로 밖에서 들어오는 길을 연다**
|
||||
nginx 의 `upstream` 이 뒤쪽 게스트 주소를 적는 곳이다. 주소가 바뀌면 reload 전까지 502 가 이어진다.
|
||||
- **호스트에 직접 깔지 않고 게스트 VM 두 대로 간다 — 관측자가 실험 대상과 함께 죽으면 안 된다**
|
||||
이 결정이 서 있는 바닥이다. 게스트를 반복해 죽이는 실험이 전제라서 주소 고정이 필요해졌다.
|
||||
- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다**
|
||||
- **k3s를 호스트에 직접 설치하지 않고 두 VM으로 구성한 이유**
|
||||
게스트를 반복해서 삭제하고 다시 만드는 실험에서는 같은 역할의 VM이 매번 같은 주소를 받아야 했다. 그래서 VM을 만들기 전에 MAC 주소와 DHCP 예약을 함께 고정했다.
|
||||
- **명령 출력이 실제 상태를 의미하는지 먼저 확인한다**
|
||||
`net-dumpxml` 의 예약과 `net-dhcp-leases` 의 리스가 서로 다른 것을 말한다는 것을 그 기준이 일반화한다.
|
||||
- **L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀**
|
||||
- **이 실험대에서 L7 프록시를 두 단계로 둔 이유**
|
||||
nginx 가 뒤쪽 노드를 주소로 가리키는 구조를 그 글이 설명한다. 여기서 고정한 주소가 그 upstream 에 적힌다.
|
||||
|
||||
## 고정 방식
|
||||
@@ -49,8 +49,8 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit
|
||||
|
||||
k3s 가 IP 를 설정 파일과 인증서에 굽는다 : `--node-ip` 와 `--tls-san`, agent 의 `K3S_URL=https://192.168.122.11:6443`, kubeconfig 의 `server:` 필드가 전부 IP 를 담는다. server 노드의 IP 가 바뀌면 agent 가 클러스터에 합류하지 못한다. API 서버 인증서의 SAN 도 어긋나서 재발급이나 재설치가 필요해진다. 되돌리기가 가장 비싼 항목이다
|
||||
nginx 는 upstream 주소를 기동 시점에 한 번만 해석한다 : 오픈소스판은 `upstream` 블록의 이름을 설정 로드 때 풀고 런타임에 다시 조회하지 않는다. 그래서 뒤쪽 IP 가 바뀌면 reload 전까지 계속 502 다. 다시 조회하게 하려면 `resolver` 와 변수 조합을 쓰거나 상용판이 필요하다
|
||||
VM 을 반복해서 죽이는 것이 실험 그 자체다 : `virsh destroy` 로 노드 상실을 재현하는데 되살릴 때마다 주소가 달라지면 실험이 성립하지 않는다
|
||||
장애 주입 규칙이 주소 기반이다 : 「kc-lab-2 로 가는 7800 을 막아라」에서 IP 가 어긋나면 조용히 엉뚱한 것을 막는다. 실패가 드러나지 않아 특히 위험하다
|
||||
VM을 반복해서 중단하고 다시 시작한다 : `virsh destroy`로 노드 상실을 재현한 뒤 다시 시작했을 때 주소가 달라지면 같은 조건으로 실험을 반복하기 어렵다
|
||||
장애 주입 규칙도 주소를 기준으로 동작한다. 예를 들어 `kc-lab-2`의 7800 포트를 막는 규칙에서 IP가 달라지면 명령 자체는 성공해도 다른 주소를 대상으로 삼을 수 있다.
|
||||
|
||||
수단은 셋을 견줬고 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 표로 적었다. 게스트 안에서 static IP 를 설정하면 cloud-init 이 복잡해지고 libvirt 는 그 사실을 모르므로 주소 설정이 두 곳으로 흩어진다. upstream 에 호스트명을 쓰면 libvirt 의 dnsmasq 가 이름을 풀어 주기는 한다. 다만 호스트의 리졸버가 `virbr0` 를 바라봐야 하고, 기동 시 한 번만 해석한다는 둘째 문제는 이 방법으로 없어지지 않는다.
|
||||
|
||||
@@ -58,10 +58,10 @@ DHCP 예약을 고른 까닭은 주소 관리가 libvirt 한 곳에 모이기
|
||||
|
||||
## 운영할 때 조심할 점
|
||||
|
||||
값이 맞으면 조용히 되고 틀리면 더 조용히 틀린다. 그래서 치른 비용이 셋 다 「오류가 안 나는 실패」다.
|
||||
DHCP 예약과 MAC, VM 정의가 일치하지 않아도 명령 단계에서 바로 오류가 나지 않는 경우가 있다. 그래서 VM을 만든 뒤 실제 주소가 예약과 일치하는지 다시 확인하도록 했다.
|
||||
|
||||
순서가 결과를 바꾼다 : 예약을 넣고 나서 `virt-install` 해야 한다. 게스트를 먼저 만들면 동적 대역(`192.168.122.2`부터 `192.168.122.254`)에서 아무 주소나 받고, 예약이 먹으려면 리스 만료를 기다리거나 재부팅해야 한다
|
||||
MAC 이 한 글자만 달라도 조용히 무시된다 : 예약의 `mac` 과 `virt-install --network` 에 준 `mac=` 이 정확히 같아야 한다. 다르면 오류 메시지 없이 동적 범위에서 아무 주소나 받고, 증상은 「왜 IP 가 다르지」로만 나타난다
|
||||
예약의 `mac`과 `virt-install --network`에 지정한 `mac=`이 정확히 같아야 한다. 값이 다르면 예약이 적용되지 않고 동적 DHCP 주소를 받을 수 있으며, 이 과정에서 별도의 설정 오류가 출력되지 않을 수 있다.
|
||||
플래그 둘을 다 줘야 한다 : `--live` 만 주면 재부팅에 사라지고 `--config` 만 주면 지금 반영이 안 된다. 성공 판정은 출력에 `persistent config` 와 `live state` 두 마디가 다 나오는 것이고, 한쪽만 나온 것을 성공으로 읽으면 「재부팅하니 IP 가 바뀐다」가 된다
|
||||
|
||||
예약을 조회하는 두 명령도 서로 다른 것을 말한다. `net-dumpxml` 이 보여 주는 예약은 dnsmasq 에게 준 의도이고, `net-dhcp-leases` 가 보여 주는 리스는 실제로 나간 기록이다. 둘이 다를 수 있으므로 예약을 넣었다는 것만으로 게스트가 그 주소를 받았다고 읽지 않는다.
|
||||
|
||||
+5
-5
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: no-docker-on-the-lab-host
|
||||
title: lab host 에는 Docker 를 깔지 않는다 — 이미지 저장소가 갈리고, 그 위에 네트워크 변수가 하나 더 붙는다
|
||||
title: lab host에 Docker를 설치하지 않은 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -14,13 +14,13 @@ source:
|
||||
sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
|
||||
---
|
||||
|
||||
# lab host 에는 Docker 를 깔지 않는다 — 이미지 저장소가 갈리고, 그 위에 네트워크 변수가 하나 더 붙는다
|
||||
# lab host에 Docker를 설치하지 않은 이유
|
||||
|
||||
Docker 는 워크스테이션에만 두고 lab host 와 게스트에서는 뺀다. 깔면 containerd 가 둘이 되어 `docker build` 한 이미지를 k3s 가 보지 못하고, 증상이 `docker images` 에는 보이는데 파드는 `ErrImageNeverPull` 인 모양으로 나온다.
|
||||
Docker는 워크스테이션에서만 사용하고 lab host와 게스트에는 설치하지 않았다. k3s는 자체 containerd를 사용하므로 같은 머신에 Docker를 추가하면 `docker build`로 만든 이미지와 k3s가 보는 이미지 저장소가 분리된다. 이 경우 `docker images`에는 이미지가 있어도 파드는 `ErrImageNeverPull` 상태가 될 수 있다.
|
||||
|
||||
## Docker를 host에 넣으면 생기는 충돌
|
||||
|
||||
- **호스트에 직접 깔지 않고 게스트 VM 두 대로 간다 — 관측자가 실험 대상과 함께 죽으면 안 된다**
|
||||
- **k3s를 호스트에 직접 설치하지 않고 두 VM으로 구성한 이유**
|
||||
같은 축의 결정이다. 호스트를 진입점과 하이퍼바이저로만 남긴다는 그 판단이 컨테이너 런타임 쪽에서 한 번 더 쓰였다.
|
||||
- **k3s server 와 agent 를 게스트 두 대에 깔고 lab host 에서 kubectl 로 본다**
|
||||
k3s 가 자체 containerd 를 들고 들어오는 절차다. 그 절차가 끝난 뒤에 「이미지는 어떻게 넣지」가 처음 나온다.
|
||||
@@ -28,7 +28,7 @@ Docker 는 워크스테이션에만 두고 lab host 와 게스트에서는 뺀
|
||||
공개 이미지만 쓰는 배포라 반입이 필요 없는 쪽의 예다. 자체 빌드 이미지와 갈리는 지점을 그 절차가 보여 준다.
|
||||
- **Prometheus 와 Grafana 를 올려 클러스터 안을 밖에서 본다**
|
||||
같은 이유로 공개 이미지를 그대로 당겨 쓴다. 노드마다 따로 반입해야 하는 일이 여기서는 생기지 않는다.
|
||||
- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다**
|
||||
- **명령 출력이 실제 상태를 의미하는지 먼저 확인한다**
|
||||
`docker images` 가 보여 주는 목록이 k3s 의 이미지 목록이 아니라는 것을 그 기준이 일반화한다.
|
||||
|
||||
## 런타임 배치
|
||||
|
||||
+14
-14
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: two-guest-vms-instead-of-installing-k3s-on-the-host
|
||||
title: 호스트에 직접 깔지 않고 게스트 VM 두 대로 간다 — 관측자가 실험 대상과 함께 죽으면 안 된다
|
||||
title: k3s를 호스트에 직접 설치하지 않고 두 VM으로 구성한 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -14,13 +14,13 @@ source:
|
||||
sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
|
||||
---
|
||||
|
||||
# 호스트에 직접 깔지 않고 게스트 VM 두 대로 간다 — 관측자가 실험 대상과 함께 죽으면 안 된다
|
||||
# k3s를 호스트에 직접 설치하지 않고 두 VM으로 구성한 이유
|
||||
|
||||
k3s 를 게스트 VM 두 대에 나눠 깔고 물리 호스트는 진입점과 하이퍼바이저로만 남긴다. 머신이 한 대뿐이라 같은 커널에 두 노드를 올리면 노드 상실 실험이 성립하지 않고, 호스트가 노드를 겸하면 SSH 와 libvirt 와 nginx 가 실험 대상과 같이 내려간다.
|
||||
k3s 노드는 게스트 VM 두 대에 나눠 구성하고 물리 호스트는 libvirt와 관리 경로를 담당하도록 분리했다. 같은 커널 위에 논리적으로 노드만 둘로 나누면 한 노드만 중단하는 장애 실험을 만들기 어렵고, 물리 호스트 자체를 k3s 노드로 사용하면 노드 장애 실험이 SSH와 libvirt 같은 관리 기능에도 영향을 줄 수 있다.
|
||||
|
||||
## 호스트 직접 설치의 문제
|
||||
|
||||
- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리**
|
||||
- **Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유**
|
||||
같은 논리를 엣지 한 층에 다시 적용한 결정이다. 그쪽은 게스트 구조가 이미 있다고 놓고 엣지가 어디 사는지를 정했고, 이쪽은 게스트 구조를 쓸 것인지를 정했다.
|
||||
- **lab host 에 가상화 패키지를 깔고 virsh 가 sudo 없이 돌게 만든다**
|
||||
이 결정이 요구한 첫 절차다. 호스트에 k3s 대신 libvirt 와 QEMU 가 깔리는 까닭을 이 결정이 댄다.
|
||||
@@ -28,7 +28,7 @@ k3s 를 게스트 VM 두 대에 나눠 깔고 물리 호스트는 진입점과
|
||||
결정을 실제로 실행한 절차다. server 와 agent 가 서로 다른 게스트로 들어가고 `kubectl` 은 호스트에서 돈다.
|
||||
- **Prometheus 와 Grafana 를 올려 클러스터 안을 밖에서 본다**
|
||||
관측 스택을 server 노드에 못박는 절차가 거기 있다. 관측자를 살려 둔다는 이유가 클러스터 안에서 한 번 더 쓰인다.
|
||||
- **lab host 에는 Docker 를 깔지 않는다 — 이미지 저장소가 갈리고, 그 위에 네트워크 변수가 하나 더 붙는다**
|
||||
- **lab host에 Docker를 설치하지 않은 이유**
|
||||
호스트를 깨끗이 남긴다는 같은 축의 결정을 컨테이너 런타임 쪽에 적용한 것이다.
|
||||
- **실험대를 껐다 켜고 게스트 메모리를 다시 나눈다**
|
||||
게스트로 갔기 때문에 가능해진 운영이다. `virsh setmaxmem` 으로 메모리를 다시 나누는 일은 호스트에 직접 깔았으면 생기지 않는다.
|
||||
@@ -37,7 +37,7 @@ k3s 를 게스트 VM 두 대에 나눠 깔고 물리 호스트는 진입점과
|
||||
|
||||
k3s server는 게스트 `kc-lab-1`에, agent는 `kc-lab-2`에 둔다. 물리 호스트 `test-server`에는 k3s를 설치하지 않고 libvirt/KVM과 실험대 진입에 필요한 최소 기능만 남긴다.
|
||||
|
||||
2026-09-03 최초 배치에서는 게스트 둘이 `virbr0` 뒤에서 `192.168.122.11`과 `192.168.122.12`를 썼고 nginx는 호스트에 있었다. 이후 `kc-lab-edge`가 추가되면서 nginx도 Edge VM으로 이동했다. 현재도 이 결정의 핵심인 **k3s 노드와 물리 호스트의 커널 분리**는 그대로 유지된다.
|
||||
2026-09-03 최초 배치에서는 게스트 둘이 `virbr0` 뒤에서 `192.168.122.11`과 `192.168.122.12`를 썼고 nginx는 호스트에 있었다. 이후 `kc-lab-edge`가 추가되면서 nginx도 Edge VM으로 이동했다. 현재 구성에서도 k3s 노드와 물리 호스트는 서로 다른 커널에서 실행된다.
|
||||
|
||||
## 두 guest로 나눈 이유
|
||||
|
||||
@@ -45,26 +45,26 @@ k3s server는 게스트 `kc-lab-1`에, agent는 `kc-lab-2`에 둔다. 물리 호
|
||||
|
||||
독립 커널이 둘 필요하다 : 같은 커널에 k3s server 와 agent 를 올리면 노드가 이름뿐이라 노드 간 방화벽·파티션·노드 상실 실험이 성립하지 않는다
|
||||
파괴 실험 후 복원 : VM 은 qcow2 오버레이를 지우면 몇 초 만에 초기 상태로 돌아가고, 호스트는 재설치 말고 되돌릴 방법이 없다
|
||||
관측자를 살려 둔다 : 노드를 죽이는 실험인데 그 노드가 호스트면 SSH 와 libvirt 와 nginx 가 같이 죽는다
|
||||
호스트 오염 방지 : k3s 는 nftables 규칙과 CNI(Container Network Interface, 컨테이너 네트워크 규격) 인터페이스, 커널 모듈, systemd 유닛을 대량으로 심는다
|
||||
관리 경로를 실험 대상과 분리한다 : 물리 호스트를 k3s 노드로 사용하면 노드 장애 실험이 SSH와 libvirt 같은 관리 기능에도 영향을 줄 수 있다
|
||||
물리 호스트의 네트워크·서비스 구성을 분리한다 : k3s는 nftables 규칙, CNI(Container Network Interface) 인터페이스, 커널 모듈, systemd 유닛을 추가한다
|
||||
운영 배포판과 일치 : 호스트는 Arch 인데 운영 k3s 가 다른 배포판이면 커널과 systemd 차이가 잡음이 된다. 게스트를 운영과 같게 맞추면 그 잡음이 사라진다
|
||||
netem 격리 : 커널이 분리되어 지연 주입이 게스트 안에 갇힌다. 호스트에서 걸면 SSH 까지 느려진다
|
||||
|
||||
견준 쪽은 호스트에 단일 노드 k3s 를 직접 까는 것이다. 「왜 호스트에 직접 깔지 않고 VM 2대인가」에서는 그것을 정직한 반대편으로 직접 적었다 — 계약 검증(2홉 헤더, 쿠키/origin)만 볼 거라면 호스트 직접 설치로 충분하고 그게 더 빠르다. VM 경로가 필요해지는 것은 클러스터와 장애 실험부터다.
|
||||
|
||||
절충안도 하나 검토하고 채택하지 않았다. 호스트를 노드 1로 쓰고 VM 을 노드 2로 두는 방법이다. 게스트 운영체제 하나(약 350MB)와 설치 수고를 아끼는 대신 관측자 분리와 호스트 오염 방지를 포기하게 된다. 7.4Gi 예산에서 그 350MB 보다 관측자 분리가 더 값지다고 판단했다.
|
||||
물리 호스트를 첫 번째 노드로 쓰고 VM 하나만 추가하는 구성도 검토했다. 이 방식은 게스트 운영체제 하나에 필요한 약 350MB와 설치 작업을 줄일 수 있지만, 관리용 호스트와 실험 노드를 분리할 수 없다. 당시 메모리 예산에서는 이 절감보다 관리 경계를 분리하는 쪽을 선택했다.
|
||||
|
||||
## 구축 비용과 얻은 격리
|
||||
|
||||
실험 범위를 넓히는 대가로 구축 시간과 게스트 운영체제 몫의 메모리를 치렀다. 호스트에 단일 노드로 깔았으면 하루 안에 끝났을 구축이 게스트 생성과 cloud-init 과 k3s 설치로 나뉘었고, 게스트마다 커널과 systemd 가 따로 돌아 그만큼의 메모리를 쓴다.
|
||||
|
||||
얻은 것은 되돌릴 수 있는 실험대다. 노드를 죽여도 `virsh start`로 되살릴 수 있고, 게스트를 통째로 지워도 `base.qcow2` 위에 오버레이를 다시 만들어 복구할 수 있다. 2026-09-21에는 worker 두 대를 실제로 `destroy → undefine --remove-all-storage`한 뒤 cloud-init·k3s·Keycloak까지 다시 구축해 이 경로를 확인했다.
|
||||
이 구성에서는 VM을 중단해도 `virsh start`로 다시 시작할 수 있고, 게스트를 통째로 지워도 `base.qcow2` 위에 오버레이를 다시 만들어 복구할 수 있다. 2026-09-21에는 worker 두 대를 실제로 `destroy → undefine --remove-all-storage`한 뒤 cloud-init·k3s·Keycloak까지 다시 구축해 이 경로를 확인했다.
|
||||
|
||||
같은 구분이 클러스터 안에서 한 번 더 나온다. k3s server 와 agent 는 죽였을 때가 다르다.
|
||||
k3s server와 agent는 중단했을 때 클러스터에 미치는 영향이 다르다.
|
||||
|
||||
kc-lab-1(server) 를 죽이면 : `kubectl` 이 안 되고 DNS 와 인그레스도 사라진다
|
||||
kc-lab-2(agent) 를 죽이면 : 그 노드의 워크로드만 사라지고 클러스터 제어는 살아 있다
|
||||
kc-lab-1(server)을 중단하면 : `kubectl` 이 안 되고 DNS 와 인그레스도 사라진다
|
||||
kc-lab-2(agent)을 중단하면 : 그 노드의 워크로드만 사라지고 클러스터 제어는 살아 있다
|
||||
|
||||
그래서 노드 상실 실험은 agent 를 죽이는 것이고, server 를 죽이는 것은 노드 상실이 아니라 컨트롤 플레인 상실이다. 「k3s server와 agent — 죽였을 때가 다르다」에서는 이 사실을 모르고 「keycloak 하나만 있는 노드를 죽이자」고 계획했다가 실제 배치를 조회한 뒤 정정했다고 적는다. 노드가 둘뿐이라 관측과 실험을 완전히 갈라놓을 수는 없으므로 「관측 시스템의 장애 도메인」에서는 규칙으로 못박았다 — 관측 스택은 server 쪽에 두고 죽이지 않으며, 장애 주입은 agent 쪽에만 건다. `nodeSelector` 로 배치를 고정해야 그 규칙이 재현된다.
|
||||
따라서 worker 노드 상실 실험은 agent 노드를 대상으로 하고, server 노드를 중단하는 경우는 control-plane 상실 실험으로 구분한다. 기존 기록에서는 처음에 Keycloak만 있는 노드를 장애 주입 대상으로 잡으려 했지만, 실제 배치를 확인한 뒤 agent 노드를 worker 장애 주입 대상으로 정정했다. 노드가 둘뿐이라 관측과 실험을 완전히 갈라놓을 수는 없으므로 「관측 시스템의 장애 도메인」에서는 규칙으로 못박았다 — 관측 스택은 server 노드에 두고 장애 주입 대상에서 제외하며, 장애 주입은 agent 노드에만 수행한다. `nodeSelector` 로 배치를 고정해야 그 규칙이 재현된다.
|
||||
|
||||
확인하지 않은 것이 하나 있다. 호스트 직접 설치와 게스트 두 대를 같은 실험으로 견준 측정은 이 저장소에 없다. 여섯 이유는 무엇이 성립하고 무엇이 성립하지 않는가에 대한 판단이고, 어느 쪽이 얼마나 느린지는 재지 않았다.
|
||||
|
||||
Reference in New Issue
Block a user