Files
document-haness/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-verify-the-network-path-before-blaming-the-application.md
T

8.7 KiB

id, kind, slug, title, topic, topicName, project, status, studio, sourceRevision, source
id kind slug title topic topicName project status studio sourceRevision source
ca36f0db-9028-4761-91a8-afb7eb30f2b9 REFERENCE verify-the-network-path-before-blaming-the-application Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다 network-virtualization 네트워크 가상화 virtualization 초안 https://hyeonworks.com/studio/documents/ca36f0db-9028-4761-91a8-afb7eb30f2b9/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
final/document.md#120-keycloak-refresh-token-실험과의-관계
final/document.md#117-이-구조에서-발생할-수-있는-문제-117-7
final/document.md#124-핵심-claim
final/document.md#89-문서-목적
final/document.md#116-현재-keycloak-k3s-테스트-환경과-연결
final/document.md#102-packet이-keycloak까지-올라오는-과정

Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다

Refresh Token 경쟁 자체는 virtio-net 문제가 아니다. 현재 Keycloak lab에서는 클라이언트에서 Edge Nginx와 가상 머신, K3s, Keycloak을 거쳐 PostgreSQL까지 가는 경로를 여러 노드가 함께 쓴다. Redis를 사용하는 별도 패턴 실험이라면 그 구간을 추가한다. 그 경로 위의 네트워크 가상화 문제는 애플리케이션 동시성 문제와 비슷한 증상으로 나타난다.

애플리케이션 원인으로 바로 읽지 않는 이유

이 기준은 실험 결과를 잘못된 원인에 붙이는 일을 막는다.

Keycloak 멀티 노드 실험에서 관측되는 지연과 실패에는 네트워크 가상화 쪽 원인이 섞일 수 있다. 노드 하나만 지연되는 경우, 가상 머신 하나에서만 패킷이 유실되는 경우, 호스트 브리지 구성이 잘못된 경우, NAT(Network Address Translation) 나 conntrack 문제, 호스트 CPU 경쟁 때문에 vhost 처리가 밀리는 경우가 여기 들어간다.

이 원인들을 확인하지 않은 채 결과를 Refresh Token 경쟁이나 데이터베이스 락으로 적으면, 고칠 곳이 아닌 곳을 고치게 된다.

이 분리는 실험 결과를 보고 나서 세운 규칙이 아니다. 원문 문서는 이 실험 기반으로 검증하려는 항목을 일곱 개 적어 두었고, 그 마지막이 「네트워크 계층 문제와 애플리케이션/저장소 문제의 분리」였다.

경로 · 노드 · CPU 비용을 따로 확인한다

1. 실험이 지나는 경로를 먼저 적고 시작한다

현재 실험대의 진입 경로는 Client → Tailscale ingress → Host DNAT/source rewrite → Edge Nginx → virbr0 → worker VM → Traefik까지 실제 packet capture로 확인됐다. Edge Nginx가 TLS를 종료하고 worker로 새 HTTP 연결을 만들기 때문에 첫 번째 TLS flow와 두 번째 HTTP flow를 같은 연결로 보지 않는다. K3s CNI·Service·Pod 내부와 Keycloak 이후 PostgreSQL 구간은 별도 계층으로 남긴다. Redis는 현재 lab에는 없으므로 Redis를 포함한 별도 실험에서만 추가한다.

경로를 적지 않으면 어느 관측이 어느 구간을 덮는지 정해지지 않는다.

이 실험대에서 그렇게 어긋난 확인이 한 번 있었다. 04 단계의 확인 명령을 엣지 가상 머신 안에서 tailnet 주소로 쳤더니 connection refused 가 돌아왔는데, 엣지에서 나간 패킷은 호스트의 virbr0 으로 들어가고, 들어온 패킷의 도착지 주소를 바꿔 넘기는 호스트의 DNAT(Destination NAT, 도착지 주소 변환) 규칙은 tailscale0 으로 들어온 것만 매칭해서 안 걸렸기 때문이다(「단계 04 — Let's Encrypt 와 인증서 갱신」· 「이 구축에서 드러난 문서 결함의 공통 원인」). 「설정 문제가 아니라 친 위치 문제다」가 그 단계가 남긴 한 줄이다.

2. 노드 하나에서만 나는 증상을 애플리케이션 동시성으로 먼저 읽지 않는다

노드 하나만 지연되거나 가상 머신 하나에서만 실패하는 증상은 그 노드로 가는 경로 쪽에서도 나올 수 있다. 호스트 브리지 구성 오류, NAT 와 conntrack 문제, 그 가상 머신 쪽 패킷 유실이 같은 모양으로 관측된다.

증상이 노드별로 갈리면 그 노드까지 가는 경로를 먼저 확인한다.

3. 애플리케이션 로그만으로 네트워크 계층을 배제하지 않는다

Keycloak 은 virtqueue 와 vhost-net, TAP, Bridge, 물리 NIC(Network Interface Card) 를 직접 알지 못하고, 게스트가 주는 소켓 위에서만 동작한다. 아래 계층이 어긋나도 애플리케이션 로그에는 느렸다는 것과 실패했다는 것만 남는다.

그래서 애플리케이션 쪽 관측을 아무리 늘려도 이 계층이 원인인지 아닌지는 갈리지 않는다.

4. 네트워크 처리가 쓰는 호스트 CPU 를 실험과 같은 시간축에 기록한다

vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다. 그래서 네트워크 문제처럼 보이는 지연이 CPU 스케줄링 문제일 수도 있다. 앞의 세 규칙이 애플리케이션 증상을 네트워크 쪽으로 되돌린다면 이 규칙은 네트워크 증상을 CPU 쪽으로 되돌린다. 방향이 반대라서 둘을 한 기준에 둔다.

부하 실험을 돌릴 때 QEMU 와 vhost 의 CPU 사용량, 호스트와 게스트의 CPU, 네트워크 지연을 같은 시간축에 남긴다. 나중에 따로 재면 그때의 부하를 다시 만들어야 한다.

5. 경로와 CPU 비용을 분리해서 확인한 뒤 원인을 적는다

2026-09-21 재검증으로 Host ingress부터 Edge와 worker NIC까지의 실제 packet path는 확인됐다. 따라서 이후 장애에서는 같은 capture point에 패킷이 보이는지부터 비교하면 된다.

부하 중 네트워크 가상화 CPU 비용도 2026-09-21에 따로 측정했다. 외부 OIDC 부하에서 vhost와 softirq 사용량은 증가했지만 host CPU에는 여유가 남았고, 이번 부하 수준에서 네트워크 가상화 비용이 host CPU를 지배했다고 볼 근거는 없었다. 다만 guest workload 자체도 함께 증가했으므로 지연 변화를 네트워크 가상화 하나의 원인으로 귀속하지 않는다.

이 검증이 필요한 실험

여러 노드가 같은 네트워크 경로를 공유하는 실험의 결과를 원인에 귀속할 때.

노드별로만 나타나는 지연을 볼 때.

특정 가상 머신에서만 나는 실패를 볼 때.

부하 구간에서만 커지는 지연을 애플리케이션 동시성이나 저장소 lock 으로 결론내려 할 때.

network가 깨끗해도 분석은 끝나지 않는다

애플리케이션 쪽 관측을 늘리는 것으로는 이 기준을 적용할 수 없다. Keycloak 이 게스트 소켓 위에서만 동작하므로 애플리케이션 로그로는 이 계층이 원인인지 가릴 수 없다.

네트워크 계층에서 뚜렷한 이상을 찾지 못했다고 해서 애플리케이션 결함이 증명되는 것은 아니다. 여기서 얻는 것은 관측한 경로와 부하 범위에서는 네트워크 쪽 원인 후보가 줄었다는 정도다.

가상 머신 위 K3s 안쪽은 이 기준의 범위 밖이다. CNI(Container Network Interface) 와 Service, Pod 네트워크는 별도 계층으로 두고 따로 분석한다.

과거 문서의 Host Nginx → worker VM 그림은 현재 구조와 달랐지만, 2026-09-21에는 실제 OIDC discovery 요청을 tailscale0, Edge/worker의 host-side vnetN, guest enp1s0에서 추적해 현재 경로를 확인했다. 이 검증은 애플리케이션 원인을 증명한 것이 아니라 네트워크 경로 자체를 독립적으로 검증할 수 있게 된 것이다.

가까운 것은 실험대를 세울 때 한 번 있었다. 밖에서 온 요청만 엣지에 닿지 않았는데 원인은 게스트 안이 아니라 호스트의 libvirt 방화벽 규칙이었고, 그때 엣지 nginx 는 호스트에서 친 요청에 404 로 응답하고 있었다(「nftables 는 앞 체인의 accept 로 뒤 체인의 reject 를 막지 못한다」).

Keycloak 실험에 적용하는 방법

  • Keycloak 노드 하나만 응답이 느림 : 그 노드가 있는 가상 머신까지의 경로부터 확인한다
  • 가상 머신 하나에서만 요청이 실패 : 호스트 브리지 구성과 그 가상 머신의 tap 연결을 본다
  • 부하를 올릴수록 지연이 커짐 : QEMU 와 vhost 의 CPU 사용량을 같은 시간축에서 함께 본다
  • 동시 갱신 실험에서 두 번째 요청이 거부됨 : 네트워크 검증 셋을 마친 뒤에 Refresh Token 경쟁으로 적는다
  • 네트워크 검증에서 이상을 찾지 못함 : 관측한 범위에서 네트워크 원인 후보를 낮추고 애플리케이션 쪽을 계속 본다