From 1549e62b5e537cad3be3655deab8039120a847d5 Mon Sep 17 00:00:00 2001 From: donghyeon-ka Date: Tue, 22 Sep 2026 14:43:41 +0900 Subject: [PATCH] =?UTF-8?q?refactor:=20=EB=AC=B8=EC=84=9C=20=EC=82=AC?= =?UTF-8?q?=EB=9E=8C=EC=B2=98=EB=9F=BC=20=EC=9E=91=EC=84=B1=ED=95=98?= =?UTF-8?q?=EA=B8=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .tmp-coredns-custom-20260921.yaml | 16 + .../a0-00-baseline.txt | 26 + .../a0-01-precondition-diagnosis.txt | 240 +++++ .../a0-02-current-cluster-truth.txt | 133 +++ .../a0-03-vendor-cluster-size.txt | 2 + .../a0-04-cache-before-reset.txt | 7 + .../a0-05-reset-and-restart.txt | 26 + .../a0-06-reset-verified.txt | 18 + .../a0-07-cross-node-session.txt | 6 + .../a0-08-cache-delta.txt | 19 + .../a0-09-cache-ownership.txt | 17 + .../a0-10-sql-logging-enabled.txt | 18 + .../a0-11-sql-read-path-request.txt | 3 + .../a0-11-sql-refresh-request.txt | 3 + .../a0-12-sql-read-path-evidence.txt | 4 + .../a0-12-sql-read-write-path.txt | 14 + .../a0-13-sql-logging-restored.txt | 17 + .../a0-14-sql-pid-drilldown.txt | 49 + .../a0-14-sql-read-path-atomic.txt | 3 + .../a0-15-cleanup.txt | 39 + .../a0-15-sql-read-path-atomic-v2.txt | 48 + .../a1-00-baseline.txt | 66 ++ .../a1-01-control-before-block.txt | 4 + .../a1-02-install-conntrack.txt | 3 + .../a1-03-policy-applied.txt | 21 + .../a1-04-port-and-cluster-after-policy.txt | 12 + .../a1-05-established-conntrack.txt | 13 + .../a1-06-conntrack-delete-observation.txt | 23 + .../a1-07-forced-partition.txt | 49 + .../a1-08-partition-convergence.txt | 120 +++ .../a1-09-service-impact.txt | 12 + .../a1-10-session-under-partition.txt | 6 + .../a1-11-stale-session-after-logout.txt | 16 + .../a1-12-recovery.txt | 1 + .../a1-12a-policy-removed.txt | 3 + .../a1-12b-recovery-watch.txt | 71 ++ .../a1-13-final-cleanup.txt | 36 + .../a2-00-baseline.txt | 21 + .../a2-01-db-down-immediate-paths.txt | 15 + .../a2-02-new-login-db-down.txt | 2 + .../a2-03-readiness-service-db-down.txt | 17 + .../a2-04-final-outage-observations.txt | 69 ++ .../a2-05-postgres-restored.txt | 8 + .../a2-06-self-recovery.txt | 18 + .../a3-00-design-precheck.txt | 50 + .../a3-01-clean-baseline.txt | 29 + .../a3-02-load-smoke.txt | 3 + .../a3-03-raw-load-smoke.txt | 4 + .../a3-04-attempt1-baseline.txt | 6 + .../a3-05-attempt1-force-delete.txt | 8 + .../a3-06-attempt1-ready-and-startup.txt | 12 + .../a3-07-attempt1-concurrent-baseline.txt | 3 + ...a3-08-attempt1-concurrent-force-delete.txt | 5 + .../a3-09-attempt1-new-pod-ready.txt | 7 + .../setup/setup-reproduce-a2-database-loss.md | 109 +- ...setup-reproduce-a0-session-sharing-path.md | 258 ++--- ...up-reproduce-a1-jgroups-transport-block.md | 169 ++-- docs/virtualization/final/document.md | 944 ++++++++---------- .../01-inventory-before-teardown.txt | 120 +++ .../02-lab-state-before-node-rebuild.txt | 24 + .../03-worker-state-before-teardown.txt | 9 + .../04-worker-teardown.txt | 14 + .../05-setup00-host-prep-recheck.txt | 28 + .../07-worker-seed-build.txt | 4 + .../09-setup01-worker-verify.txt | 41 + .../10-k3s-server-verify.txt | 5 + .../100-cpu-pinning-baseline-host.txt | 274 +++++ .../100-cpu-pinning-before-after.txt | 197 ++++ .../100-memory-guest-latency-baseline.txt | 50 + .../100-memory-host-baseline-iostat.txt | 34 + .../100-memory-host-baseline-post.txt | 7 + .../100-memory-host-baseline-vmstat.txt | 10 + .../101-cpu-pinning-baseline-load.txt | 11 + ...101-cpu-pinning-before-after-corrected.txt | 225 +++++ .../101-memory-guest-latency-pressure.txt | 120 +++ .../101-memory-pressure-generator.txt | 18 + .../101-memory-pressure-iostat.txt | 74 ++ .../101-memory-pressure-post.txt | 7 + .../101-memory-pressure-pre.txt | 7 + .../101-memory-pressure-vmstat.txt | 20 + .../102-cpu-pinning-apply.txt | 15 + .../102-memory-guest-latency-recovery.txt | 50 + .../102-memory-recovery-iostat.txt | 34 + .../102-memory-recovery-post.txt | 11 + .../102-memory-recovery-vmstat.txt | 10 + .../103-cpu-pinning-pinned-host.txt | 263 +++++ .../103-cpu-pinning-pinned-load.txt | 11 + .../104-cpu-pinning-restore.txt | 15 + .../105-cpu-pinning-unpinned-repeat-load.txt | 11 + .../106-cpu-pinning-pinned-repeat-load.txt | 11 + .../107-cpu-pinning-final-affinity.txt | 1 + .../108-cpu-cgroup-throttling-probe.txt | 14 + .../109-cpu-host-contention-vs-cgroup.txt | 80 ++ .../11-kubeconfig-and-token.txt | 4 + .../110-cpu-host-contention-restore.txt | 5 + .../111-qcow2-wifi-transfer-edge.txt | 66 ++ .../111-virsh-save-5g.txt | 35 + .../112-edge-restart-dnat-reconcile.txt | 26 + .../112-virsh-save-4g.txt | 55 + ...113-network-vhost-baseline-direct-node.txt | 18 + ...4-network-qemu-backend-define-precheck.txt | 14 + .../115-network-vhost-before.txt | 8 + .../116-network-vhost-cpu-context.txt | 61 ++ .../117-network-vhost-load-10000.txt | 11 + .../118-network-vhost-after.txt | 5 + .../119-network-qemu-backend-boot.txt | 29 + .../12-k3s-agent-install.txt | 26 + .../120-network-qemu-driver-not-effective.txt | 22 + ...1-network-qemu-driver-restore-original.txt | 16 + ...22-libvirt-interface-driver-local-docs.txt | 300 ++++++ ...3-libvirt-interface-driver-doc-excerpt.txt | 123 +++ .../124-final-sanity-state.txt | 34 + .../124-tech-log-tree-validation.txt | 15 + .../125-host-default-kubeconfig-refresh.txt | 9 + .../13-agent-token-persist-and-cluster.txt | 14 + .../14-agent-powercycle-token-persistence.txt | 9 + .../15-setup03-current-state.txt | 53 + .../16-setup03-path-check.txt | 25 + .../17-public-path-diagnose.txt | 22 + .../18-setup04-current-state.txt | 49 + .../19-certbot-dryrun.txt | 17 + .../20-tls-direct-chain.txt | 15 + .../21-certbot-systemd-units.txt | 20 + .../22-setup05-precheck.txt | 27 + .../23-setup05-apply-rollout.txt | 12 + .../24-setup05-core-verification.txt | 50 + .../25-setup05-cluster-verification.txt | 23 + .../26-setup05-cluster-metrics.txt | 4 + .../27-setup06-apply.txt | 16 + .../28-setup06-pods-targets.txt | 10 + .../29-setup06-final-queries.txt | 50 + .../30-setup06-manifest-images.txt | 13 + .../31-setup06-grafana-portforward.txt | 7 + .../32-setup06-manifest-context.txt | 143 +++ .../33-setup07-baseline.txt | 31 + .../34-setup07-memory-config-probe.txt | 21 + .../35-setup07-scale-down.txt | 16 + .../36-setup07-vm-shutdown-start.txt | 28 + .../37-setup07-recovery-precheck.txt | 13 + .../37-setup07-recovery.txt | 0 .../38-setup07-recover-workloads.txt | 45 + .../39-setup07-postrecovery-cluster.txt | 7 + .../40-setup03-coredns-precheck.txt | 4 + .../41-setup03-coredns-state-after-block.txt | 9 + .../42-setup03-coredns-apply-verify.txt | 12 + .../43-setup03-https-traefik-precheck.txt | 21 + .../44-setup03-traefik-forwarded-apply.txt | 43 + .../45-setup03-traefik-rendered-verify.txt | 7 + .../46-setup03-traefik-args.txt | 17 + .../47-network-backend-host.txt | 103 ++ .../48-network-runtime-queues-kc1.txt | 17 + .../48-network-runtime-queues.txt | 1 + .../49-network-runtime-queues-kc2.txt | 17 + .../50-storage-backend-state.txt | 172 ++++ .../51-storage-qemu-cache-runtime.txt | 33 + .../52-cpu-topology-vcpu-state.txt | 123 +++ .../53-cpu-qemu-vcpu-threads.txt | 89 ++ .../54-cpu-vcpu-thread-migration-sample.txt | 15 + .../55-cpu-vcpu-thread-psr-sample.txt | 60 ++ .../56-memory-host-runtime-state.txt | 125 +++ .../57-memory-kc1.txt | 14 + .../58-memory-kc2.txt | 14 + .../59-memory-swap-activity.txt | 24 + .../60-storage-volume-allocation.txt | 42 + .../61-storage-image-size-force-share.txt | 89 ++ .../62-memory-balloon-target-roundtrip.txt | 115 +++ .../63-cpu-two-vm-baseline.txt | 55 + .../64-cpu-two-vm-load.txt | 100 ++ .../65-cpu-edge-idle-vs-load.txt | 143 +++ ...6-dnat-reconcile-before-packet-capture.txt | 1 + .../67-network-packet-path-capture.txt | 14 + .../68-host-tcpdump-install.txt | 20 + .../69-network-packet-path-capture.txt | 244 +++++ .../70-network-packet-path-request.txt | 1 + ...71-network-packet-path-capture-focused.txt | 130 +++ ...72-network-packet-path-focused-request.txt | 1 + .../74-tailscale-postrouting-nat.txt | 11 + .../74-tailscale-source-rewrite-rules.txt | 1 + .../75-network-worker-host-capture.txt | 152 +++ .../76-network-kc1-guest-capture.txt | 42 + .../77-network-kc2-guest-capture.txt | 42 + .../78-network-worker-capture-requests.txt | 6 + .../79-network-offload-state.txt | 4 + ...-memory-guest-page-fault-demand-paging.txt | 16 + .../81-host-sysstat-install.txt | 31 + ...-memory-guest-page-fault-demand-paging.txt | 23 + ...-memory-guest-page-fault-demand-paging.txt | 29 + .../82-pagefault-python.txt | 7 + .../82-pagefault-vmstat.txt | 12 + .../82-storage-host-iostat-baseline.txt | 34 + .../83-host-iostat-during-kc2-fsync.txt | 34 + .../83-kc2-fsync-bench.txt | 7 + .../83-storage-fsync-vs-host-iostat.txt | 43 + .../83-storage-guest-fsync-vs-host-iostat.txt | 55 + .../84-host-iostat-kc2-fsync-baseline.txt | 26 + .../84-kc2-fsync-baseline.txt | 7 + .../84-storage-cross-vm-contention.txt | 137 +++ .../84-storage-kc2-fsync-baseline.txt | 35 + .../85-clock-skew-host-guests.txt | 11 + .../85-host-iostat-kc1-load.txt | 42 + .../85-kc1-storage-load.txt | 3 + .../85-kc2-fsync-under-kc1-load.txt | 7 + .../85-storage-cross-vm-contention.txt | 55 + .../86-storage-vm2-fsync-isolated-repeats.txt | 76 ++ .../87-host-perf-install.txt | 32 + .../88-cpu-perf-kvm-edge-idle.txt | 28 + .../89-cpu-perf-kvm-edge-cpu-bound.txt | 26 + .../90-cpu-perf-kvm-edge-io-heavy.txt | 33 + ...-cpu-perf-kvm-keycloak-normal-requests.txt | 42 + .../92-cpu-perf-kvm-keycloak-load.txt | 53 + .../93-cpu-perf-kvm-kc1-baseline.txt | 32 + .../94-cpu-perf-kvm-kc1-cpu-bound.txt | 26 + .../95-cpu-perf-kvm-kc1-io-heavy.txt | 34 + .../96-network-host-cpu-baseline.txt | 271 +++++ .../97-network-host-cpu-under-load.txt | 418 ++++++++ .../98-network-external-load-probes.txt | 41 + ...99-network-softirq-cpu-time-under-load.txt | 23 + .../README.txt | 66 ++ .../direct-node-load.py | 55 + .../fsync-bench.py | 35 + .../host-memory-pressure.py | 45 + .../oidc-load.py | 55 + .../pagefault-workload.py | 35 + .../storage-load.py | 31 + ...-empty-token-installed-the-agent-anyway.md | 56 +- ...init-failures-all-look-like-ssh-refused.md | 68 +- ...-while-the-old-certificate-kept-serving.md | 51 +- ...uestion-does-the-guide-rebuild-this-lab.md | 85 +- ...reference-check-the-nearest-layer-first.md | 29 +- ...ce-tool-output-is-not-the-subject-state.md | 35 +- .../concept-kvm-vcpu-to-physical-cpu.md | 30 +- ...exit-distribution-for-keycloak-workload.md | 68 +- .../question/question-host-numa-topology.md | 68 +- .../question-idle-vcpu-thread-appearance.md | 93 +- .../question-is-production-on-a-hypervisor.md | 68 +- .../question-pinning-before-and-after.md | 66 +- ...l-time-increase-under-two-cpu-bound-vms.md | 81 +- .../question-throttling-vs-contention.md | 70 +- .../question-throughput-vs-vcpu-count.md | 56 +- ...stion-vcpu-contention-under-two-vm-load.md | 84 +- ...n-vcpu-thread-migration-without-pinning.md | 73 +- ...ization-layer-saturation-during-refresh.md | 88 +- ...estion-vm-exit-distribution-by-workload.md | 99 +- ...o-l7-hops-and-the-entry-point-recursion.md | 26 +- ...se-a-third-hop-pollutes-the-measurement.md | 18 +- ...-at-the-trust-boundary-do-not-extend-it.md | 42 +- ...ory-and-disk-are-ceilings-not-occupancy.md | 89 +- ...-accept-did-not-stop-the-libvirt-reject.md | 40 +- ...ed-disk-and-cloud-init-fills-the-blanks.md | 20 +- ...file-the-mapping-table-and-its-clusters.md | 16 - .../concept-what-a-qcow2-file-carries.md | 30 +- ...e-the-lab-is-not-on-the-public-internet.md | 20 +- ...cision-edge-nginx-moved-into-a-guest-vm.md | 32 +- ...guest-addresses-with-a-dhcp-reservation.md | 14 +- .../decision-no-docker-on-the-lab-host.md | 12 +- ...s-instead-of-installing-k3s-on-the-host.md | 20 +- ...t-input-hole-under-the-iptables-backend.md | 52 +- ...ing-certificates-with-http-01-or-dns-01.md | 49 +- .../question-qcow2-transfer-time-over-wifi.md | 73 +- ...stion-virsh-save-ram-dump-size-and-time.md | 76 +- ...-not-mean-the-same-thing-on-two-distros.md | 27 +- ...verify-a-build-guide-in-execution-order.md | 36 +- ...tup-create-three-guests-with-cloud-init.md | 158 ++- .../setup/setup-edge-nginx-and-host-dnat.md | 219 ++-- .../setup-install-k3s-server-and-agent.md | 152 ++- ...-keycloak-two-nodes-and-postgres-on-k3s.md | 161 ++- ...cle-the-lab-and-reallocate-guest-memory.md | 92 +- ...prepare-the-lab-host-for-virtualization.md | 204 ++-- ...etup-prometheus-and-grafana-for-the-lab.md | 130 ++- ...ear-down-the-lab-and-know-what-survives.md | 157 ++- ...rtificate-with-dns-01-and-a-deploy-hook.md | 184 ++-- ...oncept-guest-memory-address-translation.md | 32 +- .../concept/concept-huge-pages-in-a-vm.md | 24 +- ...oncept-memory-pressure-reclaim-swap-oom.md | 49 +- ...ncept-numa-locality-for-vcpu-and-memory.md | 42 +- .../concept-page-fault-layers-in-a-vm.md | 34 +- .../concept-virtio-balloon-memory-reclaim.md | 47 +- ...alloon-target-vs-guest-available-memory.md | 60 +- .../question-guest-page-fault-vs-workload.md | 57 +- ...ion-host-major-fault-vs-storage-latency.md | 62 +- ...n-host-memory-pressure-vs-guest-latency.md | 89 +- .../question/question-host-thp-policy.md | 76 +- ...-numa-remote-access-vs-workload-latency.md | 51 +- .../question-qemu-memory-numa-placement.md | 57 +- ...stion-qemu-resident-memory-distribution.md | 66 +- ...uestion-swap-activity-in-guest-and-host.md | 75 +- .../question-virtio-balloon-configured.md | 83 +- ...uestion-vm-configured-vs-current-memory.md | 74 +- .../question-vm-ram-backed-by-hugetlb.md | 75 +- ...e-memory-symptom-needs-layer-separation.md | 59 +- ...conditions-with-every-memory-experiment.md | 55 +- ...ncept-guest-packet-path-to-physical-nic.md | 34 +- ...on-actual-packet-path-nginx-to-keycloak.md | 127 ++- .../question-is-vhost-net-actually-in-use.md | 86 +- ...work-virtualization-cpu-cost-under-load.md | 112 +-- ...-qemu-backend-vs-vhost-net-on-this-host.md | 83 +- .../question-tap-interface-to-vm-mapping.md | 92 +- ...question-virtio-net-multi-queue-enabled.md | 92 +- ...on-vm-network-mode-bridge-nat-or-routed.md | 94 +- ...ect-the-packet-path-with-capture-points.md | 41 +- ...ork-path-before-blaming-the-application.md | 43 +- ...oncept-guest-block-io-path-to-virtqueue.md | 36 +- .../concept-host-block-stack-under-the-vm.md | 36 +- .../concept-qemu-block-backend-forms.md | 46 +- ...cept-write-completion-is-not-durability.md | 30 +- ...disk-image-format-and-actual-host-usage.md | 60 +- ...t-fsync-latency-vs-host-storage-latency.md | 100 +- ...-host-block-device-under-the-disk-image.md | 73 +- .../question/question-host-io-scheduler.md | 63 +- .../question/question-qemu-disk-cache-mode.md | 75 +- .../question-vm-disk-backend-mapping.md | 82 +- ...uestion-vm1-storage-load-vs-vm2-latency.md | 92 +- ...moved-durability-is-not-an-optimization.md | 25 +- ...ce-confirm-the-disk-backend-on-the-host.md | 37 +- ...-storage-before-blaming-cpu-for-latency.md | 32 +- .../tech-log-studio/tech-log-tree.json | 280 ++++-- ...-21-virtualization-human-quality-review.md | 408 ++++++++ scripts/check-required-content.py | 13 +- .../tests/test_pipeline_run_supersession.py | 99 ++ scripts/verify-pipeline-run.py | 12 +- scripts/verify-pipeline.py | 54 +- 321 files changed, 13091 insertions(+), 4522 deletions(-) create mode 100644 .tmp-coredns-custom-20260921.yaml create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-00-baseline.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-01-precondition-diagnosis.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-03-vendor-cluster-size.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-04-cache-before-reset.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-05-reset-and-restart.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-07-cross-node-session.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-10-sql-logging-enabled.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-read-path-request.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-path-evidence.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-13-sql-logging-restored.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-read-path-atomic.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-cleanup.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-sql-read-path-atomic-v2.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-00-baseline.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-01-control-before-block.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-02-install-conntrack.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-03-policy-applied.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-04-port-and-cluster-after-policy.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-05-established-conntrack.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-06-conntrack-delete-observation.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-07-forced-partition.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-08-partition-convergence.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-09-service-impact.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-10-session-under-partition.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-11-stale-session-after-logout.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12-recovery.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12a-policy-removed.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12b-recovery-watch.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-13-final-cleanup.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-00-baseline.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-01-db-down-immediate-paths.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-02-new-login-db-down.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-03-readiness-service-db-down.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-04-final-outage-observations.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-05-postgres-restored.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-06-self-recovery.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-00-design-precheck.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-01-clean-baseline.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-02-load-smoke.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-03-raw-load-smoke.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-04-attempt1-baseline.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-05-attempt1-force-delete.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-06-attempt1-ready-and-startup.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-07-attempt1-concurrent-baseline.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-08-attempt1-concurrent-force-delete.txt create mode 100644 docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-09-attempt1-new-pod-ready.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/01-inventory-before-teardown.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/02-lab-state-before-node-rebuild.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/03-worker-state-before-teardown.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/04-worker-teardown.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/05-setup00-host-prep-recheck.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/07-worker-seed-build.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/09-setup01-worker-verify.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/10-k3s-server-verify.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-before-after.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-guest-latency-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-iostat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-post.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-vmstat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-before-after-corrected.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-guest-latency-pressure.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-generator.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-post.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-pre.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-guest-latency-recovery.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-iostat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-vmstat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/107-cpu-pinning-final-affinity.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/11-kubeconfig-and-token.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-qcow2-wifi-transfer-edge.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-virsh-save-5g.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-edge-restart-dnat-reconcile.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-virsh-save-4g.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/115-network-vhost-before.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/116-network-vhost-cpu-context.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/117-network-vhost-load-10000.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/118-network-vhost-after.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/12-k3s-agent-install.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/122-libvirt-interface-driver-local-docs.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-final-sanity-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-tech-log-tree-validation.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/125-host-default-kubeconfig-refresh.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/13-agent-token-persist-and-cluster.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/14-agent-powercycle-token-persistence.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/15-setup03-current-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/16-setup03-path-check.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/17-public-path-diagnose.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/18-setup04-current-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/19-certbot-dryrun.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/20-tls-direct-chain.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/21-certbot-systemd-units.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/22-setup05-precheck.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/23-setup05-apply-rollout.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/24-setup05-core-verification.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/25-setup05-cluster-verification.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/26-setup05-cluster-metrics.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/27-setup06-apply.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/28-setup06-pods-targets.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/29-setup06-final-queries.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/30-setup06-manifest-images.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/31-setup06-grafana-portforward.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/32-setup06-manifest-context.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/33-setup07-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/34-setup07-memory-config-probe.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/35-setup07-scale-down.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/36-setup07-vm-shutdown-start.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery-precheck.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/38-setup07-recover-workloads.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/39-setup07-postrecovery-cluster.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/40-setup03-coredns-precheck.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/41-setup03-coredns-state-after-block.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/42-setup03-coredns-apply-verify.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/43-setup03-https-traefik-precheck.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/44-setup03-traefik-forwarded-apply.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/45-setup03-traefik-rendered-verify.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/46-setup03-traefik-args.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/54-cpu-vcpu-thread-migration-sample.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/59-memory-swap-activity.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/60-storage-volume-allocation.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/62-memory-balloon-target-roundtrip.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/67-network-packet-path-capture.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/68-host-tcpdump-install.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/69-network-packet-path-capture.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/70-network-packet-path-request.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-source-rewrite-rules.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/80-memory-guest-page-fault-demand-paging.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-host-sysstat-install.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-memory-guest-page-fault-demand-paging.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-memory-guest-page-fault-demand-paging.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-python.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-vmstat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-host-iostat-during-kc2-fsync.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-kc2-fsync-bench.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-fsync-vs-host-iostat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-host-iostat-kc2-fsync-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-kc2-fsync-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-kc2-fsync-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-host-iostat-kc1-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc1-storage-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc2-fsync-under-kc1-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-storage-cross-vm-contention.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/88-cpu-perf-kvm-edge-idle.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/89-cpu-perf-kvm-edge-cpu-bound.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/90-cpu-perf-kvm-edge-io-heavy.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/README.txt create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/direct-node-load.py create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/fsync-bench.py create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/host-memory-pressure.py create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/oidc-load.py create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/pagefault-workload.py create mode 100644 docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/storage-load.py create mode 100644 reviews/2026-09-21-virtualization-human-quality-review.md create mode 100644 scripts/tests/test_pipeline_run_supersession.py diff --git a/.tmp-coredns-custom-20260921.yaml b/.tmp-coredns-custom-20260921.yaml new file mode 100644 index 0000000..a9f9f15 --- /dev/null +++ b/.tmp-coredns-custom-20260921.yaml @@ -0,0 +1,16 @@ +apiVersion: v1 +kind: ConfigMap +metadata: + name: coredns-custom + namespace: kube-system +data: + hyeonworks.server: | + hyeonworks.com:53 { + hosts { + 192.168.122.10 auth.hyeonworks.com + 192.168.122.10 app1.hyeonworks.com + 192.168.122.10 app2.hyeonworks.com + fallthrough + } + forward . /etc/resolv.conf + } diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-00-baseline.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-00-baseline.txt new file mode 100644 index 0000000..c875213 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-00-baseline.txt @@ -0,0 +1,26 @@ +=== A0 baseline === +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 20h v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 20h v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 + +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 1 (17h ago) 20h 10.42.1.19 kc-lab-2 +keycloak-1 1/1 Running 0 20h 10.42.0.21 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (17h ago) 20h 10.42.1.21 kc-lab-2 + + +2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)] +2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)] + + name | ip | coord +------------------+-----------------+------- + keycloak-0-6462 | 10.42.1.19:7800 | f + keycloak-1-14503 | 10.42.0.21:7800 | t +(2 rows) + + + offline_flag | count +--------------+------- +(0 rows) + + diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-01-precondition-diagnosis.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-01-precondition-diagnosis.txt new file mode 100644 index 0000000..9288ebb --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-01-precondition-diagnosis.txt @@ -0,0 +1,240 @@ +=== A0 precondition diagnosis === +STATEFULSET + containers: + - args: + - start + env: + - name: KC_DB + value: postgres + - name: KC_DB_URL + value: jdbc:postgresql://postgres:5432/keycloak + - name: KC_DB_USERNAME + value: keycloak + - name: KC_DB_PASSWORD + valueFrom: + secretKeyRef: + key: POSTGRES_PASSWORD + name: keycloak-lab-secrets + - name: KC_HOSTNAME + value: https://auth.hyeonworks.com + - name: KC_HOSTNAME_STRICT + value: "true" + - name: KC_PROXY_HEADERS + value: xforwarded + - name: KC_HTTP_ENABLED + value: "true" + - name: KC_HEALTH_ENABLED + value: "true" + - name: KC_METRICS_ENABLED + value: "true" + - name: JAVA_OPTS_KC_HEAP + value: -Xms256m -Xmx512m + - name: KC_BOOTSTRAP_ADMIN_USERNAME + value: admin + - name: KC_BOOTSTRAP_ADMIN_PASSWORD + valueFrom: + secretKeyRef: + key: KC_BOOTSTRAP_ADMIN_PASSWORD + name: keycloak-lab-secrets + image: quay.io/keycloak/keycloak:26.7.0 + imagePullPolicy: IfNotPresent + livenessProbe: + failureThreshold: 3 + httpGet: + path: /health/live + port: management + scheme: HTTP + periodSeconds: 30 + successThreshold: 1 + timeoutSeconds: 1 + name: keycloak + ports: + - containerPort: 8080 + name: http + protocol: TCP + - containerPort: 9000 + name: management + protocol: TCP + - containerPort: 7800 + name: jgroups + protocol: TCP + readinessProbe: + failureThreshold: 3 + httpGet: + path: /health/ready + port: management + scheme: HTTP + periodSeconds: 10 + successThreshold: 1 + timeoutSeconds: 1 + resources: + limits: + memory: 900Mi + requests: + cpu: 100m + memory: 640Mi + startupProbe: + failureThreshold: 60 + httpGet: + path: /health/started + port: management + scheme: HTTP + periodSeconds: 10 + successThreshold: 1 + timeoutSeconds: 1 + terminationMessagePath: /dev/termination-log + terminationMessagePolicy: File + dnsPolicy: ClusterFirst + restartPolicy: Always + schedulerName: default-scheduler + securityContext: {} + terminationGracePeriodSeconds: 30 + topologySpreadConstraints: + - labelSelector: + matchLabels: + app: keycloak + maxSkew: 1 + topologyKey: kubernetes.io/hostname + whenUnsatisfiable: ScheduleAnyway + updateStrategy: + rollingUpdate: + partition: 0 + type: RollingUpdate +status: + availableReplicas: 2 + collisionCount: 0 + currentReplicas: 2 + currentRevision: keycloak-658b7db769 + observedGeneration: 3 + readyReplicas: 2 + replicas: 2 + updateRevision: keycloak-658b7db769 + updatedReplicas: 2 +POLICIES +apiVersion: v1 +items: [] +kind: List +metadata: + resourceVersion: "" +VIEWS0 +2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)] +VIEWS1 +2026-09-21 08:24:38,739 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-62696(v=16.0.12)|1] (2) [keycloak-0-62696(v=16.0.12), keycloak-1-14503(v=16.0.12)] +2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)] +JGROUPS_ERRORS0 +2026-09-21 10:25:57,589 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled +2026-09-21 10:26:00,298 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller' +2026-09-21 10:26:00,372 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping` +2026-09-21 10:26:00,384 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800 +2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)] +2026-09-21 10:26:00,490 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-6462`, physical addresses are `[10.42.1.19:7800]` +2026-09-21 10:26:00,781 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-6462, Site name: null, Cluster name: ISPN +2026-09-21 10:24:44,583 ERROR [org.jgroups.protocols.TCP] (Connection.Receiver [10.42.1.19:7800 - 10.42.0.21:40127]-6,keycloak-0-6462(v=16.0.12)) 10.42.1.19:7800: failed sending graceful close to 10.42.0.21:7800: Broken pipe +2026-09-21 10:25:32,641 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)] +2026-09-21 10:25:32,647 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN100000: Node keycloak-1-14503 joined the cluster +2026-09-21 10:25:32,648 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN100000: Node keycloak-1-14503 joined the cluster +2026-09-21 10:25:32,703 INFO [org.infinispan.LIFECYCLE] (jgroups-8,keycloak-0-6462(v=16.0.12)) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,706 INFO [org.infinispan.LIFECYCLE] (jgroups-9,keycloak-0-6462(v=16.0.12)) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,721 INFO [org.infinispan.LIFECYCLE] (jgroups-5,keycloak-0-6462(v=16.0.12)) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,725 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,733 INFO [org.infinispan.LIFECYCLE] (jgroups-9,keycloak-0-6462(v=16.0.12)) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,734 INFO [org.infinispan.LIFECYCLE] (jgroups-14,keycloak-0-6462(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,738 INFO [org.infinispan.LIFECYCLE] (jgroups-8,keycloak-0-6462(v=16.0.12)) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,739 INFO [org.infinispan.LIFECYCLE] (jgroups-10,keycloak-0-6462(v=16.0.12)) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,739 INFO [org.infinispan.LIFECYCLE] (jgroups-11,keycloak-0-6462(v=16.0.12)) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,743 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,745 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,752 INFO [org.infinispan.LIFECYCLE] (jgroups-15,keycloak-0-6462(v=16.0.12)) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,758 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,758 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,759 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,760 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,762 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-org.infinispan.CONFIG' started at 2026-09-21T10:25:32.745199318Z and done 2026-09-21T10:25:32.762466908Z +2026-09-21 10:25:32,766 INFO [org.infinispan.LIFECYCLE] (jgroups-15,keycloak-0-6462(v=16.0.12)) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,767 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,773 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-actionTokens' started at 2026-09-21T10:25:32.760572704Z and done 2026-09-21T10:25:32.773977930Z +2026-09-21 10:25:32,777 INFO [org.infinispan.LIFECYCLE] (jgroups-11,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-authenticationSessions' started at 2026-09-21T10:25:32.763178673Z and done 2026-09-21T10:25:32.777952836Z +2026-09-21 10:25:32,778 INFO [org.infinispan.LIFECYCLE] (jgroups-14,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-work' started at 2026-09-21T10:25:32.743029355Z and done 2026-09-21T10:25:32.778710830Z +2026-09-21 10:25:32,794 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-loginFailures' started at 2026-09-21T10:25:32.767420590Z and done 2026-09-21T10:25:32.794206177Z +2026-09-21 10:25:54,422 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:54,420"}}]} +JGROUPS_ERRORS1 +2026-09-21 10:25:32,692 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,693 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,695 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,695 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,696 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,696 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,696 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,697 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,697 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,699 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,700 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,700 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,699 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=ReplicatedConsistentHash{ns = 256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,700 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,701 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,703 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,703 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,703 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=ReplicatedConsistentHash{ns = 256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,705 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,704 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,706 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,707 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,707 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,708 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,708 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,708 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,708 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,709 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,709 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,709 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,710 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,711 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,711 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,712 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,713 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,713 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,714 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,714 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,715 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,716 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,716 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,717 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,718 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]} +2026-09-21 10:25:32,718 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8 +2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,721 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9 +2026-09-21 10:25:32,722 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,722 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10 +2026-09-21 10:25:32,730 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10 +2026-09-21 10:25:32,757 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,759 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,759 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,760 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,761 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,762 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,764 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,767 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,767 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,768 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,772 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,774 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,776 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,777 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,777 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,779 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,779 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,780 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,786 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,788 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,789 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,790 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,793 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11 +2026-09-21 10:25:32,794 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,795 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:32,797 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12 +2026-09-21 10:25:32,799 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13 +2026-09-21 10:25:47,998 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:47,996"}}]} +2026-09-21 10:25:57,996 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:47,996"}}]} diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt new file mode 100644 index 0000000..1ad5273 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt @@ -0,0 +1,133 @@ +=== A0 current cluster truth === +READY0 +{ + "status": "UP", + "checks": [ + { + "name": "Graceful Shutdown", + "status": "UP" + }, + { + "name": "Keycloak Initialized", + "status": "UP" + }, + { + "name": "Keycloak database connections async health check", + "status": "UP" + }, + { + "name": "Keycloak cluster health check", + "status": "UP" + } + ] +} +READY1 +{ + "status": "UP", + "checks": [ + { + "name": "Graceful Shutdown", + "status": "UP" + }, + { + "name": "Keycloak Initialized", + "status": "UP" + }, + { + "name": "Keycloak database connections async health check", + "status": "UP" + }, + { + "name": "Keycloak cluster health check", + "status": "UP" + } + ] +} +CLUSTER_EVENTS0 +2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)] +2026-09-21 10:25:32,641 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)] +CLUSTER_EVENTS1 +2026-09-21 08:24:38,739 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-62696(v=16.0.12)|1] (2) [keycloak-0-62696(v=16.0.12), keycloak-1-14503(v=16.0.12)] +2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)] +2026-09-21 10:25:32,640 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)] +PROM_NAMES +"kube_apiserver_clusterip_allocator_allocated_ips" +"kube_apiserver_clusterip_allocator_allocation_duration_seconds_bucket" +"kube_apiserver_clusterip_allocator_allocation_duration_seconds_count" +"kube_apiserver_clusterip_allocator_allocation_duration_seconds_sum" +"kube_apiserver_clusterip_allocator_allocation_total" +"kube_apiserver_clusterip_allocator_available_ips" +"vendor_cluster_size" +"vendor_jgroups_fd_sock2_get_actual_bind_port" +"vendor_jgroups_fd_sock2_get_num_suspected_members" +"vendor_jgroups_frag4_get_number_of_received_fragments" +"vendor_jgroups_frag4_get_number_of_sent_fragments" +"vendor_jgroups_gms_get_view_handler_size" +"vendor_jgroups_merge3_get_num_merge_events" +"vendor_jgroups_merge3_get_views" +"vendor_jgroups_mfc_get_average_time_blocked" +"vendor_jgroups_mfc_get_number_of_blockings" +"vendor_jgroups_mfc_get_number_of_credit_requests_received" +"vendor_jgroups_mfc_get_number_of_credit_requests_sent" +"vendor_jgroups_mfc_get_number_of_credit_responses_received" +"vendor_jgroups_mfc_get_number_of_credit_responses_sent" +"vendor_jgroups_nakack2_get_become_server_queue_size_actual" +"vendor_jgroups_nakack2_get_current_seqno" +"vendor_jgroups_nakack2_get_non_member_messages" +"vendor_jgroups_nakack2_get_num_messages_received" +"vendor_jgroups_nakack2_get_num_messages_sent" +"vendor_jgroups_nakack2_get_size_of_all_messages" +"vendor_jgroups_nakack2_get_size_of_all_messages_incl_headers" +"vendor_jgroups_nakack2_get_xmit_table_capacity" +"vendor_jgroups_nakack2_get_xmit_table_missing_messages" +"vendor_jgroups_nakack2_get_xmit_table_num_compactions" +"vendor_jgroups_nakack2_get_xmit_table_num_current_rows" +"vendor_jgroups_nakack2_get_xmit_table_num_moves" +"vendor_jgroups_nakack2_get_xmit_table_num_purges" +"vendor_jgroups_nakack2_get_xmit_table_num_resizes" +"vendor_jgroups_nakack2_get_xmit_table_undelivered_msgs" +"vendor_jgroups_red_get_drop_rate" +"vendor_jgroups_red_get_dropped_messages" +"vendor_jgroups_red_get_total_messages" +"vendor_jgroups_stable_get_num_votes" +"vendor_jgroups_stable_get_stability_received" +"vendor_jgroups_stable_get_stability_sent" +"vendor_jgroups_stable_get_stable_received" +"vendor_jgroups_stable_get_stable_sent" +"vendor_jgroups_stats_async_requests_total" +"vendor_jgroups_stats_bytes_sent_total" +"vendor_jgroups_stats_sync_requests_seconds_count" +"vendor_jgroups_stats_sync_requests_seconds_sum" +"vendor_jgroups_stats_timed_out_requests_total" +"vendor_jgroups_tcp_get_different_cluster_messages" +"vendor_jgroups_tcp_get_different_version_messages" +"vendor_jgroups_tcp_get_largest_size" +"vendor_jgroups_tcp_get_num_batches_received" +"vendor_jgroups_tcp_get_num_batches_sent" +"vendor_jgroups_tcp_get_num_bytes_received" +"vendor_jgroups_tcp_get_num_bytes_sent" +"vendor_jgroups_tcp_get_num_mcast_bytes_received" +"vendor_jgroups_tcp_get_num_mcast_bytes_sent" +"vendor_jgroups_tcp_get_num_mcast_msgs_received" +"vendor_jgroups_tcp_get_num_mcast_msgs_sent" +"vendor_jgroups_tcp_get_num_mcasts_received" +"vendor_jgroups_tcp_get_num_mcasts_sent" +"vendor_jgroups_tcp_get_num_msgs_received" +"vendor_jgroups_tcp_get_num_msgs_sent" +"vendor_jgroups_tcp_get_num_rejected_msgs" +"vendor_jgroups_tcp_get_num_single_msgs_sent" +"vendor_jgroups_tcp_get_num_timer_tasks" +"vendor_jgroups_tcp_get_num_ucast_bytes_received" +"vendor_jgroups_tcp_get_num_ucast_bytes_sent" +"vendor_jgroups_tcp_get_num_ucast_msgs_received" +"vendor_jgroups_tcp_get_num_ucast_msgs_sent" +"vendor_jgroups_tcp_get_num_ucasts_received" +"vendor_jgroups_tcp_get_num_ucasts_sent" +"vendor_jgroups_tcp_get_open_connections" +"vendor_jgroups_tcp_get_thread_pool_size" +"vendor_jgroups_tcp_get_thread_pool_size_active" +"vendor_jgroups_tcp_get_timer_threads" +"vendor_jgroups_ufc_get_average_time_blocked" +"vendor_jgroups_ufc_get_number_of_blockings" +"vendor_jgroups_ufc_get_number_of_credit_requests_received" +"vendor_jgroups_ufc_get_number_of_credit_requests_sent" diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-03-vendor-cluster-size.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-03-vendor-cluster-size.txt new file mode 100644 index 0000000..8d46081 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-03-vendor-cluster-size.txt @@ -0,0 +1,2 @@ +=== vendor_cluster_size === +{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-1-14503","instance":"10.42.0.21:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1790051098.284,"2"]},{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-0-6462","instance":"10.42.1.19:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1790051098.284,"2"]}]}} \ No newline at end of file diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-04-cache-before-reset.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-04-cache-before-reset.txt new file mode 100644 index 0000000..7ddf8e0 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-04-cache-before-reset.txt @@ -0,0 +1,7 @@ +=== A0 cache baseline before reset === +[keycloak-0] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-6462"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-6462"} 0.0 +[keycloak-1] +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-14503"} 0.0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-14503"} 0.0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-05-reset-and-restart.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-05-reset-and-restart.txt new file mode 100644 index 0000000..6e2963f --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-05-reset-and-restart.txt @@ -0,0 +1,26 @@ +=== A0 reset injection === +[1] delete session rows +DELETE 0 +[2] restart +2026-09-22 13:28:32 KST +statefulset.apps/keycloak restarted +[3] wait +Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +partitioned roll out complete: 2 new pods have been updated... +[4] pods +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 30s 10.42.1.22 kc-lab-2 +keycloak-1 1/1 Running 0 64s 10.42.0.23 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 +[5] db sessions + offline_flag | count +--------------+------- +(0 rows) + diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt new file mode 100644 index 0000000..8d97de8 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt @@ -0,0 +1,18 @@ +=== A0 reset verification === +[keycloak-0 cluster] +vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-19436"} 2.0 +[keycloak-0 caches] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 0.0 +[keycloak-1 cluster] +vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-60369"} 2.0 +[keycloak-1 caches] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0 +[JGROUPS_PING] + name | ip | coord +------------------+-----------------+------- + keycloak-0-19436 | 10.42.1.22:7800 | f + keycloak-1-60369 | 10.42.0.23:7800 | t +(2 rows) + diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-07-cross-node-session.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-07-cross-node-session.txt new file mode 100644 index 0000000..5ad0577 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-07-cross-node-session.txt @@ -0,0 +1,6 @@ +=== A0 cross-node session without exporting credentials === +initial access_len=758 refresh_len=612 sid_present=yes +SID=CnH31RQMG-p4h3_DMTAb9XPT +refresh_on_opposite=200 sid_same=yes new_refresh_present=yes +logout_on_opposite=204 +refresh_after_logout_on_original=400 error=invalid_grant diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt new file mode 100644 index 0000000..6631e44 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt @@ -0,0 +1,19 @@ +=== A0 cache delta === +[before] +keycloak-0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 1.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 1.0 +keycloak-1 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0 +[one login on keycloak-0 via kcadm] +login=ok +[after] +keycloak-0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 2.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 2.0 +keycloak-1 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0 +[db] +0|2 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt new file mode 100644 index 0000000..1c03cb8 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt @@ -0,0 +1,17 @@ +=== A0 cache ownership === +[start] +keycloak-0 2.0 +keycloak-1 0.0 +db=2 +[5 logins on keycloak-1] +..... +[after_k1_5] +keycloak-0 2.0 +keycloak-1 5.0 +db=7 +[5 logins on keycloak-0] +..... +[after_k0_5] +keycloak-0 7.0 +keycloak-1 5.0 +db=12 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-10-sql-logging-enabled.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-10-sql-logging-enabled.txt new file mode 100644 index 0000000..0503818 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-10-sql-logging-enabled.txt @@ -0,0 +1,18 @@ +=== A0 enable SQL statement logging === +ALTER SYSTEM +ALTER SYSTEM + pg_reload_conf +---------------- + t +(1 row) + + log_statement +--------------- + all +(1 row) + + log_line_prefix +----------------- + %m [%p] %h +(1 row) + diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-read-path-request.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-read-path-request.txt new file mode 100644 index 0000000..84d6a10 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-read-path-request.txt @@ -0,0 +1,3 @@ +=== A0 SQL read path request === +SID=Ef60AqLPvErV75Rz5PRRFZsw +REFRESH_ON_K1=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt new file mode 100644 index 0000000..c5a8455 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt @@ -0,0 +1,3 @@ +=== A0 one login + opposite refresh for SQL capture === +SID=0jdhDrcu6VUaGIFCjWzNXDs2 +refresh_on_keycloak_1=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-path-evidence.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-path-evidence.txt new file mode 100644 index 0000000..f14aff9 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-path-evidence.txt @@ -0,0 +1,4 @@ +=== A0 SQL read path evidence === +K1=10.42.0.28 SID=Ef60AqLPvErV75Rz5PRRFZsw +[K1 statements] +[SID details] diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt new file mode 100644 index 0000000..bec50ac --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt @@ -0,0 +1,14 @@ +=== A0 SQL evidence for opposite-node refresh === +K0=10.42.1.22 K1=10.42.0.23 SID=0jdhDrcu6VUaGIFCjWzNXDs2 +[K1 statements] +2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: statement: BEGIN +2026-09-22 04:33:54.159 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT +2026-09-22 04:33:54.170 UTC [99043] 10.42.0.23 LOG: statement: BEGIN +2026-09-22 04:33:54.172 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT +[SID details] +2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = NULL, $2 = '1790051633', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790051633,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790051633}"},"state":"LOGGED_IN"}', $4 = '1790051633', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790051633","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790051633","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790051633', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = '0jdhDrcu6VUaGIFCjWzNXDs2' diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-13-sql-logging-restored.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-13-sql-logging-restored.txt new file mode 100644 index 0000000..d1ac00c --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-13-sql-logging-restored.txt @@ -0,0 +1,17 @@ +ALTER SYSTEM +ALTER SYSTEM + pg_reload_conf +---------------- + t +(1 row) + + log_statement +--------------- + none +(1 row) + + log_line_prefix +----------------- + %m [%p] +(1 row) + diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt new file mode 100644 index 0000000..296ff91 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt @@ -0,0 +1,49 @@ +=== A0 SQL PID drill-down === +[K1 pid 99043] +2026-09-22 04:33:36.552 UTC [99043] 10.42.0.23 LOG: statement: +2026-09-22 04:33:46.552 UTC [99043] 10.42.0.23 LOG: statement: +2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: statement: BEGIN +2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: execute S_36: DELETE from JGROUPS_PING WHERE address=$1 +2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000006' +2026-09-22 04:33:54.158 UTC [99043] 10.42.0.23 LOG: execute S_37: INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values ($1, $2, $3, $4, $5, $6, $7) +2026-09-22 04:33:54.158 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000006', $2 = 'keycloak-1-60369', $3 = 'ISPN', $4 = '10.42.0.23:7800', $5 = 't', $6 = '1790051634', $7 = 'uuid://00000000-0000-0000-0000-000000000006' +2026-09-22 04:33:54.159 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT +2026-09-22 04:33:54.170 UTC [99043] 10.42.0.23 LOG: statement: BEGIN +2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 LOG: execute S_36: DELETE from JGROUPS_PING WHERE address=$1 +2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000007' +2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 LOG: execute S_37: INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values ($1, $2, $3, $4, $5, $6, $7) +2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000007', $2 = 'keycloak-0-19436', $3 = 'ISPN', $4 = '10.42.1.22:7800', $5 = 'f', $6 = '1790051634', $7 = 'uuid://00000000-0000-0000-0000-000000000006' +2026-09-22 04:33:54.172 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT +2026-09-22 04:33:54.763 UTC [99043] 10.42.0.23 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1 +2026-09-22 04:33:54.763 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'ISPN' +2026-09-22 04:33:56.549 UTC [99043] 10.42.0.23 LOG: statement: +2026-09-22 04:34:06.550 UTC [99043] 10.42.0.23 LOG: statement: +[K0 pid 99097] +2026-09-22 04:33:39.471 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1 +2026-09-22 04:33:39.471 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN' +2026-09-22 04:33:49.470 UTC [99097] 10.42.1.22 LOG: statement: +2026-09-22 04:33:51.716 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1 +2026-09-22 04:33:51.716 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN' +2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 LOG: statement: BEGIN +2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 LOG: execute S_131/C_160: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2)) +2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 LOG: execute S_134/C_161: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5)) +2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.868 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT +2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 LOG: statement: BEGIN +2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 LOG: execute S_131/C_162: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2)) +2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 LOG: execute S_134/C_163: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5)) +2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 LOG: execute S_146: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10) +2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = NULL, $2 = '1790051633', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790051633,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790051633}"},"state":"LOGGED_IN"}', $4 = '1790051633', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute S_147: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9) +2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790051633","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790051633","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790051633', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = '0jdhDrcu6VUaGIFCjWzNXDs2' +2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute : SET LOCAL synchronous_commit TO OFF +2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT +2026-09-22 04:33:57.958 UTC [99097] 10.42.1.22 LOG: statement: +2026-09-22 04:33:59.473 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1 +2026-09-22 04:33:59.473 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN' +2026-09-22 04:34:01.558 UTC [99097] 10.42.1.22 LOG: statement: BEGIN +2026-09-22 04:34:01.559 UTC [99097] 10.42.1.22 LOG: execute /C_164: select re1_0.ID from REALM re1_0 +2026-09-22 04:34:01.573 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-read-path-atomic.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-read-path-atomic.txt new file mode 100644 index 0000000..53e94a2 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-read-path-atomic.txt @@ -0,0 +1,3 @@ +=== A0 SQL read path atomic rerun === +K0=10.42.1.29 K1=10.42.0.28 +[enable] diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-cleanup.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-cleanup.txt new file mode 100644 index 0000000..ffcd5d9 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-cleanup.txt @@ -0,0 +1,39 @@ +=== A0 cleanup === +DELETE 13 +statefulset.apps/keycloak restarted +Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +partitioned roll out complete: 2 new pods have been updated... +[pods] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 31s 10.42.1.23 kc-lab-2 +keycloak-1 1/1 Running 0 65s 10.42.0.24 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 +[db] +0 +[log_statement] +none +[cluster/cache] +[keycloak-0] +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-63395"} 0.0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-63395"} 0.0 +vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0 +[keycloak-1] +vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0 +[jgroups_ping] + name | ip | coord +------------------+-----------------+------- + keycloak-0-63395 | 10.42.1.23:7800 | f + keycloak-1-58832 | 10.42.0.24:7800 | t +(2 rows) + +[external] +code=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-sql-read-path-atomic-v2.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-sql-read-path-atomic-v2.txt new file mode 100644 index 0000000..c4c3776 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a0-15-sql-read-path-atomic-v2.txt @@ -0,0 +1,48 @@ +=== A0 SQL read path atomic rerun v2 === +K0=10.42.1.29 K1=10.42.0.28 +[enable] +ALTER SYSTEM +ALTER SYSTEM +t +none +%m [%p] +[request] +SID=xo9l3m-QjR8PCgLTkmMsX76j +REFRESH_ON_K1=200 +[k1 sql] +2026-09-22 05:42:59.316 UTC [56] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.322 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.322 UTC [57] 10.42.0.28 LOG: execute S_31/C_102: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='1' and puse1_0.LAST_SESSION_REFRESH<$2 fetch first $3 rows only +2026-09-22 05:42:59.324 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.328 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.328 UTC [57] 10.42.0.28 LOG: execute S_33/C_103: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='1' and puse1_0.CREATED_ON<$2 fetch first $3 rows only +2026-09-22 05:42:59.329 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.336 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.336 UTC [57] 10.42.0.28 LOG: execute S_35/C_104: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID,puse1_0.DATA from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME is null and puse1_0.LAST_SESSION_REFRESH<$2 fetch first $3 rows only +2026-09-22 05:42:59.340 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.344 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.344 UTC [57] 10.42.0.28 LOG: execute S_37/C_105: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID,puse1_0.DATA from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME is null and puse1_0.CREATED_ON<$2 fetch first $3 rows only +2026-09-22 05:42:59.346 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.348 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.348 UTC [57] 10.42.0.28 LOG: execute S_39/C_106: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=$2 and puse1_0.LAST_SESSION_REFRESH<$3 fetch first $4 rows only +2026-09-22 05:42:59.350 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.352 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.352 UTC [57] 10.42.0.28 LOG: execute S_41/C_107: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=$2 and puse1_0.CREATED_ON<$3 fetch first $4 rows only +2026-09-22 05:42:59.355 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.357 UTC [57] 10.42.0.28 LOG: statement: BEGIN +2026-09-22 05:42:59.357 UTC [57] 10.42.0.28 LOG: execute S_43/C_108: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=true fetch first $2 rows only +2026-09-22 05:42:59.360 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT +2026-09-22 05:42:59.361 UTC [56] 10.42.0.28 LOG: execute S_1: COMMIT +[sid details] +2026-09-22 05:42:59.719 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '0', $2 = 'xo9l3m-QjR8PCgLTkmMsX76j' +2026-09-22 05:42:59.719 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'xo9l3m-QjR8PCgLTkmMsX76j' +2026-09-22 05:42:59.725 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '0', $2 = 'xo9l3m-QjR8PCgLTkmMsX76j' +2026-09-22 05:42:59.725 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'xo9l3m-QjR8PCgLTkmMsX76j' +2026-09-22 05:42:59.726 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = NULL, $2 = '1790055779', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790055779,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790055779}"},"state":"LOGGED_IN"}', $4 = '1790055779', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = 'xo9l3m-QjR8PCgLTkmMsX76j' +2026-09-22 05:42:59.726 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790055779","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790055779","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790055779', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = 'xo9l3m-QjR8PCgLTkmMsX76j' +[disable] +ALTER SYSTEM +ALTER SYSTEM +t +all +%m [%p] %h diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-00-baseline.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-00-baseline.txt new file mode 100644 index 0000000..c5367a6 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-00-baseline.txt @@ -0,0 +1,66 @@ +=== A1 baseline + manifest === +[manifest] +# Experiment A-1 — cut the JGroups transport (TCP 7800) while leaving discovery alone. +# +# The point is to separate two things that are easy to conflate: +# +# discovery how the nodes FIND each other -> PostgreSQL JGROUPS_PING table +# transport how they actually TALK -> TCP 7800 +# +# Blocking only the transport produces a state that cannot happen on a single +# node: both members stay registered in the database, so each believes the other +# exists, yet no message gets through. +# +# kubectl apply -f deploy/lab/k8s/a1-block-jgroups-transport.yaml +# kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport +# +# NetworkPolicy is an ALLOWLIST, not a firewall with deny rules. There is no way +# to write "deny 7800". The moment a pod is selected by a policy carrying +# policyTypes: [Ingress], every inbound port is denied unless a rule permits it. +# So 7800 is blocked by *omission*: 8080 and 9000 are listed, 7800 is not. +# +# That makes the two allow rules load-bearing — get them wrong and the experiment +# measures a dead Keycloak instead of a partitioned cluster: +# +# 8080 the HTTP endpoint. Traefik, the other pod's REST calls, and the probe +# traffic all arrive here. +# 9000 the management port: /health/started, /health/ready, /health/live and +# /metrics. Losing it means the kubelet fails the readiness probe and +# kills the pod — the cluster would break for the wrong reason. +# +# Both rules deliberately omit `from:`, which allows those ports from any source. +# Narrowing the source is not the subject here; the 2-hop experiment already +# established how to do that by label when it matters. +apiVersion: networking.k8s.io/v1 +kind: NetworkPolicy +metadata: + name: a1-block-jgroups-transport + namespace: keycloak-lab +spec: + podSelector: + matchLabels: + app: keycloak + policyTypes: [Ingress] + ingress: + - ports: + - { port: 8080, protocol: TCP } # HTTP — must stay open + - { port: 9000, protocol: TCP } # health + metrics — must stay open + # 7800 is absent on purpose. That is the whole experiment. +[policies] +[pods] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 83s 10.42.1.23 kc-lab-2 +keycloak-1 1/1 Running 0 117s 10.42.0.24 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 +[cluster] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +[jgroups] + name | ip | coord +------------------+-----------------+------- + keycloak-0-63395 | 10.42.1.23:7800 | f + keycloak-1-58832 | 10.42.0.24:7800 | t +(2 rows) + +[conntrack commands] +kc-lab-1 kc-lab-2 \ No newline at end of file diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-01-control-before-block.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-01-control-before-block.txt new file mode 100644 index 0000000..b3e07dc --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-01-control-before-block.txt @@ -0,0 +1,4 @@ +=== A1 control before block === +control_refresh_on_opposite=200 sid_same=yes +control_logout_on_opposite=204 +control_refresh_after_logout_on_original=400 error=invalid_grant diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-02-install-conntrack.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-02-install-conntrack.txt new file mode 100644 index 0000000..e2445e1 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-02-install-conntrack.txt @@ -0,0 +1,3 @@ +=== install conntrack on guest nodes === +[kc-lab-1] +[kc-lab-2] diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-03-policy-applied.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-03-policy-applied.txt new file mode 100644 index 0000000..4fb87b0 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-03-policy-applied.txt @@ -0,0 +1,21 @@ +=== A1 apply network policy === +networkpolicy.networking.k8s.io/a1-block-jgroups-transport created +2026-09-22 13:41:53 KST applied +NAME POD-SELECTOR AGE +a1-block-jgroups-transport app=keycloak 0s +Name: a1-block-jgroups-transport +Namespace: keycloak-lab +Created on: 2026-09-22 13:40:23 +0900 KST +Labels: +Annotations: +Spec: + PodSelector: app=keycloak + Allowing ingress traffic: + To Port: 8080/TCP + To Port: 9000/TCP + From: (traffic not restricted by source) + Not affecting egress traffic + Policy Types: Ingress +[conntrack version] +kc-lab-1 conntrack v1.4.7 (conntrack-tools) +kc-lab-2 conntrack v1.4.7 (conntrack-tools) diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-04-port-and-cluster-after-policy.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-04-port-and-cluster-after-policy.txt new file mode 100644 index 0000000..7464a75 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-04-port-and-cluster-after-policy.txt @@ -0,0 +1,12 @@ +=== A1 port injection verification === +[10.42.1.23] +9000 code=200 exit=0 +8080 code=200 exit=0 +7800 code=000 exit=7 +[10.42.0.24] +9000 code=200 exit=0 +8080 code=200 exit=0 +7800 code=000 exit=7 +[cluster immediately after policy] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-05-established-conntrack.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-05-established-conntrack.txt new file mode 100644 index 0000000..52305c3 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-05-established-conntrack.txt @@ -0,0 +1,13 @@ +=== A1 established sockets and conntrack === +[/proc keycloak-0] + 3: 0000000000000000FFFF000017012A0A:1E78 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1564471 1 00000000c2729507 100 0 0 10 0 + 4: 00000000000000000000000000000000:E1C8 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1564472 1 0000000087977218 100 0 0 10 0 + 13: 0000000000000000FFFF000017012A0A:1E78 0000000000000000FFFF000018002A0A:92F3 01 00000000:00000000 02:000AC5C2 00000000 1000 0 1564473 2 000000008e6d15f7 21 4 30 10 -1 + 15: 0000000000000000FFFF000017012A0A:E1C8 0000000000000000FFFF000018002A0A:A727 01 00000000:00000000 02:000AC5C0 00000000 1000 0 1564475 2 00000000f3542af7 20 4 28 10 -1 +[kc-lab-1 conntrack 7800] +tcp 6 86395 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1 +tcp 6 102 SYN_SENT src=10.42.0.25 dst=10.42.1.23 sport=43974 dport=7800 [UNREPLIED] src=10.42.1.23 dst=10.42.0.25 sport=7800 dport=43974 mark=0 use=1 +tcp 6 86259 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1 +[kc-lab-2 conntrack 7800] +tcp 6 86395 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1 +tcp 6 86259 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-06-conntrack-delete-observation.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-06-conntrack-delete-observation.txt new file mode 100644 index 0000000..a7841ec --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-06-conntrack-delete-observation.txt @@ -0,0 +1,23 @@ +=== A1 delete exact established JGroups conntrack === +[kc-lab-1 delete 7800] +tcp 6 86399 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1 +[kc-lab-1 delete 57800] +tcp 6 86246 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1 +[kc-lab-2 delete 7800] +tcp 6 86399 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1 +[kc-lab-2 delete 57800] +tcp 6 86246 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1 +[remaining] +[kc-lab-1] +tcp 6 88 SYN_SENT src=10.42.0.25 dst=10.42.1.23 sport=43974 dport=7800 [UNREPLIED] src=10.42.1.23 dst=10.42.0.25 sport=7800 dport=43974 mark=0 use=1 +[kc-lab-2] +tcp 6 299 ESTABLISHED src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [UNREPLIED] src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 mark=0 use=1 +[cluster after +0s] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +[cluster after +10s] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +[cluster after +30s] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-07-forced-partition.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-07-forced-partition.txt new file mode 100644 index 0000000..d0f2518 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-07-forced-partition.txt @@ -0,0 +1,49 @@ +=== A1 force partition by recreating keycloak-0 === +2026-09-22 13:43:33 KST delete-keycloak-0 +old_ip=10.42.1.23 +pod "keycloak-0" deleted from keycloak-lab namespace +new_ip=10.42.1.24 phase=Running after=4s +[pods] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 0/1 Running 0 17s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 4m50s 10.42.0.24 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 +[cluster metrics] +keycloak-0 unavailable +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0 +[jgroups_ping] + name | ip | coord +------------------+-----------------+------- + keycloak-1-58832 | 10.42.0.24:7800 | t +(1 row) + +[recent views] +[keycloak-0] +[keycloak-1] +2026-09-22 04:37:55,195 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-19436(v=16.0.12)|9] (2) [keycloak-0-19436(v=16.0.12), keycloak-1-58832(v=16.0.12)] +2026-09-22 04:38:05,865 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|10] (1) [keycloak-1-58832(v=16.0.12)] +2026-09-22 04:38:28,734 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|11] (2) [keycloak-1-58832(v=16.0.12), keycloak-0-63395(v=16.0.12)] +2026-09-22 04:42:04,992 INFO [org.infinispan.CLUSTER] (jgroups-11,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|12] (1) [keycloak-1-58832(v=16.0.12)] +[health] +keycloak-0 +keycloak-1 { + "status": "UP", + "checks": [ + { + "name": "Graceful Shutdown", + "status": "UP" + }, + { + "name": "Keycloak database connections async health check", + "status": "UP" + }, + { + "name": "Keycloak Initialized", + "status": "UP" + }, + { + "name": "Keycloak cluster health check", + "status": "UP" + } + ] +} diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-08-partition-convergence.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-08-partition-convergence.txt new file mode 100644 index 0000000..7ff7caf --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-08-partition-convergence.txt @@ -0,0 +1,120 @@ +=== A1 partition convergence after restart === +[after wait 30s] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 64s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 5m37s 10.42.0.24 kc-lab-1 +[k0 recent log] +JAVA_OPTS_KC_HEAP already set in environment; overriding default settings +Changes detected in configuration. Updating the server image. +Updating the configuration and installing your custom providers, if any. Please wait. +2026-09-22 04:42:11,025 WARN [org.keycloak.common.Profile] (build-3) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available. +2026-09-22 04:42:21,654 INFO [io.quarkus.deployment.QuarkusAugmentor] (main) Quarkus augmentation completed in 13416ms +Server configuration updated and persisted. Run the following command to review the configuration: + + kc.sh show-config + +Next time you run the server, just add --optimized to the command to ensure this build is used. +2026-09-22 04:42:22,891 INFO [org.keycloak.truststore.TruststoreBuilder] (main) Found the following truststore files in the truststore paths [/var/run/secrets/kubernetes.io/serviceaccount/ca.crt] +2026-09-22 04:42:24,838 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled +2026-09-22 04:42:25,721 INFO [org.hibernate.orm.jdbc.batch] (JPA Startup Thread) HHH100501: Automatic JDBC statement batching enabled (maximum batch size 32) +2026-09-22 04:42:25,850 WARN [org.keycloak.common.Profile] (executor-thread-1) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available. +2026-09-22 04:42:25,935 INFO [io.quarkus] (main) Keycloak 26.7.0 on JVM (powered by Quarkus 3.33.2.1) started in 4.177s. Listening on: http://0.0.0.0:8080. Management interface listening on http://0.0.0.0:9000. +2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Profile prod activated. +2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Installed features: [agroal, cdi, hibernate-orm, jdbc-postgresql, keycloak, micrometer, narayana-jta, opentelemetry, rest, rest-jackson, smallrye-context-propagation, smallrye-health, vertx] +2026-09-22 04:42:25,992 INFO [org.keycloak.quarkus.runtime.storage.database.jpa.DatabaseIndexChecker] (db-index-checker) Running database index checker +2026-09-22 04:42:26,881 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups JDBC_PING discovery enabled. +2026-09-22 04:42:26,886 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]} +2026-09-22 04:42:26,896 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups Encryption enabled (mTLS). +2026-09-22 04:42:27,465 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Starting JGroups certificate reload manager +2026-09-22 04:42:27,585 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller' +2026-09-22 04:42:27,666 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping` +2026-09-22 04:42:27,669 INFO [org.jgroups.JChannel] (executor-thread-1) local_addr: 00000000-0000-0000-0000-00000000000a(v=16.0.12), name: keycloak-0-32489 +2026-09-22 04:42:27,682 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800 +2026-09-22 04:42:29,721 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 1 +2026-09-22 04:42:31,742 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 2 +2026-09-22 04:42:33,759 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 3 +2026-09-22 04:42:35,765 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 4 +2026-09-22 04:42:36,823 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]} +2026-09-22 04:42:37,784 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 5 +2026-09-22 04:42:39,801 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 6 +2026-09-22 04:42:41,819 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 7 +2026-09-22 04:42:43,836 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 8 +2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 9 +2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): too many JOIN attempts (10): becoming singleton +2026-09-22 04:42:45,903 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-32489(v=16.0.12)|0] (1) [keycloak-0-32489(v=16.0.12)] +2026-09-22 04:42:45,904 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Reloading JGroups Certificate +2026-09-22 04:42:45,954 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-32489`, physical addresses are `[10.42.1.24:7800]` +2026-09-22 04:42:46,303 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-32489, Site name: null, Cluster name: ISPN +2026-09-22 04:42:46,351 INFO [org.keycloak.models.workflow.WorkflowsEventListenerFactory] (executor-thread-1) Workflow runner task scheduled: next execution at 16:42:46, then every PT12H +2026-09-22 04:42:46,822 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]} +2026-09-22 04:42:46,905 INFO [org.keycloak.services.resources.KeycloakApplication] (executor-thread-1) Bootstrap completed in 21.053000 seconds +2026-09-22 04:43:06,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +[cluster metrics] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0 +[jgroups_ping] +keycloak-0-32489|10.42.1.24:7800|true +keycloak-1-58832|10.42.0.24:7800|true +[after wait 60s] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 0/1 Running 0 2m5s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 6m38s 10.42.0.24 kc-lab-1 +[k0 recent log] +JAVA_OPTS_KC_HEAP already set in environment; overriding default settings +Changes detected in configuration. Updating the server image. +Updating the configuration and installing your custom providers, if any. Please wait. +2026-09-22 04:42:11,025 WARN [org.keycloak.common.Profile] (build-3) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available. +2026-09-22 04:42:21,654 INFO [io.quarkus.deployment.QuarkusAugmentor] (main) Quarkus augmentation completed in 13416ms +Server configuration updated and persisted. Run the following command to review the configuration: + + kc.sh show-config + +Next time you run the server, just add --optimized to the command to ensure this build is used. +2026-09-22 04:42:22,891 INFO [org.keycloak.truststore.TruststoreBuilder] (main) Found the following truststore files in the truststore paths [/var/run/secrets/kubernetes.io/serviceaccount/ca.crt] +2026-09-22 04:42:24,838 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled +2026-09-22 04:42:25,721 INFO [org.hibernate.orm.jdbc.batch] (JPA Startup Thread) HHH100501: Automatic JDBC statement batching enabled (maximum batch size 32) +2026-09-22 04:42:25,850 WARN [org.keycloak.common.Profile] (executor-thread-1) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available. +2026-09-22 04:42:25,935 INFO [io.quarkus] (main) Keycloak 26.7.0 on JVM (powered by Quarkus 3.33.2.1) started in 4.177s. Listening on: http://0.0.0.0:8080. Management interface listening on http://0.0.0.0:9000. +2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Profile prod activated. +2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Installed features: [agroal, cdi, hibernate-orm, jdbc-postgresql, keycloak, micrometer, narayana-jta, opentelemetry, rest, rest-jackson, smallrye-context-propagation, smallrye-health, vertx] +2026-09-22 04:42:25,992 INFO [org.keycloak.quarkus.runtime.storage.database.jpa.DatabaseIndexChecker] (db-index-checker) Running database index checker +2026-09-22 04:42:26,881 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups JDBC_PING discovery enabled. +2026-09-22 04:42:26,886 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]} +2026-09-22 04:42:26,896 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups Encryption enabled (mTLS). +2026-09-22 04:42:27,465 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Starting JGroups certificate reload manager +2026-09-22 04:42:27,585 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller' +2026-09-22 04:42:27,666 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping` +2026-09-22 04:42:27,669 INFO [org.jgroups.JChannel] (executor-thread-1) local_addr: 00000000-0000-0000-0000-00000000000a(v=16.0.12), name: keycloak-0-32489 +2026-09-22 04:42:27,682 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800 +2026-09-22 04:42:29,721 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 1 +2026-09-22 04:42:31,742 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 2 +2026-09-22 04:42:33,759 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 3 +2026-09-22 04:42:35,765 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 4 +2026-09-22 04:42:36,823 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]} +2026-09-22 04:42:37,784 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 5 +2026-09-22 04:42:39,801 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 6 +2026-09-22 04:42:41,819 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 7 +2026-09-22 04:42:43,836 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 8 +2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 9 +2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): too many JOIN attempts (10): becoming singleton +2026-09-22 04:42:45,903 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-32489(v=16.0.12)|0] (1) [keycloak-0-32489(v=16.0.12)] +2026-09-22 04:42:45,904 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Reloading JGroups Certificate +2026-09-22 04:42:45,954 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-32489`, physical addresses are `[10.42.1.24:7800]` +2026-09-22 04:42:46,303 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-32489, Site name: null, Cluster name: ISPN +2026-09-22 04:42:46,351 INFO [org.keycloak.models.workflow.WorkflowsEventListenerFactory] (executor-thread-1) Workflow runner task scheduled: next execution at 16:42:46, then every PT12H +2026-09-22 04:42:46,822 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]} +2026-09-22 04:42:46,905 INFO [org.keycloak.services.resources.KeycloakApplication] (executor-thread-1) Bootstrap completed in 21.053000 seconds +2026-09-22 04:43:06,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:43:16,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:43:26,825 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:43:26,836 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:43:36,841 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:43:46,835 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:43:56,836 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +2026-09-22 04:44:06,837 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]} +[cluster metrics] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0 +[jgroups_ping] +keycloak-0-32489|10.42.1.24:7800|true +keycloak-1-58832|10.42.0.24:7800|true diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-09-service-impact.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-09-service-impact.txt new file mode 100644 index 0000000..17510e1 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-09-service-impact.txt @@ -0,0 +1,12 @@ +=== A1 service visibility while partitioned === +[pods] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 0/1 Running 0 3m43s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 8m16s 10.42.0.24 kc-lab-1 +[endpointslice] +NAME ADDR READY +keycloak-4fq7q [10.42.0.24],[10.42.1.24] true,false +[lab-host edge https] +code=200 +[outside] +code=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-10-session-under-partition.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-10-session-under-partition.txt new file mode 100644 index 0000000..1eb9553 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-10-session-under-partition.txt @@ -0,0 +1,6 @@ +=== A1 session semantics while partitioned === +K0=10.42.1.24 K1=10.42.0.24 +login_on_keycloak_0=ok access_len=758 refresh_len=612 sid=Vi5Z2jLod1_Q6oGIY72ETNrR +refresh_on_keycloak_1=200 sid_same=yes new_refresh_present=yes error= +logout_on_keycloak_1=204 +refresh_after_logout_on_keycloak_0=200 error= diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-11-stale-session-after-logout.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-11-stale-session-after-logout.txt new file mode 100644 index 0000000..15267cd --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-11-stale-session-after-logout.txt @@ -0,0 +1,16 @@ +=== A1 stale session after partitioned logout === +[db sid] + user_session_id | offline_flag | last_session_refresh +-----------------+--------------+---------------------- +(0 rows) + +[session cache entries] +[keycloak-0] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +[keycloak-1] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0 +[cluster] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12-recovery.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12-recovery.txt new file mode 100644 index 0000000..afc2518 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12-recovery.txt @@ -0,0 +1 @@ +=== A1 remove policy and watch recovery === diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12a-policy-removed.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12a-policy-removed.txt new file mode 100644 index 0000000..ed5a74e --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12a-policy-removed.txt @@ -0,0 +1,3 @@ +=== remove policy === +2026-09-22 13:47:56 KST remove-policy +networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keycloak-lab namespace diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12b-recovery-watch.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12b-recovery-watch.txt new file mode 100644 index 0000000..8666cff --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-12b-recovery-watch.txt @@ -0,0 +1,71 @@ +=== A1 recovery watch === +--- check 0 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 0/1 Running 0 4m29s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 9m2s 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0 +jgroups: +keycloak-0-32489|true +keycloak-1-58832|true +--- check 1 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 0/1 Running 0 4m44s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 9m17s 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0 +jgroups: +keycloak-0-32489|true +keycloak-1-58832|true +--- check 2 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 0/1 Running 0 4m59s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 9m32s 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +jgroups: +keycloak-0-32489|false +keycloak-1-58832|true +--- check 3 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 5m15s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 9m48s 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +jgroups: +keycloak-0-32489|false +keycloak-1-58832|true +--- check 4 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 5m30s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +jgroups: +keycloak-0-32489|false +keycloak-1-58832|true +--- check 5 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 5m46s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +jgroups: +keycloak-0-32489|false +keycloak-1-58832|true +--- check 6 --- +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 6m1s 10.42.1.24 kc-lab-2 +keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 +cluster: +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0 +jgroups: +keycloak-0-32489|false +keycloak-1-58832|true diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-13-final-cleanup.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-13-final-cleanup.txt new file mode 100644 index 0000000..2e84f64 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a1-13-final-cleanup.txt @@ -0,0 +1,36 @@ +=== A1 final cleanup === +[clear session rows] +DELETE 0 +[restart keycloak to clear stale cache] +statefulset.apps/keycloak restarted +Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +partitioned roll out complete: 2 new pods have been updated... +[pods] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 31s 10.42.1.25 kc-lab-2 +keycloak-1 1/1 Running 0 65s 10.42.0.26 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 +[networkpolicy] +[db sessions] +0 +[cluster/cache] +[keycloak-0] +vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-65032"} 0.0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-65032"} 0.0 +[keycloak-1] +vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0 +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-49950"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-49950"} 0.0 +[jgroups] +keycloak-0-65032|10.42.1.25:7800|false +keycloak-1-49950|10.42.0.26:7800|true +[outside] +code=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-00-baseline.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-00-baseline.txt new file mode 100644 index 0000000..6e76077 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-00-baseline.txt @@ -0,0 +1,21 @@ +=== A2 baseline and token preparation === +[pods] +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 2m58s 10.42.1.25 kc-lab-2 +keycloak-1 1/1 Running 0 3m32s 10.42.0.26 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 +[cluster] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0 +[prepare keycloak-0 session and client id] +k0_session=ready cid_present=yes +[prepare keycloak-1 session] +k1_session=ready +[db sessions] + offline_flag | count +--------------+------- + 0 | 2 +(1 row) + +[service before] +code=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-01-db-down-immediate-paths.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-01-db-down-immediate-paths.txt new file mode 100644 index 0000000..98b60b3 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-01-db-down-immediate-paths.txt @@ -0,0 +1,15 @@ +=== A2 stop PostgreSQL and probe immediately === +2026-09-22 13:54:02 KST scale-postgres-0 +deployment.apps/postgres scaled +pod/postgres-7b474b88c8-x7th5 condition met +postgres_pods: +deploy: +NAME READY UP-TO-DATE AVAILABLE AGE +postgres 0/0 0 0 20h +[keycloak-0 paths] +existing_refresh_k0=500 +admin_session_api_k0=500 +jwks_k0=200 +well_known_k0=200 +[keycloak-1 refresh] +existing_refresh_k1=500 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-02-new-login-db-down.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-02-new-login-db-down.txt new file mode 100644 index 0000000..2211fd9 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-02-new-login-db-down.txt @@ -0,0 +1,2 @@ +=== A2 new login while DB is down === +new_login_exit=1 http=unknown diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-03-readiness-service-db-down.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-03-readiness-service-db-down.txt new file mode 100644 index 0000000..8dee4ca --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-03-readiness-service-db-down.txt @@ -0,0 +1,17 @@ +=== A2 readiness/service while DB is down === +[pods] +keycloak-0 false 0 10.42.1.25 +keycloak-1 false 0 10.42.0.26 +[health keycloak-0] +Error from server (ServiceUnavailable): the server is currently unable to handle the request + +[health keycloak-1] +Error from server (ServiceUnavailable): the server is currently unable to handle the request + +[endpointslice] +NAME ADDR READY +keycloak-4fq7q [10.42.0.26],[10.42.1.25] false,false +[edge] +code=503 +[outside] +code=503 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-04-final-outage-observations.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-04-final-outage-observations.txt new file mode 100644 index 0000000..f57b64e --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-04-final-outage-observations.txt @@ -0,0 +1,69 @@ +=== A2 final outage observations === +[new login raw status] +new_login_http=500 +[health direct by temporary curl pod] +[10.42.1.25] +{ + "status": "DOWN", + "checks": [ + { + "name": "Graceful Shutdown", + "status": "UP" + }, + { + "name": "Keycloak database connections async health check", + "status": "DOWN", + "data": { + "Failing since": "2026-09-22 04:52:37,764" + } + }, + { + "name": "Keycloak cluster health check", + "status": "UP" + }, + { + "name": "Keycloak Initialized", + "status": "UP" + } + ] +} +[10.42.0.26] +{ + "status": "DOWN", + "checks": [ + { + "name": "Graceful Shutdown", + "status": "UP" + }, + { + "name": "Keycloak database connections async health check", + "status": "DOWN", + "data": { + "Failing since": "2026-09-22 04:52:33,757" + } + }, + { + "name": "Keycloak Initialized", + "status": "UP" + }, + { + "name": "Keycloak cluster health check", + "status": "UP" + } + ] +} +[prometheus up / readiness metric availability] +[up keycloak snippets] +"value":[1790052878.559 +"value":[1790052878.559 +"value":[1790052878.559 +"value":[1790052878.559 +"value":[1790052878.559 +"job":"keycloak" +"pod":"keycloak-1"} +"value":[1790052878.559 +"job":"keycloak" +"pod":"keycloak-0"} +"value":[1790052878.559 +[kube_pod_status_ready] +{"status":"success","data":{"resultType":"vector","result":[]}} diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-05-postgres-restored.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-05-postgres-restored.txt new file mode 100644 index 0000000..efc0352 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-05-postgres-restored.txt @@ -0,0 +1,8 @@ +=== A2 restore PostgreSQL === +2026-09-22 13:56:08 KST scale-postgres-1 +deployment.apps/postgres scaled +Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available... +deployment "postgres" successfully rolled out +2026-09-22 13:56:21 KST postgres-ready +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +postgres-7b474b88c8-rfft2 1/1 Running 0 13s 10.42.1.27 kc-lab-2 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-06-self-recovery.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-06-self-recovery.txt new file mode 100644 index 0000000..5ac4911 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a2-06-self-recovery.txt @@ -0,0 +1,18 @@ +=== A2 Keycloak self-recovery === +13:56:37 +keycloak-0 true 0 +keycloak-1 true 0 +edge=200 +RECOVERED +[db sessions] + offline_flag | count +--------------+------- + 0 | 2 +(1 row) + +[cluster] +keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0 +keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0 +[cleanup tmp] +[outside] +code=200 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-00-design-precheck.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-00-design-precheck.txt new file mode 100644 index 0000000..e2b0a04 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-00-design-precheck.txt @@ -0,0 +1,50 @@ +=== A3 design precheck === +[session column types] + column_name | data_type +----------------------+----------- + created_on | integer + last_session_refresh | integer +(2 rows) + +[enable statement log] +ALTER SYSTEM + pg_reload_conf +---------------- + t +(1 row) + + log_statement +--------------- + all +(1 row) + +[one login via kcadm inside Keycloak] +[login transaction statements] +2026-09-22 04:57:40.645 UTC [48] LOG: statement: BEGIN +2026-09-22 04:57:40.652 UTC [48] LOG: execute S_2: COMMIT +2026-09-22 04:57:40.654 UTC [48] LOG: statement: BEGIN +2026-09-22 04:57:40.658 UTC [48] LOG: execute : insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10) +2026-09-22 04:57:40.658 UTC [48] LOG: execute : insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9) +2026-09-22 04:57:40.659 UTC [48] LOG: execute : SET LOCAL synchronous_commit TO OFF +2026-09-22 04:57:40.659 UTC [48] LOG: execute S_2: COMMIT +[disable statement log] +ALTER SYSTEM + pg_reload_conf +---------------- + t +(1 row) + + log_statement +--------------- + all +(1 row) + +[WAL settings] + name | setting | unit | source +------------------------+---------+------+--------- + commit_delay | 0 | | default + synchronous_commit | on | | default + wal_writer_delay | 200 | ms | default + wal_writer_flush_after | 128 | 8kB | default +(4 rows) + diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-01-clean-baseline.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-01-clean-baseline.txt new file mode 100644 index 0000000..b1b46bd --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-01-clean-baseline.txt @@ -0,0 +1,29 @@ +=== A3 log_statement settle + clean baseline === +[log_statement after reload settles] +none +[delete session rows] +DELETE 3 +[restart Keycloak to clear local caches] +statefulset.apps/keycloak restarted +Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +Waiting for 1 pods to be ready... +partitioned roll out complete: 2 new pods have been updated... +[db count] +0 +[cache] +[keycloak-0] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-36407"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-36407"} 0.0 +[keycloak-1] +vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-38371"} 0.0 +vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-38371"} 0.0 +[restart counts] +keycloak-0 0 true +keycloak-1 0 true +postgres-7b474b88c8-rfft2 0 true diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-02-load-smoke.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-02-load-smoke.txt new file mode 100644 index 0000000..fad1f47 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-02-load-smoke.txt @@ -0,0 +1,3 @@ +=== A3 kcadm load smoke without token extraction === +attempts=5 success=5 elapsed_ms=6528 +db_online=5 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-03-raw-load-smoke.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-03-raw-load-smoke.txt new file mode 100644 index 0000000..b31edf9 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-03-raw-load-smoke.txt @@ -0,0 +1,4 @@ +=== A3 raw login speed smoke === +attempts=20 success=20 +note=end_timestamp_only:1790053298719 +db_online=25 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-04-attempt1-baseline.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-04-attempt1-baseline.txt new file mode 100644 index 0000000..2d0b158 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-04-attempt1-baseline.txt @@ -0,0 +1,6 @@ +=== A3 attempt1 baseline reset === +DELETE 25 +statefulset.apps/keycloak restarted +db=0 +keycloak-0=vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-17240"} 0.0 +keycloak-1=vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-54671"} 0.0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-05-attempt1-force-delete.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-05-attempt1-force-delete.txt new file mode 100644 index 0000000..f3c2282 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-05-attempt1-force-delete.txt @@ -0,0 +1,8 @@ +=== A3 attempt1 force delete === +db_before_delete=200 +old_pod=postgres-7b474b88c8-rfft2 +2026-09-22 14:03:39.703 KST force-delete +pod "postgres-7b474b88c8-rfft2" force deleted from keycloak-lab namespace +deployment "postgres" successfully rolled out +new_pod=postgres-7b474b88c8-lcvxh +[new postgres startup markers] diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-06-attempt1-ready-and-startup.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-06-attempt1-ready-and-startup.txt new file mode 100644 index 0000000..9fe46e9 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-06-attempt1-ready-and-startup.txt @@ -0,0 +1,12 @@ +=== A3 attempt1 actual readiness and startup === +pod/postgres-7b474b88c8-lcvxh condition met +pod=postgres-7b474b88c8-lcvxh +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +postgres-7b474b88c8-lcvxh 1/1 Running 0 17s 10.42.1.30 kc-lab-2 +[startup markers] +2026-09-22 05:02:10.937 UTC [29] LOG: database system was shut down at 2026-09-22 05:02:10 UTC +2026-09-22 05:02:10.946 UTC [1] LOG: database system is ready to accept connections +db_online=200 +[keycloak readiness] +keycloak-0 true 0 +keycloak-1 true 0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-07-attempt1-concurrent-baseline.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-07-attempt1-concurrent-baseline.txt new file mode 100644 index 0000000..bc0c5a2 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-07-attempt1-concurrent-baseline.txt @@ -0,0 +1,3 @@ +=== A3 attempt1 concurrent baseline === +DELETE 200 +db=0 diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-08-attempt1-concurrent-force-delete.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-08-attempt1-concurrent-force-delete.txt new file mode 100644 index 0000000..d1e89ff --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-08-attempt1-concurrent-force-delete.txt @@ -0,0 +1,5 @@ +=== A3 attempt1 concurrent force delete === +db_before=410 +14:04:37.098 force-delete +pod "postgres-7b474b88c8-lcvxh" force deleted from keycloak-lab namespace +pod= diff --git a/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-09-attempt1-new-pod-ready.txt b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-09-attempt1-new-pod-ready.txt new file mode 100644 index 0000000..6b0a383 --- /dev/null +++ b/docs/keycloak-session-store/final/evidence/raw/2026-09-22-test-server-revalidation/a3-09-attempt1-new-pod-ready.txt @@ -0,0 +1,7 @@ +=== A3 attempt1 wait new postgres correctly === +pod_created=postgres-7b474b88c8-2tqlc after=1 s +pod/postgres-7b474b88c8-2tqlc condition met +[startup] +2026-09-22 05:03:08.501 UTC [29] LOG: database system was shut down at 2026-09-22 05:03:07 UTC +2026-09-22 05:03:08.509 UTC [1] LOG: database system is ready to accept connections +db_online=412 diff --git a/docs/keycloak-session-store/tech-log-studio/losing-a-node-or-the-store/setup/setup-reproduce-a2-database-loss.md b/docs/keycloak-session-store/tech-log-studio/losing-a-node-or-the-store/setup/setup-reproduce-a2-database-loss.md index fe583e1..553f216 100644 --- a/docs/keycloak-session-store/tech-log-studio/losing-a-node-or-the-store/setup/setup-reproduce-a2-database-loss.md +++ b/docs/keycloak-session-store/tech-log-studio/losing-a-node-or-the-store/setup/setup-reproduce-a2-database-loss.md @@ -30,8 +30,8 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API 정문이 `503` 인 동안 `up` 이 양쪽 다 1 이었던 것을 다룬다. - **readiness 가 깨진 노드를 시야에서 먼저 치운다** Ready 파드가 0개가 되고 `ready` 주소가 빈 목록이 되는 경로를 다룬다. -- **세션을 공유하는 것이 Infinispan 인지 PostgreSQL 인지 손으로 가른다** - 먼저 해 둬야 하는 편이다. 세션을 데이터베이스가 공유한다는 것을 손으로 확인해 두지 않으면 여기서 나오는 `500` 을 해석할 수 없다. +- **세션 캐시와 persistent session store의 경계를 손으로 가른다** + A-0 재검증에서 정상 2노드의 교차 refresh는 반대편 DB 세션 SQL 없이도 성공했다. 여기서는 DB 자체를 내려 **캐시만으로 처리할 수 없는 쓰기 경로가 무엇인지** 확인한다. - **PostgreSQL 을 진짜로 크래시시키고 잃은 로그인을 센다** 같은 데이터베이스를 SIGKILL 로 죽이는 편이다. 정상 종료가 아무것도 잃지 않는다는 이 편의 결과가 그쪽의 대조군이 된다. @@ -55,7 +55,7 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API | 재는 경로 | 넷 — 캐시 있는 노드 refresh · 없는 노드 refresh · 새 로그인 · 관리 API | | 시간 제약 | access token 수명 60초. 토큰 발급 · 정지 · 시험을 그 안에 끝낸다 | | 정지 구간 | 1분 남짓. 그동안 정문이 실제로 `503` 이 된다 | -| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 | +| 도구 | `jq`는 없다. 현재 상태는 각 파드의 management endpoint와 `kubectl`을 우선 사용하고, 시계열이 필요할 때만 Prometheus를 본다 | **공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다. @@ -130,24 +130,20 @@ echo "$K0 $K1" ### 3. 클러스터가 정상인지 먼저 확인한다 -**무엇을 보는가** — 두 노드가 아는 멤버 수. +현재 멤버 수는 Prometheus JSON을 잘라 읽지 않고 각 Keycloak 파드의 metric을 직접 본다. -```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' +```bash label="[lab host] 양쪽 cluster size를 직접 확인한다" +for POD in keycloak-0 keycloak-1; do + printf '%s ' "$POD" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_cluster_size' +done ``` -라벨을 보고 나서 자른다. 아래 줄은 가이드가 미검증으로 표시했다(unknown). +두 줄 모두 `2.0`이어야 한다. 이 값이 1이거나 한쪽이 비어 있으면 A-2를 시작하지 않는다. DB 장애 효과와 이미 깨진 클러스터 효과가 섞이기 때문이다. -```bash label="[lab host] ② 필요한 줄만 자른다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \ - | tr ',' '\n' | grep -E '"pod":|^"[0-9]' -``` - -**어디를 보나** — 실측은 `cluster_size keycloak-1 = 2`, `cluster_size keycloak-0 = 2` 다(observed). - -**이 값이 뜻하는 것** — 여기가 `1` 이면 A-1 의 분단이 안 풀린 것이고, 그 위에서 재면 두 실험이 섞인다. +2026-09-22 재검증 시작 전에도 두 파드 모두 `2.0`이었다. ### 4. 상주 탐침 파드를 띄운다 @@ -167,6 +163,8 @@ kubectl -n keycloak-lab wait --for=condition=Ready pod/a2-probe --timeout=120s `--rm` 이 없으므로 끝나면 직접 지운다. 지우는 명령은 복구 절에 있다. +이 명령은 lab 편의상 Secret 값을 `kubectl run --env=...`의 프로세스 인자로 잠깐 넘긴다. 셸 히스토리에는 비밀번호 리터럴이 남지 않지만 실행 중인 프로세스 인자에는 노출될 수 있다. 운영 환경에서는 이 형태 대신 Pod manifest의 `secretKeyRef`를 사용한다. 이 문서의 증거에는 비밀번호나 토큰 본문을 남기지 않는다. + 비밀번호는 명령 치환으로 넘기므로 값이 터미널에도 셸 히스토리에도 남지 않는다. 존재와 길이만 확인한다. ```bash label="[lab host] ② 비밀번호의 길이만 센다" @@ -215,28 +213,24 @@ done ### 6. 세션이 각자 노드에만 캐시됐는가 -```bash label="[lab host] 노드별 캐시 엔트리" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' \ - | tr ',' '\n' | grep -E '"cache":|"pod":|^"[0-9]' +세션을 만든 뒤 각 파드의 로컬 cache entry와 DB row 수를 같이 본다. + +```bash label="[lab host] 두 파드의 세션 캐시를 직접 읽는다" +for POD in keycloak-0 keycloak-1; do + echo "[$POD]" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_statistics_approximate_entries_unique' \ + | grep -E 'cache="(sessions|clientSessions)"' +done ``` -실측은 이렇다(observed, `02-setup-sessions.txt`). - -```text -=== [확인] 세션이 각자 노드에만 캐시되었는가 === - keycloak-1 = 0 건 - keycloak-0 = 1 건 -``` - -`keycloak-1` 이 `0` 인 것은 스크레이프 지연 때문이다. 방금 로그인했으므로 다음 15초 스크레이프에서 `1` 이 될 수 있고, 원래 실행 기록에도 「캐시 keycloak-0 = 1 건 / keycloak-1 = 0 건 (스크레이프 지연)」으로 적혀 있다. 판정에 쓰는 값은 양쪽이 다른지가 아니라 `keycloak-0` 이 확실히 가지고 있는지다. - -```bash label="[lab host] DB 세션 수도 적어 둔다" +```bash label="[lab host] PostgreSQL에 저장된 online session 수를 센다" kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ - -c "select offline_flag, count(*) from offline_user_session group by offline_flag" + -c "select offline_flag, count(*) from offline_user_session group by offline_flag order by offline_flag" ``` -실측은 온라인 세션 `2` 다(observed). 복구 후에 세션이 살아남았는지 볼 대조군이므로 적어 둔다. +2026-09-22 재검증에서는 A-2 직전 online session이 `2`건이었다. 이 숫자를 복구 뒤와 비교한다. ### 7. ④ 에 쓸 클라이언트 id 를 미리 뽑는다 @@ -387,7 +381,7 @@ kubectl -n keycloak-lab get pods -o "custom-columns=NAME:.metadata.name,READY:.s **그 50초 사이의 화면을 보고 「DB 가 없어도 멀쩡하다」로 읽지 않는다.** 이미 500 인데 아직 트래픽에서 안 빠졌을 뿐이다. 이 편이 잡으려는 것도 그 어긋남이다 — 되는 것과 Ready 인 것은 다르다. -`READY` 가 `false` 인데 `RESTARTS` 는 여전히 `0` 이다. 파드는 죽지 않았고 트래픽에서 빠졌을 뿐이다. `RESTARTS` 가 오르고 있으면 liveness 가 실패하는 것이고, 그 상태에서 무엇을 재든 「DB 없는 Keycloak」이 아니라 「재시작 중인 Keycloak」을 재게 된다. 이 `restarts=0` 이 자동 회복이라는 결론을 가능하게 하는 조건이다. +`READY=false`인데 `RESTARTS`가 주입 전보다 늘지 않았다면 프로세스는 살아 있고 트래픽에서만 빠진 것이다. 2026-09-22에는 두 파드가 `false`, restart count는 둘 다 그대로 `0`이었다. restart count가 증가하면 DB 장애 외에 컨테이너 재시작이 섞인 것이므로 별도로 기록한다. ## 관찰 @@ -454,21 +448,7 @@ HTTP 000000{"error":"HTTP 401 Unauthorized"}401 `curl -w '%{http_code}'` 를 쓰면서 `-o /dev/null` 을 빼면 본문이 표준출력으로 같이 나오고, 거기에 `--retry` 까지 걸려 있어 실패한 시도의 `000` 이 앞에 쌓인다. 위 표의 ④ `500` 은 아래 「서명 검증만 필요한 두 경로와 ④」 블록에서 DB 가 아직 내려가 있는 동안 다시 잰 값이다. 첫 측정은 쓰지 않았다 — 오염된 측정은 버리고 다시 잰다. -① 이 `500` 인 것이 이 실험의 답이다. 캐시에 세션을 들고 있어도 refresh 는 실패한다. - -```text - refresh 처리 - ├── 세션이 존재하는가 → 캐시로 답할 수 있다 - └── LAST_SESSION_REFRESH 갱신 → DB 쓰기가 필요하다 ← 여기서 죽는다 -``` - -A-0 에서 잡은 SQL 그대로다. - -```sql label="A-0 의 문장 로그에서 잡은 갱신 문장" -update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1, VERSION=$2 where ... -``` - -캐시는 읽기를 대신할 뿐 쓰기를 대신하지 못한다. refresh 는 이름과 달리 쓰기 연산이다. +①의 `500`이 이 실험의 핵심이다. 세션이 메모리 캐시에 있어도 refresh는 DB가 없으면 완료되지 않았다. **여기서 필요한 결론은 특정 SQL 문장을 단정하는 것이 아니라, refresh 처리에 persistent session store 쓰기 경로가 포함된다는 것**이다. A-0의 2026-09-22 정상 클러스터 재검증에서는 반대편 refresh에 별도 세션 SELECT가 없었으므로, 오래된 `UPDATE OFFLINE_USER_SESSION ...` 한 줄을 모든 refresh의 고정 경로처럼 설명하지 않는다. 상태가 필요 없는 경로는 살아남는다. ④ 도 여기서 한 번 더 친다 — 표에 적은 ④ `500` 이 이 블록이 낸 값이다. 셋을 한 블록에 두면 세 경로의 답이 한 화면에 나란히 나온다. @@ -537,7 +517,7 @@ curl -I --resolve auth.hyeonworks.com:443:192.168.122.10 https://auth.hyeonworks 노드를 몇 대로 늘려도 DB 가 죽으면 전부 같이 죽는다. Keycloak 의 대수는 DB 장애에 아무 도움이 되지 않는다. -헬스 본문이 까닭을 말한다. Keycloak 이미지에는 `curl` 이 없으므로 파드 밖에서 묻는다. 묻는 명령은 관찰용 터미널에서 치는데 `"http://$K0:9000/..."` 는 큰따옴표라 파드 안이 아니라 그 터미널의 셸이 편다. 두 값은 2번에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다. +헬스 본문이 까닭을 말한다. Keycloak 이미지에는 `curl`이 없고, `kubectl get --raw .../pods/:9000/proxy/...`도 파드가 NotReady인 동안 `ServiceUnavailable`로 실패할 수 있다. 그래서 **임시 curl 파드에서 Pod IP를 직접** 묻는다. 묻는 명령은 관찰용 터미널에서 치는데 `"http://$K0:9000/..."` 는 큰따옴표라 파드 안이 아니라 그 터미널의 셸이 편다. 두 값은 2번에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다. ```bash label="[lab host] 관찰용 터미널에서도 파드 주소를 잡는다" K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}') @@ -545,7 +525,7 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}') echo "$K0 $K1" ``` -DB 가 없어도 이 두 줄은 된다. 파드 주소는 쿠버네티스 API 가 답하고, 주입 검증 3번에서 본 대로 Keycloak 파드는 재시작하지 않았으므로(`RESTARTS 0`) 값도 2번과 같다. 이 두 줄을 건너뛰고 다음 블록을 치면 `curl -s "http://:9000/health/ready"` 가 되어 URL 이 거부되고 빈 출력이 나온다. 전면 장애 한복판이라 그 빈 줄을 「헬스 엔드포인트까지 죽었다」로 읽기 쉬운데, 실제로는 헬스가 응답하고 네 항목 중 하나만 DOWN 이다. +DB가 없어도 이 두 줄은 된다. 파드 주소는 Kubernetes API가 답한다. `RESTARTS`는 절대 0을 요구하지 말고 **주입 전보다 증가했는지** 비교한다. 2026-09-22 재검증에서는 두 파드 모두 주입 전후 `0 → 0`이었다. 이 두 줄을 건너뛰고 다음 블록을 치면 `curl -s "http://:9000/health/ready"` 가 되어 URL 이 거부되고 빈 출력이 나온다. 전면 장애 한복판이라 그 빈 줄을 「헬스 엔드포인트까지 죽었다」로 읽기 쉬운데, 실제로는 헬스가 응답하고 네 항목 중 하나만 DOWN 이다. ```bash label="[lab host] 탐침 파드를 통해 헬스를 묻는다" kubectl -n keycloak-lab exec a2-probe -- \ @@ -660,7 +640,7 @@ kubectl -n keycloak-lab get pods -o "custom-columns=NAME:.metadata.name,RESTARTS → 서비스 복귀 ``` -②의 실측은 `keycloak-0 0`, `keycloak-1 0` 이다(observed). 주입 검증에서 본 값 그대로다. +restart count는 주입 전 값과 비교한다. 2026-09-22 재검증에서는 둘 다 `0 → 0`으로 변하지 않았다. 2026-09-17 에 다시 재 보니 `scale --replicas=1` 에서 두 파드가 `true` 로 돌아오기까지 **36초**였다(observed). 그 가운데 절반쯤은 PostgreSQL 파드가 뜨는 시간이다. @@ -674,7 +654,7 @@ deployment "postgres" successfully rolled out **④ 는 이 시점에 `401` 이 정상이다.** 2026-09-17 실행에서 ①②③ 이 `200` 인데 ④ 만 `401` 이었다(observed). access token 이 60초짜리라 정지 구간을 지나오며 만료됐을 뿐 DB 와는 무관하다. 위 7번의 시계 경고가 이것을 미리 말해 둔다. -**왜 필요한가** — 커넥션 풀이 스스로 재연결하고 readiness 가 다시 UP 이 되면서 Service 에 복귀했다. 회복 시간은 DB Ready 이후 약 15초, Keycloak 재시작은 불필요(`restarts=0`)였다. liveness 는 실패하면 재시작이라 재시작하면 나아지는 문제(교착, 메모리 누수)에 쓰고, readiness 는 실패하면 트래픽에서 격리라 재시작해도 안 나아지는 문제(의존 대상이 죽음)에 쓴다. DB 장애에 liveness 를 걸면 모든 파드가 무한 재시작하고, DB 가 돌아와도 CrashLoopBackOff 의 백오프 때문에 회복이 늦어지며, 재시작하면 캐시까지 날아간다. +**왜 필요한가** — 커넥션 풀이 스스로 재연결하고 readiness가 다시 UP이 되면서 Service에 복귀했다. 2026-09-22에는 PostgreSQL이 13:56:21에 Ready가 된 뒤 13:56:37 확인 시점에 두 Keycloak과 edge가 이미 정상(`Ready=true`, 외부 200)이었다. Keycloak restart count는 증가하지 않았다. liveness 는 실패하면 재시작이라 재시작하면 나아지는 문제(교착, 메모리 누수)에 쓰고, readiness 는 실패하면 트래픽에서 격리라 재시작해도 안 나아지는 문제(의존 대상이 죽음)에 쓴다. DB 장애에 liveness 를 걸면 모든 파드가 무한 재시작하고, DB 가 돌아와도 CrashLoopBackOff 의 백오프 때문에 회복이 늦어지며, 재시작하면 캐시까지 날아간다. **문제가 생기면** — 계속 `503` 이면 Keycloak 이 아직 재연결 중이다. 15~30초 더 기다리고 재시작하지 않는다. @@ -691,16 +671,16 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found ``` -**예상 결과** — 실측은 `online 세션 5` 다(observed). 주입 전에 적어 둔 값보다 크거나 같다. 실험 중에 로그인을 여러 번 했으므로 늘어나 있다. +**예상 결과** — 2026-09-22 재검증은 주입 전 `2`, 복구 후 `2`였다. 정상 종료 구간에서 새 로그인은 `500`으로 실패했으므로 이번 회차에는 세션 수가 늘 이유도 없었다. -**왜 필요한가** — 세션은 DB 에 있으므로 DB 가 돌아오면 같이 돌아오고, 정상 종료였기 때문에 하나도 잃지 않았다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다. +**왜 필요한가** — 주입 전후 동일한 `2`건이 남아 정상 종료 자체가 저장된 세션 행을 잃지 않았음을 확인했다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다. **문제가 생기면** — 세션 수가 주입 전보다 적으면 이 실험 밖에서 누가 지운 것이다. A-3 의 정리 단계가 돌았는지 본다. | 항목 | 명령 | 돌아왔을 때 | |---|---|---| | DB | `kubectl -n keycloak-lab get deploy postgres` | `1/1` | -| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running`, `RESTARTS 0` | +| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running`, restart count가 주입 전과 동일 | | Service | `kubectl -n keycloak-lab get endpointslice -l kubernetes.io/service-name=keycloak` | ready 주소 **둘** | | 헬스 | `exec a2-probe -- curl -s "http://$K0:9000/health/ready"` | 전체 `UP` | | 클러스터 | `vendor_cluster_size` | 양쪽 `2` | @@ -718,6 +698,7 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found | DB 를 내렸는데 몇 초 만에 돌아온다 | **`delete pod` 를 썼다.** Deployment 가 새로 만든다 | `scale --replicas=0` | | ④ 가 `401` 이다 | **access token 이 만료됐다** (수명 60초) | 토큰 발급 → 정지 → 시험을 60초 안에 | | `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 탐침 파드로 치거나 Prometheus 에 묻는다 | +| 컨테이너 안 원라이너에서 `awk: command not found` | 현재 Keycloak 이미지에는 `awk`도 없다 | `sed`, shell built-in처럼 실제 존재를 확인한 도구만 쓰거나 계산을 lab host에서 한다 | | 파드 셸에 다시 들어갔더니 변수가 없다 | `exec` 세션이 끝나면 셸 변수는 사라진다 | 셸을 붙잡고 있는다. 터미널 두 개 | | `kubectl get endpoints` 가 경고를 찍는다 | v1.33 부터 deprecated | `get endpointslice -l kubernetes.io/service-name=...` | | `up` 이 1 이라 정상인 줄 알았다 | **`up` 은 스크레이프 성공만 말한다** | readiness 와 외부 코드를 본다 | @@ -728,10 +709,22 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found ## 무엇이 관측이고 무엇이 아닌가 +2026-09-22 현재 lab에서 A-2를 다시 실행했다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a2-*.txt`에 있다. + +- (observed, 2026-09-22) 주입 전 Keycloak 두 파드 Ready, cluster size `2/2`, online session `2`, 정문 `200`. +- (observed, 2026-09-22) PostgreSQL을 `replicas=0`으로 내린 직후 두 파드의 기존 refresh가 모두 `500`, 새 login `500`, admin session API `500`, JWKS와 `.well-known`은 `200`. +- (observed, 2026-09-22) 두 Keycloak은 restart count 증가 없이 `Ready=false`, EndpointSlice `false,false`, edge와 외부 응답은 `503`. +- (observed, 2026-09-22) 직접 Pod IP의 `/health/ready`를 보면 전체 `DOWN`, `database connections async health check`만 `DOWN`, cluster health와 initialized는 `UP`. +- (observed, 2026-09-22) `kube_pod_status_ready` Prometheus query는 여전히 빈 배열이다. +- (observed, 2026-09-22) PostgreSQL은 13:56:21 KST에 Ready가 됐고 13:56:37 확인 시 두 Keycloak은 재시작 없이 Ready, edge/외부 `200`, online session은 주입 전과 같은 `2`, cluster size `2/2`. +- (command finding) 현재 Keycloak 26.7.0 이미지에는 `curl`, `wget`뿐 아니라 `awk`도 없다. 컨테이너 내부 명령은 일반적인 userland를 가정하지 않는다. + +아래 2026-09-04/17 숫자는 과거 실행 기록이다. 날짜가 다른 값은 현재 불변값처럼 섞지 않는다. + 이 절차의 숫자는 `2026-09-04 11:53–11:58 KST` 에 돈 한 번의 실행에서 나왔다(observed). - (observed) 정지 `11:56:04`·재기동 `11:57:09`, 네 경로 전부 `500`, JWKS 와 `.well-known` 이 `200`, `ready : []`, 정문 `503`, 헬스 네 항목 중 `database connections` 만 DOWN, `up` 이 양쪽 `1`, `kube_pod_status_ready` 결과가 빈 배열, `restarts=0`, 복구 세션 `5`, 비밀번호 길이 `19`. -- (unknown) `tr ',' '\n' | grep -E` 로 자른 Prometheus 출력 셋과 `CID` 를 뽑는 줄. 가이드가 미검증으로 표시했다. +- (changed) 현재값 판정에 Prometheus JSON을 `tr`/`grep`으로 자르는 형태는 쓰지 않는다. CID 자체는 2026-09-22에 `kcadm`으로 확인했고, 문서의 curl 기반 CID 추출 원라이너는 별도 검증하지 않았다. - 한 번은 버린 측정이 있다 — ④ 의 첫 측정 `HTTP 000000{"error":"HTTP 401 Unauthorized"}401` 은 `-o /dev/null` 을 빼고 `--retry` 를 걸어 나온 오염된 값이라 쓰지 않았다. 표의 `500` 은 DB 가 내려가 있는 동안 서명 검증 경로와 함께 다시 잰 값이다. - ④ 를 언제 다시 쟀는지를 원본과 다르게 적었다(unknown). 원본 가이드는 그 `500` 을 「복구 절에서 다시 잰 값」이라고 쓰는데 복구 절에는 ④ 를 다시 재는 명령이 없고, DB 가 선 뒤에 재면 `500` 이 나올 수 없다. 증거 파일 `04-health-and-service.txt` 의 「④ 다시」 절은 정문 `503` · `ready : []` 와 같은 묶음에 들어 있어 정지 구간에 찍혔다. 그래서 이 기록은 재측정을 관찰 절에 넣었고, 원본이 「복구 절」이라고 쓴 것이 무엇을 가리키는지는 확인하지 못했다. - 말할 수 있는 범위가 여기까지인 것이 하나 있다 — JWKS 가 살아 있으므로 「이미 JWKS 를 캐시한 리소스 서버는 토큰 검증을 계속할 수 있다」는 이론이고, 이 실험대에 독립 리소스 서버가 없어 확인하지 못했다. B층에서 확인한다. diff --git a/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a0-session-sharing-path.md b/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a0-session-sharing-path.md index b837e2c..a801a45 100644 --- a/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a0-session-sharing-path.md +++ b/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a0-session-sharing-path.md @@ -137,7 +137,7 @@ kubectl get nodes kubectl -n keycloak-lab get pods -o wide ``` -**어디를 보나** — `READY` 가 둘 다 `1/1`, `RESTARTS` 가 `0`, 그리고 `NODE` 열이 서로 다른지. `postgres` 가 어느 노드에 있는지도 적어 둔다. +**어디를 보나** — `READY` 가 둘 다 `1/1`이고 `NODE` 열이 서로 다른지. `RESTARTS` 는 이전 VM 재부팅이나 컨테이너 재시작 이력 때문에 0이 아닐 수 있으므로, 여기서는 전제 조건으로 쓰지 않는다. `postgres` 가 어느 노드에 있는지도 적어 둔다. **이 값이 뜻하는 것** — 두 Keycloak 파드가 같은 노드에 있으면 이 실험은 성립하지 않는다. 원래 실행에서는 `keycloak-0` 이 `kc-lab-2`, `keycloak-1` 이 `kc-lab-1` 이었다(observed). 파드 번호와 노드 번호가 어긋나므로 이름만 보고 짐작하지 않는다. `postgres` 의 위치는 A-2 와 A-3 에서 쓴다. @@ -165,12 +165,27 @@ echo "$K0 $K1" **무엇을 보는가** — 두 노드가 서로를 멤버로 세고 있는지. -```bash label="[lab host] 양쪽 로그에서 마지막 클러스터 뷰 한 줄씩" -kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1 -kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1 +로그는 사건 기록이다. 일반 view는 `ISPN000094`, 분리됐다 다시 합쳐진 merge view는 `ISPN000093`으로 남을 수 있으므로 둘을 함께 본다. + +```bash label="[lab host] 양쪽 로그에서 최근 cluster view 이벤트를 본다" +kubectl -n keycloak-lab logs keycloak-0 | grep -E 'ISPN000093|ISPN000094' | tail -5 +kubectl -n keycloak-lab logs keycloak-1 | grep -E 'ISPN000093|ISPN000094' | tail -5 ``` -**어디를 보나** — 괄호 안의 멤버 수. 실측은 이렇다(observed). +현재 멤버 수는 로그의 마지막 `ISPN000094` 한 줄로 판정하지 않는다. 2026-09-22 재검증에서는 두 파드가 잠시 각각 `(1)`이 된 뒤 `ISPN000093: MERGED ... (2)`로 합쳐졌기 때문에 `grep ISPN000094 | tail -1`만 치면 현재 클러스터를 1노드로 오판했다. 현재 상태는 각 파드가 내보내는 `vendor_cluster_size`로 바로 확인한다. + +```bash label="[lab host] 각 Keycloak 파드가 현재 몇 멤버를 보는지 확인한다" +for POD in keycloak-0 keycloak-1; do + echo "[$POD]" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_cluster_size' +done +``` + +두 줄 모두 마지막 값이 `2.0`이어야 한다. `kubectl get --raw`는 API server를 통해 파드의 management port `9000`을 읽기 때문에 별도 `curl` 파드를 띄우지 않아도 된다. + +**어디를 보나** — 로그에서는 가장 최근 view 이벤트의 괄호 안 멤버 수를 보고, 현재 상태는 `vendor_cluster_size` 두 줄을 기준으로 판정한다. 과거 실측은 이렇다(observed). ```text 2026-09-04 00:52:09,294 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)] @@ -185,7 +200,7 @@ kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1 └─ 뷰 ID (바뀔 때마다 1 증가) ``` -**이 값이 뜻하는 것** — 멤버가 2 다. 이 줄이 증명하는 범위는 거기까지이고, 멤버가 둘이라는 것과 세션이 오간다는 것은 다른 말이다. +**이 값이 뜻하는 것** — 멤버가 2 다. 이 줄이 증명하는 범위는 거기까지이고, 멤버가 둘이라는 것과 세션이 오간다는 것은 다른 말이다. 2026-09-22 재검증에서도 두 파드의 `vendor_cluster_size`가 모두 `2.0`으로 확인됐다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt`와 `a0-03-vendor-cluster-size.txt`다. ### 4. 디스커버리 테이블을 본다 @@ -236,26 +251,25 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ ### 6. 노드별 캐시 엔트리를 밖에서 묻는다 -**무엇을 보는가** — 이 실험의 주 계기인 캐시 엔트리 수. +**무엇을 보는가** — 각 Keycloak 파드가 자기 로컬 메모리에 들고 있는 `sessions`·`clientSessions` 엔트리 수. -Keycloak 컨테이너에는 `curl` 도 `wget` 도 없어 `exec` 로 물으면 `exit 127` 이 난다. Prometheus 가 15초마다 이미 긁고 있으므로 밖에서 묻는 쪽이 짧다. +Keycloak 컨테이너 자체에는 `curl`·`wget`이 없다. 그렇다고 Prometheus API JSON을 `tr`과 `grep`으로 잘라 읽을 필요도 없다. Kubernetes API server가 파드의 management port `9000`을 프록시할 수 있으므로, 파드별 `/metrics`를 직접 읽는 편이 짧고 무엇을 재는지도 더 분명하다. -```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' +```bash label="[lab host] 두 Keycloak 파드의 세션 캐시 엔트리를 직접 읽는다" +for POD in keycloak-0 keycloak-1; do + echo "[$POD]" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_statistics_approximate_entries_unique' \ + | grep -E 'cache="(sessions|clientSessions)"' +done ``` -처음 한 번은 자르지 않고 그대로 본다. 어떤 라벨이 붙어 있는지 알아야 다음부터 무엇으로 거를지 정할 수 있다. 라벨을 보고 나면 읽기 좋게 자른다 — 아래 줄은 가이드가 미검증으로 표시했다(unknown). +**어디를 보나** — 각 줄 끝의 숫자다. `cache="sessions"`와 `cache="clientSessions"`를 구분해서 본다. -```bash label="[lab host] ② 라벨을 보고 나서 필요한 줄만 자른다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' \ - | tr ',' '\n' | grep -E '"cache":|"pod":|^"[0-9]' -``` +**왜 이 명령이 더 낫나** — Prometheus scrape 주기를 기다리지 않고 현재 파드 값을 바로 읽는다. JSON 구조를 억지로 잘라내는 `wget → tr → grep` 파이프도 없어 초보자가 어느 단계에서 값이 사라졌는지 추적하기 쉽다. -**어디를 보나** — `cache` 가 `sessions` 인 두 줄과 그 값. - -**이 값이 뜻하는 것** — `clientSessions`·`work` 같은 다른 캐시도 같이 나오므로 `cache` 라벨을 반드시 확인한다. 중괄호를 URL 에 그대로 넣으면 `wget` 이 싫어할 수 있어 쿼리에 라벨 필터를 걸지 않고 받은 뒤에 거른다. +2026-09-22 재검증에서 초기화 직후 두 파드의 `sessions`·`clientSessions`가 모두 `0.0`이었다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt`다. ### 7. 탐침을 무엇으로 할지 정한다 @@ -366,7 +380,7 @@ kubectl -n keycloak-lab run kc-probe --rm -it --restart=Never \ --command -- sh ``` -셸에서 `exit` 하면 `--rm` 이 파드를 지운다. 비밀번호는 명령 치환으로 넘기므로 값이 터미널에도 셸 히스토리에도 남지 않는다. 존재와 길이만 밖에서 확인한다. +셸에서 `exit` 하면 `--rm` 이 파드를 지운다. 명령 치환식 자체만 셸 히스토리에 남고 비밀번호 리터럴은 히스토리에 남지 않는다. 다만 실행 중인 `kubectl` 프로세스 인자에는 값이 잠깐 들어갈 수 있으므로 이 형태는 전용 lab에서만 쓴다. 운영 환경에서는 `secretKeyRef`처럼 Secret을 프로세스 인자로 꺼내지 않는 방식을 쓴다. 화면에는 값 대신 존재와 길이만 확인한다. ```bash label="[lab host] 비밀번호의 길이만 센다" kubectl -n keycloak-lab get secret keycloak-lab-secrets \ @@ -529,49 +543,33 @@ curl -s -w '\n%{http_code}\n' -X POST "http://$K0:8080$TOK" \ 이 `400` 을 적어 둔다. A-1 에서 7800 을 막으면 같은 곳이 `200` 으로 바뀌고, 그것이 A-1 의 결론이다. -### 시험 0b — 복제인가, 같은 DB 를 본 것인가 +### 시험 0b — 로그인한 노드의 엔트리가 반대편에도 복제되는가 -로그인 한 번을 사이에 두고 양쪽 노드의 캐시 계수기를 잰다. 복제라면 반대편도 같이 늘고, 같은 DB 를 보는 것뿐이라면 반대편은 안 움직인다. 전값을 재고, `keycloak-0` 에만 로그인 한 번을 넣고, 30초 기다렸다가 후값을 같은 명령으로 잰다. +이 시험은 **로컬 엔트리 소유권**을 본다. 여기서 반대편 파드의 엔트리가 늘지 않았다고 해서 곧바로 "반대편은 DB를 읽는다"고 결론 내리면 안 된다. `owners=1`인 분산 캐시는 요청을 받은 노드가 owner가 아니어도 클러스터 통신으로 owner의 엔트리를 사용할 수 있기 때문이다. 실제 읽기 경로는 0d에서 SQL 로그와 함께 판정한다. -```sh label="[탐침 파드] 발급 노드에만 로그인 한 번을 넣고 나간다" +먼저 §6 명령으로 양쪽 `sessions` 값을 적어 둔다. 그다음 `keycloak-0`에 로그인 한 번만 넣는다. + +```sh label="[탐침 파드] keycloak-0 에 로그인 한 번을 넣는다" curl -s -o /dev/null -w '%{http_code}\n' -X POST \ "http://$K0:8080/realms/master/protocol/openid-connect/token" \ -d grant_type=password -d client_id=admin-cli \ -d username=admin -d "password=$PW" -exit ``` -실측은 이렇다(observed, `02-cache-delta.txt`). +다시 §6 명령으로 같은 값을 읽는다. direct metrics라 Prometheus scrape를 기다릴 필요가 없다. + +2026-09-22 재검증 결과는 이랬다(observed). ```text -=== keycloak-0 (로그인을 받은 노드) === - 계수기 캐시 전 후 증가 - rpc.replication_count clientSessions 1 1 +0 - rpc.replication_count sessions 1 1 +0 - approximate_entries_unique clientSessions 1 2 +1 ← - approximate_entries_unique sessions 1 2 +1 ← - hits clientSessions 2 2 +0 - hits sessions 2 2 +0 - misses clientSessions 2 3 +1 ← - misses sessions 3 4 +1 ← - stores clientSessions 2 3 +1 ← - stores sessions 2 3 +1 ← - -=== keycloak-1 (아무 요청도 받지 않은 노드) === - 계수기 캐시 전 후 증가 - rpc.replication_count clientSessions 7 7 +0 - rpc.replication_count sessions 7 7 +0 - approximate_entries_unique clientSessions 0 0 +0 - approximate_entries_unique sessions 0 0 +0 - hits clientSessions 4 4 +0 - hits sessions 4 4 +0 - misses clientSessions 0 0 +0 - misses sessions 0 0 +0 - stores clientSessions 1 1 +0 - stores sessions 1 1 +0 + 전 후 +keycloak-0 sessions 1.0 2.0 +keycloak-1 sessions 0.0 0.0 +DB online rows 1 2 ``` -`keycloak-1` 열이 전부 `+0` 이다. 엔트리도 0, 저장도 0 이고 `keycloak-1` 의 `sessions` 엔트리는 처음부터 끝까지 0 이다. `rpc.replication_count` 가 `1`·`7` 로 0 이 아닌 것에 속으면 안 된다 — 이 계수기는 세션 캐시만의 것이 아니라 클러스터가 다른 용무로 주고받은 것까지 센다. 판정은 증가분이 0 이라는 것으로 한다. +로그인을 받은 `keycloak-0`만 `+1`, 요청을 받지 않은 `keycloak-1`은 `+0`이었다. 따라서 **세션 엔트리를 두 노드에 완전 복제하는 구조는 아니다.** 다만 이 숫자만으로 반대편 요청이 DB로 가는지, owner 노드로 원격 조회되는지는 알 수 없다. 그 구분은 0d의 실제 SQL이 한다. + +증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt`다. ### 시험 0c — 엔트리는 어느 노드에 있는가 @@ -597,7 +595,7 @@ for i in 1 2 3 4 5; do done; echo ``` -30초 기다렸다가 관찰용 터미널에서 엔트리를 잰다. 「주입 전에」 §6 의 `tr`·`grep` 형태를 그대로 쓰고, `cache":"sessions"` 인 두 줄의 값을 적어 둔다. 스크레이프 간격이 15초라 바로 물으면 옛 값이 나온다. +로그인 직후 §6의 direct metrics 명령으로 `sessions` 값을 다시 읽는다. 이 값은 파드의 management endpoint를 직접 읽으므로 Prometheus scrape 15초를 기다리지 않는다. 그다음 같은 루프를 `$K1` 만 `$K0` 로 바꿔 한 번 더 친다. 원 가이드는 이 두 번째 루프를 「`$K1` 을 `$K0` 로 바꿔 5회 더」라고 문장으로만 적었다. @@ -610,22 +608,16 @@ for i in 1 2 3 4 5; do done; echo ``` -30초 기다렸다 같은 방법으로 다시 잰다. 실측은 이렇다(observed, `03-cache-ownership.txt`). +같은 방법으로 다시 잰다. 2026-09-22 재검증에서도 기존 기록과 같은 대각선 모양이 나왔다(observed). ```text - keycloak-0 = 10.42.1.43 (kc-lab-2) - keycloak-1 = 10.42.0.35 (kc-lab-1) - -단계 k0 entries k1 entries -시작 2.0 0.0 -keycloak-1 에 로그인 5회 2.0 5.0 -keycloak-0 에 로그인 5회 7.0 5.0 - -=== 대조: PostgreSQL 에는 몇 건인가 === - online 세션 12 +단계 k0 entries k1 entries DB online +시작 2.0 0.0 2 +keycloak-1 에 로그인 5회 2.0 5.0 7 +keycloak-0 에 로그인 5회 7.0 5.0 12 ``` -대각선이다. 한 번에 한 쪽만 늘고, `7 + 5 = 12` 로 DB 총계와 맞으므로 어느 엔트리도 두 번 세어지지 않았다. +대각선이다. 한 번에 로그인 요청을 받은 쪽의 로컬 엔트리만 늘고, `7 + 5 = 12`로 DB 총계와 맞았다. 이것은 `owners=1`의 로컬 소유권 분포를 보여 준다. 반대편 노드가 이 세션을 사용할 때 어느 저장 경로를 거치는지는 이 표만으로 정하지 않는다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt`다. ```bash label="[lab host] DB 총계를 센다" kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ @@ -678,113 +670,75 @@ curl -s -o /dev/null -w '%{http_code}\n' -X POST "http://$K1:8080$TOK" \ -d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT" ``` -실측은 이렇다(observed). +2026-09-22 재검증에서는 요청 자체는 성공했지만, **예전 문서와 SQL 경로가 달랐다.** ```text -=== 요청 === - SID=jSt9GEPVQLJsO-1CeJjVgltg - K1_ENTRIES_BEFORE=5.0 - REFRESH_ON_K1=200 - K1_ENTRIES_AFTER=5.0 +SID=0jdhDrcu6VUaGIFCjWzNXDs2 +refresh_on_keycloak_1=200 ``` -`%h` 가 남긴 IP 로 걸러 `keycloak-1` 이 보낸 것만 본다. 거르는 명령은 관찰용 터미널에서 치는데 거기에는 `K0`·`K1` 이 없다. 두 값은 「주입 검증」에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다. +먼저 현재 파드 IP를 다시 잡는다. -```bash label="[lab host] 관찰용 터미널에서도 파드 IP 를 잡는다" +```bash label="[lab host] PostgreSQL 로그를 파드 IP와 sid로 나눠 볼 준비" K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}') K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}') echo "$K0 $K1" ``` -두 값이 「주입 검증」에서 본 것과 같아야 한다. 이 두 줄을 건너뛰고 다음 블록을 치면 `grep "$K1"` 이 `grep ""` 가 되어 모든 줄이 통과하므로, 두 파드가 날린 문장을 `keycloak-1` 만 걸러 낸 것으로 읽게 되고 뒤에서 세는 건수도 양쪽이 같은 값으로 나온다. 화면에는 아무 경고도 안 뜬다. +그다음 refresh를 받은 `keycloak-1`의 세션 SQL을 찾는다. -```bash label="[lab host] 반대편 노드가 날린 문장만 추린다" -kubectl -n keycloak-lab logs deploy/postgres --since=60s \ - | grep "$K1" | grep 'LOG: execute' +```bash label="[lab host] 반대편 노드의 세션 테이블 SQL만 찾는다" +kubectl -n keycloak-lab logs deploy/postgres --since=2m \ + | grep "$K1" \ + | grep -E 'OFFLINE_USER_SESSION|OFFLINE_CLIENT_SESSION' ``` -:::warning +2026-09-22 재검증에서는 **출력이 없었다.** 같은 시간대 `keycloak-1` 주소에는 `JGROUPS_PING`의 `DELETE/INSERT/SELECT`만 있었고, 방금 만든 sid가 들어간 `OFFLINE_*_SESSION` 질의는 없었다. -**요청을 보내자마자 이 명령을 치면 한 줄도 안 나온다.** 이 트랜잭션은 마지막에서 두 번째 문장이 `SET LOCAL synchronous_commit TO OFF` 라 커밋이 미뤄지고, 로그 줄도 그만큼 늦게 나온다. 2026-09-17 에 요청 직후에 쳤더니 `keycloak-1` 쪽에서는 디스커버리 질의 한 줄만 나왔고, 같은 필터를 몇 초 뒤에 다시 치니 아래 여덟 줄이 다 나왔다(observed). **그 첫 화면을 그대로 읽으면 「반대편은 DB 를 안 읽었다 = 복제였다」는 정반대 결론이 나온다.** 몇 초 기다렸다 친다. +sid 자체로 한 번 더 확인한다. -::: +```bash label="[lab host] 이번 로그인 sid가 어느 DB 연결에서 보였는지 찾는다" +kubectl -n keycloak-lab logs deploy/postgres --since=2m \ + | grep '{{SID}}' +``` -실측은 이렇다(observed, `04-read-path-sql.txt`). +현재 실측에서는 sid 관련 SQL이 모두 `keycloak-0` 주소에서 나왔다. 로그인 시 `OFFLINE_USER_SESSION`·`OFFLINE_CLIENT_SESSION`을 조회하고 새 행을 넣었으며, 마지막에는 `SET LOCAL synchronous_commit TO OFF` 뒤 `COMMIT`했다. 반면 `keycloak-1` refresh는 `200`인데 그 sid의 DB SQL은 만들지 않았다. ```text - select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,...,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2)) - select puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where puse1_0.USER_SESSION_ID=$1 and puse1_0.OFFLINE_FLAG=$2 for no key update of puse1_0 skip locked - select pcse1_0.CLIENT_ID,...,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (...) in (($1,$2,$3,$4,$5)) - select pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where ... for no key update of pcse1_0 skip locked - update OFFLINE_CLIENT_SESSION set TIMESTAMP=$1,VERSION=$2 where CLIENT_ID=$3 and ... and VERSION=$8 - update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1,VERSION=$2 where OFFLINE_FLAG=$3 and USER_SESSION_ID=$4 and VERSION=$5 +keycloak-0 login + SELECT OFFLINE_USER_SESSION + SELECT OFFLINE_CLIENT_SESSION + INSERT OFFLINE_USER_SESSION + INSERT OFFLINE_CLIENT_SESSION SET LOCAL synchronous_commit TO OFF COMMIT + +keycloak-1 refresh + HTTP 200 + sid 관련 OFFLINE_*_SESSION SQL 없음 ``` -`keycloak-1` 은 세션을 DB 에서 읽고 DB 에 쓴다. 파라미터는 `DETAIL` 줄에 있다. sid 는 ③ 이 `SID=` 로 화면에 찍은 값을 옮겨 넣는다 — 그 변수는 탐침 파드 안에만 있어서 `[lab host]` 셸에서는 `$SID` 가 빈 문자열이다. 로그인할 때마다 새로 생기는 값이기도 하다. - -```bash label="[lab host] 그 sid 가 들어간 줄만 앞에서 120자씩 본다" -kubectl -n keycloak-lab logs deploy/postgres --since=60s \ - | grep '{{SID}}' | cut -c1-120 -``` - -이 실험대의 값은 `jSt9GEPVQLJsO-1CeJjVgltg` 였다(observed). - -실측은 이렇다(observed). +따라서 현재 환경에서 확인된 경로는 다음처럼 읽는 것이 맞다. ```text -2026-09-04 01:12:32.851 UTC [81407] [keycloak-0] DETAIL: parameters: $1 = '0', $2 = 'jSt9GEPVQLJsO-1CeJjVgltg' -... -2026-09-04 01:12:34.934 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '0', $2 = 'jSt9GEPVQLJsO-1CeJjVgltg' -2026-09-04 01:12:34.936 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = 'jSt9GEPVQLJsO-1CeJjVgltg', $2 = '0' -2026-09-04 01:12:34.944 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '1788484354', $2 = '1', $3 = '131a9912-...', ... -2026-09-04 01:12:34.946 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '1788484354', $2 = '1', $3 = '0', $4 = 'jSt9GEPVQLJsO-1CeJjVgltg', $5 = '0' +keycloak-1 이 요청을 받음 + ↓ +자기 로컬 sessions 엔트리는 없음 + ↓ +Infinispan/JGroups 분산 캐시를 통해 owner 엔트리를 사용 가능 + ↓ +이번 refresh에서는 PostgreSQL 세션 행을 직접 읽지 않음 ``` -증거 파일에는 IP 대신 `[keycloak-0]` `[keycloak-1]` 이 적혀 있다. 원래 실행 스크립트가 `sed` 로 IP 를 파드 이름으로 바꿔 놓은 것이고, 따라 하는 화면에는 `10.42.0.35` 같은 IP 가 그대로 나온다. pid 도 본다 — `81407` 은 `keycloak-0` 의 연결, `81376` 은 `keycloak-1` 의 연결이며 pid 가 트랜잭션의 경계를 가른다. +중요한 점은 **"로컬 캐시에 없다"와 "DB에서 읽는다" 사이에 등호를 놓으면 안 된다는 것**이다. PostgreSQL은 persistent user session의 저장소지만, 살아 있는 2노드 클러스터에서 모든 교차 노드 요청이 DB를 다시 읽는 것은 아니다. DB fallback이나 재적재 경로는 캐시 miss, 노드 상실, 재시작 같은 조건을 따로 주입해 확인해야 한다. -이 갱신 트랜잭션은 `01:12:34.934` 의 `BEGIN` 에서 `01:12:34.947` 의 `COMMIT` 까지 13밀리초다. `BEGIN` 과 `COMMIT` 은 sid 를 파라미터로 달지 않아서 위 `grep` 에 안 걸린다. 그래서 화면에 남는 마지막 줄이 `.946` 이고, 거기까지만 세면 12 가 나온다. 경계 두 줄은 같은 pid `81376` 연결에서 나왔고, 실험 기록에 `pid=… |` 꼴로 옮겨 적힌 것으로만 남아 있다(observed). 자기 화면에서 그 둘을 보려면 sid 필터를 빼고 로그에 찍힌 그 pid 로 다시 거른다. 원 가이드에는 그 명령이 없어서 2026-09-17 에 만들어 쳐 봤다(observed). +2026-09-04의 옛 실험 기록에는 반대편 노드가 `OFFLINE_*_SESSION`을 SELECT/UPDATE한 흔적이 있었다. 그 값은 당시 관측으로 남기되 **현재 Keycloak 26.7.0 실험대의 불변 동작으로 일반화하지 않는다.** 이번 재검증 증거는 다음 파일에 있다. -```bash label="[lab host] 그 pid 의 트랜잭션 경계만 본다" -kubectl -n keycloak-lab logs deploy/postgres --since=5m \ - | grep '{{PID}}' | grep -E 'BEGIN|COMMIT|synchronous_commit' -``` +- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt` +- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt` +- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt` -`{{PID}}` 는 위 `DETAIL` 줄의 대괄호 안 숫자다 — 그 실험대에서는 `[915]` 였다. 같은 pid 의 `BEGIN` 과 `COMMIT` 사이에 여덟 문장이 들어 있는 것이 보인다. 그 두 줄이 하는 일은 트랜잭션의 경계를 긋는 것이다. 뒤에 나오는 `SET LOCAL synchronous_commit TO OFF` 가 같은 트랜잭션 안에서 `COMMIT` 직전에 나왔다는 판정이 거기서 나오고, 원 가이드는 그 확인을 「pid 로 경계를 확인했다」로 적는다. - -파드별 질의 건수는 미검증 형태로 센다(unknown). 여기서도 sid 는 ③ 이 찍은 자기 값이다. - -```bash label="[lab host] 두 파드가 각각 몇 줄을 날렸는지 센다" -kubectl -n keycloak-lab logs deploy/postgres --since=60s \ - | grep '{{SID}}' | grep -c "$K0" -kubectl -n keycloak-lab logs deploy/postgres --since=60s \ - | grep '{{SID}}' | grep -c "$K1" -``` - -실측은 `6 [keycloak-1]` 과 `6 [keycloak-0]` 이다(observed). sid 하나에 대해 `keycloak-0` 이 6건(로그인), `keycloak-1` 이 6건(갱신)을 날렸다. - -위 실측의 `K1_ENTRIES_BEFORE=5.0` 과 `K1_ENTRIES_AFTER=5.0` 이 같다. `keycloak-1` 은 남의 세션을 DB 에서 읽어 처리하고도 캐시에 담지 않았다. 캐시에 담기는 것은 그 노드가 로그인시켜 만든 세션뿐이고 남의 세션은 매번 DB 에서 읽는다. 세션 어피니티가 정확성이 아니라 성능 문제인 까닭이 여기 있다. - -같은 로그에 jdbc-ping 하트비트도 보인다(observed). - -```text -01:12:37.551 pid=81369 | BEGIN -01:12:37.551 pid=81369 | DELETE from JGROUPS_PING WHERE address=$1 -01:12:37.552 pid=81369 | INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values (...) -01:12:37.553 pid=81369 | COMMIT -``` - -디스커버리는 별도 연결(pid 가 다르다)에서 주기적으로 자기 행을 지우고 다시 넣는다. 디스커버리와 트랜스포트가 다른 경로라는 것이 로그에서 눈으로 확인되고, A-1 이 그 둘을 갈라 끊는다. - -13밀리초짜리 그 트랜잭션에는 셋이 들어 있었다. 낙관적 락(`VERSION` 컬럼), `FOR NO KEY UPDATE ... SKIP LOCKED`, 그리고 `SET LOCAL synchronous_commit TO OFF` 다. 전역 설정은 다르다. - -```bash label="[lab host] 전역 설정을 읽는다" -kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ - -c "show synchronous_commit" -``` - -전역은 `on` 이고 Keycloak 이 세션 트랜잭션에만 `SET LOCAL` 로 끈다. `SET LOCAL` 은 그 트랜잭션이 끝나면 되돌아간다. PostgreSQL 이 갑자기 죽으면 직전 수백 밀리초의 세션 쓰기가 사라질 수 있고, A-3 이 그 숫자를 잰다. +전역 `synchronous_commit`은 여전히 `on`이었고, `keycloak-0`이 로그인 세션을 저장하는 트랜잭션에서만 `SET LOCAL synchronous_commit TO OFF`가 관측됐다. `SET LOCAL`은 해당 트랜잭션이 끝나면 되돌아간다. A-3에서 DB crash 직전 쓰기 손실을 볼 때는 **실제로 어떤 요청이 이 구문을 실행했는지 SQL 로그로 같이 묶어** 해석한다. 여기까지가 탐침 파드에서 칠 것의 마지막이다. 파드 셸을 붙잡고 있던 터미널에서 나온다. 나가지 않으면 `--rm` 이 파드를 안 지우고 원상복구 확인표의 `kc-probe` 줄이 `NotFound` 가 아니게 된다. @@ -852,10 +806,10 @@ kubectl -n keycloak-lab rollout status statefulset/keycloak --timeout=300s | 항목 | 명령 | 돌아왔을 때 | |---|---|---| | 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running` | -| 클러스터 뷰 | `kubectl -n keycloak-lab logs keycloak-0 \| grep ISPN000094 \| tail -1` | 멤버 `(2)` | +| 클러스터 크기 | 각 파드의 `/metrics`에서 `vendor_cluster_size` 확인 | 두 줄 모두 `2.0` | | 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** | | DB 세션 | `psql -c "select count(*) from offline_user_session"` | `0` | -| 캐시 | `vendor_statistics_approximate_entries_unique` | `sessions` 두 줄 다 `0` | +| 캐시 | §6의 direct metrics 명령 | `sessions`·`clientSessions` 모두 `0.0` | | 문장 로깅 | `psql -c "show log_statement"` | `none` | | 탐침 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) | | 밖 | `curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` | @@ -879,7 +833,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found | `userinfo` 가 양쪽 다 `403` | **`openid` scope 가 없다.** 복제와 무관 | 본문의 `insufficient_scope` | | 세션 개수가 계속 어긋난다 | **관리 API 호출도 세션을 만든다** | 개수 말고 **sid** 로 본다 | | 캐시 합계와 DB 총계가 안 맞는다 | **DB 만 지우고 파드를 재시작 안 했다** | `rollout restart statefulset/keycloak` | -| 로그인했는데 지표가 안 움직인다 | Prometheus 스크레이프는 15초 간격 | 30초 기다렸다 다시 | +| 로그인했는데 지표가 안 움직인다 | 다른 캐시 라벨을 보고 있거나 요청이 실패했다 | §6 direct metrics에서 `sessions` 라벨과 로그인 HTTP 상태를 같이 본다 | | `rpc.replication_count` 가 0 이 아니라 당황 | 세션 캐시만의 계수기가 아니다 | 절대값이 아니라 **증가분**으로 본다 | | `CID` 가 엉뚱한 값이다 | `sed` 의 `.*` 가 탐욕적이라 **마지막** `"id"` 를 잡는다 | `tr ',' '\n' \| grep -m1 '"id"'` | | 문장 로깅을 켰는데 SQL 이 안 보인다 | `pg_reload_conf()` 를 안 했다 | `show log_statement` 가 `all` 인지 | @@ -888,6 +842,16 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found ## 무엇이 관측이고 무엇이 아닌가 +2026-09-22에는 Keycloak 26.7.0 환경에서 이 절차를 다시 실행했다. 현재 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-*.txt`에 있다. + +- (observed, 2026-09-22) 양쪽 `vendor_cluster_size=2.0`, 교차 노드 refresh `200`, 같은 sid 유지, 반대편 logout `204`, 그 뒤 원래 노드 refresh `400 invalid_grant`. +- (observed, 2026-09-22) 로컬 cache ownership은 `2/0 → 2/5 → 7/5`, DB online row는 `2 → 7 → 12`였다. +- (changed, 2026-09-22) 반대편 refresh가 성공했지만 그 파드 주소에서 해당 sid의 `OFFLINE_USER_SESSION`/`OFFLINE_CLIENT_SESSION` SQL은 나오지 않았다. 옛 기록의 "반대편은 매번 DB를 읽는다"는 설명은 현재 동작으로 일반화하지 않는다. +- (observed, 2026-09-22) 로그인한 owner 쪽에서는 `OFFLINE_*_SESSION` SELECT/INSERT와 `SET LOCAL synchronous_commit TO OFF`가 확인됐다. +- (observed, 2026-09-22) 정리 후 DB 세션 0, 두 파드 캐시 0, cluster size 2, `log_statement=none`, 외부 realm HTTP 200으로 돌아왔다. 증거는 `a0-15-cleanup.txt`다. + +아래 항목은 과거 실행에서 얻은 값이다. 날짜가 다른 관측을 현재 불변 동작으로 섞지 않는다. + 이 절차의 숫자는 `2026-09-04 09:52–10:14 KST` 에 돈 한 번의 실행에서 나왔다(observed). - (observed) 파드 IP `10.42.1.43`·`10.42.0.35`, 뷰 ID `5` 와 멤버 `(2)`, `jgroups_ping` 의 `coord = t` 하나, 캐시 델타 전량, `7 + 5 = 12`, `keycloak-1` 이 날린 SQL 여덟 줄, pid `81407`/`81376`, 비밀번호 길이 `19`. @@ -896,7 +860,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found - (observed) 같은 날 새로 드러난 것 — 요청 직후에 로그를 거르면 반대편 문장이 한 줄도 안 나온다는 것, pid 로 거르면 `BEGIN`~`COMMIT` 경계가 보인다는 것, 토큰 길이가 `612자`·`758자` 로 원래 실행과 다르다는 것. - (unknown) 파드별 질의 건수를 세는 두 줄은 이번에도 그대로 치지 않았다. 원래 실행은 스크립트로 했다. - 트랜잭션 경계 시각 `01:12:34.934` 와 `01:12:34.947` 은 실험 기록 한 벌에만 있다. `04-read-path-sql.txt` 에 보존된 것은 sid 가 걸린 `DETAIL` 줄과 시각 없는 문장 목록이라 타임스탬프가 붙은 `BEGIN`/`COMMIT` 이 없다. 그래서 13밀리초를 증거 원문으로 다시 확인할 수는 없다. -- 캐시 설정은 파일에서 읽을 수 없다. `cache-ispn.xml` 에는 `` 뿐이고, 「세션은 DB 로 공유된다」는 판정은 설정을 읽어서가 아니라 동작을 측정해서 얻었다. +- 캐시 설정은 파일에서 완전히 읽을 수 없다. `cache-ispn.xml`에는 ``만 보이고 런타임 분산 캐시 동작은 지표·SQL·장애 주입을 함께 봐야 한다. 과거의 「세션은 DB로 공유된다」 단일 판정은 2026-09-22 재검증 결과로 수정됐다. - 스크립트를 안 쓰는 까닭도 측정 실패에서 나왔다(observed). `kubectl run --rm -i ... | grep` 로 받았더니 중간 조각이 통째로 사라져 `keycloak-1` 의 스냅샷과 다음 마커가 함께 없어졌고, 전값이 0 으로 잡히면서 가짜 델타가 만들어졌다. 그때 리포트는 `keycloak-1` 이 `+9`, `+7` 증가한 것처럼 보였다 — 없는 복제가 있는 것처럼 보이는 오류다. 다른 하나는 중첩 인용이다. `ssh host '... $VAR ...'` 안에 다시 `sh -c "..."` 를 넣으면 인용이 세 겹이 되어 치환이 조용히 깨졌고, 첫 시도에서 파드 IP 가 빈 문자열이 되어 아무 출력도 나오지 않았다. diff --git a/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a1-jgroups-transport-block.md b/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a1-jgroups-transport-block.md index cd30605..99596d7 100644 --- a/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a1-jgroups-transport-block.md +++ b/docs/keycloak-session-store/tech-log-studio/session-custody-across-nodes/setup/setup-reproduce-a1-jgroups-transport-block.md @@ -47,7 +47,7 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800 **원 가이드는 이 명령들을 `kc-lab-1` 에서 치라고 적었다.** 기반 가이드가 세운 실험대에서는 그 기계에 kubeconfig 가 없어서 `sudo` 없는 `kubectl` 이 `permission denied` 로 막힌다 — kubeconfig 는 lab host 의 `~/.kube/config` 에만 있다(2026-09-17 에 양쪽에서 쳐서 확인했다, observed). 그래서 `kubectl` 블록의 기계 이름을 `[lab host]` 로 적었고, 노드 자체를 건드리는 명령에만 게스트 셸을 쓴다. -주입에 쓰는 매니페스트 경로 `deploy/lab/k8s/a1-block-jgroups-transport.yaml` 는 저장소 상대경로다. 체크아웃을 `kc-lab-1` 의 어디에 뒀는지는 원 가이드에 없고 거기로 옮기는 명령도 없으므로(unknown), 이 상대경로가 그대로 통하는 디렉터리에서 시작한다. 다른 디렉터리에서 치면 `cat` 도 `kubectl apply` 도 파일을 못 찾고 끝난다. +주입에 쓰는 매니페스트 경로 `deploy/lab/k8s/a1-block-jgroups-transport.yaml`는 저장소 상대경로다. 현재 lab host에는 원본 저장소가 `~/workspace/keycloak-pattern`에 있으므로 먼저 `cd ~/workspace/keycloak-pattern`로 이동한다. 다른 디렉터리에서 치면 `cat`과 `kubectl apply`가 파일을 못 찾고 끝난다. 터미널은 둘을 연다. 하나는 임시 curl 파드용, 하나는 관찰용이다. 그래서 `[lab host]` 라벨이 붙은 블록이 `[탐침 파드]` 블록 사이에 끼어 있으면 **관찰용 터미널에서 친다** — 파드 셸을 나가라는 뜻이 아니다. 나가라고 할 때는 `exit` 를 블록으로 따로 적는다. @@ -59,13 +59,13 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800 | 탐침 파드 | `kc-probe` — `curlimages/curl:8.11.1`, `--rm -it`, `--restart=Never` | | 분단 판정 | `jgroups_ping` 의 `coord = t` 가 두 줄 | | 걸리는 시간 | 전 구간 약 30분 | -| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 | +| 도구 | `jq`는 없다. 현재 상태는 Prometheus JSON을 자르지 않고 각 Keycloak 파드의 `/metrics`를 `kubectl get --raw`로 직접 읽는다 | **공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다. ## 이 실험이 가르는 것 -A-0 은 세션이 Infinispan 복제가 아니라 PostgreSQL 로 공유된다고 측정했다. Keycloak 24 이전 자료는 세션이 7800 으로 복제된다고 말한다. 통념은 7800 을 막으면 세션 공유가 깨진다고 예측하고 A-0 모델은 안 깨진다고 예측하므로, 7800 만 끊어 보면 둘 중 어느 쪽이 틀렸는지 판정된다. +A-0 재검증에서는 `owners=1`인 분산 캐시와 PostgreSQL persistent session store가 함께 동작했다. 정상 2노드 상태의 교차 refresh는 반대편 노드에서 세션 SQL 없이도 성공했으므로, "로컬 캐시에 없으면 DB에서 읽는다"는 단순 모델은 버렸다. A-1은 7800을 끊었을 때 **원격 owner 접근과 캐시 무효화가 어떻게 달라지는지**를 직접 본다. 끊을 때 두 가지를 갈라야 한다. @@ -95,7 +95,7 @@ kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport 차단 후에 볼 것을 차단 전에 똑같은 명령으로 먼저 봐 둔다. 시험군만 재는 측정은 측정이 아니다. ```text -노드 → 파드 → 정책 → 클러스터 뷰(로그) → 디스커버리(DB) → 지표(Prometheus) → 대조군 시험 +노드 → 파드 → 정책 → 현재 cluster metric → 디스커버리(DB) → 최근 cluster event → 대조군 시험 ``` ### 1. 두 파드가 서로 다른 노드에 있는가 @@ -116,9 +116,7 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}') echo "$K0 $K1" ``` -**어디를 보나** — `READY` 가 둘 다 `1/1`, `RESTARTS` 가 `0`, `NODE` 열이 서로 다른지. 실측은 `10.42.1.43 10.42.0.35` 였다(observed). - -**이 값이 뜻하는 것** — `RESTARTS` 는 뒤에서 다시 센다. 이 값이 오르면 주입이 엉뚱한 곳을 건드렸다. +**어디를 보나** — `READY`가 둘 다 `1/1`이고 `NODE` 열이 서로 다른지. `RESTARTS`는 이전 VM 재부팅 같은 이력 때문에 0이 아닐 수 있으므로 숫자를 적어 두고 **주입 전후에 증가했는지** 비교한다. 파드 IP도 이 시점의 값을 적는다. ### 2. 기존 정책이 없는가 @@ -136,23 +134,30 @@ No resources found in keycloak-lab namespace. **이 값이 뜻하는 것** — NetworkPolicy 는 합집합으로 허용되므로 두 개가 겹치면 무엇이 열려 있는지 한눈에 안 보인다. -### 3. 양쪽 클러스터 뷰가 같은 줄인가 +### 3. 양쪽이 현재 같은 2노드 클러스터를 보는가 -**무엇을 보는가** — 두 노드가 같은 멤버 목록을 찍고 있는지. +로그의 마지막 `ISPN000094` 한 줄은 현재 상태가 아닐 수 있다. A-0 재검증에서 `(1)` 로그 뒤에 `ISPN000093: MERGED ... (2)`가 생겨 `grep ISPN000094 | tail -1`만 보면 현재를 잘못 판정했다. 현재 멤버 수는 각 파드의 metric으로 읽는다. -```bash label="[lab host] 양쪽 로그에서 마지막 클러스터 뷰 한 줄씩" -kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1 -kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1 +```bash label="[lab host] 두 Keycloak 파드가 현재 세는 멤버 수" +for POD in keycloak-0 keycloak-1; do + echo "[$POD]" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_cluster_size' +done ``` -**어디를 보나** — 두 줄이 완전히 같은지. 실측은 이렇다(observed). +두 줄 모두 마지막 값이 `2.0`이어야 한다. 로그는 원인을 볼 때만 최근 cluster event를 함께 본다. -```text - keycloak-0: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)] - keycloak-1: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)] +```bash label="[lab host] 최근 cluster view 이벤트" +for POD in keycloak-0 keycloak-1; do + echo "[$POD]" + kubectl -n keycloak-lab logs "$POD" \ + | grep -E 'ISPN000093|ISPN000094' | tail -5 +done ``` -**이 값이 뜻하는 것** — `keycloak-0-30843` 의 뒤 숫자는 JGroups 가 붙인 것이고 파드가 재시작되면 바뀐다. 나중에 `keycloak-0-26403` 이 나오면 같은 파드의 새 인스턴스다. +2026-09-22 A-1 시작 전에도 두 파드의 `vendor_cluster_size`는 모두 `2.0`이었다. ### 4. 디스커버리 테이블에 둘 다 등록돼 있는가 @@ -175,44 +180,22 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ **이 값이 뜻하는 것** — 여기서 셋이 서로 다른 것을 말한다. 로그는 그때 그렇게 보였다는 기록이고, 테이블은 지금 등록되어 있다는 것이며, 지표는 지금 그 노드가 그렇게 안다는 것이다. A-1 에서 이 셋이 갈린다. -### 5. 두 노드가 아는 멤버 수를 지표로 본다 +### 5. 현재값은 파드에서 직접 읽고, 시계열이 필요할 때만 Prometheus를 쓴다 -**무엇을 보는가** — 각 노드가 스스로 세는 클러스터 크기. +A-1 판정에 필요한 현재 cluster size는 3번과 같은 direct metric 명령으로 본다. 이 방식은 Prometheus scrape 주기를 기다리지 않고 JSON을 `tr`·`grep`으로 잘라낼 필요도 없다. -```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' +```bash label="[lab host] 현재 cluster size를 직접 읽는다" +for POD in keycloak-0 keycloak-1; do + printf '%s ' "$POD" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_cluster_size' +done ``` -라벨을 보고 나면 읽기 좋게 자른다. 아래 두 줄은 가이드가 미검증으로 표시했고(unknown), 둘째 줄은 `jq` 가 깔려 있는 환경용이라 이 실험대에서는 쓸 수 없다. +**어디를 보나** — 두 파드 모두 `2.0`. 분단 뒤에는 둘 다 `1.0`이 된다. -```bash label="[lab host] ② 라벨을 보고 나서 필요한 줄만 자른다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \ - | tr ',' '\n' | grep -E '"pod":|^"[0-9]' -``` - -```bash label="[lab host] ③ jq 가 있는 환경이라면 이 형태 — 이 실험대에는 jq 가 없다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \ - | jq -r '.data.result[] | "\(.metric.pod) \(.metric.node) \(.value[1])"' -``` - -**어디를 보나** — 결과가 두 줄이고 값이 둘 다 `2` 인지. 한 노드만 보면 분단을 놓친다. 분단되면 한쪽만 1 이 되는 경로가 있다. - -JGroups 카운터도 지금 0 인 것을 봐 둔다. - -```bash label="[lab host] 병합 이벤트 계수기" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_jgroups_merge3_get_num_merge_events' -``` - -실측은 이렇다(observed, `02-control-before-block.txt`). - -```text -vendor_jgroups_merge3_get_num_merge_events 0.0 (양쪽 노드) -vendor_jgroups_fd_sock2_get_num_suspected_members 0.0 (양쪽 노드) -``` +Prometheus는 "언제 2에서 1로 바뀌었는가" 같은 시계열을 뒤에서 대조할 때만 쓴다. `jq`가 없는 이 실험대에서 현재값 하나를 보기 위해 JSON을 잘라내지는 않는다. ### 6. 대조군 시험을 차단 전에 한 번 돌린다 @@ -297,7 +280,8 @@ exit **목적** — 8080 과 9000 은 열어 둔 채 7800 으로 오는 새 연결만 막는다. -```bash label="[lab host] ① 매니페스트를 먼저 읽는다" +```bash label="[lab host] ① 원본 저장소로 이동해 매니페스트를 먼저 읽는다" +cd ~/workspace/keycloak-pattern cat deploy/lab/k8s/a1-block-jgroups-transport.yaml ``` @@ -321,7 +305,7 @@ spec: # 7800 is absent on purpose. That is the whole experiment. ``` -① 에서 이 매니페스트를 못 찾으면 파일을 직접 만든다. 같은 경로를 에디터로 열어 위 열다섯 줄을 그대로 넣고 저장한다. `printf` 나 `cat </dev/null | grep 7800 ::: -```bash label="[lab host] 없으면 먼저 깐다" -sudo apt install -y conntrack +```bash label="[kc-lab-1] 없으면 이 게스트에 먼저 설치한다" +sudo apt-get update +sudo DEBIAN_FRONTEND=noninteractive apt-get install -y conntrack +``` + +`kc-lab-2`에도 별도로 설치한다. 패키지는 노드마다 따로 설치된다. + +```bash label="[lab host] 반대편 게스트에도 설치한다" +ssh kc-lab-2 +``` + +```bash label="[kc-lab-2] conntrack 설치" +sudo apt-get update +sudo DEBIAN_FRONTEND=noninteractive apt-get install -y conntrack +``` + +```bash label="[kc-lab-2] lab host로 돌아온다" +exit ``` 깔고 나면 문서가 적은 두 줄이 그대로 나온다(2026-09-17, observed). @@ -466,7 +470,7 @@ tcp 6 85885 ESTABLISHED src=10.42.0.13 dst=10.42.1.7 sport=38439 dport=5780 sudo grep 7800 /proc/net/nf_conntrack ``` -반대편 노드는 붙어서 친다. 아래 세 줄 형태는 이 실험대에서 치지 않았다(unknown) — 원래 실행은 `ssh kc-lab-2 'sudo conntrack -L 2>/dev/null | grep 7800'` 한 줄로 쳤고, 한 줄에 원격 접속과 원격 셸의 인용을 겹쳐 놓는 대신 행동 하나를 명령 하나로 나눴다. +반대편 노드도 같은 방식으로 직접 들어가서 본다. 2026-09-22 재검증에서는 두 게스트에 `conntrack 1.4.7`을 설치하고 각각의 표에서 7800과 57800 ESTABLISHED 튜플을 확인했다. ```bash label="[lab host] ① 반대편 노드에 붙는다" ssh kc-lab-2 @@ -584,7 +588,7 @@ kubectl -n observability exec deploy/prometheus -- \ keycloak-1: ... 11:43:57=2 11:44:27=1 11:44:57=1 ... 11:47:27=1 ``` -양쪽 다 1 이다. 서로를 멤버로 안 세고 있고, 로그가 까닭을 말한다. +양쪽 다 1이면 서로를 멤버로 세지 않는 상태다. 2026-09-22에는 `keycloak-0` 재생성 직후 약 20초 동안 management endpoint와 `JGROUPS_PING` 등록 자체가 아직 준비되지 않았고, 10번의 JOIN timeout 뒤 singleton이 된 다음에야 `cluster_size=1`과 coordinator 2개가 함께 보였다. **파드 생성 직후의 빈 값은 분단 판정이 아니라 아직 startup 중이라는 뜻**이다. 로그가 그 순서를 설명한다. ```bash label="[lab host] 합류 시도와 클러스터 뷰를 한 번에 본다" kubectl -n keycloak-lab logs keycloak-0 | grep -E "GMS|ISPN000094" | tail -20 @@ -634,7 +638,7 @@ zsh: no matches found: custom-columns=NAME:.metadata.name,READY:.status.containe 실측은 `keycloak-0 false 0`, `keycloak-1 true 0` 이다(observed, `11-service-impact.txt`). 2026-09-17 에도 같은 두 줄이 나왔다(observed). -**그 `false` 는 파드를 지우자마자 나오지 않는다.** readiness 프로브가 `periodSeconds: 10` · `failureThreshold: 3` 이라 헬스가 먼저 `503` 이 되고 그로부터 최대 30초 뒤에 조건이 뒤집힌다. 2026-09-17 에 지운 지 60초 시점에는 헬스가 이미 `503` 인데 파드는 아직 `1/1 Ready=True` 였다(observed). **그 시점 화면만 보고 「분단이 서비스에 안 잡혔다」로 읽지 않는다** — 1~2분 두고 다시 본다. +**그 `false`는 즉시 나오지 않는다.** startup → singleton 형성 → cluster health DOWN → readiness 반영 순서로 시간이 걸린다. 2026-09-22에도 새 `keycloak-0`이 먼저 singleton `cluster_size=1`이 된 뒤 잠시 `1/1`로 보였다가 결국 `0/1`로 빠졌다. **한 순간의 Ready 값만 보지 말고 cluster metric과 health를 같이 본다.** 까닭은 헬스 본문에 있다. @@ -701,7 +705,7 @@ curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.1 curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: auth.hyeonworks.com' http://192.168.122.10/realms/master ``` -실측은 정문이 `HTTP 200`, 토큰 발급도 `HTTP 200` 이다(observed). 분단된 노드가 스스로 로드밸런서에서 빠졌고 서비스는 계속됐다. liveness 였다면 재시작을 반복했을 텐데 재시작해도 안 나아지는 문제이므로 readiness 로 격리하는 쪽이 맞는 신호다. 다만 비대칭이라서 살았다 — `keycloak-1` 은 멤버가 하나 줄어든 정상적인 사건이라 Ready 를 유지했고, `keycloak-0` 은 합류 자체를 못 해 DOWN 이 됐다. 양쪽이 동시에 DOWN 이 되는 경로가 있다면 전면 장애이고, 그것이 A-5 의 주제다. +실측은 정문이 `HTTP 200`, 토큰 발급도 `HTTP 200` 이다(observed). 분단된 노드가 스스로 로드밸런서에서 빠졌고 서비스는 계속됐다. readiness가 내려가면 Service endpoint에서 제외되지만 컨테이너를 재시작하지는 않는다. 이 장애는 재시작보다 트래픽 격리가 필요한 상태라 readiness 신호가 맞다. 다만 비대칭이라서 살았다 — `keycloak-1` 은 멤버가 하나 줄어든 정상적인 사건이라 Ready 를 유지했고, `keycloak-0` 은 합류 자체를 못 해 DOWN 이 됐다. 양쪽이 동시에 DOWN 이 되는 경로가 있다면 전면 장애이고, 그것이 A-5 의 주제다. 본 시험은 Service 를 쓰면 안 된다. `keycloak-0` 이 NotReady 라 Service 로 보내면 전부 `keycloak-1` 로 간다. 새 주소로 임시 파드를 다시 띄우고 파드 주소로 직접 친다. @@ -775,7 +779,7 @@ exit [4] keycloak-0 에서 재갱신 시도 HTTP 200 ← 400 이어야 했다 ``` -[2] 에서 세션 공유는 예측이 맞았다. 클러스터가 갈라졌는데도 한쪽에서 만든 세션을 반대쪽이 갱신했으니 세션은 7800 으로 다니지 않는다. [4] 에서 로그아웃 전파는 예측이 틀렸다. 대조군에서 400 이던 곳이 200 이다. +[2]에서 반대편 refresh `200`은 **분단 상태에서도 PostgreSQL에 남은 persistent session을 이용해 세션을 재적재할 수 있음**을 보여 준다. A-0 정상 클러스터에서는 같은 교차 refresh가 DB 세션 SQL 없이 성공했으므로, "세션은 항상 DB로 읽힌다"고 일반화하지 않는다. [4]에서는 로그아웃 무효화가 분단을 건너지 못해 대조군 `400 invalid_grant`와 달리 `200`이 나왔다. [4] 의 200 이 로그아웃이 아예 안 됐다는 뜻인지 확인한다. sid 는 [1] 에서 JWT payload 를 풀어 화면에 찍고 적어 둔 그 값이다. 로그인할 때마다 새로 생기므로 자기 실행의 값을 넣는다. @@ -795,9 +799,14 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ (0 rows) ← DB 행은 삭제되었다 ``` -```bash label="[lab host] 세션 캐시 엔트리를 노드별로 본다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique{cache="sessions"}' +```bash label="[lab host] 세션 캐시 엔트리를 노드별로 직접 본다" +for POD in keycloak-0 keycloak-1; do + echo "[$POD]" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_statistics_approximate_entries_unique' \ + | grep -E 'cache="(sessions|clientSessions)"' +done ``` 실측은 `keycloak-1 kc-lab-1 = 0`, `keycloak-0 kc-lab-2 = 1` 이다(observed). 캐시에는 그 세션이 있다. @@ -812,7 +821,7 @@ kubectl -n observability exec deploy/prometheus -- \ keycloak-0 은 자기 캐시로 200 을 준다 ◀────────────┘ ``` -룩어사이드 캐시는 읽을 때 DB 와 대조하지 않는다. 세션 조회는 PostgreSQL 을 타고 세션 무효화는 클러스터 메시지(7800)를 타므로, 7800 을 막으면 조회는 정상이고 무효화만 전파되지 않는다. 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다. +캐시의 stale 엔트리는 매 요청마다 DB와 대조되지 않았다. 이번 분단에서는 K1이 persistent session을 이용해 refresh를 처리하고 DB 행을 삭제했지만, K0의 기존 cache entry 무효화는 7800 분단을 건너지 못했다. 따라서 **정상 클러스터의 원격 owner 경로와 분단 뒤 DB 재적재/fallback 경로를 같은 것으로 설명하지 않는다.** 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다. ## 복구와 원상복구 확인표 @@ -825,9 +834,13 @@ date '+%H:%M:%S 해제' kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport ``` -```bash label="[lab host] ② 30초 간격으로 멤버 수를 몇 번 친다" -kubectl -n observability exec deploy/prometheus -- \ - wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' +```bash label="[lab host] ② 15~30초 간격으로 두 파드의 현재 멤버 수를 본다" +for POD in keycloak-0 keycloak-1; do + printf '%s ' "$POD" + kubectl -n keycloak-lab get --raw \ + "/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \ + | grep '^vendor_cluster_size' +done ``` **예상 결과** — 실측은 이렇다(observed, `12-recovery.txt`). @@ -843,7 +856,7 @@ networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keyclo +90초 keycloak-0=2 keycloak-1=2 ← 재형성 ``` -**왜 필요한가** — 90초 만에 자동으로 다시 붙었고 사람 손이 필요 없었다. 누가 붙였는지는 카운터가 말한다. +**왜 필요한가** — 재형성은 즉시가 아니다. 2026-09-04에는 약 90초가 걸렸지만, 2026-09-22에는 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 회복됐고, `keycloak-0` readiness는 그 뒤 약 15초 더 지나 `true`로 돌아왔다. **cluster merge와 Service endpoint 복귀를 같은 시각으로 가정하지 않는다.** **문제가 생기면** — 2~3분이 지나도 1 이면 MERGE3 주기 밖이거나 정책이 안 지워진 것이므로 `get networkpolicy` 부터 본다. @@ -876,7 +889,7 @@ kubectl -n observability exec deploy/prometheus -- \ | 정책 | `kubectl -n keycloak-lab get networkpolicy` | `No resources found` | | 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running` | | Service | `kubectl -n keycloak-lab get endpointslice -l kubernetes.io/service-name=keycloak` | ready 주소 **둘** | -| 클러스터 뷰 | `kubectl -n keycloak-lab logs keycloak-0 \| grep ISPN000094 \| tail -1` | 멤버 `(2)`, 양쪽 동일 | +| 클러스터 현재값 | 각 파드 `/metrics`의 `vendor_cluster_size` | 양쪽 `2.0` | | 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** | | 지표 | `vendor_cluster_size` | 양쪽 `2` | | 임시 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) | @@ -891,7 +904,7 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시 | 정책을 걸었는데 지표가 안 변한다 | conntrack 의 ESTABLISHED 가 먼저 통과시킨다 | `sudo conntrack -L 2>/dev/null \| grep 7800` | | `conntrack -D` 가 `0 flow entries` | 튜플이 틀렸다. `--dport` 만으로는 0건 | `-L` 출력의 src/dst/sport/dport 를 **그대로** 옮긴다 | | conntrack 을 지웠는데도 계속 2 | **이 실험은 그것만으로 분단되는지 판정 못 했다** | 정책이 걸린 채 파드를 재시작한다 | -| 파드가 재시작을 반복한다 (`RESTARTS` 증가) | **9000 을 안 열었다.** readiness 실패 → kubelet 이 죽인다 | `describe pod` 의 Events. 매니페스트에 9000 이 있는지 | +| 파드가 `0/1`로 빠진다 | 9000 접근 실패 또는 Keycloak readiness DOWN | `describe pod`와 `/health/ready`; **readiness 실패 자체는 컨테이너를 재시작하지 않는다** | | `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 임시 curl 파드를 띄우거나 Prometheus 에 묻는다 | | refresh 가 계속 `keycloak-1` 로만 간다 | Service 로 보냈다. NotReady 파드는 빠진다 | **파드 IP 로 직접** | | 재시작 뒤 아무 데도 안 닿는다 | **파드 IP 가 바뀌었다** (`10.42.1.43 → 10.42.1.67`) | `get pod -o jsonpath='{.status.podIP}'` 다시 | @@ -902,12 +915,22 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시 ## 무엇이 관측이고 무엇이 아닌가 +2026-09-22에는 Keycloak 26.7.0 현재 lab에서 A-1을 다시 처음부터 실행했다. 현재 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a1-*.txt`에 있다. + +- (observed, 2026-09-22) 정책 적용 후 8080·9000은 `200`, 7800은 `curl exit=7`이었지만 기존 JGroups connection 때문에 cluster size는 `2/2`였다. +- (observed, 2026-09-22) 두 게스트의 conntrack에 7800·57800 `ESTABLISHED [ASSURED]`가 있었고 정확한 튜플을 양쪽에서 지워도 약 40초 동안 cluster size `2/2`가 유지됐다. +- (observed, 2026-09-22) 정책을 둔 채 `keycloak-0`을 재생성하자 JOIN이 10번 timeout된 뒤 singleton이 됐고, 이후 양쪽 `cluster_size=1`, `JGROUPS_PING coord=true` 두 줄이 됐다. +- (observed, 2026-09-22) 분단된 `keycloak-0`은 결국 `0/1`이 되어 EndpointSlice에서 `ready=false`, `keycloak-1`만 `ready=true`였으며 edge와 외부 realm은 계속 `200`이었다. +- (observed, 2026-09-22) 분단 중 K0 로그인 → K1 refresh `200` → K1 logout `204` → K0 refresh `200`. DB sid 행은 0건인데 K0 cache는 `sessions=1`, `clientSessions=1`이었다. +- (observed, 2026-09-22) 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 돌아왔고, 약 15초 뒤 K0 readiness도 회복됐다. 마지막으로 세션 행을 비우고 StatefulSet을 재시작해 cache 0, DB session 0, cluster 2/2, 외부 `200`으로 정리했다. + +아래 2026-09-04/17 값은 과거 실행 기록이다. 현재 재검증값과 날짜를 섞지 않는다. + 이 절차의 숫자는 `2026-09-04 11:38–11:52 KST` 에 돈 한 번의 실행에서 나왔다(observed). - (observed) 차단 `11:38:08`·재시작 `11:46:07`·해제 `11:49:58`, 25분 내내 2 이던 `vendor_cluster_size`, `/proc/net/tcp6` 의 `01`, conntrack 네 줄, `coord = t` 가 둘, 분단 중 교차 refresh `200` 과 로그아웃 후 `200`, DB 행 0 과 캐시 1, 90초 재형성, `merge_events` 가 `0 → 1`. - (unknown) `tr ',' '\n' | grep -E` 로 자른 Prometheus 출력과 `jq` 형태. `jq` 는 이 실험대에 아예 없다. - (unknown) `ssh kc-lab-2` 로 들어가서 `conntrack -L` 을 따로 치는 세 줄 형태. 이 실험대는 `ssh kc-lab-2 '...'` 한 줄로 쳤다. -- (unknown) 매니페스트가 놓인 체크아웃의 위치와 그 디렉터리로 옮기는 명령, 그리고 파일이 없을 때 여는 에디터 명령. 원 가이드는 `cat` 과 `kubectl apply` 를 저장소 상대경로로만 적는다. - 이 실험이 판정하지 못한 것 — conntrack 삭제만으로 분단이 만들어지는지. 해설 문서가 「3분 뒤 분단」이라고 썼다가 정정했고, 실제 하락은 파드 재시작 4초 뒤였다. - 이 실험이 재지 않은 것 — `keycloak-0` 캐시에 있던 낡은 엔트리가 병합 후 어떻게 되는지. 궁금하면 재형성 뒤에 `vendor_statistics_approximate_entries_unique{cache="sessions"}` 를 다시 본다. - 가이드가 스크립트를 안 쓰는 까닭도 측정 실패에서 나왔다(observed). 원래 실행은 임시 파드를 20초마다 띄워 지표를 긁었고 `+20초 suspected(k0 k1) = []` 처럼 빈 값과 개수가 안 맞는 값이 섞였다. 판정 조건이 `[ "$R" != "0.0 0.0 " ]` 이어서 빈 문자열을 변화로 읽고 즉시 빠져나왔다. diff --git a/docs/virtualization/final/document.md b/docs/virtualization/final/document.md index a3f945c..282a9f9 100644 --- a/docs/virtualization/final/document.md +++ b/docs/virtualization/final/document.md @@ -1026,17 +1026,15 @@ Physical CPU 따라서 다음 질문은 OPEN QUESTION으로 남기고 실제 실험으로 해소한다. -### OQ-1. 현재 테스트 Host에서 VM 두 대에 부하를 주면 vCPU contention이 실제로 발생하는가? +### OQ-1. 현재 테스트 Host에서 VM 두 대에 부하를 주면 vCPU contention이 실제로 발생하는가? — RESOLVED -확인 대상: +2026-09-21 두 worker의 2 vCPU를 각각 CPU-bound로 만든 뒤 host와 guest를 동시에 관측했다. 부하 중 host run queue는 4~6으로 늘었지만 host는 `id≈49~50%`, `gu≈50%`였고 두 guest의 `%st`는 전 구간 0%였다. -- Host logical CPU 수 -- 각 VM vCPU 수 -- QEMU vCPU thread CPU 사용량 -- Host run queue -- Guest steal time +따라서 현재 **8 logical CPU / worker 2+2 vCPU** 구성에서는 이 부하 수준으로 host CPU starvation 형태의 vCPU contention이 관측되지 않았다. run queue가 늘었다는 사실만으로 contention이라고 판정하지 않는다. -### OQ-2. Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과에 영향을 줄 정도로 포화되는가? +### OQ-2. Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과에 영향을 줄 정도로 포화되는가? — OPEN / UNVERIFIED + +2026-09-21에는 OIDC discovery synthetic load와 KVM/host CPU 지표까지는 측정했지만, **동일 refresh token 동시 요청 + Keycloak latency + DB/Redis latency** 조건은 실행하지 않았다. 따라서 OIDC 부하를 이 질문의 대체 근거로 쓰지 않는다. Refresh 경쟁 실험 중 다음을 동시에 관찰한다. @@ -1048,34 +1046,33 @@ Refresh 경쟁 실험 중 다음을 동시에 관찰한다. 목적은 refresh 경쟁과 Host resource contention을 분리하는 것이다. -### OQ-3. Guest가 idle일 때 vCPU thread는 실제 테스트 환경에서 어떻게 보이는가? +### OQ-3. Guest가 idle일 때 vCPU thread는 실제 테스트 환경에서 어떻게 보이는가? — RESOLVED -Guest idle 상태와 CPU workload 상태를 비교한다. +2026-09-21 `kc-lab-edge`의 QEMU vCPU thread `CPU 0/KVM`을 synthetic load 전후로 비교했다. baseline에서는 `S/Sl` 상태에 0~1% CPU였고, guest에서 `yes`를 실행한 동안에는 `R` 상태로 바뀌어 약 99.7~99.9% CPU를 사용했다. 부하 종료 뒤 다시 `Sl`, 0.1% 수준으로 돌아왔다. -확인: +즉 guest가 유휴에 가까울 때 vCPU thread가 sleep 상태로 내려가고, runnable workload가 생기면 host scheduler가 실행시키는 동작을 현재 환경에서도 확인했다. -```bash -top -H -p -ps -eLo pid,tid,psr,pcpu,stat,comm -``` +### OQ-4. 실제 workload에서 어떤 VM Exit이 주로 발생하는가? — RESOLVED -### OQ-4. 실제 workload에서 어떤 VM Exit이 주로 발생하는가? +2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p --event vmexit`로 같은 `kc-lab-1`을 다섯 조건에서 비교했다. -환경이 지원한다면 `perf kvm` 또는 KVM tracepoint를 이용해 확인한다. +- baseline: `MSR_WRITE` 약 60%, `HLT` 약 32~33% +- CPU-bound: `HLT`가 사라지고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26% +- I/O-heavy: `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%, `EPT_MISCONFIG` 약 1.4~1.6% +- Keycloak 정상 OIDC 요청: `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사 +- Keycloak OIDC 1000회/concurrency 20: total sample 987→1211→1339, `EPT_MISCONFIG` 약 9.9%→18.0%→19.0% -비교 후보: +따라서 **workload에 따라 VM Exit 분포가 실제로 달라진다.** 다만 Exit sample 수나 특정 reason 비중이 증가했다는 사실만으로 성능 병목이라고 판정하지 않는다. -- idle -- CPU-bound workload -- I/O-heavy workload -- Keycloak 정상 요청 -- Keycloak 부하 테스트 +### OQ-5. CPU pinning을 하지 않은 상태에서 vCPU thread는 Host logical CPU 사이를 실제로 이동하는가? — RESOLVED -### OQ-5. CPU pinning을 하지 않은 상태에서 vCPU thread는 Host logical CPU 사이를 실제로 이동하는가? +2026-09-21 현재 세 VM의 vCPU affinity는 모두 `0-7` 전체이고 별도 pinning이 없다. QEMU monitor로 실제 vCPU thread ID를 얻어 `ps -eL`의 `PSR`을 약 3초 동안 반복해서 읽었다. -`PSR`, scheduler tracing 등을 통해 관찰한다. +`kc-lab-1`의 vCPU0 thread는 같은 짧은 구간에 `7 → 2 → 0 → 4 → 3` 등으로 이동했고, vCPU1과 `kc-lab-2`의 두 vCPU thread도 여러 pCPU 사이를 이동했다. 따라서 **unpinned vCPU thread가 host scheduler에 의해 logical CPU 사이를 실제로 이동한다**는 것을 현재 환경에서 확인했다. -### OQ-6. 현재 운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가? +### OQ-6. 현재 운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가? — OPEN / UNVERIFIED + +이번 재검증은 `test-server`만 대상으로 했고 운영 서버에 접속하거나 운영 인프라 구성 증거를 확보하지 않았다. **test-server의 KVM 구조를 운영 구조로 일반화하지 않는다.** 운영 서버가 bare-metal Host에 직접 K3s를 설치한 것인지, 상위 Hypervisor/Cloud VM 위에 있는지 확인한다. @@ -1598,29 +1595,45 @@ vs ## 27. 문제 영역에서 파생되는 추가 OPEN QUESTION -### OQ-7. VM 두 대를 동시에 CPU-bound 상태로 만들면 Guest steal time은 실제로 얼마나 증가하는가? +### OQ-7. VM 두 대를 동시에 CPU-bound 상태로 만들면 Guest steal time은 실제로 얼마나 증가하는가? — RESOLVED -Host CPU utilization, run queue, QEMU vCPU thread, 각 Guest의 `%st`를 함께 측정한다. +2026-09-21 baseline에서 `kc-lab-1`의 `%st`는 대부분 0%, 한 샘플 1%였고 `kc-lab-2`는 0%였다. 두 worker를 동시에 CPU-bound로 만든 구간에서는 두 guest 모두 모든 샘플이 `%st=0%`였다. -### OQ-8. vCPU 수를 늘릴수록 현재 테스트 Host에서 Keycloak 처리량도 계속 증가하는가? +즉 이번 구성과 부하 수준에서는 steal time 증가가 관측되지 않았다. guest 내부 CPU가 `id=0%`까지 포화되는 것과 host CPU contention은 같은 상태가 아니다. -예를 들어 2 vCPU / 4 vCPU / 8 vCPU 구성을 비교해 vCPU 추가가 실제 처리량과 latency에 어떤 영향을 주는지 확인한다. +### OQ-8. vCPU 수를 늘릴수록 현재 테스트 Host에서 Keycloak 처리량도 계속 증가하는가? — OPEN / UNVERIFIED -### OQ-9. K3s CPU limit으로 발생한 throttling과 Host vCPU contention을 지표로 구분할 수 있는가? +현재 worker는 2 vCPU 구성으로 검증했다. 2/4/8 vCPU A/B는 VM CPU topology 변경과 반복 부하가 필요하므로 **추가 상태변경 실험을 마지막으로 미룬 원칙에 따라 이번 문서 정리 단계에서는 실행하지 않는다.** -동일한 application latency 증가를 각각 의도적으로 재현하고 Guest/Host/K3s 지표 차이를 비교한다. +2 vCPU / 4 vCPU / 8 vCPU 구성을 비교해 vCPU 추가가 실제 처리량과 latency에 어떤 영향을 주는지 확인한다. -### OQ-10. CPU pinning 전후로 Keycloak latency와 vCPU scheduling 변동이 달라지는가? +### OQ-9. K3s CPU limit으로 발생한 throttling과 Host vCPU contention을 지표로 구분할 수 있는가? — RESOLVED -pinning이 현재 workload에서 실제 이점을 주는지는 실험으로 확인한다. +2026-09-21 현재 Keycloak container에는 CPU limit이 없고 `cpu.max=max 100000`, `nr_throttled=0`, `throttled_usec=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 CPU-bound workload를 실행하자 `cpu.max=10000 100000`, `nr_periods=54`, `nr_throttled=46`, `throttled_usec=4317644`가 나왔다. -### OQ-11. Keycloak workload에서 VM Exit 분포는 idle/CPU-bound/I/O-bound workload와 어떻게 다른가? +반대 비교군에서는 CPU limit 없이 `kc-lab-1`의 vCPU 둘을 pCPU0 하나에 live pinning하고 guest CPU-bound thread 둘을 실행했다. 이때 guest `vmstat`은 반복해서 `%st=50%`를 보였고 host CPU0은 `%guest≈99%`, `%idle≈0%`였지만 `keycloak-1` cgroup은 계속 `nr_throttled=0`이었다. -가능하면 `perf kvm` 또는 KVM tracepoint를 사용해 Exit reason 분포를 비교한다. +따라서 이 환경에서도 **cgroup throttling은 `cpu.max/cpu.stat`, host vCPU contention은 guest steal과 host pCPU 포화**로 조사 계층을 분리할 수 있다. 지표 하나만으로 최종 원인을 확정하지는 않는다. 실험 뒤 vCPU affinity는 `0-7`로 복원했고 disposable pod는 삭제했다. -### OQ-12. 현재 Host의 NUMA topology가 VM 성능을 고려해야 할 정도의 구조인가? +### OQ-10. CPU pinning 전후로 Keycloak latency와 vCPU scheduling 변동이 달라지는가? — RESOLVED -Host가 단일 NUMA node라면 현재 실험에서 우선순위를 낮추고, 다중 NUMA node라면 vCPU/memory placement를 별도 CASE 후보로 올린다. +2026-09-21 worker 둘을 `kc-lab-1 vCPU0/1 → pCPU 0/1`, `kc-lab-2 vCPU0/1 → pCPU 2/3`에 live pinning했다. unpinned 상태에서는 같은 vCPU TID의 `PSR`이 여러 pCPU 사이를 이동했지만 pinning 뒤에는 각각 0/1/2/3에 고정됐다. + +동일 OIDC read-only 부하의 첫 A/B는 unpinned `768.4 rps / p95 36.9 ms`, pinned `616.0 rps / p95 46.3 ms`였고, 반복 A/B는 unpinned `793.9 rps / p95 32.7 ms`, pinned `781.7 rps / p95 33.6 ms`였다. 첫 실행의 큰 차이가 반복되지 않았으므로 **pinning이 Keycloak latency를 개선하거나 악화한다고 일반화할 근거는 없다.** + +따라서 현재 실험대에서는 pinning의 scheduling 효과만 확인됐고 workload 성능 이점은 재현되지 않았다. 실험 종료 뒤 worker affinity는 모두 `0-7`로 복원했다. + +### OQ-11. Keycloak workload에서 VM Exit 분포는 idle/CPU-bound/I/O-bound workload와 어떻게 다른가? — RESOLVED + +같은 `kc-lab-1` 기준으로 Keycloak 정상 OIDC discovery 10회는 baseline과 거의 같은 `MSR_WRITE`/`HLT` 중심 분포였다. 반면 read-only OIDC discovery 1000회, concurrency 20 부하에서는 `EPT_MISCONFIG`가 약 10~19%까지 증가하고 전체 Exit sample도 baseline보다 늘었다. + +CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer가 중심이 됐고, I/O-heavy에서는 EPT_MISCONFIG가 약 1~2% 수준이었다. 따라서 Keycloak 고부하의 Exit 패턴은 단순 CPU-bound나 I/O-heavy와도 같지 않았다. + +이 결과는 **workload fingerprint**로 사용한다. `EPT_MISCONFIG` 증가가 Keycloak latency의 직접 원인이라는 결론은 내리지 않으며, 실제 refresh-token 부하에서 application latency와 Exit을 같은 실행에 겹쳐 보는 작업은 별도 OQ로 남긴다. + +### OQ-12. 현재 Host의 NUMA topology가 VM 성능을 고려해야 할 정도의 구조인가? — RESOLVED + +2026-09-21 `lscpu`와 sysfs에서 NUMA node는 1개이고 `node0`에 CPU `0-7` 전체가 속하는 것을 확인했다. 따라서 **현재 test-server에서는 NUMA remote/local placement 비교를 CPU 성능 실험의 우선 항목으로 둘 이유가 없다.** 다중 NUMA host로 환경이 바뀌면 다시 연다. --- @@ -3698,239 +3711,109 @@ NUMA 시스템에서는 vCPU placement와 memory placement를 함께 봐야 한 ## 83. 실제 환경에서 확인할 OPEN QUESTION -아래 항목은 개념적으로 단정하지 않고 실제 테스트 서버에서 확인해야 한다. +2026-09-21 현재 실행 중인 세 VM과 host를 같은 시점에 읽었다. 메모리 사용량은 시점에 따라 달라지는 관측값이므로 구성값과 현재 점유량을 분리해서 적는다. -### OQ-1. Host의 실제 NUMA topology는 무엇인가? - -```bash -lscpu -numactl --hardware -``` - -확인할 것: - -- NUMA node 수 -- node별 CPU -- node별 memory -- node distance - ---- - -### OQ-2. 각 VM의 configured/current memory는 얼마인가? +다른 VM에서 같은 확인을 반복할 때는 대상 이름과 QEMU PID만 바꿔 다음 네 명령을 쓴다. ```bash virsh dominfo -virsh dumpxml virsh dommemstat -``` - -Guest: - -```bash -free -h -cat /proc/meminfo -``` - -Host의 QEMU process 상태와 비교한다. - ---- - -### OQ-3. QEMU process의 Host resident memory는 어떻게 분포하는가? - -```bash -ps -ef | grep qemu ps -o pid,rss,vsz,cmd -p -``` - -필요하면: - -```bash -cat /proc//status -cat /proc//smaps_rollup -``` - -configured memory와 RSS/anonymous/huge-page 상태를 비교한다. - ---- - -### OQ-4. Host THP 정책은 무엇인가? - -```bash -cat /sys/kernel/mm/transparent_hugepage/enabled -grep -i huge /proc/meminfo -``` - -확인할 것: - -- THP policy -- AnonHugePages -- HugePages_Total -- HugePages_Free -- Hugepagesize - ---- - -### OQ-5. VM RAM이 HugeTLB로 명시적으로 backing되어 있는가? - -```bash virsh dumpxml ``` -libvirt memory backing 관련 설정을 확인하고 Host `/proc/meminfo`, QEMU `smaps` 계열과 교차 검증한다. +`dominfo`와 `dommemstat`으로 선언/현재 메모리를 확인하고, `ps`로 QEMU 프로세스의 상주 메모리를 읽는다. `dumpxml`에서는 memory backing과 balloon 같은 domain 설정을 확인한다. ---- +### OQ-1. Host의 실제 NUMA topology는 무엇인가? — RESOLVED -### OQ-6. Guest와 Host에서 현재 swap이 발생하는가? +`lscpu`와 sysfs에서 **NUMA node는 1개**이고 `node0`에 CPU `0-7` 전체가 속한다. 따라서 이 host에서는 node0 ↔ node1 원격 접근 자체가 현재 존재하지 않는다. -Guest: +### OQ-2. 각 VM의 configured/current memory는 얼마인가? — RESOLVED -```bash -free -h -vmstat 1 -``` +현재 libvirt 설정과 `dommemstat actual`은 같다. -Host: +| VM | configured/current | +|---|---:| +| `kc-lab-1` | 5,242,880 KiB (5120 MiB) | +| `kc-lab-2` | 4,194,304 KiB (4096 MiB) | +| `kc-lab-edge` | 1,048,576 KiB (1024 MiB) | -```bash -free -h -vmstat 1 -``` +게스트 `free -m`의 total은 worker에서 각각 약 4929 MiB와 3927 MiB다. 이것은 커널과 장치 예약 등을 반영한 guest-visible 값이라 libvirt의 선언값과 숫자가 정확히 같지 않다. -단순 swap-used 값보다 현재 swap-in/out activity와 memory pressure를 함께 본다. +### OQ-3. QEMU process의 Host resident memory는 어떻게 분포하는가? — RESOLVED / ENVIRONMENT-SPECIFIC ---- +같은 시점의 `smaps_rollup`은 다음 정도였다. -### OQ-7. Host memory pressure가 Guest latency에 영향을 주는가? +| VM | QEMU RSS | Anonymous | AnonHugePages | QEMU Swap | +|---|---:|---:|---:|---:| +| `kc-lab-1` | 약 3.73 GiB | 약 3.70 GiB | 약 3.68 GiB | 0 | +| `kc-lab-2` | 약 2.91 GiB | 약 2.88 GiB | 약 2.86 GiB | 0 | +| `kc-lab-edge` | 약 0.84 GiB | 약 0.82 GiB | 약 0.81 GiB | 약 156 MiB | -실험 개념: +이 값은 configured memory가 실제 host RSS와 같지 않다는 증거이지, VM의 고정 점유량이 아니다. + +### OQ-4. Host THP 정책은 무엇인가? — RESOLVED ```text -Baseline - ↓ -Guest Application Latency 측정 - ↓ -Host Memory Pressure 유도 - ↓ -Host reclaim/swap 관측 - ↓ -Guest latency 재측정 +enabled: [always] madvise never +defrag: always defer defer+madvise [madvise] never ``` -동시에 CPU와 storage도 관측한다. +Host `AnonHugePages`도 실제로 존재했다. 따라서 현재 host는 THP를 `always` 정책으로 사용한다. ---- +### OQ-5. VM RAM이 HugeTLB로 명시적으로 backing되어 있는가? — RESOLVED -### OQ-8. virtio-balloon이 VM에 구성되어 있는가? +아니다. Host의 `HugePages_Total=0`, `Hugetlb=0 kB`이고 domain XML에도 `memoryBacking/hugepages`가 없다. QEMU의 `AnonHugePages`가 큰 것은 **THP 관측**이지 HugeTLB static hugepage backing의 증거가 아니다. -```bash -virsh dumpxml -``` +### OQ-6. Guest와 Host에서 현재 swap이 발생하는가? — RESOLVED / ENVIRONMENT-SPECIFIC -Guest에서도 관련 driver/device 상태를 확인한다. +worker 게스트 둘은 `SwapTotal=0`이고 `vmstat 1 5`에서도 `si=0`, `so=0`이었다. Host는 약 260 MiB의 swap이 이미 점유돼 있었지만 같은 5초 관측 구간의 `si/so`는 모두 0이었다. -환경에 따라 driver 이름과 표시 방식이 달라질 수 있으므로 실제 장비에서 검증한다. +따라서 **host에 과거부터 남은 swap 사용량은 있지만, 이 관측 구간에서 현재 swap-in/out 활동은 없었다.** 단순 `swpd > 0`를 현재 memory pressure로 읽지 않는다. ---- +### OQ-7. Host memory pressure가 Guest latency에 영향을 주는가? — RESOLVED -### OQ-9. Balloon target 변화가 Guest available memory에 어떻게 반영되는가? +2026-09-21 host에서 anonymous memory를 256 MiB씩 늘려 최대 3.5 GiB를 추가 할당하고 `MemAvailable`을 약 512 MiB까지 낮춘 뒤 12초 유지했다. 이때 host `pgmajfault`는 `56493 → 56971`로 478 증가했고 swap used도 약 68 MiB → 323 MiB로 늘었다. -관측: +하지만 이 host는 zswap이 활성화돼 있었다. pressure 후 `Zswapped≈256 MiB`가 약 `32 MiB` compressed memory로 보였고 `pswpout`은 증가하지 않았다. NVMe `%util`도 최고 약 7.1% 수준이었다. -```text -Host/libvirt memory setting - ↓ -Guest free -h / /proc/meminfo - ↓ -Guest reclaim/swap 변화 -``` +같은 구간 OIDC discovery latency median/p95는 baseline `11.45/21.88 ms`, pressure `10.49/16.23 ms`, recovery `11.17/17.09 ms`였다. 따라서 **현재 압박 수준에서는 host memory pressure가 guest application latency를 밀어 올리는 현상이 관측되지 않았다.** 더 강한 pressure로 실제 disk swap I/O를 지속시키는 실험은 기존 서비스 영향이 커질 수 있어 별도 격리 환경에서 다룬다. -과도한 ballooning 시 Guest latency/swap/OOM 가능성을 별도 실험한다. +### OQ-8. virtio-balloon이 VM에 구성되어 있는가? — RESOLVED ---- +세 domain XML 모두 ``를 가지고 있고 worker guest 안에서도 virtio-balloon driver에 `virtio5` 장치가 bind돼 있었다. -### OQ-10. VM vCPU는 어느 Host CPU에 배치되어 있는가? +다만 **장치가 존재한다는 사실과 지금 balloon이 inflate되어 메모리를 회수 중이라는 사실은 다르다.** 현재 `dommemstat actual`은 configured/current memory와 같아서, 이 시점에는 balloon으로 current memory를 낮춘 상태라고 볼 근거가 없다. -```bash -virsh vcpuinfo -virsh vcpupin -``` +### OQ-9. Balloon target 변화가 Guest available memory에 어떻게 반영되는가? — RESOLVED -CPU 가상화 SSOT의 pinning/overcommit 관측과 연결한다. +2026-09-21 `kc-lab-2`에서 `4096 MiB → 3584 MiB → 4096 MiB` live round-trip을 수행했다. baseline의 `MemTotal=4022024 kB`, `MemAvailable=2810504 kB`가 3584 MiB target에서 각각 `3497736 kB`, `2273060 kB`로 줄었고, 4096 MiB로 복원한 뒤 `MemTotal=4022024 kB`, `MemAvailable=2785496 kB`로 돌아왔다. 같은 구간의 guest `si/so`는 0이었다. ---- +따라서 정상 범위에서 **balloon target을 낮추면 guest-visible memory가 줄고, target을 복원하면 다시 늘어난다**는 방향을 현재 환경에서 확인했다. 어느 target부터 reclaim·swap·latency 증가가 시작되는지는 과도 inflate 구간이므로 별도 memory-pressure 실험으로 남긴다. -### OQ-11. QEMU memory는 어느 NUMA node에 배치되어 있는가? +### OQ-10. VM vCPU는 어느 Host CPU에 배치되어 있는가? — RESOLVED -```bash -numastat -p -``` +세 VM 모두 vCPU affinity가 `0-7` 전체이며 pinning이 없다. 짧은 런타임 샘플에서도 worker vCPU thread가 여러 pCPU 사이를 실제로 이동했다. -vCPU placement와 비교한다. +### OQ-11. QEMU memory는 어느 NUMA node에 배치되어 있는가? — RESOLVED -```text -vCPU → Node 0 -Memory → Node 0 -``` +Host에 node0 하나만 있고 QEMU `numa_maps`의 확인된 mapping도 모두 `N0`였다. 현재 환경에서 QEMU memory를 배치할 원격 NUMA node가 없다. -인지, +### OQ-12. NUMA remote access가 실제 workload latency에 의미 있는 영향을 주는가? — CURRENTLY NOT APPLICABLE -```text -vCPU → Node 0 -Memory → Node 1 -``` +이 host는 단일 NUMA node이므로 local/remote placement를 비교하는 실험 자체가 성립하지 않는다. 다중 NUMA host로 환경이 바뀌면 다시 연다. -인지 확인한다. +### OQ-13. Guest Page Fault가 workload 변화와 함께 증가하는가? — RESOLVED ---- +2026-09-21 `kc-lab-2`에서 512 MiB anonymous mapping의 131,072개 4 KiB page를 처음 touch했다. 해당 Python process의 minor fault는 **131,073 증가**했고 major fault는 **0 증가**했다. 같은 구간 guest 전체 `pgfault`는 131,177 증가했지만 `pgmajfault`, `pswpin`, `pswpout`은 증가하지 않았다. -### OQ-12. NUMA remote access가 실제 workload latency에 의미 있는 영향을 주는가? +따라서 현재 guest에서도 새 anonymous working set을 실제 접근하면 **정상 demand paging으로 minor page fault가 workload와 함께 증가**한다. 이 값 자체를 오류로 읽지 않는다. 실제 Keycloak workload의 fault rate와 latency 영향은 별도 부하 관측으로 다룬다. -NUMA node가 2개 이상인 경우에만 우선순위를 높인다. +### OQ-14. Host Page Fault/major fault와 storage latency가 상관되는가? — RESOLVED -```text -Local placement baseline - ↓ -Latency / throughput / memory metrics - ↓ -Remote-heavy placement - ↓ -동일 workload 비교 -``` +같은 2026-09-21 pressure run에서 host major fault는 증가했지만 NVMe latency/util은 함께 크게 오르지 않았다. pressure 구간의 NVMe `%util`은 최고 약 7.1%였고 `r_await`은 대체로 1 ms 이하, `w_await`도 몇 ms 수준이었다. -단순 topology만 보고 성능 문제라고 단정하지 않는다. - ---- - -### OQ-13. Guest Page Fault가 workload 변화와 함께 증가하는가? - -Guest에서 page-fault 관련 지표를 관측하고 다음을 분리한다. - -```text -정상 demand paging? -COW? -Guest swap-in? -application working-set 증가? -``` - -Page Fault 증가만으로 오류라고 판단하지 않는다. - ---- - -### OQ-14. Host Page Fault/major fault와 storage latency가 상관되는가? - -Host memory pressure 실험 시: - -```text -Host Fault - + -Swap activity - + -Storage latency - + -Guest application latency -``` - -를 같은 시간축으로 비교한다. +swap used 증가는 zswap과 함께 읽어야 했다. `Zswapped≈256 MiB`가 compressed memory에 남았고 `pswpout`은 증가하지 않았기 때문에 **major fault 증가 → disk swap I/O 증가 → storage latency 증가** 사슬은 이번 조건에서 성립하지 않았다. major fault만 보고 storage 병목을 추정하면 안 된다. --- @@ -5569,76 +5452,76 @@ Packet tracing ## 122. OPEN QUESTION -### OQ-1. 현재 VM network는 Bridge, NAT, Routing 중 어떤 구조인가? +2026-09-21에 `workmachine → SSH → test-server` 경로로 다시 확인했다. 아래 값은 현재 실행 중인 세 VM의 관측값이다. 성능 수치처럼 부하에 따라 달라지는 항목은 여전히 OPEN으로 둔다. -```bash -virsh net-list --all -virsh net-dumpxml -ip link -bridge link -ip route -``` +### OQ-1. 현재 VM network는 Bridge, NAT, Routing 중 어떤 구조인가? — RESOLVED -### OQ-2. VM1/VM2의 TAP/vnet interface는 무엇인가? +`virsh net-dumpxml default`에서 ``와 `bridge name='virbr0'`를 확인했다. 이 실험대는 **virbr0 L2 bridge 위에 게스트를 붙이고, 외부 방향에는 libvirt NAT를 사용하는 구성**이다. -```bash -virsh domiflist vm1 -virsh domiflist vm2 -ip link -bridge link -``` - -### OQ-3. 현재 환경에서 vhost-net이 실제 사용되는가? - -확인 후보: - -```bash -lsmod | grep vhost -``` - -추가로 QEMU arguments와 libvirt domain XML을 확인한다. - -### OQ-4. QEMU backend와 vhost-net의 성능 차이가 현재 Host에서 관찰 가능한가? - -비교: +현재 포트는 다음과 같다. ```text -Latency -Throughput -QEMU CPU -Host CPU -Context Switch -Packet rate +kc-lab-edge vnet13 → virbr0 +kc-lab-1 vnet18 → virbr0 +kc-lab-2 vnet19 → virbr0 ``` -### OQ-5. Multi-queue가 현재 virtio-net에 활성화되어 있는가? +호스트 라우팅에는 `192.168.122.0/24 dev virbr0`가 있고 기본 경로는 `wlo1`로 나간다. 따라서 “Bridge인가 NAT인가”를 하나만 고르는 것이 아니라 **게스트 L2 연결은 bridge, 외부 egress는 NAT**라고 적는 것이 현재 토폴로지를 정확히 표현한다. -확인 대상: +### OQ-2. VM1/VM2의 TAP/vnet interface는 무엇인가? — RESOLVED + +`virsh domiflist`와 `bridge link`를 같은 시점에 대조했다. + +| VM | host interface | MAC | bridge | model | +|---|---|---|---|---| +| `kc-lab-edge` | `vnet13` | `52:54:00:aa:bb:10` | `virbr0` | virtio | +| `kc-lab-1` | `vnet18` | `52:54:00:aa:bb:11` | `virbr0` | virtio | +| `kc-lab-2` | `vnet19` | `52:54:00:aa:bb:12` | `virbr0` | virtio | + +`vnetN` 번호는 VM을 다시 만들거나 재시작하는 과정에서 달라질 수 있는 런타임 이름이므로 고정 계약으로 일반화하지 않는다. + +### OQ-3. 현재 환경에서 vhost-net이 실제 사용되는가? — RESOLVED + +`lsmod`에는 `vhost_net`이 올라와 있었지만 그것만으로 VM 사용 여부를 결론내리지 않았다. 세 VM의 실제 QEMU 인자를 읽었고 모두 같은 형태를 확인했다. ```text -QEMU/libvirt NIC configuration -Guest ethtool -queue count -IRQ distribution +-netdev +{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"} ``` -### OQ-6. Host Nginx에서 VM1/VM2 Keycloak까지 실제 packet path는 무엇인가? +따라서 현재 세 VM의 virtio-net datapath는 **TAP + vhost-net backend**를 사용한다. QEMU는 장치 생성·협상·관리에는 남아 있지만, 일반 packet datapath를 매 패킷 userspace backend로 처리하는 구성은 아니다. -Host NIC, Bridge, TAP, Guest NIC에서 `tcpdump`로 추적한다. +### OQ-4. QEMU backend와 vhost-net의 성능 차이가 현재 Host에서 관찰 가능한가? — OPEN / UNVERIFIED -### OQ-7. Keycloak load test 시 network virtualization이 latency에 영향을 줄 정도로 Host CPU를 사용하는가? +현재 구성은 vhost-net이다. 2026-09-21 `kc-lab-2` XML에 ``를 넣고 재부팅했지만 실제 QEMU argv는 계속 `vhost:true`였다. 즉 **QEMU userspace backend 조건 자체를 만들지 못했다.** XML 문자열만 보고 backend가 바뀌었다고 판정하지 않으며, 동일 조건 A/B 측정도 아직 없다. -관찰: +### OQ-5. Multi-queue가 현재 virtio-net에 활성화되어 있는가? — RESOLVED + +`kc-lab-1`과 `kc-lab-2`의 `/sys/class/net/enp1s0/queues`에는 각각 다음 두 항목만 있었다. ```text -QEMU CPU -vhost thread -softirq -Host CPU -Guest CPU -network latency +rx-0 +tx-0 ``` +QEMU/libvirt NIC 설정에도 별도 `queues=` 지정이 없었다. 따라서 현재 worker 둘은 **single RX queue + single TX queue**이며 virtio-net multi-queue는 켜져 있지 않다. IRQ가 두 vCPU에 나뉘어 보이는 것과 multi-queue 여부는 같은 사실이 아니다. + +### OQ-6. Edge nginx에서 VM1/VM2 Keycloak까지 실제 packet path는 무엇인가? — RESOLVED + +2026-09-21 같은 OIDC discovery 요청을 여러 지점에서 캡처했다. `tailscale0`에서는 `100.92.240.34: → 100.83.212.4:443`, `vnet13`과 edge `enp1s0`에서는 `192.168.122.1: → 192.168.122.10:443`으로 보였다. 즉 host에서 destination DNAT뿐 아니라 Tailscale postrouting의 source rewrite도 적용된다. + +edge Nginx가 TLS를 종료한 뒤 worker로 새 HTTP 연결을 만들었다. 6회 요청에서 `worker-1/3/5`는 `192.168.122.10 → 192.168.122.11:80`으로 `vnet18`과 `kc-lab-1 enp1s0`에서, `worker-2/4/6`은 `.10 → .12:80`으로 `vnet19`와 `kc-lab-2 enp1s0`에서 동일 GET path가 확인됐다. + +따라서 현재 경로는 `Tailscale ingress → host DNAT/source rewrite → virbr0/vnet13 → edge nginx → vnet13/virbr0 → vnet18 또는 vnet19 → worker Traefik`으로 확인됐다. 이번 캡처 시점에는 `ethtool`이 없어 offload feature 상태를 읽지 못했으므로 packet size/checksum은 wire-level 값으로 일반화하지 않는다. + +### OQ-7. Keycloak load test 시 network virtualization이 latency에 영향을 줄 정도로 Host CPU를 사용하는가? — RESOLVED + +2026-09-21 외부 OIDC discovery 4000회/concurrency 40 부하를 실제 Tailscale→DNAT→edge→worker 경로에 걸었다. baseline에서 세 `vhost-*` thread는 모두 0% CPU였고 host는 약 95~97% idle이었다. 부하 중 vhost 평균 CPU는 edge **9.75%**, worker 각각 **3.62% / 3.75%**까지 올라갔지만 host에는 **39~56% idle CPU**가 남았다. + +같은 부하에서 `NET_RX` softirq event는 증가했다. 별도 3000회/concurrency 40 실행에서 `/proc/stat` softirq CPU time은 26 tick(`CLK_TCK=100`) 증가해 0.26 CPU-second였고, 3.953초 동안 전체 8 CPU capacity의 약 **0.82%**였다. 외부 probe latency는 baseline avg **15.2 ms / p95 31.8 ms**에서 부하 중 avg **33.4 ms / p95 62.9 ms**로 상승했다. + +따라서 **network virtualization CPU cost는 실제로 증가하지만, 이 부하에서 host CPU를 포화시켜 latency를 지배하는 병목으로 보이지 않는다.** 같은 구간 guest vCPU 사용량도 크게 올라갔으므로 latency 상승을 vhost/softirq 하나에 귀속하지 않는다. 실제 refresh-token 부하에서는 같은 지표를 다시 겹쳐 확인한다. + --- ## 123. OPEN QUESTION → CASE @@ -7585,64 +7468,79 @@ Storage 성능은 Guest 내부만으로 결정되지 않는다. QEMU/backend, Ho ## 175. 실제 테스트 서버에서 확인할 Open Questions -### OQ-1. VM의 `/dev/vda`는 어떤 Host backend에 연결되어 있는가? +2026-09-21 재검증에서는 실행 중인 VM을 멈추지 않고 libvirt XML, QEMU monitor, `findmnt`, `lsblk`, storage pool 정보를 교차 확인했다. 실행 중 overlay에 `qemu-img info`를 강제로 붙이자 shared write lock 때문에 거절됐으므로, 그 실패를 우회하려고 VM을 정지하지 않았다. -Guest: +### OQ-1. VM의 `/dev/vda`는 어떤 Host backend에 연결되어 있는가? — RESOLVED -```bash -lsblk +세 VM 모두 host의 qcow2 파일이 `vda`로 연결돼 있다. + +| VM | Guest target | Host source | Guest bus | +|---|---|---|---| +| `kc-lab-1` | `vda` | `/var/lib/libvirt/images/kc-lab-1.qcow2` | virtio | +| `kc-lab-2` | `vda` | `/var/lib/libvirt/images/kc-lab-2.qcow2` | virtio | +| `kc-lab-edge` | `vda` | `/var/lib/libvirt/images/kc-lab-edge.qcow2` | virtio | + +각 VM의 `vdb`는 cloud-init용 raw seed ISO이며 read-only virtio disk다. + +### OQ-2. Backend는 qcow2인가 RAW인가? — RESOLVED + +주 디스크 `vda`는 모두 qcow2다. 각 overlay의 backing store는 공통 `/var/lib/libvirt/images/base.qcow2`이고, base 역시 qcow2다. QEMU runtime block graph에서도 overlay → base chain depth 1을 확인했다. + +### OQ-3. qcow2 Virtual Size와 실제 Host 사용량은 얼마나 다른가? — RESOLVED / ENVIRONMENT-SPECIFIC + +실행 중 VM을 끄지 않고 `qemu-img info --force-share`, `du -h`, `ls -lh`를 같은 시점에 읽었다. + +| volume | Virtual size | qemu-img disk size | file length (`ls -lh`) | +|---|---:|---:|---:| +| `base.qcow2` | 3.00 GiB | 323 MiB | 324 MiB | +| `kc-lab-1.qcow2` | 20.00 GiB | 3.43 GiB | 3.5 GiB | +| `kc-lab-2.qcow2` | 20.00 GiB | 2.66 GiB | 2.8 GiB | +| `kc-lab-edge.qcow2` | 10.00 GiB | 345 MiB | 420 MiB | + +이 값은 현재 워크로드가 쓴 블록 양에 따라 바뀌므로 qcow2의 고정 특성으로 일반화하지 않는다. 같은 재검증 중에도 `kc-lab-1` allocation이 앞선 `virsh vol-info`의 약 3.40 GiB에서 `qemu-img info` 시점의 3.43 GiB로 늘었다. 확인되는 사실은 **Virtual Size, allocated disk size, file length가 서로 다른 값이며 actual usage는 시점값**이라는 것이다. + +### OQ-4. QEMU disk cache mode는 무엇인가? — RESOLVED + +XML의 ``에는 cache 속성이 명시되지 않았다. 그래서 XML에 없는 값을 추정하지 않고 실행 중 QEMU monitor의 `info block`을 읽었다. 세 VM의 주 qcow2 디스크 모두 다음과 같이 나왔다. + +```text +Cache mode: writeback +Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1) ``` -Host: +따라서 현재 런타임 cache mode는 **writeback**이다. -```bash -virsh domblklist +### OQ-5. qcow2가 최종적으로 어느 Host block device 위에 있는가? — RESOLVED + +`findmnt -T /var/lib/libvirt/images/kc-lab-1.qcow2`는 다음 경로를 냈다. + +```text +/dev/nvme0n1p3 ext4 / ``` -### OQ-2. Backend는 qcow2인가 RAW인가? +`lsblk`에서 그 파티션의 상위 장치는 `SAMSUNG MZVLQ256HAJD-00000` 모델의 `nvme0n1`이다. base와 세 overlay가 모두 같은 `/var/lib/libvirt/images/`에 있으므로 **현재 세 VM의 주 디스크는 같은 host NVMe와 ext4 filesystem을 공유한다.** -```bash -qemu-img info /path/to/disk-image +### OQ-6. Host I/O Scheduler는 무엇인가? — RESOLVED + +```text +[none] mq-deadline kyber bfq ``` -### OQ-3. qcow2 Virtual Size와 실제 Host 사용량은 얼마나 다른가? +대괄호가 현재 선택값이므로 `nvme0n1`의 scheduler는 **none**이다. `rotational=0`도 함께 확인했다. -```bash -qemu-img info -du -h -ls -lh -``` +### OQ-7. VM1 Storage load가 VM2 latency에 영향을 주는가? — RESOLVED -세 명령이 보여주는 의미가 서로 다를 수 있으므로 비교한다. +2026-09-21 VM1에서 64 MiB 임시 파일을 약 10초간 반복 overwrite+fdatasync하고, 같은 `nvme0n1`을 공유하는 VM2에서 동일 fsync microbenchmark를 실행했다. VM2 단독 fsync 평균은 약 **8~9 ms**였지만 VM1 load와 겹친 run은 평균 **58.46 ms**, p95 **314 ms**, max **631 ms**까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 **7.90 / 8.06 ms**로 baseline 수준에 즉시 복귀했다. -### OQ-4. QEMU disk cache mode는 무엇인가? +같은 overlap 구간 host `nvme0n1`은 `%util` 약 **92~98%**, `w_await` 약 **50~184 ms**까지 올랐다. 따라서 현재 공용 NVMe/qcow2 구성에서는 한 VM의 sustained storage load가 다른 VM의 durability latency를 실제로 밀어 올리는 cross-VM storage contention이 재현된다. -```bash -virsh dumpxml -``` +### OQ-8. Guest `fsync()` latency와 Host storage latency가 같이 증가하는가? — RESOLVED -disk driver 설정의 cache 관련 값을 확인한다. +VM2 단독 fsync 구간에서 guest 평균은 약 **8~9 ms**, host `w_await`은 주로 약 **1~7 ms**였다. VM1 storage pressure를 겹친 구간에서는 VM2 fsync 평균 **58.46 ms / p95 314 ms**로 상승하면서 host `w_await`도 수십~184 ms, `%util` 92~98%로 함께 상승했다. pressure가 사라지자 guest fsync latency도 다시 약 8 ms로 내려왔다. -### OQ-5. qcow2가 최종적으로 어느 Host block device 위에 있는가? +guest fsync와 host `w_await`은 같은 수치가 아니다. 전자는 guest filesystem→virtio/QEMU/qcow2→host flush를 포함하는 end-to-end latency이고, 후자는 host block-device request 관점의 지표다. 현재 실험은 **두 계열이 같은 storage-pressure 구간에서 함께 악화·회복한다**는 관계를 확인했다. -```bash -lsblk -findmnt -``` - -### OQ-6. Host I/O Scheduler는 무엇인가? - -```bash -cat /sys/block//queue/scheduler -``` - -### OQ-7. VM1 Storage load가 VM2 latency에 영향을 주는가? - -VM1에서 별도의 테스트 파일/디스크로 controlled I/O load를 발생시키고 VM2의 application latency와 Host storage 지표를 동시에 본다. - -### OQ-8. Guest `fsync()` latency와 Host storage latency가 같이 증가하는가? - -Guest application/DB latency와 Host `iostat`를 시간축으로 함께 관찰한다. +단, host clock은 guest보다 약 90초 빠르고 `NTPSynchronized=no`였다. 이번 실험은 한 host shell이 load와 measurement를 직접 orchestration해 overlap을 보장했으므로 결론은 유지하지만, 장시간 분산 시계열 비교 전에는 host NTP 동기화가 필요하다. --- @@ -7780,10 +7678,10 @@ RAM」이라고 부르는 값은 전부 이 줄에서 나온다. ``` **L7 홉 수는 그대로 2홉이다** (observed). 늘어난 것은 커널이 하는 L4 전달 -한 번뿐이라 `X-Forwarded-*` 계약은 그대로 성립한다. 바꾼 이유는 성능이 아니라 -**더러워지는 층의 격리**다 — nginx 설정·인증서·certbot·deploy 훅은 자주 -갈아엎는 것들인데, 호스트에 있으면 초기화가 불가능하고 엣지 장애 실험이 -SSH 까지 위험하게 만든다. +한 번이다. 그러나 2026-09-21 재검증에서 Tailscale의 source rewrite가 실제로 +확인됐으므로, **홉 수가 같다는 이유만으로 `X-Forwarded-*` 계약까지 그대로라고 +말할 수는 없다.** 바꾼 이유는 성능이 아니라 **더러워지는 층의 격리**다 — nginx +설정·인증서·certbot·deploy 훅을 물리 호스트에서 분리해 edge VM 하나로 모은다. 그 대가로 일곱 가지가 새로 필요해졌다. @@ -7792,7 +7690,7 @@ SSH 까지 위험하게 만든다. | 1 | nginx 설치 | 호스트에는 이미 있었다. 새 게스트의 cloud-init 은 `curl`·`nftables` 만 깐다 | | 2 | **DNAT** | 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었다. 지금은 호스트에 리스너가 **아예 없다** | | 3 | **libvirt 방화벽에 구멍** | 호스트→게스트는 **OUTPUT** 경로라 필터를 안 탔다. 밖→게스트는 **FORWARD** 다 | -| 4 | SNAT 금지를 명시 | L4 를 한 번 더 타면서 masquerade 를 붙이고 싶어지는데, 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 본다 | +| 4 | source rewrite를 전체 경로에서 확인 | `lab_edge`에는 SNAT가 없지만 현재 Tailscale `ts-postrouting` MASQUERADE가 source를 바꾼다. edge에서는 client가 `192.168.122.1`로 관측됐다 | | 5 | `sites-available` 관례 | 호스트는 Arch 라 그 디렉터리가 없어 `nginx.conf` 에 include 를 직접 넣었다. 게스트는 Debian 이라 기본으로 있다 | | 6 | nginx 버전 차이 | Arch 1.30 vs Debian 12 의 1.22. `http2 on;` 지시어가 1.25.1 이상이다 | | 7 | certbot·인증서·갱신 훅이 게스트로 | 인증서를 읽는 주체가 nginx 이기 때문이다 | @@ -7871,7 +7769,7 @@ nft insert rule ip libvirt_network guest_input \ 필요하다. **실행 상태까지 옮기려면** qcow2 복사로는 안 된다 — `virsh save`→복사→`restore` -(VM 이 멈추고 RAM 크기만큼 파일이 더 생긴다) 또는 +(VM 이 멈추고 메모리·장치 실행 상태를 담는 별도 save 파일이 생긴다) 또는 `virsh migrate --live --copy-storage-all`(두 호스트 libvirt 가 붙고 CPU 모델이 호환돼야 한다). @@ -7906,9 +7804,8 @@ IP→DHCP, fstab·GRUB 을 UUID 로. 어떤 방법도 **실행 중 프로세스 - libvirt `firewall_backend` 가 iptables 일 때 `guest_input` 구멍이 필요한가, 아니면 그때는 우리 `forward` 체인 `accept` 가 실제로 먹는가 (unknown) -- `virsh save`/`restore` 의 RAM 덤프 크기와 소요 시간이 할당 메모리와 어떻게 - 비례하는가 — 제2부의 balloon 실사용값과 대조하면 재미있는 대조군이 된다 (미측정) -- WiFi 전용 호스트에서 대용량 qcow2 이동이 현실적으로 몇 시간인가 (미측정) +- `virsh save`/`restore` — **RESOLVED / ENVIRONMENT-SPECIFIC**. 2026-09-21 `kc-lab-1`에서 current memory 5120 MiB일 때 save file `3,333,557,094 bytes`, save `8.956592s`, restore `2.286119s`; 4096 MiB일 때 save file `3,222,304,048 bytes`, save `3.966730s`, restore `1.978473s`를 관측했다. current memory를 1 GiB 줄여도 save file은 약 111 MB만 줄었으므로 ‘RAM 크기만큼 파일이 생긴다’고 쓰면 안 된다. 두 단일 실행의 시간으로 선형 비례를 일반화하지 않는다. +- WiFi 전용 호스트에서 qcow2 이동은 얼마나 걸리는가 — **RESOLVED / ENVIRONMENT-SPECIFIC**. 2026-09-21 `kc-lab-edge`를 정상 종료한 뒤 overlay 460,914,688 bytes를 workmachine으로 전송하니 15.216초, 28.89 MiB/s였다. 공통 `base.qcow2` 338,952,192 bytes까지 포함한 image set 762.8 MiB의 순수 전송 시간 합계는 26.906초, 평균 28.35 MiB/s였고 두 파일 모두 SHA-256이 일치했다. 현재 크기에서는 수 시간 단위 병목이 아니며, 더 큰 이미지에 이 값을 그대로 선형 외삽하지 않는다. --- @@ -8075,7 +7972,7 @@ stderr 로 흘러가고 `TOKEN` 에는 **빈 문자열**이 담긴다. 셸은 | 판 번호 | libvirt `12.7.0` · `QEMU emulator version 11.1.1` | | 유닛 | `libvirtd.socket` — `.service` 가 아니다 | | 그룹 | `donghyeon libvirt wheel` | -| 연결 URI | `LIBVIRT_DEFAULT_URI=qemu:///system` | +| 연결 URI | `~/.config/libvirt/libvirt.conf`의 `uri_default = "qemu:///system"` | | 가상 네트워크 | `default` / `active` / autostart `yes` → `virbr0` · `192.168.122.0/24` | 네 패키지가 하는 일이 서로 다르다. @@ -8095,8 +7992,8 @@ stderr 로 흘러가고 `TOKEN` 에는 **빈 문자열**이 담긴다. 셸은 **되돌리는 절차는 원본 가이드 00 에 없다**(unknown). 가이드 7편 가운데 되돌리기를 적은 편은 03 하나다. 이 단계가 호스트에 남기는 것은 패키지 넷, `libvirt` 보조 -그룹 하나, `libvirtd.socket` 활성화, `~/.bashrc` 의 `export` 한 줄, `default` -네트워크의 autostart 다섯인데, 무엇을 어떤 순서로 걷어내는지는 가이드에 적혀 +그룹 하나, `libvirtd.socket` 활성화, `~/.config/libvirt/libvirt.conf` 의 `uri_default` +한 줄, `default` 네트워크의 autostart 다섯인데, 무엇을 어떤 순서로 걷어내는지는 가이드에 적혀 있지 않고 이 실험대도 걷어내 본 적이 없다. 여기에 되돌리는 명령을 적으려면 지어내야 하므로 적지 않는다. @@ -8266,99 +8163,75 @@ systemctl status libvirtd.socket **5. 연결 URI 를 고정한다** -**목적** — `virsh` 가 VM 을 만들 곳과 같은 하이퍼바이저를 보게 한다. `virsh` 는 -기본으로 `qemu:///session`(사용자 단위)에 붙는데 VM 은 `qemu:///system`(시스템 -단위)에 만들어야 한다. **이걸 안 맞추면 만든 VM 이 안 보인다.** +**목적** — `virsh` 가 VM 을 만들 곳과 같은 시스템 libvirt 를 보게 한다. 셸 환경 +변수에 기대지 않고 libvirt 자체 설정으로 `qemu:///system` 을 기본 URI 로 둔다. -**이 실험대는 이렇게 했다**(observed) - -```bash -echo 'export LIBVIRT_DEFAULT_URI=qemu:///system' >> ~/.bashrc -virsh uri -``` - -**★ rc 파일에만 넣으면 `ssh lab-host '명령'` 에서는 안 먹는다**(2026-09-17, observed). -그 형태는 비대화형 셸이라 `.bashrc`·`.zshrc` 를 안 읽는다. - -``` -ssh 로 한 줄 LIBVIRT_DEFAULT_URI=[(비어 있음)] -대화형 셸 LIBVIRT_DEFAULT_URI=qemu:///system -``` - -셸과 무관하게 고정하려면 libvirt 자기 설정에 넣는다. 이 실험대에는 그 파일도 -있었다(observed). - -```bash -mkdir -p ~/.config/libvirt -echo 'uri_default = "qemu:///system"' >> ~/.config/libvirt/libvirt.conf -virsh uri -``` - -``` -/home/donghyeon/.config/libvirt/libvirt.conf:uri_default = "qemu:///system" -qemu:///system -``` - -**둘 중 하나만 있으면 어디선가 어긋난다.** rc 만 있으면 `ssh` 한 줄에서 -`qemu:///session` 을 보게 되고 — 그쪽에는 VM 이 없으므로 목록이 빈 채로 나와 -「VM 이 죽었다」로 읽힌다 — libvirt 설정만 있으면 대화형 셸의 -`echo $LIBVIRT_DEFAULT_URI` 가 비어서 「설정이 안 됐다」로 읽힌다. - - -**따라 하는 사람은** 편집기로 연다. `echo >>` 는 가이드를 두 번 따라 하면 같은 -줄을 한 번 더 붙이고, 파일에 이미 무엇이 들어 있는지도 보여 주지 않는다. - -```bash -nano ~/.bashrc -``` - -그 파일 끝에 이 줄을 더한다. - -```text -export LIBVIRT_DEFAULT_URI=qemu:///system -``` - -저장하고 현재 셸에 반영한 뒤 확인한다. - -```bash -source ~/.bashrc -virsh uri -``` - -libvirt 쪽 설정도 같다. 디렉터리는 명령으로 만들고 파일은 편집기로 연다. +설정 디렉터리를 만든 뒤 파일을 편집기로 연다. ```bash mkdir -p ~/.config/libvirt nano ~/.config/libvirt/libvirt.conf ``` -그 파일에 이 줄을 더한다. +그 파일에 다음 줄을 둔다. ```text uri_default = "qemu:///system" ``` -이 나눈 형태는 이 실험대에서 치지 않았다(unknown). - -**확인** — 지금 셸이 어느 하이퍼바이저를 보고 있는가 +**확인** ```bash virsh uri ``` -**실측**(observed) +**실측**(2026-09-21, observed) -``` +```text qemu:///system ``` -**어디를 봐야 하는가** — 끝의 한 낱말. `system` 인가 `session` 인가. +이 설정은 bash·zsh 같은 로그인 셸의 rc 파일과 무관하게 libvirt 클라이언트가 +직접 읽는다. 2026-09-21 에 비대화식 SSH로 다시 재보니 실제 로그인 셸은 +`/bin/zsh` 였고 `LIBVIRT_DEFAULT_URI` 환경 변수는 비어 있었지만 `virsh uri` +는 그대로 `qemu:///system` 을 냈다. -**이 결과가 의미하는 것** — `qemu:///system` 이면 뒤에서 만들 VM 과 지금 `virsh` -가 같은 곳을 본다. `qemu:///session` 이면 사용자 단위 하이퍼바이저를 보고 있어 -**VM 은 만들어졌는데 `virsh list` 에 안 나오는** 상태가 된다. `.bashrc` 에 넣은 -것은 **새로 여는 셸에만** 적용되므로, 지금 셸에서는 `source ~/.bashrc` 를 치거나 -새 셸을 연다. +```text +donghyeon:x:1000:1000::/home/donghyeon:/bin/zsh +LIBVIRT_DEFAULT_URI= +qemu:///system +``` + +같은 시점의 `~/.config/libvirt/libvirt.conf` 에는 아래 설정이 있었다. + +```text +uri_default = "qemu:///system" +``` + +따라서 `.bashrc` 와 libvirt 설정을 **둘 다 넣어야 한다는 이전 설명은 틀렸다.** +`virsh` 의 기본 연결을 고정하는 데 필요한 것은 libvirt 설정 하나다. rc 파일에 +`LIBVIRT_DEFAULT_URI` 를 추가하는 것은 다른 도구가 그 환경 변수를 직접 요구할 +때의 선택 사항이다. + +그 선택 사항이 필요하다면 `.bashrc` 를 무조건 열지 말고 실제 로그인 셸부터 +확인한다. + +```bash +getent passwd "$USER" +``` + +이 호스트는 `/bin/zsh` 이므로 해당 환경 변수를 둘 필요가 있다면 `~/.zshrc` 가 +맞는 위치다. + +**어디를 봐야 하는가** — `virsh uri` 의 끝이 `system` 인가 `session` 인가. + +**이 결과가 의미하는 것** — `qemu:///system` 이면 뒤에서 만들 VM 과 지금 +`virsh` 가 같은 libvirt 인스턴스를 본다. `qemu:///session` 이면 사용자 단위 +하이퍼바이저를 보고 있어 **VM 은 만들어졌는데 `virsh list` 에 안 나오는** 상태가 +될 수 있다. + +`sudo virsh` 와 그냥 `virsh` 를 섞어 치지 않는다. 이 가이드는 사용자 설정으로 +`qemu:///system` 에 연결하는 경로 하나를 기준으로 검증한다. **6. 기본 네트워크** @@ -10367,8 +10240,9 @@ curl: (7) Failed to connect to auth.hyeonworks.com port 80 after 54 ms 같은 시각에 호스트 안에서 친 `http://192.168.122.10` 은 `404` 로 답했다. 아래 「막히면」 표의 마지막 줄이 가리키는 상태 그대로이고, 원인도 거기 적힌 대로였다 — -**이 호스트에 실제로 깔려 있는 유닛에 `ExecStartPost` 줄이 없다.** 아래 「배포된 -것과 적어 둔 것이 다르다」를 본다. +**2026-09-17 당시 호스트에 깔려 있던 유닛에는 `ExecStartPost` 줄이 없었다.** 아래 +「배포된 것과 적어 둔 것이 다르다」를 본다. 2026-09-21에는 unit과 `.nft`의 상태가 다시 +달라졌으므로 과거 상태를 현재값처럼 읽지 않는다. **확인 ④ 끝까지 닿나** (TLS 이후) @@ -10467,8 +10341,8 @@ error 로그에 있었는데 잘려 있었고, access 로그에는 **3492자** - (observed) 2026-09-11 새로 만든 엣지에서 `/etc/nginx` 가 없던 것, `nginx -t` 출력 세 줄, 층별 확인 ①~④ 의 코드, `301 https://auth.hyeonworks.com/`, upstream 실패 errno 세 줄, access 로그 3492자 -- (observed) 위에 실은 `.nft` 와 유닛의 내용은 **저장소 원본**과 같다. 다만 - **호스트에 실제로 깔려 있는 두 파일은 그것이 아니다** — 바로 아래를 본다 +- (observed, 2026-09-17) 위에 실은 `.nft`와 유닛의 내용은 **저장소 원본**과 같았지만, + 당시 호스트에 배포된 파일은 그 판과 달랐다. 2026-09-21의 current state는 아래 재검증 절에서 별도로 적는다 - (unknown) `curl -I http://192.168.122.11` 의 전체 출력은 캡처해 두지 않았다. 가이드도 봐야 할 줄만 적었다 - (unknown) `systemctl status nginx` 두 번, `ls -l /etc/nginx/sites-enabled/`, @@ -10484,7 +10358,7 @@ error 로그에 있었는데 잘려 있었고, access 로그에는 **3492자** 하고 `kubectl -n kube-system delete pod -l k8s-app=kube-dns` 인데 이 실험대에서 치지는 않았다 -**배포된 것과 적어 둔 것이 다르다** +**2026-09-17에는 배포된 것과 적어 둔 것이 달랐다** 2026-09-17 에 이 절을 따라 실험대를 다시 세우다 호스트의 두 파일을 열어 봤더니 **위에 실은 내용과 달랐다**(observed). 저장소 원본을 고친 뒤 호스트에 다시 @@ -10539,11 +10413,28 @@ oif "virbr0" counter packets 5 bytes 300 reject oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept ``` -**구멍이 하나가 아니라 셋이다.** `ExecStartPost` 가 `nft insert` 로 맨 앞에 끼워 -넣으므로 유닛을 다시 시작할 때마다 같은 규칙이 한 줄씩 는다 — **여러 번 쳐도 안전한 -형태가 아니다.** 기능은 멀쩡하다. 맨 앞 하나가 통과시키고 나머지는 카운터가 안 -오르거나(둘째 `0`) 아예 닿지 않는다(다섯째는 `reject` 뒤다). `reject` 의 `5` 는 -구멍이 들어가기 전에 막힌 것이고 그 뒤로는 안 오른다. +**구멍이 하나가 아니라 셋이다.** `ExecStartPost` 가 `nft insert` 를 실행할 때마다 +같은 규칙이 한 줄씩 늘었다. 여기까지는 2026-09-17 관측이다. + +2026-09-21 에 worker VM 둘을 철거했다 다시 만들자 libvirt 가 `guest_input` 체인을 +다시 구성했고, 세 accept 규칙이 모두 `reject` 뒤로 밀렸다(observed). + +```text +oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related ... accept +oif "virbr0" counter packets 0 bytes 0 reject +oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ... accept +oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ... accept +oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ... accept +``` + +그 상태에서 외부 80·443 연결은 둘 다 `curl: (7)` 로 실패했고 `reject` 카운터가 +`0 → 2` 로 증가했다. 같은 시각 host 안에서 두 Traefik 주소는 404, edge 주소는 +301을 반환했다. 따라서 실패 지점은 libvirt forward 체인이다. + +결론도 바뀐다. **service 시작 시 한 번 실행되는 `ExecStartPost` 삽입은 libvirt 가 +나중에 체인을 다시 쓸 때 복구되지 않는다.** 유닛이 `active` 여도 경로는 끊길 수 +있고, 중복 삽입 자체도 재실행 안전하지 않다. 2026-09-21 재검증에서는 host firewall을 +임의 변경하지 않는 조건 때문에 대체 규칙 설계는 적용하지 않았고 `UNVERIFIED` 로 남겼다. **그리고 출발지를 덮는 것이 무엇인지도 그때 갈렸다 — Tailscale 이다**(observed). @@ -10631,7 +10522,7 @@ kubectl apply -f coredns-custom.yaml kubectl -n kube-system delete pod -l k8s-app=kube-dns --wait=false ``` -이 나눈 형태는 이 실험대에서 치지 않았다(unknown). +이 나눈 형태는 2026-09-17 실험에서는 치지 않았다. **2026-09-21 재검증에서는 새 클러스터에 파일 형태로 다시 적용했다**(observed). 적용 전에는 `coredns-custom`이 없었고 Keycloak 파드에서 `auth.hyeonworks.com`이 `100.83.212.4`로 풀렸다. `hyeonworks.server` ConfigMap을 적용하고 CoreDNS를 재기동한 뒤에는 `192.168.122.10`으로 바뀌었다. 같은 파드 네트워크에서 HTTP는 edge nginx의 `301`, HTTPS `/realms/master`는 `200`을 반환했다. **파일 이름이 `.server` 인 것이 핵심이다.** k3s 는 `*.override` 를 기본 서버 블록 안에 끼워 넣는데 그 블록은 이미 `hosts /etc/coredns/NodeHosts` 로 `hosts` 를 한 번 쓴다. @@ -10760,6 +10651,13 @@ kubectl -n kube-system rollout status deploy/traefik --timeout=180s 없다(observed). `x-forwarded-for` 는 이 단계를 밟아도 앱까지 안 오고, **왜 사라지는지는 안 가렸다**(unknown). +2026-09-21 새 클러스터에서도 `deploy/lab/k8s/traefik-forwarded-headers.yaml`을 실제 +적용했다(observed). `HelmChartConfig/traefik`이 생긴 뒤 Traefik Deployment가 generation +2로 갱신됐고 기존 ReplicaSet은 0, 새 `traefik-5d6fcf895` ReplicaSet이 1/1 Ready가 됐다. +따라서 설정이 Helm controller를 거쳐 실제 Deployment 교체까지 이어지는 것은 CONFIRMED다. +다만 이번 새 클러스터에는 `/api/echo` 앱이 없어 최종 애플리케이션의 `x-real-ip`와 +`x-forwarded-for` 값은 다시 재지 못했다(`UNVERIFIED`). + ## 190. 단계 04 — Let's Encrypt 와 인증서 갱신 **어디서 치는가** — 이 단계도 셸이 갈린다. 1~3·5 번은 전부 `[kc-lab-edge]` 에서 @@ -10809,7 +10707,7 @@ Tailscale 이 없어 자기 자신을 밖에서 들어오는 경로로 부를 | nginx 가 읽는 것 | `fullchain.pem` · `privkey.pem` | | 유효기간 | 오늘 + 90일 | | deploy 훅 | `/etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh` (`chmod +x`) | -| 타이머 | `certbot-renew.timer` → `certbot-renew.service` | +| 타이머 | `certbot.timer` → `certbot.service` | **제약이 검증 방식을 정했다**(observed). 같은 Let's Encrypt 인증서인데 **「이 도메인이 네 것이냐」를 증명하는 방법**만 다르고, 이 실험대에는 **선택의 여지가 @@ -10843,7 +10741,7 @@ DNS 연동도 없어 관리할 것이 적다. 감수한 비용은 Cloudflare API 순서도, 사전 조건도, 지운 뒤 무엇을 확인하는지도 없고 이 실험대가 그렇게 지워 본 기록도 없다. 이 단계가 엣지에 남기는 것은 넷이다 — 패키지 둘, `/etc/letsencrypt/` 아래의 `cloudflare.ini`·인증서 묶음·`renewal-hooks/deploy/reload-nginx.sh`, -`certbot-renew.timer` 의 활성화, 그리고 nginx 설정의 443 블록. +`certbot.timer` 의 활성화, 그리고 nginx 설정의 443 블록. **(external) Cloudflare 쪽 토큰은 엣지를 지워도 Cloudflare 계정에 남는다.** 토큰은 그쪽 서버가 들고 있고 엣지에 있던 것은 사본이다. 가이드는 그 폐기를 적지 @@ -11224,12 +11122,15 @@ sudo nginx -t && sudo systemctl reload nginx **확인 ① 타이머가 있는가** ```bash -systemctl list-timers certbot-renew.timer +systemctl list-timers certbot.timer +systemctl cat certbot.timer ``` +첫 줄은 스케줄이 실제로 잡혔는지를, 둘째 줄은 `OnCalendar`·`RandomizedDelaySec`·`Persistent` 같은 timer unit 자체의 설정을 확인한다. + **어디를 봐야 하는가** — 네 칸이다. `NEXT`(다음 실행 시각)와 `LEFT`(남은 시간)가 채워져 있는가, `LAST`/`PASSED` 가 하루 안쪽인가, `UNIT` 옆의 `ACTIVATES` 가 -`certbot-renew.service` 를 가리키는가. **표가 통째로 비어 나오면 타이머가 없는 +`certbot.service` 를 가리키는가. **표가 통째로 비어 나오면 타이머가 없는 것이다** — 이름이 배포판마다 다르니 이렇게 찾는다. ```bash @@ -11244,7 +11145,7 @@ systemctl list-timers --all | grep -i certbot **확인 ② 배포판 기본 유닛이 reload 를 부르는가** ```bash -systemctl cat certbot-renew.service +systemctl cat certbot.service ``` ``` @@ -11592,7 +11493,7 @@ timedatectl show -p NTP -p NTPSynchronized - (unknown) 체인 실측은 이름을 따로 받던 시절 것이고, 와일드카드로 받은 지금의 `s_client` 출력은 싣지 않았다 - (unknown) `curl -v` 의 전체 출력, `certbot certificates` 의 실제 화면, - `systemctl list-timers certbot-renew.timer` 의 출력, 확인 ③ 의 일련번호 세 줄은 + `systemctl list-timers certbot.timer` 의 출력, 확인 ③ 의 일련번호 세 줄은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다 - (unknown) **원본 가이드 04 에 되돌리는 절차가 없다.** 패키지·자격증명·인증서·훅· 타이머·443 블록을 걷어내 본 적이 없다 @@ -12372,10 +12273,12 @@ kubectl -n keycloak-lab exec -it keycloak-0 -- sh | Grafana | 밖에 열지 않고 `port-forward svc/grafana 3000:3000` | | 도구 | **`jq` 가 없다.** `grep -o` · `tr ',' '\n'` 로 필드만 뽑는다 | -**판 번호는 여기 없다.** 가이드 06 은 Prometheus 와 Grafana 의 이미지 태그를 적지 -않았고 `observability.yaml` 원문은 `source/` 에 반입되지 않았다. 파드 이름의 해시 -(`grafana-845b5678cf-b6gvc`·`prometheus-6774f94f7c-pzr2t`)는 판 번호가 -아니다(unknown). +**2026-09-21 재검증에서 판 번호와 주요 설정을 실제 매니페스트와 실행 파드 양쪽에서 대조했다.** +Prometheus는 `prom/prometheus:v3.1.0`, Grafana는 `grafana/grafana:11.4.0`, +node-exporter는 `prom/node-exporter:v1.8.2`다(observed). Prometheus의 +`scrape_interval`은 `15s`, TSDB 보존 기간은 `7d`다. Prometheus와 Grafana는 +`node-role.kubernetes.io/control-plane: "true"` nodeSelector로 `kc-lab-1`에 고정되고, +node-exporter는 DaemonSet으로 두 노드에 하나씩 뜬다. **전제와 되돌리기** @@ -12648,11 +12551,14 @@ kubectl -n observability port-forward svc/grafana 3000:3000 1 이었던 것 - (observed) Redis·BFF·PostgreSQL 이 스크레이프 대상에 없다는 것. 「안 찍은 것」이 아니라 「지표가 없는 것」이다 -- (unknown) `observability.yaml` 원문이 `source/` 에 없어 **Prometheus·Grafana· - node-exporter 의 이미지 태그**, 스크레이프 주기, 보존 기간, Grafana 대시보드 구성은 - 대조하지 못했다 -- (unknown) `get pods -o wide`·`/api/v1/targets` 의 `health` 훑기·`query=up`· - `port-forward` 의 출력은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다 +- (observed, 2026-09-21 재검증) `observability.yaml`과 실행 파드에서 Prometheus + `v3.1.0`, Grafana `11.4.0`, node-exporter `v1.8.2`를 대조했다. `scrape_interval=15s`, + TSDB retention=`7d`, Prometheus/Grafana의 control-plane nodeSelector도 확인했다 +- (observed, 2026-09-21 재검증) raw `/api/v1/targets` 응답을 보존한 뒤 확인하니 + `keycloak`·`kubelet`·`node-exporter`·`prometheus` 네 job이 모두 `health=up`이었다. + `vendor_cluster_size`는 두 결과 모두 `2`, `up`은 두 Keycloak·두 node-exporter·두 kubelet·Prometheus 모두 `1`이었다 +- (observed, 2026-09-21 재검증) Grafana는 `port-forward svc/grafana 3001:3000`으로 + loopback에만 열어 `/api/health` 응답을 확인한 뒤 포트포워드를 종료했다 - (unknown) **원본 가이드 06 에 되돌리는 절차가 없다.** DaemonSet 이 노드마다 남긴 것을 걷어내 본 적이 없다 - (unknown) §184 가 둔 두 갈래를 이 단계에서는 쓰지 않았다 — 06 은 파일을 직접 쓰지 @@ -12871,18 +12777,13 @@ kc-lab-2 할당 3120MB 실사용 301MB ① **실사용이 할당의 7% 밖에 안 된다.** k3s server 가 353MB 다. 「5GB 를 줬으니 5GB 를 쓴다」가 아니다. -② **`kc-lab-2` 의 할당이 4096 이 아니라 3120 이다.** `virt-install --memory 4096` -으로 만들었는데 줄어 있다. virtio-balloon 이 회수해 간 것으로 보인다. -`dommemstat` 의 `actual` 은 **현재 할당**이지 선언한 상한이 아니다. 상한은 -`virsh dominfo` 의 `Max memory` 에 있다 — **다만 이 실험대에서 그 값을 나란히 -찍어 보지는 않았다(미측정).** 둘을 헷갈리면 「메모리가 왜 줄었지」가 된다. +② **2026-09-10에는 `kc-lab-2`의 `dommemstat actual`이 3120MB였다.** `virt-install --memory 4096`으로 만들었던 VM이므로 당시 current allocation과 선언값이 달랐다는 관측 자체는 남는다. 다만 **그 원인을 virtio-balloon 회수라고 확정할 근거는 당시 없었다.** -**이 결과가 의미하는 것** — 합계 8240MB 를 할당했지만 실제 점유는 654MB 다. -그래서 11.6GB 짜리 호스트에서 VM 세 대가 무리 없이 돈다. **여기 적힌 `11.6GB` 는 -원 가이드의 표기 그대로다** — §178 의 원 측정은 `free -m` 의 `Mem: 11648` 이고 그것은 -MiB 라 11,648MiB, 약 11.4GiB 다. 고쳐 쓰지 않고 어긋남을 적어 둔다. **그리고 이것은 지금 -k3s 만 떠 있어서다** — Keycloak 2 파드 + PostgreSQL + Redis + Prometheus 가 -올라가면 늘어난다. 그 시점의 값은 **미측정**이다. +2026-09-21 재검증에서는 `virsh dominfo`와 `dommemstat`을 나란히 읽었다. `kc-lab-2`의 configured/current와 `actual`은 모두 4096MiB였고, domain XML과 guest driver에서 virtio-balloon 장치가 존재하는 것도 확인했다. 장치가 있다는 사실과 그 시점에 balloon이 inflate되어 메모리를 회수 중이라는 사실은 다르다. 따라서 **2026-09-10의 3120MB 원인은 현재 증거로는 UNVERIFIED**다. + +**2026-09-10 결과가 의미하는 것** — 그 시점에는 합계 8240MB의 current allocation에 대해 계산한 guest-side 사용량이 654MB였다. 여기 적힌 `11.6GB`는 원 가이드 표기이고, `free -m`의 `Mem: 11648`은 11,648MiB, 약 11.4GiB다. + +**2026-09-21에는 더 진행된 상태도 다시 쟀다.** 세 VM의 configured/current는 `5120MiB / 4096MiB / 1024MiB`였고, 같은 시점 host의 QEMU RSS는 대략 `3.73GiB / 2.91GiB / 0.84GiB`였다. 이 값은 Keycloak·관측 스택이 올라온 당시의 시점값이며 고정 점유량으로 일반화하지 않는다. --- @@ -13046,7 +12947,7 @@ virbr0 DOWN 192.168.122.1/24 ## 202. 철거 — 실제 출력 전문 -가이드에는 세우는 절차만 있고 철거가 없다. 2026-09-10 에 실제로 돌린 기록이다. +가이드에는 세우는 절차만 있고 철거가 없다. 아래 전문은 2026-09-10 에 실제로 돌린 historical evidence다. **2026-09-21 재검증에서는 `kc-lab-1`·`kc-lab-2` 두 worker만 같은 방식으로 다시 철거하고 재구축했다.** `destroy → undefine --remove-all-storage`로 qcow2와 seed ISO가 사라졌고 `.11/.12` DHCP 예약도 삭제된 뒤, Setup 01부터 다시 만들어 cloud-init·k3s·Keycloak까지 복구했다. worker 철거→재구축은 현재 환경에서도 CONFIRMED다. 실제 TLS 종단점인 `kc-lab-edge` 전체 삭제·복원은 안전 조건 때문에 이번 실행에서는 하지 않았다(`UNVERIFIED`). ### 게스트 @@ -13202,7 +13103,7 @@ Arch 는 `sites-available` 관례 자체가 없어서 이 함정이 없는 대 | `~/.ssh/config` 의 `kc-lab-*` 항목 | **남는다** | 재구축해도 IP가 같다 | | libvirt `default` 네트워크 정의 | **남는다** | DHCP 예약만 지운다 | | edge guest의 `/etc/letsencrypt/` | 사라진다 | guest 삭제 전에 host로 백업한다 | -| host에 복사한 `letsencrypt-backup-.tgz` | **남긴다** (정책) | DNS-01 등록은 확인됐지만 credential 유효성과 `certbot renew --dry-run` 성공은 아직 미확인 | +| host에 복사한 `letsencrypt-backup-.tgz` | **남긴다** (정책) | 2026-09-21 DNS-01 dry-run 재발급은 성공했다. backup은 기존 lineage·renewal 설정·deploy hook까지 가장 빠르게 복구하기 위한 복구본이다 | | 게스트 디스크·시드 ISO | 사라진다 | `--remove-all-storage` | | DHCP 예약 | 사라진다 | `net-update delete` | | k3s·Keycloak·모든 워크로드 | 사라진다 | guest와 함께 | @@ -13223,7 +13124,7 @@ ssh kc-lab-edge 'sudo ls -la /etc/letsencrypt/' 따라서 철거 전에 보존할 것은 **edge guest의 `/etc/letsencrypt/`** 이다. 예전 host-local `/etc/letsencrypt/` 백업 명령은 03·04 이전 배치를 전제로 한 historical wrong assumption이라 canonical 절차에서 실행 명령으로 쓰지 않는다. -### DNS-01은 확인됐고, credential 유효성은 아직 확인되지 않았다 +### DNS-01 등록과 현재 credential 재발급 가능성까지 확인했다 2026-09-17 renewal 설정을 읽어 현재 등록 방식이 DNS-01임을 확인했다(observed). @@ -13231,11 +13132,16 @@ ssh kc-lab-edge 'sudo ls -la /etc/letsencrypt/' sudo sh -c 'grep -H -E "^(authenticator|dns_cloudflare_credentials|server)[[:space:]]*=" /etc/letsencrypt/renewal/*.conf' ``` -관측값은 `authenticator = dns-cloudflare`와 `/etc/letsencrypt/cloudflare.ini`였다. 이로써 HTTP-01인지 DNS-01인지라는 질문은 닫혔다. +관측값은 `authenticator = dns-cloudflare`와 `/etc/letsencrypt/cloudflare.ini`였다. 당시 credential 파일은 비어 있어 재발급 가능성은 확인하지 못했다. -다만 **DNS-01 등록 사실과 지금 재발급 가능한지는 별개다.** 같은 후속 원문에서 credential 파일의 토큰 길이는 0자로 측정됐고 Cloudflare 검증은 `Invalid request headers`로 실패했다. 남은 미지수는 유효한 Cloudflare credential을 다시 준비했는지와 `certbot renew --dry-run`이 성공하는지다. +2026-09-21 재검증에서 상태가 바뀌었다(observed). credential 파일은 81 bytes였고 `sudo certbot renew --dry-run --no-random-sleep-on-renew`이 DNS 전파 대기 30초 뒤 성공했다. -그래서 현재 정책은 **guest 삭제 전 인증서를 백업한다**이다. 재발급 가능성이 검증되면 이 보존 정책을 완화할 수 있다. +```text +Congratulations, all simulated renewals succeeded: + /etc/letsencrypt/live/auth.hyeonworks.com/fullchain.pem (success) +``` + +따라서 **현재 credential로 DNS-01 재발급이 가능하다는 것까지 CONFIRMED**다. 인증서 백업은 여전히 남기지만, 이유는 재발급 불확실성이 아니라 기존 lineage·renewal 설정·deploy hook까지 즉시 복구할 수 있는 가장 짧은 경로이기 때문이다. ### 백업은 edge guest에서 host로 빼낸다 @@ -13803,7 +13709,7 @@ dig A auth.hyeonworks.com +short # 100.83.212.4 curl -sI https://auth.hyeonworks.com | head -1 # HTTP/2 404 curl -s -o /dev/null -w '%{ssl_verify_result}\n' https://auth.hyeonworks.com # 0 curl -sI http://auth.hyeonworks.com | head -1 # 301 -systemctl is-active nginx certbot-renew.timer # active active +systemctl is-active nginx certbot.timer # active active ``` **`404`가 성공 신호다.** TLS가 정상 종료되고 Traefik까지 도달했으나 매칭되는 @@ -15345,7 +15251,7 @@ virsh net-update default delete ip-dhcp-host \ **왜 여기 나오나** — `test-server`에 이더넷이 없고 `wlo1`만 있다. 그래서 "VM에 LAN IP를 직접 주자"는 계획이 물리적으로 성립하지 않는다. -이 제약 하나가 토폴로지 전체를 NAT + 호스트 nginx로 확정시켰다. +이 제약 때문에 VM은 libvirt NAT(`virbr0`) 뒤에 두었다. 현재 진입 경로는 **host DNAT → edge VM nginx → Traefik**이고, `호스트 nginx`는 edge VM으로 옮기기 전의 과거 배치다. **우회 수단** — 4-address 모드(WDS)를 AP와 클라이언트 드라이버가 모두 지원하면 가능하지만 실제로는 거의 지원되지 않는다. 현실적인 우회는 @@ -15575,10 +15481,12 @@ tailnet 주소로 직접 듣고 게스트로 프록시했고, 지금은 엣지 ``` **왜 여기 나오나** — **L7 홉 수는 그대로 2홉**이다. 늘어난 것은 커널이 하는 -L4 전달 한 번뿐이라 헤더 계약(B-4)은 그대로 성립한다. 바꾼 이유는 성능이 -아니라 **더러워지는 층을 격리**하는 것이다. nginx 설정·인증서·certbot·deploy -훅은 자주 갈아엎는 것들인데, 호스트에 있으면 초기화가 불가능하고 엣지 장애 -실험(`systemctl stop nginx`)이 SSH 까지 위험하게 만든다. +L4 전달 한 번이다. 다만 **홉 수가 같다고 forwarded-header 계약까지 자동으로 +보존되는 것은 아니다.** 2026-09-21 packet capture에서 Tailscale ingress의 +`100.92.240.34`가 edge에 도착할 때 `192.168.122.1`로 source rewrite된 것을 +확인했다. 바꾼 이유는 성능이 아니라 **더러워지는 층을 격리**하는 것이다. +nginx 설정·인증서·certbot·deploy 훅은 자주 갈아엎는 것들인데, 호스트에 있으면 +초기화가 어렵고 엣지 장애 실험(`systemctl stop nginx`)이 SSH까지 위험하게 만든다. **그 대가로 새로 필요해진 것** — 아래 일곱 가지가 03 에 새로 생긴 단계들이다. @@ -15587,13 +15495,14 @@ L4 전달 한 번뿐이라 헤더 계약(B-4)은 그대로 성립한다. 바꾼 | 1 | **nginx 설치** (03 의 0번) | 호스트에는 이미 깔려 있었다. 새 게스트의 cloud-init 은 `curl`·`nftables` 만 깐다 | | 2 | **DNAT** (03 의 3번) | 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었다. 지금은 호스트에 리스너가 아예 없다 | | 3 | **libvirt 방화벽에 구멍** | 호스트→게스트는 **OUTPUT** 경로라 필터를 안 탔다. 밖→게스트는 **FORWARD** 라 libvirt 의 `guest_input` 이 거절한다 → [[#nftables-는-앞-체인의-accept-로-뒤-체인의-reject-를-막지-못한다]] | -| 4 | **SNAT 금지를 명시** | 호스트 nginx 가 직접 받을 때는 출발지가 그대로였다. L4 를 한 번 더 타면서 masquerade 를 붙이고 싶은 유혹이 생기는데, 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 본다 | +| 4 | **source rewrite를 전체 netfilter 경로에서 확인** | `lab_edge` 테이블에는 SNAT가 없지만, 2026-09-21에는 Tailscale `ts-postrouting`의 MASQUERADE 때문에 edge가 client를 `192.168.122.1`로 봤다. 우리 DNAT 파일만 보고 원본 IP 보존을 판단하면 안 된다 | | 5 | **`sites-available` 관례** | 호스트는 Arch 라 그 디렉터리가 없어 `nginx.conf` 에 `include` 를 직접 넣었다. 게스트는 Debian 이라 기본으로 있다 — **운영과 같은 형태** | | 6 | **nginx 버전 차이** | Arch 1.30 vs Debian 12 의 1.22. `http2 on;` 지시어가 1.25.1 이상이라 게스트에서는 `listen 443 ssl http2` 형태로 써야 한다 | | 7 | **certbot·인증서·갱신 훅이 게스트로** | 전부 호스트에 있었다. 지금은 nginx 옆에 있어야 한다 — 인증서를 읽는 것이 nginx 이기 때문이다 | -**★ 3번과 4번이 이 이동의 본질이다.** 나머지는 배포판이 달라서 생긴 잡무고, -이 둘은 **경로가 OUTPUT 에서 FORWARD 로 바뀌었기 때문에** 생긴 구조적 변화다. +**★ 3번은 이 이동의 구조적 변화이고, 4번은 실제 경로를 확인하면서 추가로 드러난 조건이다.** +3번은 **경로가 OUTPUT에서 FORWARD로 바뀌었기 때문에** 생겼다. 4번은 DNAT 파일 +자체가 아니라 Tailscale까지 포함한 전체 netfilter 경로를 봐야 한다는 교훈이다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. @@ -15603,7 +15512,7 @@ L4 전달 한 번뿐이라 헤더 계약(B-4)은 그대로 성립한다. 바꾼 |---|---| | DNAT | 밖에서 `connection refused`. 호스트에 리스너가 없다 | | libvirt 구멍 | **호스트 안에서는 404 인데 밖에서만 refused** | -| SNAT 을 붙임 | 다 되는데 `X-Forwarded-For` 가 전부 `192.168.122.1` | +| source rewrite가 발생함 | 연결은 되지만 edge의 `$remote_addr`와 `X-Forwarded-For`가 `192.168.122.1`이 된다. 현재 환경에서는 Tailscale MASQUERADE로 실제 재현됐다 | | 인증서를 호스트에 둠 | 발급은 되는데 엣지 nginx 가 못 읽어 `cannot load certificate` | **확인** @@ -15770,10 +15679,12 @@ TLS 종료가 선택이 아니라 전제다.** 있다. 반대로 헤더가 아예 없으면 `KC_HOSTNAME_STRICT=true` 아래에서 호스트 불일치로 요청이 거부된다. -**이 실험대의 쟁점** — 운영이 `nginx → Traefik` 2홉이라 -[`docs/reverse-proxy-headers.md`](reverse-proxy-headers.md)의 1홉 가정과 -어긋난다. nginx가 세팅한 값을 Traefik이 덮어쓰는지, 신뢰하는지, -이어붙이는지에 따라 결과가 갈린다. **가장 먼저 실측할 항목.** +**이 실험대에서 실제로 확인된 것** — 현재 경로는 `edge nginx → Traefik` 2홉이다. +2026-09-21 packet capture에서 edge에 도달하기 전에 Tailscale MASQUERADE가 source를 +`192.168.122.1`로 바꾸는 것을 확인했다. 2026-09-17에는 Traefik 기본 신뢰 설정에서도 +edge가 쓴 forwarded 값을 그대로 앱까지 전달하지 않는 것이 관측됐다. 따라서 현재 +`X-Forwarded-For`를 원본 client IP의 정본으로 사용할 수 없다. 헤더 문제는 단순히 +'2홉이라서'가 아니라 **L4 source rewrite와 각 proxy의 trust 설정을 함께 봐야 한다.** ## 260. 스티키 세션 @@ -15795,8 +15706,8 @@ Keycloak 공식 권장은 `AUTH_SESSION_ID` 쿠키 기반 스티키다. ## 261. 진입점 자체가 죽으면 — 로드밸런서의 재귀 문제 -**호스트 nginx는 이 실험대의 단일 장애점(SPOF)이다.** 숨길 이유가 없다. -물리 머신도 한 대이므로 그것 역시 SPOF다. 실험대의 알려진 한계로 남겨둔다. +**`kc-lab-edge`의 nginx는 이 실험대의 단일 L7 진입점(SPOF)이다.** +물리 머신도 한 대이므로 전체 실험대 역시 단일 물리 장애 도메인이다. 알려진 한계로 남겨둔다. **ALB와 NLB는 계층이 다른 것이 아니다** — 자주 오해하는 지점이다. 둘 다 **클러스터 밖의 로드밸런서**이고, 같은 자리를 놓고 고르는 두 선택지다. @@ -15809,7 +15720,7 @@ Ingress Controller와 대응되는 관계가 아니다. | TLS | 종료함 | 통과 또는 종료 | | `X-Forwarded-*` | **추가함** | 추가 안 함 (PROXY protocol 사용) | -우리 호스트 nginx는 TLS를 끊고 `X-Forwarded-*`를 넣으므로 **ALB에 가깝다.** +현재 edge nginx는 TLS를 끊고 `X-Forwarded-*`를 설정하므로 **역할만 놓고 보면 L7 reverse proxy/ALB 쪽에 가깝다.** **그렇다면 NLB 자리에는 무엇이 오는가** @@ -15846,10 +15757,10 @@ HTTP 라우팅이 필요하기 때문이다. 배치의 차이는 **진입점과 **L7을 두 겹 쌓는 이유는 역할이 다르기 때문이다.** -| | 호스트 nginx | Traefik | +| | edge nginx | Traefik | |---|---|---| -| 담당 | 공개 진입점, TLS·인증서, 헤더 주입 | 클러스터 내부 라우팅 | -| 대상 | **고정** IP:포트 | **동적** — 파드 생성·소멸을 추적 | +| 담당 | 외부 진입점, TLS·인증서, 헤더 설정 | 클러스터 내부 라우팅 | +| 대상 | **고정** worker IP:포트 | **동적** — Service/Ingress/Pod 변화를 추적 | | 갱신 | 사람이 파일 수정 후 reload | API 서버를 감시하며 자동 | nginx는 클러스터의 존재를 모른다. 파드 IP가 바뀌는 것도 모른다. @@ -15860,7 +15771,7 @@ Traefik이 맡는다. 이 2홉이 곧 `X-Forwarded-*` 검증의 대상이다. | 이유 | 설명 | |---|---| -| 클라이언트 IP 보존 | L4라 원본 IP가 그대로 도달. ALB는 `X-Forwarded-For`로만 전달 | +| 클라이언트 IP 전달 | L4 구성은 **source IP preservation 또는 PROXY protocol**로 전달할 수 있다. 실제 보존 여부는 LB/NAT 설정에 따라 확인해야 한다. L7 프록시는 보통 forwarded 헤더로 전달한다 | | 고정 IP | AZ당 고정 IP 부여 가능. ALB는 DNS 이름만 준다 | | HTTP가 아닌 것 | LDAP, PostgreSQL, MQTT, 원시 TCP/UDP | | **mTLS 통과** | 클라이언트 인증서를 **백엔드가 직접 검증**해야 할 때 | @@ -15902,8 +15813,8 @@ stream { | 자리 | 클라우드 | 이 실험대 | |---|---|---| -| L7 진입 (TLS 종료·경로 라우팅) | ALB | 호스트 nginx `http {}` | -| L4 진입 (TCP 통과·IP 보존) | NLB | 호스트 nginx `stream {}` (아직 없음) | +| L7 진입 (TLS 종료·경로 라우팅) | ALB | edge nginx `http {}` | +| L4 진입 (TCP 통과) | NLB | 현재 미구성. 구성한다면 edge/별도 L4 proxy의 `stream {}` 같은 형태가 후보 | | 클러스터 내 L7 라우팅 | ingress controller | Traefik | **한 머신 안에서 nginx를 여러 개 띄우는 것은 의미가 없다** @@ -15954,16 +15865,14 @@ nginx는 이미 **master 프로세스 1개 + worker N개** 구조다. worker들 **이 실험대에서는 하지 않는다.** 물리 머신이 한 대라 keepalived를 구성해도 그 머신이 죽으면 끝이라 의미가 없고, 검증 대상은 Keycloak의 세션·토큰이지 LB 가용성이 아니다. 다만 **Traefik은 이미 두 노드에 떠 있으므로** -"노드 하나를 죽이고 호스트 nginx의 upstream이 어떻게 반응하는지"는 -그대로 관찰할 수 있다. 그것이 이 실험대가 다루는 범위다. +"worker 하나를 죽이고 edge nginx의 upstream이 어떻게 반응하는지"는 +관찰할 수 있다. 그것이 이 실험대가 다루는 범위다. ## 262. `nginx -t` **무엇인가** — 설정 파일 문법 검사. 실제로 적용하지 않고 파싱만 한다. -**왜 여기 나오나** — `systemctl reload nginx`는 설정이 깨져 있으면 -**기존 프로세스까지 죽인다.** `nginx -t && systemctl reload nginx`로 -연결해서 검사를 통과했을 때만 reload하는 게 습관이 되어야 한다. +**왜 여기 나오나** — nginx는 reload에서 새 설정을 읽고 적용에 실패하면 기존 설정과 worker를 계속 사용한다. 그래도 실패를 사후 로그에서 찾지 않도록 `nginx -t && systemctl reload nginx`처럼 **명시적인 사전 문법 검사를 통과했을 때만 reload**하는 습관이 안전하다. --- @@ -16270,33 +16179,34 @@ ssh kc-lab-2 'sudo openssl x509 -in /var/lib/rancher/k3s/agent/client-kubelet.cr 그래서 실험대에서 끄면 안 된다. 우리가 검증하려는 2홉 헤더 문제가 정확히 `nginx → Traefik` 경계에서 발생한다. -## 275. 호스트 nginx와 Traefik은 무엇이 다른가 — 둘 다 필요한 이유 +## 275. 엣지 nginx와 Traefik은 무엇이 다른가 — 둘 다 필요한 이유 -**대체 관계가 아니다. 서로 다른 층이다.** 하나는 클러스터 밖, 하나는 안이다. +**현재 실험대 기준으로 대체 관계가 아니다.** `kc-lab-edge`의 nginx는 클러스터 밖 +진입 계층이고 Traefik은 클러스터 안 ingress 계층이다. 예전에는 nginx가 물리 host에 +있었지만 지금은 edge VM으로 옮겼다. -| | 호스트 nginx | Traefik (k3s ingress) | +| | edge nginx (`kc-lab-edge`) | Traefik (k3s ingress) | |---|---|---| -| 사는 곳 | 클러스터 **밖**, 호스트 OS의 프로세스 | 클러스터 **안**, 파드 | -| 아는 대상 | IP:포트 (고정) | 쿠버네티스 Service/Ingress (동적) | -| 설정 방법 | 파일 편집 + `nginx -s reload` | `kubectl apply` 로 Ingress 리소스 | +| 사는 곳 | 클러스터 **밖**, 별도 guest VM | 클러스터 **안**, 파드 | +| 아는 대상 | worker VM의 IP:포트 (고정) | 쿠버네티스 Service/Ingress (동적) | +| 설정 방법 | 파일 편집 + nginx reload | `kubectl apply` 로 Ingress 리소스 | | 대상이 바뀌면 | **사람이 고쳐야 함** | **자동 반영** | -| 결정하는 것 | **어느 노드로 보낼까** | **어느 파드로 보낼까** | -| TLS | 여기서 종료 | 평문으로 받음 | +| 결정하는 것 | **어느 worker/Traefik으로 보낼까** | **어느 Service/Pod로 보낼까** | +| TLS | 여기서 종료 | 평문 HTTP를 받음 | **왜 Traefik만으로는 부족한가** — Traefik은 각 노드 위에서 돈다. servicelb 덕에 두 노드의 80/443에 모두 바인딩되지만, **브라우저는 어느 노드로 가야 할지 모른다.** 그리고 그 노드가 죽으면 그 IP도 죽는다. -즉 **Traefik은 노드 안에서 파드로 나눠주지만, 노드들 사이에서는 나눠주지 -못한다.** 그 일을 할 무언가가 클러스터 밖에 있어야 한다. 클라우드에서는 -ALB/NLB가 그 자리이고, 이 실험대에는 클라우드 LB가 없으므로 호스트 nginx가 -그 역할을 맡는다. +즉 **Traefik만으로는 tailnet의 단일 진입 주소에서 두 worker를 고르는 바깥 계층까지 +대신하지 않는다.** 클라우드라면 관리형 LB가 그 자리를 맡을 수 있지만, 현재 실험대는 +별도 edge VM의 nginx가 `192.168.122.11:80`과 `.12:80`을 upstream으로 두고 그 역할을 맡는다. ``` 브라우저 │ ▼ - 호스트 nginx ← 클러스터 밖 · TLS 종료 · "어느 노드로?" + edge nginx (.10) ← 클러스터 밖 · TLS 종료 · "어느 worker로?" ├──▶ 192.168.122.11:80 (kc-lab-1 의 Traefik) └──▶ 192.168.122.12:80 (kc-lab-2 의 Traefik) │ @@ -16315,8 +16225,8 @@ ALB/NLB가 그 자리이고, 이 실험대에는 클라우드 LB가 없으므로 컨트롤러는 API 서버를 계속 감시하다가 Ingress 리소스가 생기거나 바뀌면 자기 라우팅 설정을 갱신한다. **컨트롤러가 없으면 Ingress를 아무리 만들어도 -트래픽은 흐르지 않는다.** 반대로 호스트 nginx는 이런 감시 기능이 없어서 -대상이 바뀌면 사람이 파일을 고쳐야 한다. +트래픽은 흐르지 않는다.** 반대로 edge nginx는 Kubernetes API를 감시하지 않아서 +worker/upstream 구성이 바뀌면 사람이 설정을 고쳐 reload해야 한다. **한쪽만 쓰면 안 되나** @@ -16325,17 +16235,20 @@ ALB/NLB가 그 자리이고, 이 실험대에는 클라우드 LB가 없으므로 | Traefik만 (노드 IP 직접 지정) | 그 노드가 죽으면 전체 다운 → **노드 상실 실험이 무의미**해진다. TLS도 클러스터 안에서 관리해야 함 | | nginx만 (Traefik 비활성화) | Ingress 리소스를 못 쓴다. 서비스가 늘거나 파드 IP가 바뀔 때마다 수동 수정 | -그리고 **두 경우 모두 운영 구조와 달라진다.** 운영이 -`host nginx → k3s(Traefik)`이므로, 실험대도 그 2홉을 복제해야 -`X-Forwarded-*` 신뢰 경계 결론이 그대로 이전된다. 이것이 결정적인 이유다. +현재 실험대가 검증하는 경로는 **`edge nginx → Traefik`의 두 L7 홉**이다. 과거의 +`host nginx → Traefik`과 L7 홉 수는 같지만, 2026-09-21 재검증에서 host의 +Tailscale/NAT 계층이 source address를 바꾸는 것이 확인됐다. 따라서 과거 헤더 결론을 +그대로 이전하지 않고, 현재 경로의 source rewrite와 proxy trust 설정을 따로 검증한다. **클라우드와의 대응** -| 이 실험대 | AWS | +| 이 실험대 | 클라우드에서 대응되는 역할의 예 | |---|---| -| 호스트 nginx | ALB / NLB | -| Traefik | ingress-nginx, ALB Ingress Controller | -| servicelb | 클라우드 LB 컨트롤러 | +| edge nginx | 외부 Load Balancer / reverse proxy | +| Traefik | ingress controller | +| servicelb | bare-metal 환경에서 LoadBalancer Service를 노출하는 보조 계층 | + +이 표는 **역할 대응**이지 제품이 1:1로 같은 구현이라는 뜻이 아니다. ## 276. servicelb (klipper-lb) @@ -16344,8 +16257,8 @@ ALB/NLB가 그 자리이고, 이 실험대에는 클라우드 LB가 없으므로 hostPort를 여는 DaemonSet 파드를 띄운다. **왜 여기 나오나** — 이것 덕분에 Traefik이 `192.168.122.11:80`과 -`192.168.122.12:80` **양쪽 모두에서** 응답한다. 그래서 호스트 nginx의 -`upstream`에 VM 두 대를 그냥 나열하면 된다. 별도 LB 구성이 필요 없다. +`192.168.122.12:80` **양쪽 모두에서** 응답한다. 그래서 edge nginx의 +`upstream`에 worker VM 두 대를 나열할 수 있다. **확인** @@ -16499,8 +16412,7 @@ topologySpreadConstraints: | `maxSkew: 1` | 그룹 간 개수 차이를 최대 1로 유지 → 2노드에 2개면 1:1 | | `whenUnsatisfiable` | 만족 못 할 때 **`ScheduleAnyway`**(그래도 배치) / `DoNotSchedule`(대기) | -**왜 필요한가** — 두 파드가 한 노드에 몰리면 **호스트 nginx의 upstream 분배를 -관찰할 수 없다.** 어느 노드로 보내든 같은 파드가 답하기 때문이다. +**왜 필요한가** — 두 파드가 한 노드에 몰리면 **edge nginx가 어느 worker로 보냈는지와 실제로 어느 Pod가 처리했는지를 분리해서 보기 어렵다.** 어느 worker로 보내도 결국 같은 노드의 파드가 답할 수 있기 때문이다. 스티키 세션 실험도 성립하지 않는다. **`ScheduleAnyway`를 고른 이유** — 한 노드를 죽이는 실험을 할 때 @@ -16628,9 +16540,7 @@ spec: **부하 분산 방식** — kube-proxy가 iptables/IPVS 규칙으로 **무작위 분배**한다. **세션 어피니티는 기본적으로 없다.** 필요하면 -`spec.sessionAffinity: ClientIP`를 주지만, 프록시 뒤에서는 모든 요청의 -출발지가 Traefik이라 사실상 무의미하다. **스티키는 호스트 nginx 층에서 -거는 것이 맞다.** +`spec.sessionAffinity: ClientIP`를 줄 수 있지만, 여러 proxy/NAT 계층 뒤에서는 Service가 보는 source가 원본 client와 다를 수 있어 사용자 단위 sticky와 어긋날 수 있다. **이 실험대에서는 edge nginx의 분배와 Keycloak의 `AUTH_SESSION_ID` 기반 owner routing을 구분해 측정한다.** ```bash kubectl -n header-lab get svc @@ -16671,8 +16581,8 @@ spec: **어느 컨트롤러도 이 규칙을 집지 않는다.** 리소스는 생성되는데 트래픽이 흐르지 않고 오류도 없다. -**`host`가 중요한 이유** — 호스트 nginx가 `proxy_set_header Host $host`로 -원래 호스트명을 그대로 넘기기 때문에, Traefik이 그 값으로 이 규칙을 찾는다. +**`host`가 중요한 이유** — edge nginx가 `proxy_set_header Host $host`로 +요청의 Host를 upstream에 넘기기 때문에, Traefik이 그 값으로 이 규칙을 찾는다. nginx가 Host를 자기 것으로 덮어쓰면 **여기서 404가 난다.** 지금 보이는 404가 정상 신호인 것도 같은 원리다 — 규칙이 없으면 404다. @@ -17106,9 +17016,9 @@ pacman -S bar → bar 최신판을 받음 (glibc 2.39 기준으로 빌드됨) bar 실행 시 symbol not found → 깨진다 ``` -Arch는 롤링 릴리스라 **패키지들이 서로 같은 시점의 라이브러리 버전을 -전제하고 빌드**된다. 일부만 최신으로 올리면 이 전제가 깨진다. -Debian은 릴리스마다 버전을 고정하므로 이 문제가 없다. +Arch는 롤링 릴리스라 **저장소 전체가 계속 함께 움직이는 모델**이고, 공식적으로 partial upgrade를 지원하지 않는다. `pacman -Sy`로 저장소 메타데이터만 최신으로 만든 뒤 일부 패키지만 설치·갱신하면 현재 설치된 라이브러리 집합과 저장소의 새 패키지 집합이 어긋날 수 있다. + +Debian stable은 릴리스 단위의 안정성을 우선하고 의존성/업데이트 정책도 Arch와 다르지만, **패키지 버전이 영구 고정되는 것은 아니다.** 보안 업데이트와 point release 동안 같은 stable 릴리스 안에서도 패키지가 갱신된다. ## 297. 왜 HTTP로 받아도 안전한가 — 서명 신뢰 사슬 @@ -18017,26 +17927,46 @@ virsh shutdown kc-lab-2 `net-start && net-autostart` 와 같은 자리다. 이 나눈 형태는 이 실험대에서 치지 않았다(unknown). -**clean shutdown 확인** +**clean shutdown 확인은 시점을 나눠 본다**(2026-09-21, observed). + +PostgreSQL이 실행 중이면 `postmaster.pid`는 존재한다. `replicas=0`으로 정상 종료한 +직후에는 파일이 사라졌다. ```bash -ssh kc-lab-2 'sudo ls /var/lib/rancher/k3s/storage/*postgres-data*/pgdata/postmaster.pid' +ssh kc-lab-2 'sudo test -f /var/lib/rancher/k3s/storage/*postgres-data*/pgdata/postmaster.pid && echo exists || echo absent' ``` -**`postmaster.pid`가 남아 있지 않아야 정상**이다. 남아 있으면 비정상 종료였고 -다음 기동에 복구 절차가 실행된다. +같은 실험에서 실행 중에는 `exists`, scale-down 뒤에는 `absent`였다. 반대로 재기동한 +PostgreSQL에서 `postmaster.pid`가 다시 생기는 것은 정상이다. **재기동 뒤 파일 존재를 +비정상 종료 판정으로 쓰면 안 된다.** 이전 SSOT의 그 판정은 틀렸다. + +이전 종료가 깨끗했는지는 다음 기동의 PostgreSQL 로그로 확인한다. + +```bash +kubectl -n keycloak-lab logs deploy/postgres | tail -20 +``` + +2026-09-21 재검증에서는 `database system was shut down at ...` 다음에 +`database system is ready to accept connections`가 이어졌다. crash recovery 로그는 +나오지 않았다. ## 334. 복구 순서 — 종료의 역순 ```bash -virsh start kc-lab-1 && virsh start kc-lab-2 +virsh start kc-lab-1 +virsh start kc-lab-2 kubectl get nodes # Ready 2개 대기 kubectl -n keycloak-lab scale deployment/postgres --replicas=1 kubectl -n keycloak-lab rollout status deployment/postgres kubectl -n keycloak-lab scale statefulset/keycloak --replicas=2 ``` -**PostgreSQL이 먼저다.** Keycloak이 DB 없이 뜨면 기동에 실패한다. +**PostgreSQL이 먼저다.** Keycloak이 DB 없이 뜨면 기동에 실패한다. 2026-09-21에 +실제로 두 VM을 정상 종료했다 다시 시작했을 때 두 노드는 `Ready`로 돌아왔지만 +Keycloak과 PostgreSQL의 replica는 둘 다 0 그대로였다. PostgreSQL을 먼저 1로 올린 뒤 +Keycloak을 2로 올려야 원래 워크로드 상태가 복구됐다. 물리 `test-server` 자체의 +`systemctl poweroff`는 edge 서비스와 SSH/Tailscale까지 끊기 때문에 이번 재검증에서는 +실행하지 않았다(`UNVERIFIED`). **스케일을 0으로 내려두면 자동으로 복구되지 않는다.** 명시적으로 올려야 한다. diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/01-inventory-before-teardown.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/01-inventory-before-teardown.txt new file mode 100644 index 0000000..cfea53e --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/01-inventory-before-teardown.txt @@ -0,0 +1,120 @@ +uid=1000(donghyeon) gid=1000(donghyeon) groups=1000(donghyeon),962(libvirt),998(wheel) +test-server +NAME="Arch Linux" +PRETTY_NAME="Arch Linux" +ID=arch +BUILD_ID=rolling +ANSI_COLOR="38;2;23;147;209" +HOME_URL="https://archlinux.org/" +DOCUMENTATION_URL="https://wiki.archlinux.org/" +SUPPORT_URL="https://bbs.archlinux.org/" +BUG_REPORT_URL="https://gitlab.archlinux.org/groups/archlinux/-/issues" +PRIVACY_POLICY_URL="https://terms.archlinux.org/docs/privacy-policy/" +LOGO=archlinux-logo +Architecture: x86_64 +CPU op-mode(s): 32-bit, 64-bit +Address sizes: 39 bits physical, 48 bits virtual +Byte Order: Little Endian +CPU(s): 8 +On-line CPU(s) list: 0-7 +Vendor ID: GenuineIntel +Model name: 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz +CPU family: 6 +Model: 140 +Thread(s) per core: 2 +Core(s) per socket: 4 +Socket(s): 1 +Stepping: 1 +Microcode version: 0x86 +CPU(s) scaling MHz: 30% +CPU max MHz: 4200.0000 +CPU min MHz: 400.0000 +BogoMIPS: 4838.40 +Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l2 cdp_l2 ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb intel_pt avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves split_lock_detect user_shstk dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp hwp_pkg_req vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid movdiri movdir64b fsrm avx512_vp2intersect md_clear ibt flush_l1d arch_capabilities +Virtualization: VT-x +L1d cache: 192 KiB (4 instances) +L1i cache: 128 KiB (4 instances) +L2 cache: 5 MiB (4 instances) +L3 cache: 8 MiB (1 instance) +NUMA node(s): 1 +NUMA node0 CPU(s): 0-7 +Vulnerability Gather data sampling: Vulnerable: No microcode +Vulnerability Ghostwrite: Not affected +Vulnerability Indirect target selection: Mitigation; Aligned branch/return thunks +Vulnerability Itlb multihit: Not affected +Vulnerability L1tf: Not affected +Vulnerability Mds: Not affected +Vulnerability Meltdown: Not affected +Vulnerability Mmio stale data: Not affected +Vulnerability Old microcode: Vulnerable +Vulnerability Reg file data sampling: Not affected +Vulnerability Retbleed: Not affected +Vulnerability Spec rstack overflow: Not affected +Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl +Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization +Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; PBRSB-eIBRS SW sequence; BHI SW loop, KVM SW loop +Vulnerability Srbds: Not affected +Vulnerability Tsa: Not affected +Vulnerability Tsx async abort: Not affected +Vulnerability Vmscape: Not affected + total used free shared buff/cache available +Mem: 11Gi 10Gi 240Mi 4.5Mi 781Mi 701Mi +Swap: 8.0Gi 749Mi 7.3Gi +NAME TYPE SIZE FSTYPE MOUNTPOINTS MODEL +nvme0n1 disk 238.5G SAMSUNG MZVLQ256HAJD-00000 +|-nvme0n1p1 part 512M vfat /boot +|-nvme0n1p2 part 8G swap [SWAP] +`-nvme0n1p3 part 230G ext4 / +Filesystem Type Size Used Avail Use% Mounted on +/dev/nvme0n1p3 ext4 226G 19G 195G 9% / +devtmpfs devtmpfs 5.7G 0 5.7G 0% /dev +tmpfs tmpfs 5.7G 0 5.7G 0% /dev/shm +efivarfs efivarfs 128K 97K 27K 79% /sys/firmware/efi/efivars +tmpfs tmpfs 2.3G 1.7M 2.3G 1% /run +none tmpfs 1.0M 0 1.0M 0% /run/credentials/systemd-journald.service +tmpfs tmpfs 5.7G 1.8M 5.7G 1% /tmp +/dev/nvme0n1p1 vfat 511M 58M 454M 12% /boot +none tmpfs 1.0M 0 1.0M 0% /run/credentials/getty@tty1.service +tmpfs tmpfs 1.2G 8.0K 1.2G 1% /run/user/1000 +none tmpfs 1.0M 4.0K 1020K 1% /run/credentials/libvirtd.service +crw-rw-rw- 1 root kvm 10, 232 Sep 17 14:46 /dev/kvm +12.7.0 +5.1.0 +QEMU emulator version 11.1.1 +Copyright (c) 2003-2026 Fabrice Bellard and the QEMU Project developers + Id Name State +----------------------------- + 13 kc-lab-1 running + 15 kc-lab-edge running + 16 kc-lab-2 running + + Name State Autostart Persistent +-------------------------------------------- + default active yes yes + +lo UNKNOWN 127.0.0.1/8 ::1/128 +wlo1 UP 192.168.0.200/24 fe80::89b4:127d:2023:1f81/64 +tailscale0 UNKNOWN 100.83.212.4/32 fd7a:115c:a1e0::4032:d405/128 fe80::71ad:b041:840a:b437/64 +virbr0 UP 192.168.122.1/24 +vnet11 UNKNOWN fe80::fc54:ff:feaa:bb11/64 +vnet13 UNKNOWN fe80::fc54:ff:feaa:bb10/64 +vnet14 UNKNOWN fe80::fc54:ff:feaa:bb12/64 +default via 192.168.0.1 dev wlo1 proto static metric 600 +192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600 +192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1 +21: vnet11: mtu 1500 master virbr0 state forwarding priority 32 cost 2 +23: vnet13: mtu 1500 master virbr0 state forwarding priority 32 cost 2 +24: vnet14: mtu 1500 master virbr0 state forwarding priority 32 cost 2 +Netid State Recv-Q Send-Q Local Address:Port Peer Address:PortProcess +udp UNCONN 0 0 192.168.122.1:53 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=5)) +udp UNCONN 0 0 0.0.0.0%virbr0:67 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=3)) +udp UNCONN 0 0 0.0.0.0:41641 0.0.0.0:* users:(("tailscaled",pid=449,fd=21)) +udp UNCONN 0 0 [::]:41641 [::]:* users:(("tailscaled",pid=449,fd=19)) +tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid=447,fd=6)) +tcp LISTEN 0 4096 100.83.212.4:36345 0.0.0.0:* users:(("tailscaled",pid=449,fd=20)) +tcp LISTEN 0 4096 127.0.0.1:5900 0.0.0.0:* users:(("qemu-system-x86",pid=167709,fd=13)) +tcp LISTEN 0 4096 127.0.0.1:5901 0.0.0.0:* users:(("qemu-system-x86",pid=173056,fd=13)) +tcp LISTEN 0 4096 127.0.0.1:5902 0.0.0.0:* users:(("qemu-system-x86",pid=167796,fd=13)) +tcp LISTEN 0 32 192.168.122.1:53 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=6)) +tcp LISTEN 0 128 [::]:22 [::]:* users:(("sshd",pid=447,fd=7)) +tcp LISTEN 0 4096 [fd7a:115c:a1e0::4032:d405]:40056 [::]:* users:(("tailscaled",pid=449,fd=22)) diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/02-lab-state-before-node-rebuild.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/02-lab-state-before-node-rebuild.txt new file mode 100644 index 0000000..0bc11e0 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/02-lab-state-before-node-rebuild.txt @@ -0,0 +1,24 @@ + Id Name State +----------------------------- + 13 kc-lab-1 running + 15 kc-lab-edge running + 16 kc-lab-2 running + +---volumes--- + Name Path +---------------------------------------------------------------------- + base.qcow2 /var/lib/libvirt/images/base.qcow2 + kc-lab-1.qcow2 /var/lib/libvirt/images/kc-lab-1.qcow2 + kc-lab-2.qcow2 /var/lib/libvirt/images/kc-lab-2.qcow2 + kc-lab-edge.qcow2 /var/lib/libvirt/images/kc-lab-edge.qcow2 + seed-kc-lab-1.iso /var/lib/libvirt/images/seed-kc-lab-1.iso + seed-kc-lab-2.iso /var/lib/libvirt/images/seed-kc-lab-2.iso + seed-kc-lab-edge.iso /var/lib/libvirt/images/seed-kc-lab-edge.iso + +---reservations--- + + + +---disk--- +Filesystem Size Used Avail Use% Mounted on +/dev/nvme0n1p3 226G 19G 195G 9% / diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/03-worker-state-before-teardown.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/03-worker-state-before-teardown.txt new file mode 100644 index 0000000..158cc90 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/03-worker-state-before-teardown.txt @@ -0,0 +1,9 @@ +=== kc-lab-1 === +kc-lab-1 +status: done +active +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 4d3h v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 4d3h v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 + +=== kc-lab-2 === diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/04-worker-teardown.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/04-worker-teardown.txt new file mode 100644 index 0000000..a71104d --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/04-worker-teardown.txt @@ -0,0 +1,14 @@ +Domain 'kc-lab-2' destroyed + +Domain 'kc-lab-2' has been undefined +Volume 'vda'(/var/lib/libvirt/images/kc-lab-2.qcow2) removed. +Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-2.iso) removed. + +Domain 'kc-lab-1' destroyed + +Domain 'kc-lab-1' has been undefined +Volume 'vda'(/var/lib/libvirt/images/kc-lab-1.qcow2) removed. +Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-1.iso) removed. + +Updated network default persistent config and live state +Updated network default persistent config and live state diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/05-setup00-host-prep-recheck.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/05-setup00-host-prep-recheck.txt new file mode 100644 index 0000000..28b1da7 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/05-setup00-host-prep-recheck.txt @@ -0,0 +1,28 @@ +vmx +kvm_intel 524288 3 +kvm 1490944 2 kvm_intel +irqbypass 16384 1 kvm +qemu-full 11.1.1-1 +libvirt 1:12.7.0-1 +virt-install 5.1.0-4 +dnsmasq 2.93-1 +enabled +active +Triggers=libvirtd.service +Listen=/run/libvirt/libvirt-sock (Stream) +donghyeon libvirt wheel +qemu:///system + + Name State Autostart Persistent +-------------------------------------------- + default active yes yes + + Id Name State +----------------------------- + 15 kc-lab-edge running + +donghyeon:x:1000:1000::/home/donghyeon:/bin/zsh +LIBVIRT_DEFAULT_URI= +1:uri_default = "qemu:///system" +/home/donghyeon/.zshrc:2:export LIBVIRT_DEFAULT_URI=qemu:///system +/home/donghyeon/.bashrc:11:export LIBVIRT_DEFAULT_URI=qemu:///system diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/07-worker-seed-build.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/07-worker-seed-build.txt new file mode 100644 index 0000000..871fd0a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/07-worker-seed-build.txt @@ -0,0 +1,4 @@ +kc-lab-1.yaml:10: sudo: "ALL=(ALL) NOPASSWD:ALL" +kc-lab-2.yaml:10: sudo: "ALL=(ALL) NOPASSWD:ALL" +seed-kc-lab-1.iso 378880 bytes 600 +seed-kc-lab-2.iso 378880 bytes 600 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/09-setup01-worker-verify.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/09-setup01-worker-verify.txt new file mode 100644 index 0000000..cbf29f5 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/09-setup01-worker-verify.txt @@ -0,0 +1,41 @@ +=== 192.168.122.11 === +Warning: Permanently added '192.168.122.11' (ED25519) to the list of known hosts. +kc-lab-1 +enp1s0 UP 192.168.122.11/24 metric 100 +status: done +/usr/bin/cloud-init 22.4.2 +sudo_noninteractive=yes +=== 192.168.122.12 === +Warning: Permanently added '192.168.122.12' (ED25519) to the list of known hosts. +kc-lab-2 +enp1s0 UP 192.168.122.12/24 metric 100 +status: done +/usr/bin/cloud-init 22.4.2 +sudo_noninteractive=yes +=== domains === + Id Name State +----------------------------- + 15 kc-lab-edge running + 17 kc-lab-1 running + 18 kc-lab-2 running + +=== block === + Target Source +----------------------------------------------------- + vda /var/lib/libvirt/images/kc-lab-1.qcow2 + vdb /var/lib/libvirt/images/seed-kc-lab-1.iso + + Target Source +----------------------------------------------------- + vda /var/lib/libvirt/images/kc-lab-2.qcow2 + vdb /var/lib/libvirt/images/seed-kc-lab-2.iso + +=== leases === + Name MAC address Protocol Address +------------------------------------------------------------ + vnet15 52:54:00:aa:bb:11 ipv4 192.168.122.11/24 + + Name MAC address Protocol Address +------------------------------------------------------------ + vnet16 52:54:00:aa:bb:12 ipv4 192.168.122.12/24 + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/10-k3s-server-verify.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/10-k3s-server-verify.txt new file mode 100644 index 0000000..1ec25d3 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/10-k3s-server-verify.txt @@ -0,0 +1,5 @@ +active +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 27m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +X509v3 Subject Alternative Name: + DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:localhost, DNS:kc-lab-1, IP Address:127.0.0.1, IP Address:0:0:0:0:0:0:0:1, IP Address:192.168.122.11, IP Address:10.43.0.1, IP Address:192.168.122.11 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt new file mode 100644 index 0000000..2244b39 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt @@ -0,0 +1,274 @@ +=== pinning before === + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +=== qemu thread map === +* CPU #0: thread_id=272131 model=host + CPU #1: thread_id=272132 model=host + + +* CPU #0: thread_id=272156 model=host + CPU #1: thread_id=272157 model=host + + +=== mpstat === +=== psr samples === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) +19:11:09.856 + 272131 7 10.1 Sl CPU 0/KVM + 272132 4 10.0 Rl CPU 1/KVM + 272156 2 5.1 Sl CPU 0/KVM + 272157 6 5.1 Sl CPU 1/KVM + +19:11:09 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:10 all 1.25 0.00 4.87 0.00 0.75 0.25 0.00 15.61 0.00 77.28 +19:11:10 0 1.00 0.00 3.00 0.00 1.00 0.00 0.00 13.00 0.00 82.00 +19:11:10 1 0.99 0.00 4.95 0.00 0.99 0.00 0.00 8.91 0.00 84.16 +19:11:10 2 0.99 0.00 4.95 0.00 0.99 0.00 0.00 15.84 0.00 77.23 +19:11:10 3 0.00 0.00 5.00 0.00 0.00 0.00 0.00 14.00 0.00 81.00 +19:11:10 4 2.00 0.00 4.00 0.00 1.00 0.00 0.00 21.00 0.00 72.00 +19:11:10 5 2.02 0.00 7.07 0.00 1.01 1.01 0.00 17.17 0.00 71.72 +19:11:10 6 1.96 0.00 5.88 0.00 0.98 0.98 0.00 18.63 0.00 71.57 +19:11:10 7 1.02 0.00 4.08 0.00 0.00 0.00 0.00 16.33 0.00 78.57 +19:11:10.866 + 272131 5 10.1 Rl CPU 0/KVM + 272132 7 10.1 Rl CPU 1/KVM + 272156 0 5.2 Rl CPU 0/KVM + 272157 1 5.1 Rl CPU 1/KVM + +19:11:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:11 all 2.48 0.00 12.78 0.00 0.37 0.62 0.00 33.00 0.00 50.74 +19:11:11 0 3.96 0.00 10.89 0.00 0.00 0.00 0.00 38.61 0.00 46.53 +19:11:11 1 1.98 0.00 12.87 0.00 0.00 0.00 0.00 26.73 0.00 58.42 +19:11:11 2 2.02 0.00 13.13 0.00 0.00 0.00 0.00 39.39 0.00 45.45 +19:11:11 3 2.94 0.00 12.75 0.00 0.98 0.00 0.00 36.27 0.00 47.06 +19:11:11 4 2.00 0.00 13.00 0.00 0.00 0.00 0.00 31.00 0.00 54.00 +19:11:11 5 1.96 0.00 12.75 0.00 0.98 2.94 0.00 27.45 0.00 53.92 +19:11:11 6 2.02 0.00 14.14 0.00 0.00 0.00 0.00 28.28 0.00 55.56 +19:11:11 7 2.94 0.00 12.75 0.00 0.98 1.96 0.00 36.27 0.00 45.10 +19:11:11.878 + 272131 3 10.2 Rl CPU 0/KVM + 272132 1 10.1 Rl CPU 1/KVM + 272156 0 5.2 Sl CPU 0/KVM + 272157 6 5.1 Rl CPU 1/KVM + +19:11:11 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:12 all 2.70 0.00 12.25 0.49 0.98 0.86 0.00 37.25 0.00 45.47 +19:11:12 0 3.85 0.00 13.46 0.96 0.96 0.96 0.00 25.00 0.00 54.81 +19:11:12 1 2.00 0.00 8.00 0.00 1.00 0.00 0.00 53.00 0.00 36.00 +19:11:12 2 2.91 0.00 11.65 0.00 0.97 0.97 0.00 34.95 0.00 48.54 +19:11:12 3 1.94 0.00 8.74 0.97 0.97 0.00 0.00 55.34 0.00 32.04 +19:11:12 4 3.92 0.00 12.75 0.98 0.98 0.00 0.00 29.41 0.00 51.96 +19:11:12 5 0.98 0.00 15.69 0.98 0.98 2.94 0.00 31.37 0.00 47.06 +19:11:12 6 3.92 0.00 13.73 0.00 0.98 0.00 0.00 27.45 0.00 53.92 +19:11:12 7 2.00 0.00 14.00 0.00 1.00 2.00 0.00 42.00 0.00 39.00 +19:11:12.891 + 272131 0 10.2 Rl CPU 0/KVM + 272132 7 10.1 Sl CPU 1/KVM + 272156 6 5.2 Rl CPU 0/KVM + 272157 4 5.1 Sl CPU 1/KVM + +19:11:12 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:13 all 0.63 0.00 2.63 0.00 0.25 0.38 0.00 16.77 0.00 79.35 +19:11:13 0 0.00 0.00 0.00 0.00 1.02 0.00 0.00 50.00 0.00 48.98 +19:11:13 1 1.96 0.00 3.92 0.00 0.98 0.98 0.00 20.59 0.00 71.57 +19:11:13 2 0.00 0.00 3.03 0.00 0.00 0.00 0.00 13.13 0.00 83.84 +19:11:13 3 1.01 0.00 3.03 0.00 0.00 0.00 0.00 3.03 0.00 92.93 +19:11:13 4 0.00 0.00 0.99 0.00 0.00 0.00 0.00 7.92 0.00 91.09 +19:11:13 5 1.00 0.00 4.00 0.00 0.00 1.00 0.00 8.00 0.00 86.00 +19:11:13 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 27.27 0.00 71.72 +19:11:13 7 0.99 0.00 4.95 0.00 0.00 0.99 0.00 4.95 0.00 88.12 +19:11:13.905 + 272131 0 10.2 Sl CPU 0/KVM + 272132 3 10.1 Sl CPU 1/KVM + 272156 6 5.2 Sl CPU 0/KVM + 272157 5 5.1 Sl CPU 1/KVM + +19:11:13 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:14 all 0.13 0.00 0.50 0.00 0.88 0.00 0.00 2.13 0.00 96.37 +19:11:14 0 0.00 0.00 1.00 0.00 1.00 0.00 0.00 3.00 0.00 95.00 +19:11:14 1 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95 +19:11:14 2 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00 +19:11:14 3 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00 +19:11:14 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:14 5 0.00 0.00 0.00 0.00 1.00 0.00 0.00 4.00 0.00 95.00 +19:11:14 6 0.99 0.00 0.00 0.00 0.99 0.00 0.00 0.00 0.00 98.02 +19:11:14 7 0.00 0.00 0.00 0.00 1.01 0.00 0.00 3.03 0.00 95.96 +19:11:14.926 + 272131 2 10.2 Sl CPU 0/KVM + 272132 3 10.1 Sl CPU 1/KVM + 272156 6 5.2 Sl CPU 0/KVM + 272157 5 5.1 Sl CPU 1/KVM + +19:11:14 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:15 all 0.25 0.00 0.88 0.63 0.50 0.00 0.00 1.51 0.00 96.11 +19:11:15 0 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00 +19:11:15 1 1.00 0.00 2.00 0.00 0.00 0.00 0.00 1.00 0.00 96.00 +19:11:15 2 0.00 0.00 0.00 0.00 1.01 0.00 0.00 2.02 0.00 96.97 +19:11:15 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95 +19:11:15 4 0.00 0.00 0.99 0.00 0.99 0.00 0.00 0.99 0.00 97.03 +19:11:15 5 1.01 0.00 1.01 1.01 0.00 0.00 0.00 1.01 0.00 95.96 +19:11:15 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 2.02 0.00 96.97 +19:11:15 7 1.00 0.00 0.00 4.00 0.00 0.00 0.00 0.00 0.00 95.00 +19:11:15.947 + 272131 0 10.2 Sl CPU 0/KVM + 272132 4 10.1 Sl CPU 1/KVM + 272156 7 5.2 Sl CPU 0/KVM + 272157 5 5.1 Sl CPU 1/KVM + +19:11:15 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:16 all 0.00 0.00 0.88 0.00 0.63 0.38 0.00 2.14 0.00 95.85 +19:11:16 0 0.00 0.00 1.01 0.00 1.01 1.01 0.00 3.03 0.00 93.94 +19:11:16 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:16 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:16 3 0.00 0.00 1.00 0.00 0.00 1.00 0.00 2.00 0.00 96.00 +19:11:16 4 0.00 0.00 0.00 0.00 1.00 1.00 0.00 3.00 0.00 95.00 +19:11:16 5 0.00 0.00 0.99 0.00 0.99 0.00 0.00 1.98 0.00 96.04 +19:11:16 6 1.00 0.00 2.00 0.00 1.00 0.00 0.00 4.00 0.00 92.00 +19:11:16 7 0.00 0.00 2.00 0.00 1.00 0.00 0.00 3.00 0.00 94.00 +19:11:16.962 + 272131 0 10.2 Sl CPU 0/KVM + 272132 6 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 7 5.1 Sl CPU 1/KVM + +19:11:16 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:17 all 0.50 0.00 0.75 0.13 0.63 0.13 0.00 1.63 0.00 96.25 +19:11:17 0 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95 +19:11:17 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:17 2 0.98 0.00 0.98 0.00 0.98 0.00 0.00 1.96 0.00 95.10 +19:11:17 3 1.00 0.00 1.00 0.00 1.00 0.00 0.00 0.00 0.00 97.00 +19:11:17 4 1.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 95.00 +19:11:17 5 0.00 0.00 0.00 1.00 0.00 1.00 0.00 1.00 0.00 97.00 +19:11:17 6 0.00 0.00 2.02 0.00 1.01 0.00 0.00 5.05 0.00 91.92 +19:11:17 7 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 +19:11:17.975 + 272131 5 10.2 Sl CPU 0/KVM + 272132 6 10.1 Rl CPU 1/KVM + 272156 3 5.2 Sl CPU 0/KVM + 272157 6 5.1 Sl CPU 1/KVM + +19:11:17 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:18 all 0.25 0.00 0.63 0.00 0.50 0.13 0.00 2.39 0.00 96.10 +19:11:18 0 1.02 0.00 1.02 0.00 0.00 0.00 0.00 1.02 0.00 96.94 +19:11:18 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:18 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:18 3 1.01 0.00 1.01 0.00 0.00 0.00 0.00 2.02 0.00 95.96 +19:11:18 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.02 0.00 98.98 +19:11:18 5 0.00 0.00 0.99 0.00 0.99 0.00 0.00 4.95 0.00 93.07 +19:11:18 6 0.00 0.00 0.98 0.00 1.96 0.98 0.00 6.86 0.00 89.22 +19:11:18 7 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95 +19:11:18.996 + 272131 4 10.2 Sl CPU 0/KVM + 272132 6 10.1 Sl CPU 1/KVM + 272156 3 5.2 Rl CPU 0/KVM + 272157 7 5.1 Rl CPU 1/KVM + +19:11:18 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:19 all 0.00 0.00 0.88 0.13 0.75 0.13 0.00 2.25 0.00 95.74 +19:11:19 0 0.00 0.00 1.00 1.00 0.00 1.00 0.00 0.00 0.00 97.00 +19:11:19 1 0.00 0.00 0.00 0.00 0.99 0.00 0.00 0.00 0.00 99.01 +19:11:19 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:19 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 5.05 0.00 92.93 +19:11:19 4 0.00 0.00 0.99 0.00 1.98 0.00 0.00 3.96 0.00 93.07 +19:11:19 5 1.00 0.00 2.00 0.00 1.00 0.00 0.00 2.00 0.00 94.00 +19:11:19 6 0.00 0.00 1.01 0.00 1.01 0.00 0.00 4.04 0.00 93.94 +19:11:19 7 0.00 0.00 1.01 0.00 0.00 0.00 0.00 3.03 0.00 95.96 +19:11:20.016 + 272131 4 10.2 Sl CPU 0/KVM + 272132 6 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 7 5.1 Sl CPU 1/KVM + +19:11:19 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:20 all 0.00 0.00 0.88 0.13 0.63 0.13 0.00 2.01 0.00 96.12 +19:11:20 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 99.00 +19:11:20 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:20 2 0.00 0.00 0.00 0.00 0.00 1.02 0.00 1.02 0.00 97.96 +19:11:20 3 0.00 0.00 1.96 0.00 0.98 0.00 0.00 1.96 0.00 95.10 +19:11:20 4 0.00 0.00 2.00 0.00 1.00 0.00 0.00 5.00 0.00 92.00 +19:11:20 5 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 0.00 98.99 +19:11:20 6 0.00 0.00 1.00 0.00 2.00 0.00 0.00 5.00 0.00 92.00 +19:11:20 7 1.00 0.00 1.00 1.00 1.00 0.00 0.00 2.00 0.00 94.00 +19:11:21.038 + 272131 0 10.2 Sl CPU 0/KVM + 272132 4 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 1 5.1 Sl CPU 1/KVM + +19:11:20 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:21 all 0.38 0.00 0.88 0.00 0.63 0.25 0.00 2.52 0.00 95.35 +19:11:21 0 1.03 0.00 0.00 0.00 1.03 0.00 0.00 4.12 0.00 93.81 +19:11:21 1 0.00 0.00 1.98 0.00 0.00 0.99 0.00 2.97 0.00 94.06 +19:11:21 2 0.00 0.00 1.00 0.00 1.00 0.00 0.00 4.00 0.00 94.00 +19:11:21 3 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 +19:11:21 4 0.00 0.00 1.00 0.00 1.00 1.00 0.00 4.00 0.00 93.00 +19:11:21 5 0.00 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 98.99 +19:11:21 6 1.01 0.00 2.02 0.00 1.01 0.00 0.00 5.05 0.00 90.91 +19:11:21 7 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 0.00 98.99 +19:11:22.060 + 272131 0 10.2 Sl CPU 0/KVM + 272132 7 10.1 Sl CPU 1/KVM + 272156 6 5.2 Sl CPU 0/KVM + 272157 4 5.1 Sl CPU 1/KVM + +19:11:21 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:22 all 0.50 0.00 0.88 0.00 0.63 0.25 0.00 1.51 0.00 96.23 +19:11:22 0 0.99 0.00 0.99 0.00 0.99 0.99 0.00 1.98 0.00 94.06 +19:11:22 1 0.00 0.00 0.00 0.00 1.01 0.00 0.00 2.02 0.00 96.97 +19:11:22 2 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 98.00 +19:11:22 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:22 4 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00 +19:11:22 5 1.02 0.00 3.06 0.00 0.00 0.00 0.00 1.02 0.00 94.90 +19:11:22 6 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95 +19:11:22 7 1.00 0.00 0.00 0.00 1.00 1.00 0.00 2.00 0.00 95.00 +19:11:23.075 + 272131 6 10.2 Sl CPU 0/KVM + 272132 0 10.1 Sl CPU 1/KVM + 272156 6 5.2 Sl CPU 0/KVM + 272157 5 5.1 Sl CPU 1/KVM + +19:11:22 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:23 all 0.13 0.00 1.00 0.00 0.50 0.25 0.00 1.76 0.00 96.36 +19:11:23 0 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95 +19:11:23 1 0.00 0.00 1.01 0.00 1.01 0.00 0.00 5.05 0.00 92.93 +19:11:23 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:23 3 0.99 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 98.02 +19:11:23 4 0.00 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 99.01 +19:11:23 5 0.00 0.00 1.01 0.00 1.01 1.01 0.00 2.02 0.00 94.95 +19:11:23 6 0.00 0.00 1.98 0.00 0.00 0.99 0.00 1.98 0.00 95.05 +19:11:23 7 0.00 0.00 1.01 0.00 1.01 0.00 0.00 2.02 0.00 95.96 +19:11:24.088 + 272131 0 10.2 Sl CPU 0/KVM + 272132 3 10.1 Sl CPU 1/KVM + 272156 7 5.2 Sl CPU 0/KVM + 272157 4 5.1 Sl CPU 1/KVM + +19:11:23 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:24 all 0.50 0.00 1.25 0.50 0.50 0.13 0.00 2.13 0.00 94.98 +19:11:24 0 0.00 0.00 1.00 1.00 2.00 1.00 0.00 4.00 0.00 91.00 +19:11:24 1 1.01 0.00 0.00 1.01 0.00 0.00 0.00 1.01 0.00 96.97 +19:11:24 2 0.00 0.00 0.99 0.99 0.99 0.00 0.00 0.00 0.00 97.03 +19:11:24 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 4.04 0.00 93.94 +19:11:24 4 1.01 0.00 1.01 0.00 0.00 0.00 0.00 3.03 0.00 94.95 +19:11:24 5 1.00 0.00 3.00 1.00 0.00 0.00 0.00 0.00 0.00 95.00 +19:11:24 6 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 +19:11:24 7 0.00 0.00 3.03 0.00 0.00 0.00 0.00 5.05 0.00 91.92 + +Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +Average: all 0.64 0.00 2.82 0.13 0.61 0.26 0.00 8.38 0.00 87.16 +Average: 0 0.74 0.00 2.47 0.20 0.80 0.33 0.00 10.23 0.00 85.22 +Average: 1 0.60 0.00 2.41 0.07 0.47 0.13 0.00 8.36 0.00 87.97 +Average: 2 0.53 0.00 2.54 0.07 0.47 0.13 0.00 7.68 0.00 88.58 +Average: 3 0.60 0.00 2.66 0.07 0.53 0.07 0.00 8.73 0.00 87.34 +Average: 4 0.67 0.00 2.66 0.07 0.67 0.13 0.00 7.66 0.00 88.15 +Average: 5 0.60 0.00 3.54 0.27 0.60 0.67 0.00 6.88 0.00 87.45 +Average: 6 0.73 0.00 3.20 0.00 0.80 0.20 0.00 9.27 0.00 85.80 +Average: 7 0.67 0.00 3.08 0.33 0.54 0.40 0.00 8.23 0.00 86.75 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-before-after.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-before-after.txt new file mode 100644 index 0000000..52fcc7f --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-before-after.txt @@ -0,0 +1,197 @@ +===== initial affinity ===== + VCPU CPU Affinity +---------------------- + 0 0 + 1 1 + +===== unpinned affinity ===== + VCPU CPU Affinity +---------------------- + 0 0 + 1 1 + +===== unpinned latency ===== +requests 1500 rc 0 elapsed_sec 8.802 +avg 0.01076 p50 0.009718 p95 0.021846 p99 0.035426 max 0.058487 +===== unpinned guest vmstat ===== +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 3 0 0 1898652 45560 1326328 0 0 84 216 1101 1991 4 3 92 0 0 + 2 0 0 1898652 45560 1326328 0 0 0 16 10267 6027 21 8 70 0 0 + 2 0 0 1898652 45560 1326328 0 0 0 0 7465 6253 19 6 75 0 0 + 1 0 0 1898652 45560 1326328 0 0 0 0 6598 4918 7 4 90 0 0 + 1 0 0 1898652 45560 1326328 0 0 0 0 6903 5623 13 4 83 0 0 + 1 0 0 1898652 45560 1326328 0 0 0 0 6547 4680 11 4 85 0 0 +===== unpinned psr samples ===== +19:11:41.901 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:42.156 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:42.410 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:42.663 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:42.917 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:43.172 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:43.427 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:43.680 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:43.934 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:44.187 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:44.440 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:44.693 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:44.947 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:45.200 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:45.454 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:45.708 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:45.961 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:46.214 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:46.468 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:46.722 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +===== unpinned mpstat averages ===== +Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +Average: all 0.72 0.00 7.30 0.14 0.49 0.35 0.00 23.75 0.00 67.25 +Average: 0 0.33 0.00 11.75 0.00 0.66 0.33 0.00 24.01 0.00 62.91 +Average: 1 0.33 0.00 12.69 0.00 0.67 0.17 0.00 16.53 0.00 69.62 +Average: 2 0.17 0.00 10.33 0.00 0.33 0.17 0.00 32.83 0.00 56.17 +Average: 3 0.33 0.00 10.47 0.33 0.66 0.33 0.00 26.58 0.00 61.30 +Average: 4 1.74 0.00 3.65 0.32 0.32 0.48 0.00 1.43 0.00 92.08 +Average: 5 0.96 0.00 4.00 0.00 0.32 0.80 0.00 0.80 0.00 93.12 +Average: 6 0.67 0.00 1.50 0.17 0.50 0.00 0.00 87.69 0.00 9.48 +Average: 7 1.13 0.00 4.38 0.32 0.49 0.49 0.00 2.76 0.00 90.44 + + +===== pinned affinity ===== + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +===== pinned latency ===== +requests 1500 rc 0 elapsed_sec 8.071 +avg 0.009484 p50 0.008671 p95 0.019239 p99 0.022534 max 0.02749 +===== pinned guest vmstat ===== +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 1 0 0 1889172 45572 1326552 0 0 84 215 1105 1992 4 3 92 0 0 + 1 0 0 1889172 45572 1326552 0 0 0 0 3891 3810 2 4 94 0 1 + 1 0 0 1889172 45572 1326552 0 0 0 0 6445 4538 4 4 93 0 0 + 2 0 0 1889172 45572 1326552 0 0 0 0 6579 4359 6 5 89 0 1 + 1 0 0 1889172 45572 1326552 0 0 0 0 6639 5002 4 3 93 0 0 + 1 0 0 1889172 45572 1326552 0 0 0 20 6965 5633 4 3 93 0 0 +===== pinned psr samples ===== +19:11:52.284 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:52.542 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:52.799 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:53.056 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:53.309 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:53.563 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:53.816 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:54.070 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:54.324 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:54.577 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:54.831 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:55.084 + 272123 272131 2 10.2 Sl CPU 0/KVM + 272123 272132 0 10.1 Sl CPU 1/KVM +19:11:55.337 + 272123 272131 1 10.2 Sl CPU 0/KVM + 272123 272132 3 10.1 Sl CPU 1/KVM +19:11:55.590 + 272123 272131 1 10.2 Sl CPU 0/KVM + 272123 272132 6 10.1 Sl CPU 1/KVM +19:11:55.843 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 0 10.1 Sl CPU 1/KVM +19:11:56.096 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 7 10.1 Rl CPU 1/KVM +19:11:56.349 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 1 10.1 Sl CPU 1/KVM +19:11:56.603 + 272123 272131 0 10.2 Sl CPU 0/KVM + 272123 272132 5 10.1 Sl CPU 1/KVM +19:11:56.856 + 272123 272131 0 10.2 Rl CPU 0/KVM + 272123 272132 1 10.1 Rl CPU 1/KVM +19:11:57.109 + 272123 272131 1 10.2 Sl CPU 0/KVM + 272123 272132 6 10.1 Sl CPU 1/KVM +===== pinned mpstat averages ===== +Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +Average: all 0.47 0.00 4.26 0.25 0.49 0.35 0.00 15.75 0.00 78.43 +Average: 0 0.33 0.00 6.27 0.17 0.33 0.50 0.00 8.09 0.00 84.32 +Average: 1 0.50 0.00 6.46 0.00 0.66 0.33 0.00 6.95 0.00 85.10 +Average: 2 0.82 0.00 4.90 0.16 0.49 0.33 0.00 6.21 0.00 87.09 +Average: 3 0.49 0.00 4.43 0.16 0.49 0.33 0.00 8.37 0.00 85.71 +Average: 4 0.00 0.00 0.50 0.33 0.33 0.17 0.00 86.19 0.00 12.48 +Average: 5 0.49 0.00 4.74 0.65 0.65 0.49 0.00 5.39 0.00 87.58 +Average: 6 0.32 0.00 2.39 0.48 0.48 0.32 0.00 1.75 0.00 94.27 +Average: 7 0.82 0.00 4.43 0.00 0.49 0.33 0.00 4.43 0.00 89.49 +===== restored affinity ===== + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +NAME STATUS ROLES AGE VERSION +kc-lab-1 Ready control-plane 152m v1.36.4+k3s1 +kc-lab-2 Ready 125m v1.36.4+k3s1 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-guest-latency-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-guest-latency-baseline.txt new file mode 100644 index 0000000..7b29b8c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-guest-latency-baseline.txt @@ -0,0 +1,50 @@ +19:47:21.618 code=200 time=0.079319 +19:47:21.804 code=200 time=0.200757 +19:47:22.118 code=200 time=0.008694 +19:47:22.241 code=200 time=0.021876 +19:47:22.374 code=200 time=0.011015 +19:47:22.499 code=200 time=0.018856 +19:47:22.633 code=200 time=0.009970 +19:47:22.756 code=200 time=0.021301 +19:47:22.890 code=200 time=0.011034 +19:47:23.017 code=200 time=0.016894 +19:47:23.149 code=200 time=0.010263 +19:47:23.273 code=200 time=0.017978 +19:47:23.406 code=200 time=0.009116 +19:47:23.529 code=200 time=0.021723 +19:47:23.665 code=200 time=0.009695 +19:47:23.789 code=200 time=0.011758 +19:47:23.912 code=200 time=0.010194 +19:47:24.037 code=200 time=0.013743 +19:47:24.164 code=200 time=0.011150 +19:47:24.289 code=200 time=0.009744 +19:47:24.407 code=200 time=0.011032 +19:47:24.533 code=200 time=0.014391 +19:47:24.661 code=200 time=0.005114 +19:47:24.774 code=200 time=0.011881 +19:47:24.899 code=200 time=0.009561 +19:47:25.023 code=200 time=0.015034 +19:47:25.153 code=200 time=0.011083 +19:47:25.279 code=200 time=0.015105 +19:47:25.410 code=200 time=0.009800 +19:47:25.534 code=200 time=0.017048 +19:47:25.666 code=200 time=0.009653 +19:47:25.789 code=200 time=0.018054 +19:47:25.923 code=200 time=0.009859 +19:47:26.045 code=200 time=0.009050 +19:47:26.162 code=200 time=0.010445 +19:47:26.287 code=200 time=0.019458 +19:47:26.421 code=200 time=0.009819 +19:47:26.545 code=200 time=0.020573 +19:47:26.681 code=200 time=0.009752 +19:47:26.805 code=200 time=0.014049 +19:47:26.933 code=200 time=0.009544 +19:47:27.057 code=200 time=0.014120 +19:47:27.185 code=200 time=0.010351 +19:47:27.310 code=200 time=0.013838 +19:47:27.438 code=200 time=0.009029 +19:47:27.561 code=200 time=0.016071 +19:47:27.691 code=200 time=0.006815 +19:47:27.810 code=200 time=0.013287 +19:47:27.938 code=200 time=0.016021 +19:47:28.068 code=200 time=0.016277 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-iostat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-iostat.txt new file mode 100644 index 0000000..94384df --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-iostat.txt @@ -0,0 +1,34 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.17 392.08 0.93 15.21 6.14 75.91 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 2.00 256.00 0.00 0.00 4.00 128.00 6.00 64.00 0.00 0.00 3.83 10.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.03 1.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 12.00 396.00 0.00 0.00 6.67 33.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 7.00 0.09 2.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 80.00 15.00 71.43 4.17 13.33 0.00 0.00 0.00 0.00 0.00 0.00 3.00 3.33 0.03 1.60 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 52.00 0.00 0.00 3.83 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.00 0.02 0.80 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-post.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-post.txt new file mode 100644 index 0000000..01828c1 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-post.txt @@ -0,0 +1,7 @@ + total used free shared buff/cache available +Mem: 11Gi 7.5Gi 1.4Gi 4.5Mi 2.7Gi 3.8Gi +Swap: 8.0Gi 68Mi 7.9Gi +pswpin 513 +pswpout 31076 +pgfault 54255029 +pgmajfault 56493 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-vmstat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-vmstat.txt new file mode 100644 index 0000000..4917e05 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-vmstat.txt @@ -0,0 +1,10 @@ +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 3 0 69832 1515344 77300 2773236 0 0 22 392 3891 5 0 1 96 0 0 2 + 0 0 69832 1518008 77300 2773404 0 0 100 0 5953 7763 1 2 88 0 0 9 + 0 0 69832 1516300 77300 2773408 0 0 256 64 6098 7742 1 3 92 0 0 3 + 1 0 69832 1514864 77300 2773708 0 0 0 0 5785 7063 1 2 92 0 0 5 + 1 0 69832 1511732 77300 2773708 0 0 0 0 5770 7177 1 3 93 0 0 3 + 0 0 69832 1510324 77300 2773708 0 0 0 396 6003 7218 1 2 93 0 0 4 + 0 0 69832 1515184 77308 2773708 0 0 0 80 5925 7471 1 3 93 0 0 3 + 1 0 69832 1515760 77308 2773740 0 0 0 52 5347 6717 1 2 94 0 0 3 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt new file mode 100644 index 0000000..e0d43ac --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt @@ -0,0 +1,11 @@ +requests=2000 +concurrency=20 +elapsed_sec=2.602722 +throughput_rps=768.426 +latency_avg_ms=25.832 +latency_p50_ms=24.679 +latency_p95_ms=36.914 +latency_p99_ms=45.915 +latency_max_ms=75.179 +codes={200: 2000} +errors={} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-before-after-corrected.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-before-after-corrected.txt new file mode 100644 index 0000000..fb5430c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-before-after-corrected.txt @@ -0,0 +1,225 @@ +===== forced unpinned before baseline ===== +--- live affinity --- + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +--- taskset --- +pid 272131's current affinity list: 0-7 +pid 272132's current affinity list: 0-7 +===== unpinned state ===== +--- live affinity --- + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +--- taskset --- +pid 272131's current affinity list: 0-7 +pid 272132's current affinity list: 0-7 +===== unpinned latency ===== +requests 1000 rc 0 elapsed_sec 5.456 throughput_rps 183.29 +avg 0.009328 p50 0.008377 p95 0.018901 p99 0.0218 max 0.023998 +===== unpinned guest vmstat ===== +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1863908 45696 1327772 0 0 83 213 1112 1994 4 3 92 0 0 + 1 0 0 1863908 45696 1327772 0 0 0 0 4620 4601 4 4 92 0 1 + 1 0 0 1863908 45696 1327772 0 0 0 1152 6643 4528 4 5 91 0 0 + 1 0 0 1863908 45696 1327772 0 0 0 0 6593 4959 4 6 90 0 0 + 1 0 0 1863908 45696 1327772 0 0 0 0 7074 4559 3 5 91 0 0 + 1 0 0 1863908 45696 1327772 0 0 0 0 6954 4558 6 6 88 0 0 +===== unpinned psr ===== +19:13:21.191 + 272131 2 Sl CPU 0/KVM + 272132 4 Sl CPU 1/KVM +19:13:21.394 + 272131 0 Sl CPU 0/KVM + 272132 2 Sl CPU 1/KVM +19:13:21.598 + 272131 0 Sl CPU 0/KVM + 272132 4 Sl CPU 1/KVM +19:13:21.806 + 272131 2 Rl CPU 0/KVM + 272132 4 Rl CPU 1/KVM +19:13:22.011 + 272131 3 Sl CPU 0/KVM + 272132 4 Sl CPU 1/KVM +19:13:22.214 + 272131 1 Sl CPU 0/KVM + 272132 4 Sl CPU 1/KVM +19:13:22.417 + 272131 1 Sl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:22.620 + 272131 2 Sl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:22.823 + 272131 1 Sl CPU 0/KVM + 272132 0 Sl CPU 1/KVM +19:13:23.027 + 272131 1 Sl CPU 0/KVM + 272132 2 Rl CPU 1/KVM +19:13:23.230 + 272131 6 Rl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:23.434 + 272131 6 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:23.637 + 272131 0 Sl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:23.841 + 272131 2 Sl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:24.044 + 272131 5 Sl CPU 0/KVM + 272132 7 Sl CPU 1/KVM +19:13:24.247 + 272131 7 Rl CPU 0/KVM + 272132 6 Sl CPU 1/KVM +19:13:24.451 + 272131 7 Sl CPU 0/KVM + 272132 6 Sl CPU 1/KVM +19:13:24.654 + 272131 0 Sl CPU 0/KVM + 272132 3 Sl CPU 1/KVM +19:13:24.857 + 272131 0 Rl CPU 0/KVM + 272132 5 Rl CPU 1/KVM +19:13:25.060 + 272131 3 Rl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:25.264 + 272131 6 Rl CPU 0/KVM + 272132 3 Rl CPU 1/KVM +19:13:25.467 + 272131 0 Sl CPU 0/KVM + 272132 5 Sl CPU 1/KVM +19:13:25.670 + 272131 5 Rl CPU 0/KVM + 272132 0 Rl CPU 1/KVM +19:13:25.873 + 272131 5 Rl CPU 0/KVM + 272132 1 Rl CPU 1/KVM + + +===== pin applied ===== +--- live affinity --- + VCPU CPU Affinity +---------------------- + 0 0 + 1 1 + +--- taskset --- +pid 272131's current affinity list: 0 +pid 272132's current affinity list: 1 +===== pinned state ===== +--- live affinity --- + VCPU CPU Affinity +---------------------- + 0 0 + 1 1 + +--- taskset --- +pid 272131's current affinity list: 0 +pid 272132's current affinity list: 1 +===== pinned latency ===== +requests 1000 rc 0 elapsed_sec 5.459 throughput_rps 183.2 +avg 0.009395 p50 0.008351 p95 0.019546 p99 0.022011 max 0.025262 +===== pinned guest vmstat ===== +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 3 0 0 1864612 45700 1327904 0 0 83 213 1113 1994 4 3 92 0 0 + 1 0 0 1864612 45700 1327904 0 0 0 0 4431 4700 5 3 92 0 0 + 1 0 0 1864612 45700 1327904 0 0 0 0 6724 4676 4 5 91 0 0 + 1 0 0 1864612 45700 1327904 0 0 0 0 7003 5729 7 6 87 0 0 + 1 0 0 1864612 45700 1327904 0 0 0 28 6807 4500 5 6 87 1 0 + 1 0 0 1864612 45700 1327904 0 0 0 0 6817 4257 6 4 91 0 0 +===== pinned psr ===== +19:13:28.239 + 272131 0 Rl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:28.443 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:28.651 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:28.858 + 272131 0 Rl CPU 0/KVM + 272132 1 Rl CPU 1/KVM +19:13:29.063 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:29.266 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:29.470 + 272131 0 Rl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:29.673 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:29.877 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:30.080 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:30.283 + 272131 0 Rl CPU 0/KVM + 272132 1 Rl CPU 1/KVM +19:13:30.487 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:30.690 + 272131 0 Rl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:30.893 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:31.096 + 272131 0 Rl CPU 0/KVM + 272132 1 Rl CPU 1/KVM +19:13:31.299 + 272131 0 Sl CPU 0/KVM + 272132 1 Rl CPU 1/KVM +19:13:31.503 + 272131 0 Sl CPU 0/KVM + 272132 1 Rl CPU 1/KVM +19:13:31.706 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:31.909 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:32.112 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:32.315 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:32.518 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:32.721 + 272131 0 Sl CPU 0/KVM + 272132 1 Sl CPU 1/KVM +19:13:32.925 + 272131 0 Rl CPU 0/KVM + 272132 1 Rl CPU 1/KVM +===== restored ===== +--- live affinity --- + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +--- taskset --- +pid 272131's current affinity list: 0-7 +pid 272132's current affinity list: 0-7 +NAME STATUS ROLES AGE VERSION +kc-lab-1 Ready control-plane 154m v1.36.4+k3s1 +kc-lab-2 Ready 126m v1.36.4+k3s1 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-guest-latency-pressure.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-guest-latency-pressure.txt new file mode 100644 index 0000000..d6f20f3 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-guest-latency-pressure.txt @@ -0,0 +1,120 @@ +19:47:38.460 code=200 time=0.005270 +19:47:38.572 code=200 time=0.008470 +19:47:38.687 code=200 time=0.004638 +19:47:38.806 code=200 time=0.007732 +19:47:38.921 code=200 time=0.005265 +19:47:39.054 code=200 time=0.010958 +19:47:39.194 code=200 time=0.006002 +19:47:39.316 code=200 time=0.009317 +19:47:39.434 code=200 time=0.004510 +19:47:39.545 code=200 time=0.006908 +19:47:39.659 code=200 time=0.009554 +19:47:39.783 code=200 time=0.019560 +19:47:39.917 code=200 time=0.011013 +19:47:40.042 code=200 time=0.013299 +19:47:40.169 code=200 time=0.009545 +19:47:40.292 code=200 time=0.011360 +19:47:40.417 code=200 time=0.009475 +19:47:40.539 code=200 time=0.006967 +19:47:40.657 code=200 time=0.010366 +19:47:40.783 code=200 time=0.013215 +19:47:40.910 code=200 time=0.010986 +19:47:41.035 code=200 time=0.010475 +19:47:41.154 code=200 time=0.010914 +19:47:41.279 code=200 time=0.012117 +19:47:41.406 code=200 time=0.011196 +19:47:41.532 code=200 time=0.014331 +19:47:41.661 code=200 time=0.010366 +19:47:41.785 code=200 time=0.014321 +19:47:41.915 code=200 time=0.007514 +19:47:42.036 code=200 time=0.016231 +19:47:42.166 code=200 time=0.010225 +19:47:42.291 code=200 time=0.010506 +19:47:42.415 code=200 time=0.009929 +19:47:42.538 code=200 time=0.012207 +19:47:42.665 code=200 time=0.010592 +19:47:42.791 code=200 time=0.014707 +19:47:42.921 code=200 time=0.010189 +19:47:43.046 code=200 time=0.015131 +19:47:43.174 code=200 time=0.009313 +19:47:43.298 code=200 time=0.016272 +19:47:43.429 code=200 time=0.010029 +19:47:43.553 code=200 time=0.016667 +19:47:43.685 code=200 time=0.009874 +19:47:43.809 code=200 time=0.013957 +19:47:43.936 code=200 time=0.010111 +19:47:44.061 code=200 time=0.016351 +19:47:44.190 code=200 time=0.010347 +19:47:44.315 code=200 time=0.012039 +19:47:44.441 code=200 time=0.011658 +19:47:44.567 code=200 time=0.013953 +19:47:44.696 code=200 time=0.005358 +19:47:44.809 code=200 time=0.013671 +19:47:44.939 code=200 time=0.015413 +19:47:45.069 code=200 time=0.019086 +19:47:45.203 code=200 time=0.011133 +19:47:45.328 code=200 time=0.015611 +19:47:45.458 code=200 time=0.010078 +19:47:45.581 code=200 time=0.006107 +19:47:45.694 code=200 time=0.010521 +19:47:45.819 code=200 time=0.015099 +19:47:45.949 code=200 time=0.009578 +19:47:46.081 code=200 time=0.006828 +19:47:46.201 code=200 time=0.008989 +19:47:46.324 code=200 time=0.011324 +19:47:46.449 code=200 time=0.012655 +19:47:46.577 code=200 time=0.014301 +19:47:46.704 code=200 time=0.005134 +19:47:46.817 code=200 time=0.010732 +19:47:46.939 code=200 time=0.010154 +19:47:47.063 code=200 time=0.008645 +19:47:47.183 code=200 time=0.009447 +19:47:47.306 code=200 time=0.013637 +19:47:47.434 code=200 time=0.010510 +19:47:47.557 code=200 time=0.015244 +19:47:47.688 code=200 time=0.010629 +19:47:47.814 code=200 time=0.007208 +19:47:47.930 code=200 time=0.008892 +19:47:48.047 code=200 time=0.013355 +19:47:48.174 code=200 time=0.009273 +19:47:48.298 code=200 time=0.016664 +19:47:48.429 code=200 time=0.009523 +19:47:48.553 code=200 time=0.011198 +19:47:48.677 code=200 time=0.007394 +19:47:48.793 code=200 time=0.008521 +19:47:48.915 code=200 time=0.008909 +19:47:49.037 code=200 time=0.015569 +19:47:49.167 code=200 time=0.004392 +19:47:49.278 code=200 time=0.011397 +19:47:49.403 code=200 time=0.008738 +19:47:49.525 code=200 time=0.012458 +19:47:49.651 code=200 time=0.008714 +19:47:49.775 code=200 time=0.008699 +19:47:49.896 code=200 time=0.009959 +19:47:50.019 code=200 time=0.013524 +19:47:50.147 code=200 time=0.010091 +19:47:50.271 code=200 time=0.012991 +19:47:50.399 code=200 time=0.010360 +19:47:50.524 code=200 time=0.010911 +19:47:50.648 code=200 time=0.009582 +19:47:50.771 code=200 time=0.007451 +19:47:50.891 code=200 time=0.010557 +19:47:51.016 code=200 time=0.016125 +19:47:51.145 code=200 time=0.009736 +19:47:51.269 code=200 time=0.015956 +19:47:51.397 code=200 time=0.004827 +19:47:51.509 code=200 time=0.012707 +19:47:51.637 code=200 time=0.009885 +19:47:51.761 code=200 time=0.010593 +19:47:51.884 code=200 time=0.011109 +19:47:52.010 code=200 time=0.011714 +19:47:52.136 code=200 time=0.009578 +19:47:52.260 code=200 time=0.007658 +19:47:52.379 code=200 time=0.010269 +19:47:52.504 code=200 time=0.012827 +19:47:52.631 code=200 time=0.008183 +19:47:52.752 code=200 time=0.011648 +19:47:52.877 code=200 time=0.010264 +19:47:53.002 code=200 time=0.014311 +19:47:53.130 code=200 time=0.010016 +19:47:53.255 code=200 time=0.015139 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-generator.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-generator.txt new file mode 100644 index 0000000..967f936 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-generator.txt @@ -0,0 +1,18 @@ +start {'MemAvailable': 4028200, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 268435456 {'MemAvailable': 3767856, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 536870912 {'MemAvailable': 3503128, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 805306368 {'MemAvailable': 3238952, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 1073741824 {'MemAvailable': 2972824, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 1342177280 {'MemAvailable': 2748004, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 1610612736 {'MemAvailable': 2478396, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 1879048192 {'MemAvailable': 2214212, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 2147483648 {'MemAvailable': 1942608, 'SwapTotal': 8388604, 'SwapFree': 8318772} +step allocated_bytes 2415919104 {'MemAvailable': 1692216, 'SwapTotal': 8388604, 'SwapFree': 8318424} +step allocated_bytes 2684354560 {'MemAvailable': 1483016, 'SwapTotal': 8388604, 'SwapFree': 8245952} +step allocated_bytes 2952790016 {'MemAvailable': 1297108, 'SwapTotal': 8388604, 'SwapFree': 8192148} +step allocated_bytes 3221225472 {'MemAvailable': 1034072, 'SwapTotal': 8388604, 'SwapFree': 8192032} +step allocated_bytes 3489660928 {'MemAvailable': 773744, 'SwapTotal': 8388604, 'SwapFree': 8192024} +step allocated_bytes 3758096384 {'MemAvailable': 524620, 'SwapTotal': 8388604, 'SwapFree': 8170268} +hold 12 allocated_bytes 3758096384 {'MemAvailable': 524620, 'SwapTotal': 8388604, 'SwapFree': 8170268} +release allocated_bytes 3758096384 {'MemAvailable': 604420, 'SwapTotal': 8388604, 'SwapFree': 8057356} +after_release {'MemAvailable': 4018732, 'SwapTotal': 8388604, 'SwapFree': 8057356} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt new file mode 100644 index 0000000..19f8a72 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt @@ -0,0 +1,74 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.17 392.11 0.93 15.21 6.14 75.91 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 109.00 1528.00 0.00 0.00 0.77 14.02 134.00 1444.00 11.00 7.59 0.51 10.78 0.00 0.00 0.00 0.00 0.00 0.00 14.00 1.93 0.18 7.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 60.00 5460.00 0.00 0.00 0.15 91.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.90 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 12.00 0.00 0.00 5.00 4.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 1.00 0.02 0.80 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 10.00 104.00 14.00 58.33 2.50 10.40 0.00 0.00 0.00 0.00 0.00 0.00 5.00 1.80 0.03 2.30 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 10.00 48.00 0.00 0.00 0.80 4.80 6.00 56.00 0.00 0.00 0.17 9.33 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.01 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 391.00 11392.00 27.00 6.46 0.21 29.14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.08 2.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 1.00 4.00 0.00 0.00 1.00 4.00 25.00 104.00 1.00 3.85 4.64 4.16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 14.00 184.00 13.00 48.15 1.50 13.14 0.00 0.00 0.00 0.00 0.00 0.00 5.00 0.80 0.02 2.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 52.00 0.00 0.00 4.33 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 2.00 0.03 1.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2.00 12.00 1.00 33.33 7.50 6.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 18.00 200.00 0.00 0.00 0.94 11.11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 1.00 4.00 0.00 0.00 0.00 4.00 8.00 100.00 14.00 63.64 4.62 12.50 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.67 0.04 2.80 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-post.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-post.txt new file mode 100644 index 0000000..bd40a65 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-post.txt @@ -0,0 +1,7 @@ +pswpin 513 +pswpout 31076 +pgfault 54884399 +pgmajfault 56971 + total used free shared buff/cache available +Mem: 11Gi 7.3Gi 3.7Gi 3.8Mi 721Mi 4.1Gi +Swap: 8.0Gi 323Mi 7.7Gi diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-pre.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-pre.txt new file mode 100644 index 0000000..e408807 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-pre.txt @@ -0,0 +1,7 @@ +pswpin 513 +pswpout 31076 +pgfault 54258035 +pgmajfault 56493 + total used free shared buff/cache available +Mem: 11Gi 7.5Gi 1.5Gi 4.5Mi 2.7Gi 3.9Gi +Swap: 8.0Gi 68Mi 7.9Gi diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt new file mode 100644 index 0000000..5f87588 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt @@ -0,0 +1,20 @@ +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 2 0 69832 1516784 77380 2774348 0 0 22 392 3891 5 0 1 96 0 0 2 + 1 1 269788 182148 54864 680816 0 0 1480 1360 18465 8404 4 15 74 1 0 6 + 1 0 304604 186524 54864 686332 0 0 5460 0 6228 7724 1 4 92 0 0 2 + 0 0 304604 184152 54864 686332 0 0 0 0 6226 7378 1 2 93 0 0 4 + 0 0 304604 174344 54864 686336 0 0 0 0 6048 7355 1 3 93 0 0 3 + 0 0 304604 169776 54864 686348 0 0 0 12 6223 7585 1 3 93 0 0 3 + 1 0 304604 166072 54872 686392 0 0 0 104 6116 7554 1 2 93 0 0 4 + 1 0 304604 163264 54872 686396 0 0 0 0 5818 7039 1 3 93 0 0 4 + 1 0 331248 213948 53388 673060 0 0 48 56 6209 7166 1 3 91 0 0 5 + 0 0 331248 205104 53528 684216 0 0 11392 0 7729 10714 1 3 91 1 0 3 + 1 0 331248 201104 53532 684312 0 0 4 104 7466 11318 1 3 92 0 0 3 + 0 0 331248 197272 53548 684416 0 0 0 184 7598 11800 1 3 93 0 0 3 + 1 0 331248 198600 53548 684420 0 0 0 0 6136 7947 1 3 94 0 0 2 + 0 0 331248 3609528 53548 684480 0 0 0 52 6473 7826 1 3 92 0 0 3 + 1 0 331248 3608896 53548 684484 0 0 0 12 5903 7560 1 3 94 0 0 2 + 0 0 331248 3875532 53556 684664 0 0 200 0 6207 7473 1 3 93 0 0 3 + 1 0 331248 3878848 53576 684656 0 0 4 100 4697 5849 0 2 96 0 0 2 + 0 0 331248 3878848 53576 684684 0 0 0 0 4800 5355 0 2 97 0 0 2 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt new file mode 100644 index 0000000..28fa560 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt @@ -0,0 +1,15 @@ + + + + +=== pinned === + VCPU CPU Affinity +---------------------- + 0 0 + 1 1 + + VCPU CPU Affinity +---------------------- + 0 2 + 1 3 + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-guest-latency-recovery.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-guest-latency-recovery.txt new file mode 100644 index 0000000..cbc0853 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-guest-latency-recovery.txt @@ -0,0 +1,50 @@ +19:48:58.422 code=200 time=0.005367 +19:48:58.535 code=200 time=0.017086 +19:48:58.667 code=200 time=0.009485 +19:48:58.790 code=200 time=0.012863 +19:48:58.917 code=200 time=0.011068 +19:48:59.043 code=200 time=0.012421 +19:48:59.169 code=200 time=0.008095 +19:48:59.290 code=200 time=0.008011 +19:48:59.410 code=200 time=0.010697 +19:48:59.534 code=200 time=0.012811 +19:48:59.662 code=200 time=0.009368 +19:48:59.786 code=200 time=0.011262 +19:48:59.910 code=200 time=0.008604 +19:49:00.033 code=200 time=0.013054 +19:49:00.160 code=200 time=0.008032 +19:49:00.279 code=200 time=0.013803 +19:49:00.406 code=200 time=0.010433 +19:49:00.530 code=200 time=0.005969 +19:49:00.643 code=200 time=0.010429 +19:49:00.768 code=200 time=0.014340 +19:49:00.897 code=200 time=0.010905 +19:49:01.024 code=200 time=0.010411 +19:49:01.146 code=200 time=0.009523 +19:49:01.269 code=200 time=0.013386 +19:49:01.398 code=200 time=0.019906 +19:49:01.532 code=200 time=0.013645 +19:49:01.660 code=200 time=0.010554 +19:49:01.783 code=200 time=0.013084 +19:49:01.911 code=200 time=0.010348 +19:49:02.036 code=200 time=0.011489 +19:49:02.161 code=200 time=0.022119 +19:49:02.298 code=200 time=0.012481 +19:49:02.424 code=200 time=0.009933 +19:49:02.548 code=200 time=0.011356 +19:49:02.673 code=200 time=0.011420 +19:49:02.799 code=200 time=0.012644 +19:49:02.925 code=200 time=0.011300 +19:49:03.052 code=200 time=0.013069 +19:49:03.179 code=200 time=0.009622 +19:49:03.303 code=200 time=0.012217 +19:49:03.430 code=200 time=0.009425 +19:49:03.553 code=200 time=0.011932 +19:49:03.679 code=200 time=0.010612 +19:49:03.805 code=200 time=0.013482 +19:49:03.933 code=200 time=0.012042 +19:49:04.060 code=200 time=0.010964 +19:49:04.184 code=200 time=0.009675 +19:49:04.309 code=200 time=0.013427 +19:49:04.435 code=200 time=0.004777 +19:49:04.547 code=200 time=0.010402 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-iostat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-iostat.txt new file mode 100644 index 0000000..70d4ea7 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-iostat.txt @@ -0,0 +1,34 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.88 0.40 63.46 0.58 98.27 5.17 392.16 0.93 15.21 6.14 75.92 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 3.00 128.00 0.00 0.00 5.00 42.67 6.00 52.00 0.00 0.00 3.83 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.04 1.60 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 11.00 408.00 17.00 60.71 4.82 37.09 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.06 1.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 4.00 12.00 0.00 0.00 2.50 3.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 1.50 0.01 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 24.00 0.00 0.00 5.50 4.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 5.50 0.04 1.80 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt new file mode 100644 index 0000000..41adc56 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt @@ -0,0 +1,11 @@ + total used free shared buff/cache available +Mem: 11Gi 7.3Gi 3.7Gi 3.8Mi 728Mi 4.1Gi +Swap: 8.0Gi 317Mi 7.7Gi +SwapTotal: 8388604 kB +SwapFree: 8063500 kB +Zswap: 32360 kB +Zswapped: 258144 kB +pswpin 513 +pswpout 31076 +pgfault 54964236 +pgmajfault 57202 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-vmstat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-vmstat.txt new file mode 100644 index 0000000..fd5bd7e --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-vmstat.txt @@ -0,0 +1,10 @@ +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 3 0 331248 3876260 53876 691100 0 0 22 392 3891 5 0 1 96 0 0 2 + 1 0 331248 3872868 53876 691176 0 0 4 0 6223 7895 1 3 92 0 0 4 + 1 0 331248 3867984 53876 691396 0 0 0 0 6304 8259 1 3 92 0 0 4 + 2 0 331248 3869052 53876 691528 0 0 128 52 6099 7158 1 3 91 0 0 5 + 2 0 331248 3868744 53884 691568 0 0 0 408 5749 7015 1 2 92 0 0 4 + 0 0 331248 3865844 53884 691592 0 0 0 0 6150 7520 1 3 93 0 0 3 + 1 0 331248 3865352 53884 691608 0 0 0 12 5955 7559 1 2 92 0 0 4 + 0 0 325104 3867040 53884 691600 0 0 0 24 5045 6031 0 2 96 0 0 2 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt new file mode 100644 index 0000000..34c22ec --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt @@ -0,0 +1,263 @@ +=== qemu thread map === +* CPU #0: thread_id=272131 model=host + CPU #1: thread_id=272132 model=host + + +* CPU #0: thread_id=272156 model=host + CPU #1: thread_id=272157 model=host + + +=== mpstat === +=== psr samples === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) +19:11:39.292 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Sl CPU 1/KVM + +19:11:39 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:40 all 0.13 0.00 2.38 0.00 0.63 0.00 0.00 5.64 0.00 91.23 +19:11:40 0 0.00 0.00 3.03 0.00 1.01 0.00 0.00 10.10 0.00 85.86 +19:11:40 1 0.00 0.00 4.04 0.00 1.01 0.00 0.00 8.08 0.00 86.87 +19:11:40 2 0.00 0.00 3.03 0.00 1.01 0.00 0.00 12.12 0.00 83.84 +19:11:40 3 0.00 0.00 3.96 0.00 0.99 0.00 0.00 7.92 0.00 87.13 +19:11:40 4 0.00 0.00 0.99 0.00 0.99 0.00 0.00 3.96 0.00 94.06 +19:11:40 5 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 0.00 98.00 +19:11:40 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 1.01 0.00 97.98 +19:11:40 7 1.00 0.00 2.00 0.00 0.00 0.00 0.00 1.00 0.00 96.00 +19:11:40.302 + 272131 0 10.2 Rl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Rl CPU 1/KVM + +19:11:40 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:41 all 2.48 0.00 10.41 0.00 0.50 0.62 0.00 35.56 0.00 50.43 +19:11:41 0 1.02 0.00 6.12 0.00 0.00 0.00 0.00 67.35 0.00 25.51 +19:11:41 1 2.00 0.00 15.00 0.00 1.00 0.00 0.00 35.00 0.00 47.00 +19:11:41 2 0.00 0.00 10.10 0.00 0.00 0.00 0.00 66.67 0.00 23.23 +19:11:41 3 0.00 0.00 10.10 0.00 0.00 0.00 0.00 68.69 0.00 21.21 +19:11:41 4 3.92 0.00 9.80 0.00 0.00 0.00 0.00 12.75 0.00 73.53 +19:11:41 5 3.88 0.00 11.65 0.00 0.97 2.91 0.00 5.83 0.00 74.76 +19:11:41 6 4.85 0.00 8.74 0.00 0.97 0.00 0.00 17.48 0.00 67.96 +19:11:41 7 3.88 0.00 11.65 0.00 0.97 1.94 0.00 14.56 0.00 66.99 +19:11:41.314 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Sl CPU 1/KVM + +19:11:41 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:42 all 3.21 0.00 16.81 0.37 0.74 0.74 0.00 23.73 0.00 54.39 +19:11:42 0 0.99 0.00 21.78 0.99 0.99 0.00 0.00 32.67 0.00 42.57 +19:11:42 1 1.00 0.00 19.00 0.00 0.00 1.00 0.00 29.00 0.00 50.00 +19:11:42 2 0.99 0.00 20.79 0.00 0.99 0.99 0.00 44.55 0.00 31.68 +19:11:42 3 1.00 0.00 23.00 0.00 1.00 0.00 0.00 38.00 0.00 37.00 +19:11:42 4 6.86 0.00 11.76 0.98 0.98 0.00 0.00 10.78 0.00 68.63 +19:11:42 5 3.96 0.00 12.87 0.00 0.99 1.98 0.00 13.86 0.00 66.34 +19:11:42 6 5.94 0.00 11.88 0.00 0.00 0.00 0.00 10.89 0.00 71.29 +19:11:42 7 4.85 0.00 13.59 0.97 0.97 1.94 0.00 10.68 0.00 66.99 +19:11:42.326 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Rl CPU 0/KVM + 272157 3 5.1 Rl CPU 1/KVM + +19:11:42 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:43 all 2.33 0.00 12.16 0.12 0.86 0.86 0.00 31.08 0.00 52.58 +19:11:43 0 1.96 0.00 13.73 0.00 0.98 0.00 0.00 45.10 0.00 38.24 +19:11:43 1 1.98 0.00 18.81 0.00 0.99 0.00 0.00 22.77 0.00 55.45 +19:11:43 2 0.00 0.00 15.84 0.00 0.99 0.00 0.00 51.49 0.00 31.68 +19:11:43 3 0.00 0.00 16.83 0.00 0.99 0.99 0.00 49.50 0.00 31.68 +19:11:43 4 4.76 0.00 8.57 0.00 0.00 0.95 0.00 2.86 0.00 82.86 +19:11:43 5 4.00 0.00 10.00 0.00 1.00 3.00 0.00 0.00 0.00 82.00 +19:11:43 6 1.00 0.00 4.00 1.00 1.00 0.00 0.00 66.00 0.00 27.00 +19:11:43 7 4.81 0.00 9.62 0.00 0.96 1.92 0.00 12.50 0.00 70.19 +19:11:43.338 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Rl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Rl CPU 1/KVM + +19:11:43 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:44 all 0.25 0.00 5.84 0.00 0.25 0.12 0.00 25.84 0.00 67.70 +19:11:44 0 0.00 0.00 10.10 0.00 0.00 1.01 0.00 16.16 0.00 72.73 +19:11:44 1 0.00 0.00 9.09 0.00 1.01 0.00 0.00 19.19 0.00 70.71 +19:11:44 2 0.00 0.00 11.11 0.00 0.00 0.00 0.00 38.38 0.00 50.51 +19:11:44 3 1.00 0.00 11.00 0.00 0.00 0.00 0.00 36.00 0.00 52.00 +19:11:44 4 0.94 0.00 1.89 0.00 0.94 0.00 0.00 0.00 0.00 96.23 +19:11:44 5 0.00 0.00 1.96 0.00 0.00 0.00 0.00 0.00 0.00 98.04 +19:11:44 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 +19:11:44 7 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02 +19:11:44.350 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Sl CPU 1/KVM + +19:11:44 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:45 all 0.37 0.00 6.58 0.12 0.61 0.12 0.00 21.92 0.00 70.28 +19:11:45 0 0.00 0.00 10.89 0.00 0.99 0.00 0.00 14.85 0.00 73.27 +19:11:45 1 0.00 0.00 12.00 0.00 0.00 0.00 0.00 11.00 0.00 77.00 +19:11:45 2 1.00 0.00 11.00 0.00 0.00 0.00 0.00 35.00 0.00 53.00 +19:11:45 3 0.00 0.00 11.00 0.00 1.00 0.00 0.00 19.00 0.00 69.00 +19:11:45 4 0.94 0.00 2.83 0.00 0.00 0.94 0.00 0.00 0.00 95.28 +19:11:45 5 0.00 0.00 2.80 0.00 0.93 0.00 0.00 0.00 0.00 96.26 +19:11:45 6 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00 +19:11:45 7 0.94 0.00 2.83 0.94 0.94 0.00 0.00 0.00 0.00 94.34 +19:11:45.360 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Sl CPU 1/KVM + +19:11:45 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:46 all 0.00 0.00 5.28 0.00 0.49 0.37 0.00 22.21 0.00 71.66 +19:11:46 0 0.00 0.00 8.91 0.00 0.99 0.99 0.00 24.75 0.00 64.36 +19:11:46 1 0.00 0.00 11.88 0.00 0.99 0.99 0.00 18.81 0.00 67.33 +19:11:46 2 0.00 0.00 6.86 0.00 0.98 0.00 0.00 23.53 0.00 68.63 +19:11:46 3 0.00 0.00 7.92 0.00 0.99 0.00 0.00 13.86 0.00 77.23 +19:11:46 4 0.00 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 98.06 +19:11:46 5 0.00 0.00 1.89 0.00 0.00 0.94 0.00 0.00 0.00 97.17 +19:11:46 6 0.00 0.00 1.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00 +19:11:46 7 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02 +19:11:46.370 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Rl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Rl CPU 1/KVM + +19:11:46 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:47 all 0.49 0.00 4.67 0.49 0.49 0.25 0.00 20.52 0.00 73.10 +19:11:47 0 0.00 0.00 10.89 0.00 0.00 0.00 0.00 17.82 0.00 71.29 +19:11:47 1 0.00 0.00 11.11 0.00 1.01 0.00 0.00 8.08 0.00 79.80 +19:11:47 2 1.00 0.00 5.00 0.00 0.00 0.00 0.00 22.00 0.00 72.00 +19:11:47 3 1.00 0.00 3.00 2.00 0.00 1.00 0.00 20.00 0.00 73.00 +19:11:47 4 0.93 0.00 1.87 1.87 0.93 0.93 0.00 0.00 0.00 93.46 +19:11:47 5 0.97 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 97.09 +19:11:47 6 0.00 0.00 0.00 0.00 1.00 0.00 0.00 99.00 0.00 0.00 +19:11:47 7 0.00 0.00 3.85 0.00 0.96 0.00 0.00 0.00 0.00 95.19 +19:11:47.383 + 272131 0 10.2 Rl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.1 Sl CPU 1/KVM + +19:11:47 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:48 all 0.00 0.00 5.03 0.12 0.49 0.12 0.00 17.67 0.00 76.56 +19:11:48 0 0.00 0.00 12.00 0.00 1.00 0.00 0.00 14.00 0.00 73.00 +19:11:48 1 0.00 0.00 11.11 0.00 0.00 0.00 0.00 4.04 0.00 84.85 +19:11:48 2 0.00 0.00 6.00 0.00 1.00 0.00 0.00 17.00 0.00 76.00 +19:11:48 3 0.00 0.00 6.00 0.00 1.00 0.00 0.00 9.00 0.00 84.00 +19:11:48 4 0.00 0.00 2.83 0.00 0.00 0.00 0.00 0.00 0.00 97.17 +19:11:48 5 0.00 0.00 0.93 0.93 0.93 0.00 0.00 0.00 0.00 97.20 +19:11:48 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 +19:11:48 7 0.00 0.00 1.94 0.00 0.00 0.97 0.00 0.00 0.00 97.09 +19:11:48.396 + 272131 0 10.2 Rl CPU 0/KVM + 272132 1 10.1 Rl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.2 Sl CPU 1/KVM + +19:11:48 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:49 all 0.00 0.00 5.04 0.00 0.61 0.25 0.00 17.32 0.00 76.78 +19:11:49 0 0.00 0.00 9.90 0.00 0.99 0.99 0.00 10.89 0.00 77.23 +19:11:49 1 0.00 0.00 11.88 0.00 0.99 0.99 0.00 5.94 0.00 80.20 +19:11:49 2 0.00 0.00 7.00 0.00 0.00 0.00 0.00 12.00 0.00 81.00 +19:11:49 3 0.00 0.00 7.00 0.00 1.00 0.00 0.00 13.00 0.00 79.00 +19:11:49 4 0.00 0.00 1.89 0.00 0.94 0.00 0.00 0.00 0.00 97.17 +19:11:49 5 0.00 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 98.06 +19:11:49 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 +19:11:49 7 0.00 0.00 0.96 0.00 0.96 0.00 0.00 0.00 0.00 98.08 +19:11:49.406 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Rl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.2 Sl CPU 1/KVM + +19:11:49 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:50 all 0.12 0.00 4.05 0.00 0.37 0.49 0.00 17.08 0.00 77.76 +19:11:50 0 0.00 0.00 11.00 0.00 1.00 0.00 0.00 8.00 0.00 80.00 +19:11:50 1 0.00 0.00 9.00 0.00 1.00 0.00 0.00 10.00 0.00 80.00 +19:11:50 2 0.00 0.00 5.00 0.00 0.00 1.00 0.00 15.00 0.00 79.00 +19:11:50 3 0.00 0.00 4.95 0.00 0.00 0.99 0.00 6.93 0.00 87.13 +19:11:50 4 0.93 0.00 0.93 0.00 0.00 0.93 0.00 0.00 0.00 97.20 +19:11:50 5 0.00 0.00 0.97 0.00 0.00 0.97 0.00 0.00 0.00 98.06 +19:11:50 6 0.99 0.00 0.00 0.00 0.99 0.00 0.00 98.02 0.00 0.00 +19:11:50 7 0.00 0.00 0.98 0.00 0.00 0.00 0.00 0.00 0.00 99.02 +19:11:50.417 + 272131 0 10.2 Rl CPU 0/KVM + 272132 1 10.1 Rl CPU 1/KVM + 272156 2 5.2 Rl CPU 0/KVM + 272157 3 5.2 Rl CPU 1/KVM + +19:11:50 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:51 all 0.97 0.00 4.75 0.12 0.49 0.12 0.00 15.23 0.00 78.20 +19:11:51 0 1.00 0.00 10.00 0.00 0.00 1.00 0.00 4.00 0.00 84.00 +19:11:51 1 2.00 0.00 12.00 0.00 0.00 0.00 0.00 9.00 0.00 77.00 +19:11:51 2 0.00 0.00 3.96 0.00 0.99 0.00 0.00 10.89 0.00 84.16 +19:11:51 3 1.96 0.00 3.92 0.00 0.98 0.00 0.00 9.80 0.00 83.33 +19:11:51 4 0.94 0.00 2.83 0.94 0.00 0.00 0.00 0.00 0.00 95.28 +19:11:51 5 0.93 0.00 1.87 0.00 0.93 0.00 0.00 0.00 0.00 96.26 +19:11:51 6 0.00 0.00 2.00 0.00 0.00 0.00 0.00 91.00 0.00 7.00 +19:11:51 7 1.90 0.00 1.90 0.00 0.95 0.00 0.00 0.00 0.00 95.24 +19:11:51.429 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.2 Sl CPU 1/KVM + +19:11:51 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:52 all 0.25 0.00 1.13 0.00 0.75 0.13 0.00 2.00 0.00 95.62 +19:11:52 0 0.00 0.00 1.98 0.00 1.98 0.00 0.00 5.94 0.00 90.10 +19:11:52 1 0.00 0.00 1.98 0.00 1.98 0.99 0.00 5.94 0.00 89.11 +19:11:52 2 1.98 0.00 1.98 0.00 0.00 0.00 0.00 0.99 0.00 95.05 +19:11:52 3 0.00 0.00 0.99 0.00 0.99 0.00 0.00 2.97 0.00 95.05 +19:11:52 4 0.00 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 98.99 +19:11:52 5 0.00 0.00 1.03 0.00 0.00 0.00 0.00 0.00 0.00 98.97 +19:11:52 6 0.99 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 98.02 +19:11:52 7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 +19:11:52.451 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.2 Sl CPU 1/KVM + +19:11:52 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:53 all 0.74 0.00 2.23 0.37 0.62 0.50 0.00 7.92 0.00 87.62 +19:11:53 0 1.00 0.00 4.00 0.00 1.00 1.00 0.00 9.00 0.00 84.00 +19:11:53 1 0.00 0.00 3.09 0.00 1.03 0.00 0.00 8.25 0.00 87.63 +19:11:53 2 1.98 0.00 2.97 0.00 0.99 0.00 0.00 3.96 0.00 90.10 +19:11:53 3 1.00 0.00 3.00 1.00 0.00 0.00 0.00 8.00 0.00 87.00 +19:11:53 4 0.00 0.00 0.98 1.96 0.00 0.98 0.00 28.43 0.00 67.65 +19:11:53 5 0.00 0.00 1.94 0.00 0.97 0.97 0.00 5.83 0.00 90.29 +19:11:53 6 0.00 0.00 0.98 0.00 0.98 0.00 0.00 0.00 0.00 98.04 +19:11:53 7 1.94 0.00 0.97 0.00 0.00 0.97 0.00 0.00 0.00 96.12 +19:11:53.473 + 272131 0 10.2 Sl CPU 0/KVM + 272132 1 10.1 Sl CPU 1/KVM + 272156 2 5.2 Sl CPU 0/KVM + 272157 3 5.2 Sl CPU 1/KVM + +19:11:53 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:11:54 all 0.12 0.00 4.80 0.00 0.37 0.49 0.00 17.49 0.00 76.72 +19:11:54 0 1.00 0.00 11.00 0.00 0.00 0.00 0.00 6.00 0.00 82.00 +19:11:54 1 0.00 0.00 10.89 0.00 0.99 0.99 0.00 10.89 0.00 76.24 +19:11:54 2 0.00 0.00 7.00 0.00 0.00 1.00 0.00 14.00 0.00 78.00 +19:11:54 3 0.00 0.00 3.96 0.00 0.99 0.99 0.00 11.88 0.00 82.18 +19:11:54 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 +19:11:54 5 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02 +19:11:54 6 0.00 0.00 1.89 0.00 0.00 0.94 0.00 0.00 0.00 97.17 +19:11:54 7 0.00 0.00 1.92 0.00 0.96 0.00 0.00 0.00 0.00 97.12 + +Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +Average: all 0.75 0.00 6.09 0.12 0.55 0.35 0.00 18.78 0.00 73.37 +Average: 0 0.40 0.00 9.71 0.07 0.73 0.33 0.00 19.10 0.00 69.66 +Average: 1 0.47 0.00 10.75 0.00 0.80 0.33 0.00 13.75 0.00 73.90 +Average: 2 0.33 0.00 7.86 0.00 0.47 0.20 0.00 24.50 0.00 66.64 +Average: 3 0.27 0.00 7.77 0.20 0.66 0.27 0.00 20.93 0.00 69.90 +Average: 4 1.35 0.00 3.28 0.39 0.39 0.32 0.00 10.21 0.00 84.07 +Average: 5 0.91 0.00 3.63 0.06 0.45 0.71 0.00 1.75 0.00 92.48 +Average: 6 0.93 0.00 2.18 0.07 0.40 0.07 0.00 58.33 0.00 38.03 +Average: 7 1.30 0.00 3.76 0.13 0.52 0.52 0.00 2.60 0.00 91.17 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt new file mode 100644 index 0000000..0db4c14 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt @@ -0,0 +1,11 @@ +requests=2000 +concurrency=20 +elapsed_sec=3.246808 +throughput_rps=615.990 +latency_avg_ms=32.233 +latency_p50_ms=30.977 +latency_p95_ms=46.315 +latency_p99_ms=67.953 +latency_max_ms=87.452 +codes={200: 2000} +errors={} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt new file mode 100644 index 0000000..609d45a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt @@ -0,0 +1,15 @@ + + + + +=== restored === + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt new file mode 100644 index 0000000..4dc1582 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt @@ -0,0 +1,11 @@ +requests=2000 +concurrency=20 +elapsed_sec=2.519337 +throughput_rps=793.860 +latency_avg_ms=25.049 +latency_p50_ms=22.995 +latency_p95_ms=32.716 +latency_p99_ms=44.084 +latency_max_ms=1077.109 +codes={200: 2000} +errors={} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt new file mode 100644 index 0000000..e3a58bb --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt @@ -0,0 +1,11 @@ +requests=2000 +concurrency=20 +elapsed_sec=2.558586 +throughput_rps=781.682 +latency_avg_ms=25.436 +latency_p50_ms=23.655 +latency_p95_ms=33.558 +latency_p99_ms=44.598 +latency_max_ms=146.276 +codes={200: 2000} +errors={} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/107-cpu-pinning-final-affinity.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/107-cpu-pinning-final-affinity.txt new file mode 100644 index 0000000..1ab8b42 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/107-cpu-pinning-final-affinity.txt @@ -0,0 +1 @@ +zsh:1: ==final-affinity=== not found diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt new file mode 100644 index 0000000..040616b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt @@ -0,0 +1,14 @@ +pod/cpu-throttle-probe created +pod/cpu-throttle-probe condition met +10000 100000 +usage_usec 541034 +user_usec 536304 +system_usec 4730 +nr_periods 54 +nr_throttled 46 +throttled_usec 4317644 +nr_bursts 0 +burst_usec 0 +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +cpu-throttle-probe 1/1 Running 0 11s 10.42.0.22 kc-lab-1 +pod "cpu-throttle-probe" deleted from keycloak-lab namespace diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt new file mode 100644 index 0000000..757da49 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt @@ -0,0 +1,80 @@ +--- baseline affinity --- + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +--- keycloak-1 cgroup before --- +max 100000 +usage_usec 96556117 +user_usec 86036914 +system_usec 10519203 +nr_periods 0 +nr_throttled 0 +throttled_usec 0 +nr_bursts 0 +burst_usec 0 + + +--- contended affinity --- + VCPU CPU Affinity +---------------------- + 0 0 + 1 0 + +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1849024 46076 1337252 0 0 81 209 1114 1994 4 3 92 0 0 + +19:16:02 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:03 0 0.00 0.00 1.00 0.00 0.00 0.00 0.00 91.00 0.00 8.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 1274 2599 16 35 0 0 50 + +19:16:03 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:04 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 999 2041 16 34 0 0 50 + +19:16:04 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:05 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 1146 2249 18 33 0 0 50 + +19:16:05 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:06 0 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 1197 1953 15 36 0 0 50 + +19:16:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:07 0 1.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 1287 2073 11 39 0 0 50 + +19:16:07 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:08 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 776 1663 3016 15 35 0 0 50 + +19:16:08 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:09 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 420 1396 2456 15 35 0 0 50 + +19:16:09 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:10 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 1420 2580 14 36 0 0 50 + +19:16:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00 + 3 0 0 1849024 46076 1337252 0 0 0 0 1628 2923 10 39 0 0 50 + +19:16:11 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:16:12 0 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00 + +Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +Average: 0 0.00 0.00 0.10 0.00 0.20 0.00 0.00 98.90 0.00 0.80 +--- keycloak-1 cgroup after --- +max 100000 +usage_usec 96593292 +user_usec 86053197 +system_usec 10540094 +nr_periods 0 +nr_throttled 0 +throttled_usec 0 +nr_bursts 0 +burst_usec 0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/11-kubeconfig-and-token.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/11-kubeconfig-and-token.txt new file mode 100644 index 0000000..5be50cc --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/11-kubeconfig-and-token.txt @@ -0,0 +1,4 @@ + server: https://192.168.122.11:6443 +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 27m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +109 /home/donghyeon/workspace/virtualization-revalidation-20260921/node-token diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt new file mode 100644 index 0000000..ecb55f5 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt @@ -0,0 +1,5 @@ + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-qcow2-wifi-transfer-edge.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-qcow2-wifi-transfer-edge.txt new file mode 100644 index 0000000..1a61dc8 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-qcow2-wifi-transfer-edge.txt @@ -0,0 +1,66 @@ +=== environment === +2026-09-21T10:18:05,027137070+00:00 +default via 192.168.0.1 dev wlo1 proto static metric 600 +192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600 +running + +edge_bytes=460914688 +base_bytes=338952192 +=== graceful shutdown edge === +Domain 'kc-lab-edge' is being shutdown + +shutdown_wait=1 state=running +shutdown_wait=2 state=running +shutdown_wait=3 state=shut off +=== stopped edge image === +image: /var/lib/libvirt/images/kc-lab-edge.qcow2 +file format: qcow2 +virtual size: 10 GiB (10737418240 bytes) +disk size: 356 MiB +cluster_size: 65536 +backing file: /var/lib/libvirt/images/base.qcow2 +backing file format: qcow2 +Format specific information: + compat: 1.1 + compression type: zlib + lazy refcounts: true + refcount bits: 16 + corrupt: false + extended l2: false +Child node '/file': + filename: /var/lib/libvirt/images/kc-lab-edge.qcow2 + protocol type: file + file length: 440 MiB (460914688 bytes) +c36eef86b339d1bb1ec5556be581cc247fc9ff6667943a91244bc26d055fdb28 /var/lib/libvirt/images/kc-lab-edge.qcow2 +=== edge overlay transfer === +dest_edge_bytes=460914688 +c36eef86b339d1bb1ec5556be581cc247fc9ff6667943a91244bc26d055fdb28 destination-edge +edge_elapsed_sec=15.216 +edge_avg_MiB_s=28.887 +=== restart edge === +Domain 'kc-lab-edge' started + +edge_ssh_ready_after=6 +running + +=== base transfer after edge restart === +3033874999eef45d1e3009e6d68dba2e8e411cdddfc94c95387b24db4cf0d999 /var/lib/libvirt/images/base.qcow2 +dest_base_bytes=338952192 +3033874999eef45d1e3009e6d68dba2e8e411cdddfc94c95387b24db4cf0d999 destination-base +base_elapsed_sec=11.689 +base_avg_MiB_s=27.654 +image_set_bytes=799866880 +image_set_MiB=762.812 +image_set_transfer_sec=26.906 +image_set_avg_MiB_s=28.352 +=== post health === +running + +NAME STATUS ROLES AGE VERSION +kc-lab-1 Ready control-plane 160m v1.36.4+k3s1 +kc-lab-2 Ready 133m v1.36.4+k3s1 +=== external request from workmachine === +external_http=200 remote_ip=100.83.212.4 time=0.025464 +2026-09-21T10:18:51,226179650+00:00 +=== destination qemu-img info === +/tmp/reval_wifi_copy2.sh: line 63: qemu-img: command not found diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-virsh-save-5g.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-virsh-save-5g.txt new file mode 100644 index 0000000..5338135 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/111-virsh-save-5g.txt @@ -0,0 +1,35 @@ +=== before === +State: running +Max memory: 5242880 KiB +Used memory: 5242880 KiB +actual 5242880 +swap_in 0 +swap_out 0 +major_fault 289 +minor_fault 44503 +unused 4899128 +available 5048068 +usable 4802116 + +Domain 'kc-lab-1' saved to /var/lib/libvirt/save/kc-lab-1-reval-5g.save + +save_sec=8.956592 +=== saved file === +size_bytes=3333557094 blocks=6510864 block_size=512 +3.2G /var/lib/libvirt/save/kc-lab-1-reval-5g.save +shut off + +Domain restored from /var/lib/libvirt/save/kc-lab-1-reval-5g.save + +restore_sec=2.286119 +=== after restore === +ssh: connect to host 192.168.122.11 port 22: Connection timed out +kc-lab-1 +active +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 159m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 131m v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +State: running +Max memory: 5242880 KiB +Used memory: 5242880 KiB +save_file_removed=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-edge-restart-dnat-reconcile.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-edge-restart-dnat-reconcile.txt new file mode 100644 index 0000000..d8c0536 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-edge-restart-dnat-reconcile.txt @@ -0,0 +1,26 @@ +=== before reconcile === +table ip libvirt_network { + chain guest_input { # handle 4 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept # handle 331 + oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 235204 bytes 1218504730 accept # handle 324 + oif "virbr0" counter packets 3 bytes 180 reject # handle 321 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205 + } +} +=== after reconcile === +table ip libvirt_network { + chain guest_input { # handle 4 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 333 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept # handle 331 + oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 235204 bytes 1218504730 accept # handle 324 + oif "virbr0" counter packets 3 bytes 180 reject # handle 321 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205 + } +} +curl: (7) Failed to connect to auth.hyeonworks.com:443 after 0 ms: Could not connect to server +=== external === +http=000 time=0.000165 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-virsh-save-4g.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-virsh-save-4g.txt new file mode 100644 index 0000000..4e46f69 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/112-virsh-save-4g.txt @@ -0,0 +1,55 @@ + +=== before 4g save === +State: running +Max memory: 5242880 KiB +Used memory: 4194304 KiB +actual 4194304 +swap_in 0 +swap_out 0 +major_fault 289 +minor_fault 44503 +unused 4899128 +available 5048068 +usable 4802116 + total used free shared buff/cache available +Mem: 3905 1989 799 1 1352 1916 +Swap: 0 0 0 + +Domain 'kc-lab-1' saved to /var/lib/libvirt/save/kc-lab-1-reval-4g.save + +save_sec=3.966730 +=== saved file === +size_bytes=3222304048 blocks=6293576 block_size=512 +3.1G /var/lib/libvirt/save/kc-lab-1-reval-4g.save +shut off + +Domain restored from /var/lib/libvirt/save/kc-lab-1-reval-4g.save + +restore_sec=1.978473 +ssh: connect to host 192.168.122.11 port 22: Connection timed out +kc-lab-1 +active +=== restored 4g state === +State: running +Max memory: 5242880 KiB +Used memory: 4194304 KiB +actual 4194304 +swap_in 0 +swap_out 0 +major_fault 289 +minor_fault 44503 +unused 4899128 +available 5048068 +usable 4802116 + +=== restored original memory === +State: running +Max memory: 5242880 KiB +Used memory: 5242880 KiB + total used free shared buff/cache available +Mem: 4929 1997 1815 1 1352 2932 +Swap: 0 0 0 +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 159m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 131m v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +save_file_removed=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt new file mode 100644 index 0000000..3c6f755 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt @@ -0,0 +1,18 @@ +--- current qemu network args --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' +--- direct request precheck --- +code=200 time=0.002025 +--- load --- +requests=2000 +concurrency=20 +elapsed_sec=0.826639 +throughput_rps=2419.437 +latency_avg_ms=8.070 +latency_p50_ms=7.114 +latency_p95_ms=15.065 +latency_p99_ms=26.880 +latency_max_ms=51.698 +codes={200: 2000} +errors={} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt new file mode 100644 index 0000000..3900277 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt @@ -0,0 +1,14 @@ +Domain 'kc-lab-2' defined from /tmp/kc-lab-2-qemu-reval.xml + +--- inactive qemu config --- + + + + + +
+ +--- live backend remains vhost until reboot --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/115-network-vhost-before.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/115-network-vhost-before.txt new file mode 100644 index 0000000..4b66890 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/115-network-vhost-before.txt @@ -0,0 +1,8 @@ +qpid=272149 vnet=vnet19 +voluntary_ctxt_switches: 331429 +nonvoluntary_ctxt_switches: 291 +319674 +278744 +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/116-network-vhost-cpu-context.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/116-network-vhost-cpu-context.txt new file mode 100644 index 0000000..18b457b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/116-network-vhost-cpu-context.txt @@ -0,0 +1,61 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +19:24:50 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:51 958 272149 3.00 1.00 5.00 0.00 9.00 1 qemu-system-x86 + +19:24:50 UID PID cswch/s nvcswch/s Command +19:24:51 958 272149 34.00 0.00 qemu-system-x86 + +19:24:51 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:52 958 272149 2.00 3.00 6.00 0.00 11.00 1 qemu-system-x86 + +19:24:51 UID PID cswch/s nvcswch/s Command +19:24:52 958 272149 35.00 0.00 qemu-system-x86 + +19:24:52 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:53 958 272149 2.00 2.00 5.00 0.00 9.00 1 qemu-system-x86 + +19:24:52 UID PID cswch/s nvcswch/s Command +19:24:53 958 272149 34.00 0.00 qemu-system-x86 + +19:24:53 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:54 958 272149 1.00 3.00 7.00 0.00 11.00 1 qemu-system-x86 + +19:24:53 UID PID cswch/s nvcswch/s Command +19:24:54 958 272149 44.00 0.00 qemu-system-x86 + +19:24:54 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:55 958 272149 3.00 2.00 2.00 0.00 7.00 1 qemu-system-x86 + +19:24:54 UID PID cswch/s nvcswch/s Command +19:24:55 958 272149 35.00 0.00 qemu-system-x86 + +19:24:55 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:56 958 272149 2.00 1.00 4.00 0.00 7.00 2 qemu-system-x86 + +19:24:55 UID PID cswch/s nvcswch/s Command +19:24:56 958 272149 34.00 0.00 qemu-system-x86 + +19:24:56 UID PID %usr %system %guest %wait %CPU CPU Command +19:24:57 958 272149 1.00 2.00 6.00 0.00 9.00 1 qemu-system-x86 + +19:24:56 UID PID cswch/s nvcswch/s Command +19:24:57 958 272149 34.00 0.00 qemu-system-x86 + +Average: UID PID %usr %system %guest %wait %CPU CPU Command +Average: 958 272149 2.00 2.00 5.00 0.00 9.00 - qemu-system-x86 + +Average: UID PID cswch/s nvcswch/s Command +Average: 958 272149 35.71 0.00 qemu-system-x86 +--- mpstat --- +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +19:24:57 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle +19:24:58 all 3.74 0.00 1.75 0.00 0.50 0.25 0.00 4.24 0.00 89.53 +19:24:59 all 9.84 0.00 10.71 0.25 0.75 0.37 0.00 35.62 0.00 42.47 +19:25:00 all 10.20 0.00 11.08 0.13 0.25 0.00 0.00 36.02 0.00 42.32 +19:25:01 all 10.17 0.00 10.42 0.12 0.87 0.50 0.00 37.72 0.00 40.20 +19:25:02 all 4.14 0.00 5.52 0.25 0.50 0.13 0.00 14.93 0.00 74.53 +19:25:03 all 0.12 0.00 0.87 0.00 0.50 0.25 0.00 2.37 0.00 95.77 +19:25:04 all 0.13 0.00 0.63 0.13 0.75 0.00 0.00 2.50 0.00 95.74 +Average: all 5.48 0.00 5.86 0.12 0.59 0.21 0.00 19.06 0.00 68.67 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/117-network-vhost-load-10000.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/117-network-vhost-load-10000.txt new file mode 100644 index 0000000..2bc7823 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/117-network-vhost-load-10000.txt @@ -0,0 +1,11 @@ +requests=10000 +concurrency=40 +elapsed_sec=4.061221 +throughput_rps=2462.314 +latency_avg_ms=13.822 +latency_p50_ms=12.678 +latency_p95_ms=23.031 +latency_p99_ms=32.638 +latency_max_ms=1043.848 +codes={200: 10000} +errors={} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/118-network-vhost-after.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/118-network-vhost-after.txt new file mode 100644 index 0000000..d867c76 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/118-network-vhost-after.txt @@ -0,0 +1,5 @@ +qpid=272149 vnet=vnet19 +voluntary_ctxt_switches: 332500 +nonvoluntary_ctxt_switches: 296 +389401 +369880 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt new file mode 100644 index 0000000..0a0f2c4 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt @@ -0,0 +1,29 @@ +Domain 'kc-lab-2' is being shutdown + +stopped_state=shut off +Domain 'kc-lab-2' started + +ssh: connect to host 192.168.122.12 port 22: Connection timed out +ssh: connect to host 192.168.122.12 port 22: Connection timed out +ssh: connect to host 192.168.122.12 port 22: Connection timed out +kc-lab-2 +activating +kc-lab-2 +activating +kc-lab-2 +activating +kc-lab-2 +active +--- backend args --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' +--- interface --- + Interface Type Source Model MAC +------------------------------------------------------------- + vnet34 network default virtio 52:54:00:aa:bb:12 + +--- nodes --- +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 166m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 138m v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/12-k3s-agent-install.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/12-k3s-agent-install.txt new file mode 100644 index 0000000..83f7c42 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/12-k3s-agent-install.txt @@ -0,0 +1,26 @@ +[INFO] Using v1.36.4+k3s1 as release +[INFO] Downloading hash https://github.com/k3s-io/k3s/releases/download/v1.36.4%2Bk3s1/sha256sum-amd64.txt +[INFO] Downloading binary https://github.com/k3s-io/k3s/releases/download/v1.36.4%2Bk3s1/k3s +[INFO] Verifying binary download +[INFO] Installing k3s to /usr/local/bin/k3s +[INFO] Skipping installation of SELinux RPM +[INFO] Creating /usr/local/bin/kubectl symlink to k3s +[INFO] Creating /usr/local/bin/crictl symlink to k3s +[INFO] Creating /usr/local/bin/ctr symlink to k3s +[INFO] Creating killall script /usr/local/bin/k3s-killall.sh +[INFO] Creating uninstall script /usr/local/bin/k3s-agent-uninstall.sh +[INFO] env: Creating environment file /etc/systemd/system/k3s-agent.service.env +[INFO] systemd: Creating service file /etc/systemd/system/k3s-agent.service +[INFO] systemd: Enabling k3s-agent unit +Created symlink /etc/systemd/system/multi-user.target.wants/k3s-agent.service → /etc/systemd/system/k3s-agent.service. +[INFO] systemd: Starting k3s-agent +active +ExecStart=/usr/local/bin/k3s \ + agent \ + '--server' \ + 'https://192.168.122.11:6443' \ + '--token-file' \ + '/home/donghyeon/node-token' \ + '--node-ip' \ + '192.168.122.12' \ + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt new file mode 100644 index 0000000..796dc93 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt @@ -0,0 +1,22 @@ +--- inactive --- + + + + + +
+ +--- live --- + + + + + + + +
+ +--- qemu argv network --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt new file mode 100644 index 0000000..3f6719a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt @@ -0,0 +1,16 @@ +Domain 'kc-lab-2' defined from /tmp/kc-lab-2-original-reval.xml + +--- restored inactive interface --- + + + + +
+ +--- live remains vhost --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 167m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 139m v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/122-libvirt-interface-driver-local-docs.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/122-libvirt-interface-driver-local-docs.txt new file mode 100644 index 0000000..5f92b5a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/122-libvirt-interface-driver-local-docs.txt @@ -0,0 +1,300 @@ +/usr/share/libvirt/api/libvirt-api.xml:4996: +/usr/share/libvirt/api/libvirt-api.xml:5467: +/usr/share/libvirt/schemas/domaincommon.rng:4072: +/usr/share/doc/libvirt/html/html/libvirt-virterror.html:52:
VIR_FROM_NONE = 0 (0x0)
VIR_FROM_XEN = 1 (0x1)
Error at Xen hypervisor layer
VIR_FROM_XEND = 2 (0x2)
Error at connection with xend daemon
VIR_FROM_XENSTORE = 3 (0x3)
Error at connection with xen store
VIR_FROM_SEXPR = 4 (0x4)
Error in the S-Expression code
VIR_FROM_XML = 5 (0x5)
Error in the XML code
VIR_FROM_DOM = 6 (0x6)
Error when operating on a domain
VIR_FROM_RPC = 7 (0x7)
Error in the XML-RPC code
VIR_FROM_PROXY = 8 (0x8)
Error in the proxy code; unused since 0.8.6
VIR_FROM_CONF = 9 (0x9)
Error in the configuration file handling
VIR_FROM_QEMU = 10 (0xa)
Error at the QEMU daemon
VIR_FROM_NET = 11 (0xb)
Error when operating on a network
VIR_FROM_TEST = 12 (0xc)
Error from test driver
VIR_FROM_REMOTE = 13 (0xd)
Error from remote driver
VIR_FROM_OPENVZ = 14 (0xe)
Error from OpenVZ driver
VIR_FROM_XENXM = 15 (0xf)
Error at Xen XM layer
VIR_FROM_STATS_LINUX = 16 (0x10)
Error in the Linux Stats code
VIR_FROM_LXC = 17 (0x11)
Error from Linux Container driver
VIR_FROM_STORAGE = 18 (0x12)
Error from storage driver
VIR_FROM_NETWORK = 19 (0x13)
Error from network config
VIR_FROM_DOMAIN = 20 (0x14)
Error from domain config
VIR_FROM_UML = 21 (0x15)
Error at the UML driver; unused since 5.0.0
VIR_FROM_NODEDEV = 22 (0x16)
Error from node device monitor
VIR_FROM_XEN_INOTIFY = 23 (0x17)
Error from xen inotify layer
VIR_FROM_SECURITY = 24 (0x18)
Error from security framework
VIR_FROM_VBOX = 25 (0x19)
Error from VirtualBox driver
VIR_FROM_INTERFACE = 26 (0x1a)
Error when operating on an interface
VIR_FROM_ONE = 27 (0x1b)
The OpenNebula driver no longer exists. Retained for ABI/API compat only
VIR_FROM_ESX = 28 (0x1c)
Error from ESX driver
VIR_FROM_PHYP = 29 (0x1d)
Error from the phyp driver, unused since 6.0.0
VIR_FROM_SECRET = 30 (0x1e)
Error from secret storage
VIR_FROM_CPU = 31 (0x1f)
Error from CPU driver
VIR_FROM_XENAPI = 32 (0x20)
Error from XenAPI
VIR_FROM_NWFILTER = 33 (0x21)
Error from network filter driver
VIR_FROM_HOOK = 34 (0x22)
Error from Synchronous hooks
VIR_FROM_DOMAIN_SNAPSHOT = 35 (0x23)
Error from domain snapshot
VIR_FROM_AUDIT = 36 (0x24)
Error from auditing subsystem
VIR_FROM_SYSINFO = 37 (0x25)
Error from sysinfo/SMBIOS
VIR_FROM_STREAMS = 38 (0x26)
Error from I/O streams
VIR_FROM_VMWARE = 39 (0x27)
Error from VMware driver
VIR_FROM_EVENT = 40 (0x28)
Error from event loop impl
VIR_FROM_LIBXL = 41 (0x29)
Error from libxenlight driver
VIR_FROM_LOCKING = 42 (0x2a)
Error from lock manager
VIR_FROM_HYPERV = 43 (0x2b)
Error from Hyper-V driver
VIR_FROM_CAPABILITIES = 44 (0x2c)
Error from capabilities
VIR_FROM_URI = 45 (0x2d)
Error from URI handling
VIR_FROM_AUTH = 46 (0x2e)
Error from auth handling
VIR_FROM_DBUS = 47 (0x2f)
Error from DBus
VIR_FROM_PARALLELS = 48 (0x30)
Error from Parallels
VIR_FROM_DEVICE = 49 (0x31)
Error from Device
VIR_FROM_SSH = 50 (0x32)
Error from libssh2 connection transport
VIR_FROM_LOCKSPACE = 51 (0x33)
Error from lockspace
VIR_FROM_INITCTL = 52 (0x34)
Error from initctl device communication
VIR_FROM_IDENTITY = 53 (0x35)
Error from identity code
VIR_FROM_CGROUP = 54 (0x36)
Error from cgroups
VIR_FROM_ACCESS = 55 (0x37)
Error from access control manager
VIR_FROM_SYSTEMD = 56 (0x38)
Error from systemd code
VIR_FROM_BHYVE = 57 (0x39)
Error from bhyve driver
VIR_FROM_CRYPTO = 58 (0x3a)
Error from crypto code
VIR_FROM_FIREWALL = 59 (0x3b)
Error from firewall
VIR_FROM_POLKIT = 60 (0x3c)
Error from polkit code
VIR_FROM_THREAD = 61 (0x3d)
Error from thread utils
VIR_FROM_ADMIN = 62 (0x3e)
Error from admin backend
VIR_FROM_LOGGING = 63 (0x3f)
Error from log manager
VIR_FROM_XENXL = 64 (0x40)
Error from Xen xl config code
VIR_FROM_PERF = 65 (0x41)
Error from perf
VIR_FROM_LIBSSH = 66 (0x42)
Error from libssh connection transport
VIR_FROM_RESCTRL = 67 (0x43)
Error from resource control
VIR_FROM_FIREWALLD = 68 (0x44)
Error from firewalld
VIR_FROM_DOMAIN_CHECKPOINT = 69 (0x45)
Error from domain checkpoint
VIR_FROM_TPM = 70 (0x46)
Error from TPM
VIR_FROM_BPF = 71 (0x47)
Error from BPF code
VIR_FROM_CH = 72 (0x48)
Error from Cloud-Hypervisor driver
VIR_ERR_DOMAIN_LAST = 73 (0x49)
}
+/usr/share/doc/libvirt/html/html/libvirt-virterror.html:56:
VIR_ERR_OK = 0 (0x0)
VIR_ERR_INTERNAL_ERROR = 1 (0x1)
internal error
VIR_ERR_NO_MEMORY = 2 (0x2)
memory allocation failure
VIR_ERR_NO_SUPPORT = 3 (0x3)
no support for this function
VIR_ERR_UNKNOWN_HOST = 4 (0x4)
could not resolve hostname
VIR_ERR_NO_CONNECT = 5 (0x5)
can't connect to hypervisor
VIR_ERR_INVALID_CONN = 6 (0x6)
invalid connection object
VIR_ERR_INVALID_DOMAIN = 7 (0x7)
invalid domain object
VIR_ERR_INVALID_ARG = 8 (0x8)
invalid function argument
VIR_ERR_OPERATION_FAILED = 9 (0x9)
a command to hypervisor failed
VIR_ERR_GET_FAILED = 10 (0xa)
a HTTP GET command to failed
VIR_ERR_POST_FAILED = 11 (0xb)
a HTTP POST command to failed
VIR_ERR_HTTP_ERROR = 12 (0xc)
unexpected HTTP error code
VIR_ERR_SEXPR_SERIAL = 13 (0xd)
failure to serialize an S-Expr
VIR_ERR_NO_XEN = 14 (0xe)
could not open Xen hypervisor control
VIR_ERR_XEN_CALL = 15 (0xf)
failure doing an hypervisor call
VIR_ERR_OS_TYPE = 16 (0x10)
unknown OS type
VIR_ERR_NO_KERNEL = 17 (0x11)
missing kernel information
VIR_ERR_NO_ROOT = 18 (0x12)
missing root device information
VIR_ERR_NO_SOURCE = 19 (0x13)
missing source device information
VIR_ERR_NO_TARGET = 20 (0x14)
missing target device information
VIR_ERR_NO_NAME = 21 (0x15)
missing domain name information
VIR_ERR_NO_OS = 22 (0x16)
missing domain OS information
VIR_ERR_NO_DEVICE = 23 (0x17)
missing domain devices information
VIR_ERR_NO_XENSTORE = 24 (0x18)
could not open Xen Store control
VIR_ERR_DRIVER_FULL = 25 (0x19)
too many drivers registered
VIR_ERR_CALL_FAILED = 26 (0x1a)
not supported by the drivers (DEPRECATED)
VIR_ERR_XML_ERROR = 27 (0x1b)
an XML description is not well formed or broken
VIR_ERR_DOM_EXIST = 28 (0x1c)
the domain already exist
VIR_ERR_OPERATION_DENIED = 29 (0x1d)
operation forbidden on read-only connections
VIR_ERR_OPEN_FAILED = 30 (0x1e)
failed to open a conf file
VIR_ERR_READ_FAILED = 31 (0x1f)
failed to read a conf file
VIR_ERR_PARSE_FAILED = 32 (0x20)
failed to parse a conf file
VIR_ERR_CONF_SYNTAX = 33 (0x21)
failed to parse the syntax of a conf file
VIR_ERR_WRITE_FAILED = 34 (0x22)
failed to write a conf file
VIR_ERR_XML_DETAIL = 35 (0x23)
detail of an XML error
VIR_ERR_INVALID_NETWORK = 36 (0x24)
invalid network object
VIR_ERR_NETWORK_EXIST = 37 (0x25)
the network already exist
VIR_ERR_SYSTEM_ERROR = 38 (0x26)
general system call failure
VIR_ERR_RPC = 39 (0x27)
some sort of RPC error
VIR_ERR_GNUTLS_ERROR = 40 (0x28)
error from a GNUTLS call
VIR_WAR_NO_NETWORK = 41 (0x29)
failed to start network
VIR_ERR_NO_DOMAIN = 42 (0x2a)
domain not found or unexpectedly disappeared
VIR_ERR_NO_NETWORK = 43 (0x2b)
network not found
VIR_ERR_INVALID_MAC = 44 (0x2c)
invalid MAC address
VIR_ERR_AUTH_FAILED = 45 (0x2d)
authentication failed
VIR_ERR_INVALID_STORAGE_POOL = 46 (0x2e)
invalid storage pool object
VIR_ERR_INVALID_STORAGE_VOL = 47 (0x2f)
invalid storage vol object
VIR_WAR_NO_STORAGE = 48 (0x30)
failed to start storage
VIR_ERR_NO_STORAGE_POOL = 49 (0x31)
storage pool not found
VIR_ERR_NO_STORAGE_VOL = 50 (0x32)
storage volume not found
VIR_WAR_NO_NODE = 51 (0x33)
failed to start node driver
VIR_ERR_INVALID_NODE_DEVICE = 52 (0x34)
invalid node device object
VIR_ERR_NO_NODE_DEVICE = 53 (0x35)
node device not found
VIR_ERR_NO_SECURITY_MODEL = 54 (0x36)
security model not found
VIR_ERR_OPERATION_INVALID = 55 (0x37)
operation is not applicable at this time
VIR_WAR_NO_INTERFACE = 56 (0x38)
failed to start interface driver
VIR_ERR_NO_INTERFACE = 57 (0x39)
interface driver not running
VIR_ERR_INVALID_INTERFACE = 58 (0x3a)
invalid interface object
VIR_ERR_MULTIPLE_INTERFACES = 59 (0x3b)
more than one matching interface found
VIR_WAR_NO_NWFILTER = 60 (0x3c)
failed to start nwfilter driver
VIR_ERR_INVALID_NWFILTER = 61 (0x3d)
invalid nwfilter object
VIR_ERR_NO_NWFILTER = 62 (0x3e)
nw filter pool not found
VIR_ERR_BUILD_FIREWALL = 63 (0x3f)
nw filter pool not found
VIR_WAR_NO_SECRET = 64 (0x40)
failed to start secret storage
VIR_ERR_INVALID_SECRET = 65 (0x41)
invalid secret
VIR_ERR_NO_SECRET = 66 (0x42)
secret not found
VIR_ERR_CONFIG_UNSUPPORTED = 67 (0x43)
unsupported configuration construct
VIR_ERR_OPERATION_TIMEOUT = 68 (0x44)
timeout occurred during operation
VIR_ERR_MIGRATE_PERSIST_FAILED = 69 (0x45)
a migration worked, but making the VM persist on the dest host failed
VIR_ERR_HOOK_SCRIPT_FAILED = 70 (0x46)
a synchronous hook script failed
VIR_ERR_INVALID_DOMAIN_SNAPSHOT = 71 (0x47)
invalid domain snapshot
VIR_ERR_NO_DOMAIN_SNAPSHOT = 72 (0x48)
domain snapshot not found
VIR_ERR_INVALID_STREAM = 73 (0x49)
stream pointer not valid
VIR_ERR_ARGUMENT_UNSUPPORTED = 74 (0x4a)
valid API use but unsupported by the given driver
VIR_ERR_STORAGE_PROBE_FAILED = 75 (0x4b)
storage pool probe failed
VIR_ERR_STORAGE_POOL_BUILT = 76 (0x4c)
storage pool already built
VIR_ERR_SNAPSHOT_REVERT_RISKY = 77 (0x4d)
force was not requested for a risky domain snapshot revert
VIR_ERR_OPERATION_ABORTED = 78 (0x4e)
operation on a domain was canceled/aborted by user
VIR_ERR_AUTH_CANCELLED = 79 (0x4f)
authentication cancelled
VIR_ERR_NO_DOMAIN_METADATA = 80 (0x50)
The metadata is not present
VIR_ERR_MIGRATE_UNSAFE = 81 (0x51)
Migration is not safe
VIR_ERR_OVERFLOW = 82 (0x52)
integer overflow
VIR_ERR_BLOCK_COPY_ACTIVE = 83 (0x53)
action prevented by block copy job
VIR_ERR_OPERATION_UNSUPPORTED = 84 (0x54)
The requested operation is not supported
VIR_ERR_SSH = 85 (0x55)
error in ssh transport driver
VIR_ERR_AGENT_UNRESPONSIVE = 86 (0x56)
guest agent is unresponsive, not running or not usable
VIR_ERR_RESOURCE_BUSY = 87 (0x57)
resource is already in use
VIR_ERR_ACCESS_DENIED = 88 (0x58)
operation on the object/resource was denied
VIR_ERR_DBUS_SERVICE = 89 (0x59)
error from a dbus service
VIR_ERR_STORAGE_VOL_EXIST = 90 (0x5a)
the storage vol already exists
VIR_ERR_CPU_INCOMPATIBLE = 91 (0x5b)
given CPU is incompatible with host CPU
VIR_ERR_XML_INVALID_SCHEMA = 92 (0x5c)
XML document doesn't validate against schema
VIR_ERR_MIGRATE_FINISH_OK = 93 (0x5d)
Finish API succeeded but it is expected to return NULL
VIR_ERR_AUTH_UNAVAILABLE = 94 (0x5e)
authentication unavailable
VIR_ERR_NO_SERVER = 95 (0x5f)
Server was not found
VIR_ERR_NO_CLIENT = 96 (0x60)
Client was not found
VIR_ERR_AGENT_UNSYNCED = 97 (0x61)
guest agent replies with wrong id to guest-sync command (DEPRECATED)
VIR_ERR_LIBSSH = 98 (0x62)
error in libssh transport driver
VIR_ERR_DEVICE_MISSING = 99 (0x63)
fail to find the desired device
VIR_ERR_INVALID_NWFILTER_BINDING = 100 (0x64)
invalid nwfilter binding
VIR_ERR_NO_NWFILTER_BINDING = 101 (0x65)
no nwfilter binding
VIR_ERR_INVALID_DOMAIN_CHECKPOINT = 102 (0x66)
invalid domain checkpoint
VIR_ERR_NO_DOMAIN_CHECKPOINT = 103 (0x67)
domain checkpoint not found
VIR_ERR_NO_DOMAIN_BACKUP = 104 (0x68)
domain backup job id not found
VIR_ERR_INVALID_NETWORK_PORT = 105 (0x69)
invalid network port object
VIR_ERR_NETWORK_PORT_EXIST = 106 (0x6a)
the network port already exist
VIR_ERR_NO_NETWORK_PORT = 107 (0x6b)
network port not found
VIR_ERR_NO_HOSTNAME = 108 (0x6c)
no domain's hostname found
VIR_ERR_CHECKPOINT_INCONSISTENT = 109 (0x6d)
checkpoint can't be used
VIR_ERR_MULTIPLE_DOMAINS = 110 (0x6e)
more than one matching domain found
VIR_ERR_NO_NETWORK_METADATA = 111 (0x6f)
Network metadata is not present
VIR_ERR_AGENT_COMMAND_TIMEOUT = 112 (0x70)
guest agent didn't respond to a non-sync command within timeout
VIR_ERR_AGENT_COMMAND_FAILED = 113 (0x71)
guest agent responded with failure to a command
VIR_ERR_INVALID_ENCR_KEY_SECRET = 114 (0x72)
encryption key is invalid
VIR_ERR_NUMBER_LAST = 115 (0x73)
}
+/usr/share/doc/libvirt/html/formatdomain.html:3133:    <driver name="qemu" type="raw" io="threads" ioeventfd="on" event_idx="off"/>
+/usr/share/doc/libvirt/html/formatdomain.html:3143:    <driver name="qemu" type="raw"/>
+/usr/share/doc/libvirt/html/formatdomain.html:3155:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3160:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3173:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3182:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3190:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3198:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3206:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3219:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3226:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3231:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3241:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3251:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3259:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3269:    <driver name='qemu' type='fat'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3275:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3280:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3285:    <driver name='qemu' type='qcow2' queues='4' queue_size='256' />
+/usr/share/doc/libvirt/html/formatdomain.html:3299:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3306:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3313:    <driver name='qemu' type='raw'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3322:    <driver name='qemu' type='qcow2'/>
+/usr/share/doc/libvirt/html/formatdomain.html:3341:    <driver name='qemu' type='qcow2' />
+/usr/share/doc/libvirt/html/formatdomain.html:4163:
<driver name='qemu' queues='4'>
+/usr/share/doc/libvirt/html/formatdomain.html:4170:<driver name='qemu' queues='3'>
+/usr/share/doc/libvirt/html/formatdomain.html:4193:
<driver name='qemu'>
+/usr/share/doc/libvirt/html/formatdomain.html:4215:
<driver name='qemu'>
+/usr/share/doc/libvirt/html/formatdomain.html:4265:  <driver name='qemu' type='qcow2'>
+/usr/share/doc/libvirt/html/formatdomain.html:6321:UEFI Secure Boot), a type='hostdev' interface can have an optional driver
+/usr/share/doc/libvirt/html/formatdomain.html:6605:    <driver name='vhost' txmode='iothread' ioeventfd='on' event_idx='off' queues='5' rx_queue_size='256' tx_queue_size='256'>
+/usr/share/doc/libvirt/html/formatdomain.html:6759:    <backend tap='/dev/net/tun' vhost='/dev/vhost-net'/>
+/usr/share/doc/libvirt/html/formatdomain.html:6760:    <driver name='vhost' txmode='iothread' ioeventfd='on' event_idx='off' queues='5'/>
+/usr/share/doc/libvirt/html/formatdomain.html:6769:(/dev/vhost-net) for devices with virtio model. The tap attribute
+/usr/share/doc/libvirt/html/formatdomain.html:7121:interface to use passt as the backend by adding <backend type='passt'/>. When passt is the backend, only a single driver
+/usr/share/doc/libvirt/html/formatdomain.html:7509:    <driver name='qemu'/>
+/usr/share/doc/libvirt/html/formatnetwork.html:364:interface can have an optional driver sub-element with a
+/usr/share/doc/libvirt/html/manpages/virsh.html:1948:specified. Note that interface can be driver dependent, it can be the name
+/usr/share/doc/libvirt/html/hvsupport.html:33:
  • Host Interface APIs

  • +/usr/share/doc/libvirt/html/hvsupport.html:5482:

    Host Interface APIs

    +/usr/share/doc/libvirt/html/drvqemu.html:819: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/kbase/internals/overview.html:110:interfaces to the remote driver which then returns it to the client +/usr/share/doc/libvirt/html/kbase/merging_disk_image_chains.html:117: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/kbase/backing_chains.html:65: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/kbase/backing_chains.html:100: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/kbase/launch_security_sev.html:473: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/kbase/launch_security_sev.html:551: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/kbase/s390_protected_virt.html:142: <driver name='vhost' iommu='on'/> +/usr/share/doc/libvirt/html/kbase/s390_protected_virt.html:172: <driver name='qemu' type='qcow2' cache='none' io='native'> +/usr/share/doc/libvirt/html/kbase/s390_protected_virt.html:201: <driver name='qemu' type='qcow2' cache='none' io='native' iommu='on'> +/usr/share/doc/libvirt/html/formatcheckpoint.html:175: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/formatcheckpoint.html:180: <driver name='qemu' type='raw'/> +/usr/share/doc/libvirt/html/formatsnapshot.html:286: <driver name='qemu' type='raw'/> +/usr/share/doc/libvirt/html/formatsnapshot.html:291: <driver name='qemu' type='raw'/> +/usr/share/doc/libvirt/html/formatsnapshot.html:311: <driver name='qemu' type='qcow2'/> +/usr/share/doc/libvirt/html/formatsnapshot.html:316: <driver name='qemu' type='raw'/> +--- schema driver name choices --- +95- +96- +97- +98- +99- +100: +101- +102- +103: +104- +105- +106: +107- +108- +109: +110- +111- +112- +113- +114- +115- +116- +117- +118- +119- +120- +121- +122- +123- +124- +-- +5110- +5111- +5115: +5116: +5117- +5118- +5119- +5120- +5121- +5122- +5123: +5124- +5125: +5126- +5127- +5128- +5129- +5130- +5131- +5132- +5133- +5134- +5135- +5136- +5137- +5138- +5139: +5140- +5141- +5142- xen +5143- serial +5144- uml +5145- virtio +5146- lxc +5147- openvz +5148- sclp +5149- sclplm +5150- +5151- +5152- +5153- +5154: +5155- +5156- +5157- isa-serial +5158- usb-serial +5159- pci-serial +5160- spapr-vio-serial +5161- system-serial +5162- sclp-serial +5163- isa-debug +5164- +5165- +5166- +5167- +5168: +5169- +5170- +5171- +5172- isa-serial +5173- usb-serial +5174- pci-serial +5175- spapr-vty +5176- pl011 +5177- 16550a +5178- sclpconsole +5179- sclplmconsole +5180- isa-debugcon +5181- +5182- +5183- +5184- +5185- +5186: +5187- +5188- +5189- +5190- +5191: +5192- +5193- +5194: +5195- +5196- +5197- +5198- +5199- +5200- +5201: +5202- +5203- +5204- +5205- +5206- +5207: +5208- +5209- dev +5210- file +5211- pipe +5212- unix +5213- tcp +5214- udp +5215- null +5216- stdio +5217- vc +5218- pty +5219- spicevmc +5220- spiceport +5221- nmdm +5222- qemu-vdagent +-- +5262- +5263- +5264- +5265- +5266- +5267: +5268- +5269: +5270- +5271- +5272- +5273: +5274- +5275- +5276- +--- virt-install network help --- +--network options: + clearxml + address.base + address.bus + address.controller + address.cssid + address.devno + address.domain + address.function + address.iobase + address.irq + address.multifunction + address.port + address.reg + address.slot + address.ssid + address.target + address.type + address.unit + address.zpci.fid + address.zpci.uid + xpath[0-9]*.create + xpath[0-9]*.delete + xpath[0-9]*.set + xpath[0-9]*.value + alias.name + backend.logFile + backend.type + boot.loadparm + boot.order + bridge + driver.ats + driver.iommu + driver.name + driver.packed + driver.page_per_vq + driver.queues + filterref.filter + hostdev + link.state + mac + mac.address + model + model.type + mtu.size + network + portForward[0-9]* + portForward[0-9]*.address + portForward[0-9]*.dev + portForward[0-9]*.proto + portForward[0-9]*.range[0-9]*.end + portForward[0-9]*.range[0-9]*.exclude + portForward[0-9]*.range[0-9]*.start + portForward[0-9]*.range[0-9]*.to + rom.bar + rom.file + source + source.address.bus + source.address.domain + source.address.function + source.address.slot + source.address.type + source.mode + source.path + source.portgroup + source.type + target.dev + trustGuestRxFilters + type + virtualport.parameters.instanceid + virtualport.parameters.interfaceid + virtualport.parameters.managerid + virtualport.parameters.profileid + virtualport.parameters.typeid + virtualport.parameters.typeidversion + virtualport.type + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt new file mode 100644 index 0000000..3505a72 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt @@ -0,0 +1,123 @@ +
    +
    Setting the NIC model
    +
    ...
    +<devices>
    +  <interface type='network'>
    +    <source network='default'/>
    +    <target dev='vnet1'/>
    +    <model type='ne2k_pci'/>
    +  </interface>
    +</devices>
    +...
    +

    For hypervisors which support this, you can set the model of emulated network +interface card via the model element.

    +

    While libvirt accepts any value as the type and passes it to the +hypervisor to preserve compatibility, most devices nowadays have additional +handling and address allocation which may not work properly unless the model +is known by libvirt.

    +

    Libvirt supports natively the following network device models: +virtio, virtio-transitional (Since 5.2.0), +virtio-non-transitional (Since 5.2.0), e1000, e1000e, +igb (Since 9.3.0), rtl8139, netfront, +usb-net (Since 10.3.0), spapr-vlan, lan9118, scm91c111, +vlance, vmxnet, vmxnet2, vmxnet3, Am79C970A, Am79C973, +82540EM, 82545EM, 82543GC.

    +

    For QEMU you can get a list of supported models with this command:

    +
    qemu-system-x86_64 -net nic,model=?
    +
    +
    +
    Setting NIC driver-specific options
    +
    ...
    +<devices>
    +  <interface type='network'>
    +    <source network='default'/>
    +    <target dev='vnet1'/>
    +    <model type='virtio'/>
    +    <driver name='vhost' txmode='iothread' ioeventfd='on' event_idx='off' queues='5' rx_queue_size='256' tx_queue_size='256'>
    +      <host csum='off' gso='off' tso4='off' tso6='off' ecn='off' ufo='off' mrg_rxbuf='off'/>
    +      <guest csum='off' tso4='off' tso6='off' ecn='off' ufo='off'/>
    +    </driver>
    +  </interface>
    +</devices>
    +...
    +

    Some NICs may have tunable driver-specific options. These are set as attributes +of the driver sub-element of the interface definition. Currently the +following attributes are available for the virtio NIC driver:

    +
    +
    name
    +

    The optional name attribute forces which type of backend driver to use. +The value can be either 'qemu' (a user-space backend) or 'vhost' (a kernel +backend, which requires the vhost module to be provided by the kernel); an +attempt to require the vhost driver without kernel support will be rejected. +If this attribute is not present, then the domain defaults to 'vhost' if +present, but silently falls back to 'qemu' without error. +Since 0.8.8 (QEMU and KVM only) +For interfaces of type='hostdev' (PCI passthrough devices) the name +attribute can optionally be set to "vfio" or "kvm". "vfio" tells libvirt to +use VFIO device assignment rather than traditional KVM device assignment +(VFIO is a new method of device assignment that is compatible with UEFI +Secure Boot), and "kvm" tells libvirt to use the legacy device assignment +performed directly by the kvm kernel module (the default is currently "kvm", +but is subject to change). +Since 1.0.5 (QEMU and KVM only, requires kernel 3.6 or newer) +For interfaces of type='vhostuser', the name attribute is ignored. The +backend driver used is always vhost-user.

    +
    +
    txmode
    +--- around driver qemu example --- +
    socket since 2.0.0 (QEMU only)
    +

    This listen type tells a graphics server to listen on unix socket. Attribute +socket contains a path to unix socket. If this attribute is omitted +libvirt will generate this path for you. Supported by graphics type vnc +and spice.

    +

    For vnc graphics be backward compatible the socket attribute of first +listen element is duplicated as socket attribute in graphics +element. If graphics element contains a socket attribute all +listen elements are ignored.

    +
    +
    none since 2.0.0 (QEMU only)
    +

    This listen type doesn't have any other attribute. Libvirt supports passing a +file descriptor through our APIs virDomainOpenGraphics() and +virDomainOpenGraphicsFD(). No other listen types are allowed if this one is +used and the graphics device doesn't listen anywhere. You need to use one of +the two APIs to pass a FD to QEMU in order to connect to this graphics +device. Supported by graphics type vnc and spice.

    +
    +
    +
    +
    +

    Video devices

    +

    A video device.

    +
    ...
    +<devices>
    +  <video>
    +    <model type='vga' vram='16384' heads='1'>
    +      <acceleration accel3d='yes' accel2d='yes'/>
    +    </model>
    +    <driver name='qemu'/>
    +  </video>
    +</devices>
    +...
    +
    +
    video
    +

    The video element is the container for describing video devices. For +backwards compatibility, if no video is set but there is a graphics +in domain xml, then libvirt will add a default video according to the +guest type.

    +

    For a guest of type "kvm", the default video is: type with value +"cirrus", vram with value "16384" and heads with value "1". By +default, the first video device in domain xml is the primary one, but the +optional attribute primary ( since 1.0.2 ) with value 'yes' can +be used to mark the primary in cases of multiple video device. The +non-primary must be type of "qxl" or ( since 2.4.0 ) "virtio".

    +
    +
    model
    +

    The model element has a mandatory type attribute which takes the +value "vga", "cirrus", "vmvga", "xen", "vbox", "qxl" ( since 0.8.6 +), "virtio" ( since 1.3.0 ), "gop" ( since 3.2.0 ), "bochs" +( since 5.6.0 ), "ramfb" ( since 5.9.0 ), or "none" ( +since 4.6.0 ), depending on the hypervisor features available.

    +

    Note: The purpose of the type none is to instruct libvirt not to add a +default video device in the guest (see the video element description +above), since such behaviour is inconvenient in cases where GPU mediated +devices are meant to be the only rendering device within a guest. If this diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-final-sanity-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-final-sanity-state.txt new file mode 100644 index 0000000..ecb8053 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-final-sanity-state.txt @@ -0,0 +1,34 @@ +=== test-server lab VMs === + 24 kc-lab-1 running + 25 kc-lab-edge running + 26 kc-lab-2 running +=== k3s nodes === +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 19h v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 19h v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +=== key workloads === +keycloak-lab keycloak-0 1/1 Running 1 (17h ago) 19h +keycloak-lab keycloak-1 1/1 Running 0 19h +keycloak-lab postgres-7b474b88c8-x7th5 1/1 Running 1 (17h ago) 19h +kube-system helm-install-traefik-crd-ph2zj 0/1 Completed 0 19h +kube-system helm-install-traefik-fcfzr 0/1 Completed 0 18h +kube-system svclb-traefik-8bc45361-cdnkt 2/2 Running 2 (19h ago) 19h +kube-system svclb-traefik-8bc45361-hdhss 2/2 Running 6 (17h ago) 19h +kube-system traefik-5d6fcf895-bptbq 1/1 Running 1 (17h ago) 18h +observability grafana-845b5678cf-vjpcm 1/1 Running 1 (19h ago) 19h +observability prometheus-6774f94f7c-d6r84 1/1 Running 1 (19h ago) 19h +=== edge path service === +active +table ip libvirt_network { + chain guest_input { + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 2 bytes 120 accept + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept + oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 236810 bytes 1220790837 accept + oif "virbr0" counter packets 3 bytes 180 reject + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept + } +} +=== external HTTPS === +code=200 remote=100.83.212.4 time=0.127337 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-tech-log-tree-validation.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-tech-log-tree-validation.txt new file mode 100644 index 0000000..118f1a9 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/124-tech-log-tree-validation.txt @@ -0,0 +1,15 @@ +$ python3 scripts/build-tech-log-tree.py virtualization +docs/virtualization/tech-log-studio/tech-log-tree.json — 주제 7 · 글감 91 (쓴 것 91) +build_exit=0 + +$ python3 scripts/verify-tech-log-tree.py virtualization + +[virtualization] records=91 · contract=있음 · topics=7 · nodes=91 · written=91 · unwritten=0 · candidates={"PROMOTE": 91, "MERGE_INTO": 253, "KEEP_IN_SSOT": 37, "NEEDS_DECISION": 2, "NEEDS_EVIDENCE": 4, "BLOCKED": 3} + ! warn 2 sourceRepository.path 가 이 기계에 없다 + · 반입한 개념 문서 (제1~4부): /home/donghyeon/workspace/chat-gpt-container/document-haness/docs/virtualization/final/document.md + · 실험대 저장소 (제5~6부): /home/donghyeon/workspace/keycloak-pattern + ! warn 1 sourceRepository 에 리비전이 없다 + · virtualization/반입한 개념 문서 (제1~4부): 문서가 서술한 상태의 커밋을 고정하지 않았다 + +TECH LOG TREE: PASS — 프로젝트 1 · error 0 · warn 3 +verify_exit=0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/125-host-default-kubeconfig-refresh.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/125-host-default-kubeconfig-refresh.txt new file mode 100644 index 0000000..03c5df9 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/125-host-default-kubeconfig-refresh.txt @@ -0,0 +1,9 @@ +2026-09-22 host default kubeconfig refresh +server: + server: https://192.168.122.11:6443 +plain kubectl get nodes -o wide: +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 20h v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 19h v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +preserved previous config: +/home/donghyeon/.kube/config.before-virtualization-revalidation-20260922-125441 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/13-agent-token-persist-and-cluster.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/13-agent-token-persist-and-cluster.txt new file mode 100644 index 0000000..2c4a57b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/13-agent-token-persist-and-cluster.txt @@ -0,0 +1,14 @@ +active +-rw------- 1 root root 109 Sep 21 08:05 /etc/rancher/node-token +ExecStart=/usr/local/bin/k3s \ + agent \ + '--server' \ + 'https://192.168.122.11:6443' \ + '--token-file' \ + '/etc/rancher/node-token' \ + '--node-ip' \ + '192.168.122.12' \ + +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 28m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 18s v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/14-agent-powercycle-token-persistence.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/14-agent-powercycle-token-persistence.txt new file mode 100644 index 0000000..d2bba40 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/14-agent-powercycle-token-persistence.txt @@ -0,0 +1,9 @@ +Domain 'kc-lab-2' destroyed + +Domain 'kc-lab-2' started + +active +ready=True +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 28m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 44s v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/15-setup03-current-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/15-setup03-current-state.txt new file mode 100644 index 0000000..decafd8 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/15-setup03-current-state.txt @@ -0,0 +1,53 @@ +=== edge nginx === +nginx version: nginx/1.22.1 +nginx: the configuration file /etc/nginx/nginx.conf syntax is ok +nginx: configuration file /etc/nginx/nginx.conf test is successful +active +LISTEN 0 511 0.0.0.0:80 0.0.0.0:* users:(("nginx",pid=5731,fd=5),("nginx",pid=5729,fd=5)) +LISTEN 0 511 0.0.0.0:443 0.0.0.0:* users:(("nginx",pid=5731,fd=6),("nginx",pid=5729,fd=6)) +1:upstream k3s_traefik { +2: server 192.168.122.11:80; +3: server 192.168.122.12:80; +7: listen 80 default_server; +13: listen 443 ssl http2 default_server; +16: ssl_certificate /etc/letsencrypt/live/auth.hyeonworks.com/fullchain.pem; +17: ssl_certificate_key /etc/letsencrypt/live/auth.hyeonworks.com/privkey.pem; +22: listen 80 default_server; +27: # listen 443 ssl default_server; +80:# listen 80; +1:upstream k3s_traefik { +2: server 192.168.122.11:80; +3: server 192.168.122.12:80; +7: listen 80 default_server; +13: listen 443 ssl http2 default_server; +16: ssl_certificate /etc/letsencrypt/live/auth.hyeonworks.com/fullchain.pem; +17: ssl_certificate_key /etc/letsencrypt/live/auth.hyeonworks.com/privkey.pem; +=== host dnat files === +/etc/nftables.d/lab-edge-dnat.nft:8: iifname "tailscale0" tcp dport {80, 443} dnat to 192.168.122.10 +/etc/nftables.d/lab-edge-dnat.nft:11: chain forward { +/etc/nftables.d/lab-edge-dnat.nft:13: ip daddr 192.168.122.10 tcp dport {80, 443} ct state new accept +/etc/systemd/system/lab-edge-dnat.service:9:ExecStart=/usr/sbin/nft -f /etc/nftables.d/lab-edge-dnat.nft +/etc/systemd/system/lab-edge-dnat.service:10:ExecStartPost=-/usr/sbin/nft insert rule ip libvirt_network guest_input oif virbr0 ip daddr 192.168.122.10 tcp dport {80,443} ct state new counter accept +=== dnat unit === +active +=== runtime relevant nft === +table ip libvirt_network { + chain guest_input { # handle 4 + oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 2911 bytes 85110536 accept # handle 324 + oif "virbr0" counter packets 0 bytes 0 reject # handle 321 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205 + } +} +table ip lab_edge { + chain prerouting { + type nat hook prerouting priority dstnat; policy accept; + iifname "tailscale0" tcp dport { 80, 443 } dnat to 192.168.122.10 + } + + chain forward { + type filter hook forward priority filter - 10; policy accept; + ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new accept + } +} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/16-setup03-path-check.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/16-setup03-path-check.txt new file mode 100644 index 0000000..d55206e --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/16-setup03-path-check.txt @@ -0,0 +1,25 @@ +=== workmachine public HTTP === +curl: (7) Failed to connect to auth.hyeonworks.com port 80 after 210 ms: Couldn't connect to server +=== workmachine public HTTPS === +curl: (7) Failed to connect to auth.hyeonworks.com port 443 after 2 ms: Couldn't connect to server +=== from test-server direct nodes/edge === +HTTP/1.1 404 Not Found +Content-Type: text/plain; charset=utf-8 +X-Content-Type-Options: nosniff +Date: Mon, 21 Sep 2026 08:06:55 GMT +Content-Length: 19 + +HTTP/1.1 404 Not Found +Content-Type: text/plain; charset=utf-8 +X-Content-Type-Options: nosniff +Date: Mon, 21 Sep 2026 08:06:55 GMT +Content-Length: 19 + +HTTP/1.1 301 Moved Permanently +Server: nginx/1.22.1 +Date: Mon, 21 Sep 2026 08:06:55 GMT +Content-Type: text/html +Content-Length: 169 +Connection: keep-alive +Location: https://192.168.122.10/ + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/17-public-path-diagnose.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/17-public-path-diagnose.txt new file mode 100644 index 0000000..0f1488b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/17-public-path-diagnose.txt @@ -0,0 +1,22 @@ +=== workmachine DNS === +100.83.212.4 auth.hyeonworks.com +=== workmachine routes/tailscale === +100.83.212.4 via 172.18.0.1 dev eth0 src 172.18.0.2 uid 0 + cache +=== test-server tailscale === +tailscale0 UNKNOWN 100.83.212.4/32 fd7a:115c:a1e0::4032:d405/128 fe80::71ad:b041:840a:b437/64 +table ip lab_edge { + chain prerouting { + type nat hook prerouting priority dstnat; policy accept; + iifname "tailscale0" tcp dport { 80, 443 } dnat to 192.168.122.10 + } +} +table ip libvirt_network { + chain guest_input { # handle 4 + oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 2912 bytes 85110612 accept # handle 324 + oif "virbr0" counter packets 2 bytes 120 reject # handle 321 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267 + oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205 + } +} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/18-setup04-current-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/18-setup04-current-state.txt new file mode 100644 index 0000000..4c4404d --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/18-setup04-current-state.txt @@ -0,0 +1,49 @@ +===plugins=== +grep: warning: * at start of expression + +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +* dns-cloudflare +Description: Obtain certificates using a DNS TXT record (if you are using +Cloudflare for DNS). +Interfaces: Authenticator, Plugin +Entry point: dns-cloudflare = +certbot_dns_cloudflare._internal.dns_cloudflare:Authenticator + +* standalone +Description: Spin up a temporary webserver +Interfaces: Authenticator, Plugin +Entry point: standalone = certbot._internal.plugins.standalone:Authenticator + +* webroot +Description: Place files in webroot directory +Interfaces: Authenticator, Plugin +Entry point: webroot = certbot._internal.plugins.webroot:Authenticator +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +===certificates=== +Saving debug log to /var/log/letsencrypt/letsencrypt.log + +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +Found the following certs: + Certificate Name: auth.hyeonworks.com + Serial Number: 65547991777d11a408cea90d945dda03df1 + Key Type: ECDSA + Domains: auth.hyeonworks.com app1.hyeonworks.com app2.hyeonworks.com + Expiry Date: 2026-12-16 09:37:57+00:00 (VALID: 86 days) + Certificate Path: /etc/letsencrypt/live/auth.hyeonworks.com/fullchain.pem + Private Key Path: /etc/letsencrypt/live/auth.hyeonworks.com/privkey.pem +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +===credential-metadata=== +/etc/letsencrypt/cloudflare.ini +cloudflare_ini_missing +===renewal-authenticator=== +/etc/letsencrypt/renewal/auth.hyeonworks.com.conf:authenticator = dns-cloudflare +/etc/letsencrypt/renewal/auth.hyeonworks.com.conf:dns_cloudflare_credentials = /etc/letsencrypt/cloudflare.ini +/etc/letsencrypt/renewal/auth.hyeonworks.com.conf:server = https://acme-v02.api.letsencrypt.org/directory +===timer=== +Mon 2026-09-21 18:21:47 UTC 10h left Mon 2026-09-21 02:47:23 UTC 5h 21min ago certbot.timer certbot.service +===hook=== +total 4 +-rwxr-xr-x 1 root root 38 Sep 17 09:23 reload-nginx.sh +===nginx=== +nginx: the configuration file /etc/nginx/nginx.conf syntax is ok +nginx: configuration file /etc/nginx/nginx.conf test is successful diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/19-certbot-dryrun.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/19-certbot-dryrun.txt new file mode 100644 index 0000000..0835373 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/19-certbot-dryrun.txt @@ -0,0 +1,17 @@ +===credential-size=== +81 /etc/letsencrypt/cloudflare.ini +===certbot-version=== +certbot 2.1.0 +===dry-run=== + +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +Processing /etc/letsencrypt/renewal/auth.hyeonworks.com.conf +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +Saving debug log to /var/log/letsencrypt/letsencrypt.log +Simulating renewal of an existing certificate for auth.hyeonworks.com and 2 more domains +Waiting 30 seconds for DNS changes to propagate + +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +Congratulations, all simulated renewals succeeded: + /etc/letsencrypt/live/auth.hyeonworks.com/fullchain.pem (success) +- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/20-tls-direct-chain.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/20-tls-direct-chain.txt new file mode 100644 index 0000000..278273b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/20-tls-direct-chain.txt @@ -0,0 +1,15 @@ +subject=CN=auth.hyeonworks.com +issuer=C=US, O=Let's Encrypt, CN=YE1 +X509v3 Subject Alternative Name: + DNS:app1.hyeonworks.com, DNS:app2.hyeonworks.com, DNS:auth.hyeonworks.com +notBefore=Sep 17 09:37:58 2026 GMT +notAfter=Dec 16 09:37:57 2026 GMT + 0 s:CN=auth.hyeonworks.com + i:C=US, O=Let's Encrypt, CN=YE1 + 1 s:C=US, O=Let's Encrypt, CN=YE1 + i:C=US, O=ISRG, CN=Root YE + 2 s:C=US, O=ISRG, CN=Root YE + i:C=US, O=Internet Security Research Group, CN=ISRG Root X2 + 3 s:C=US, O=Internet Security Research Group, CN=ISRG Root X2 + i:C=US, O=Internet Security Research Group, CN=ISRG Root X1 +Verify return code: 0 (ok) diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/21-certbot-systemd-units.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/21-certbot-systemd-units.txt new file mode 100644 index 0000000..566cead --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/21-certbot-systemd-units.txt @@ -0,0 +1,20 @@ +# /lib/systemd/system/certbot.timer +[Unit] +Description=Run certbot twice daily + +[Timer] +OnCalendar=*-*-* 00,12:00:00 +RandomizedDelaySec=43200 +Persistent=true + +[Install] +WantedBy=timers.target +# /lib/systemd/system/certbot.service +[Unit] +Description=Certbot +Documentation=file:///usr/share/doc/python-certbot-doc/html/index.html +Documentation=https://certbot.eff.org/docs +[Service] +Type=oneshot +ExecStart=/usr/bin/certbot -q renew --no-random-sleep-on-renew +PrivateTmp=true diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/22-setup05-precheck.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/22-setup05-precheck.txt new file mode 100644 index 0000000..8808b31 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/22-setup05-precheck.txt @@ -0,0 +1,27 @@ +/home/donghyeon/workspace/keycloak-pattern +a1-block-jgroups-transport.yaml +b7-oauth2-proxy.yaml +bff-redis.yaml +echo-network-policy.yaml +echo.yaml +keycloak-cluster.yaml +observability.yaml +traefik-forwarded-headers.yaml +16:kind: Namespace +46:kind: Deployment +64: image: postgres:16-alpine +118:kind: StatefulSet +146: image: quay.io/keycloak/keycloak:26.7.0 +261:kind: Ingress +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 34m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 6m20s v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +NAMESPACE NAME READY STATUS RESTARTS AGE +kube-system coredns-54996dc9b4-ndf4n 1/1 Running 0 34m +kube-system helm-install-traefik-crd-ph2zj 0/1 Completed 0 34m +kube-system helm-install-traefik-h2wf2 0/1 Completed 1 (33m ago) 34m +kube-system local-path-provisioner-77b9867795-6hmsv 1/1 Running 0 34m +kube-system metrics-server-6dc596dfb8-69fbc 1/1 Running 0 34m +kube-system svclb-traefik-8bc45361-cdnkt 2/2 Running 0 33m +kube-system svclb-traefik-8bc45361-hdhss 2/2 Running 2 (4m11s ago) 6m20s +kube-system traefik-59b7647586-n68v9 1/1 Running 0 33m diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/23-setup05-apply-rollout.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/23-setup05-apply-rollout.txt new file mode 100644 index 0000000..a1ae84b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/23-setup05-apply-rollout.txt @@ -0,0 +1,12 @@ +namespace/keycloak-lab created +secret/keycloak-lab-secrets created +persistentvolumeclaim/postgres-data created +deployment.apps/postgres created +service/postgres created +statefulset.apps/keycloak created +service/keycloak-headless created +service/keycloak created +ingress.networking.k8s.io/keycloak created +Waiting for 2 pods to be ready... +Waiting for 1 pods to be ready... +partitioned roll out complete: 2 new pods have been updated... diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/24-setup05-core-verification.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/24-setup05-core-verification.txt new file mode 100644 index 0000000..1f35e9c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/24-setup05-core-verification.txt @@ -0,0 +1,50 @@ +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +pod/keycloak-0 1/1 Running 0 112s 10.42.1.4 kc-lab-2 +pod/keycloak-1 1/1 Running 0 112s 10.42.0.9 kc-lab-1 +pod/postgres-7b474b88c8-bmgxq 1/1 Running 0 112s 10.42.1.6 kc-lab-2 + +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR +service/keycloak ClusterIP 10.43.1.48 8080/TCP 112s app=keycloak +service/keycloak-headless ClusterIP None 8080/TCP,9000/TCP 112s app=keycloak +service/postgres ClusterIP 10.43.73.135 5432/TCP 112s app=postgres + +NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR +deployment.apps/postgres 1/1 1 1 112s postgres postgres:16-alpine app=postgres + +NAME DESIRED CURRENT READY AGE CONTAINERS IMAGES SELECTOR +replicaset.apps/postgres-7b474b88c8 1 1 1 112s postgres postgres:16-alpine app=postgres,pod-template-hash=7b474b88c8 + +NAME READY AGE CONTAINERS IMAGES +statefulset.apps/keycloak 2/2 112s keycloak quay.io/keycloak/keycloak:26.7.0 +NAME TYPE DATA AGE +secret/keycloak-lab-secrets Opaque 2 113s + +NAME DATA AGE +configmap/kube-root-ca.crt 1 113s + +NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS VOLUMEATTRIBUTESCLASS AGE +persistentvolumeclaim/postgres-data Bound pvc-6ba2a481-a230-429b-8451-bd6c6b2bbd49 5Gi RWO local-path 113s + +NAME CLASS HOSTS ADDRESS PORTS AGE +ingress.networking.k8s.io/keycloak traefik auth.hyeonworks.com 192.168.122.11,192.168.122.12 80 113s +Name: keycloak-lab-secrets +Namespace: keycloak-lab +Labels: +Annotations: + +Type: Opaque + +Data +==== +KC_BOOTSTRAP_ADMIN_PASSWORD: 19 bytes +POSTGRES_PASSWORD: 22 bytes +NAME DESIRED CURRENT READY AGE +replicaset.apps/postgres-7b474b88c8 1 1 1 113s + +NAME READY STATUS RESTARTS AGE +pod/postgres-7b474b88c8-bmgxq 1/1 Running 0 113s +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +pod/keycloak-0 1/1 Running 0 113s 10.42.1.4 kc-lab-2 +pod/keycloak-1 1/1 Running 0 113s 10.42.0.9 kc-lab-1 +NAME ADDRESSTYPE PORTS ENDPOINTS AGE +keycloak-4fq7q IPv4 8080 10.42.1.4,10.42.0.9 113s diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/25-setup05-cluster-verification.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/25-setup05-cluster-verification.txt new file mode 100644 index 0000000..1119f1e --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/25-setup05-cluster-verification.txt @@ -0,0 +1,23 @@ +10.42.1.4 true +10.42.0.9 true +KC_DB +KC_DB_URL +KC_DB_USERNAME +KC_DB_PASSWORD keycloak-lab-secrets +KC_HOSTNAME +KC_HOSTNAME_STRICT +KC_PROXY_HEADERS +KC_HTTP_ENABLED +KC_HEALTH_ENABLED +KC_METRICS_ENABLED +JAVA_OPTS_KC_HEAP +KC_BOOTSTRAP_ADMIN_USERNAME +KC_BOOTSTRAP_ADMIN_PASSWORD keycloak-lab-secrets +2026-09-21 08:13:14,100 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-54474(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-54474(v=16.0.12)|1] (2) [keycloak-0-54474(v=16.0.12), keycloak-1-3090(v=16.0.12)] +2026-09-21 08:13:14,149 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-54474(v=16.0.12)|1] (2) [keycloak-0-54474(v=16.0.12), keycloak-1-3090(v=16.0.12)] + name | ip +------------------+---------------- + keycloak-0-54474 | 10.42.1.4:7800 + keycloak-1-3090 | 10.42.0.9:7800 +(2 rows) + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/26-setup05-cluster-metrics.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/26-setup05-cluster-metrics.txt new file mode 100644 index 0000000..e8c5522 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/26-setup05-cluster-metrics.txt @@ -0,0 +1,4 @@ +keycloak-0-ip=10.42.1.4 +vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-54474"} 2.0 +keycloak-1-ip=10.42.0.9 +vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-3090"} 2.0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/27-setup06-apply.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/27-setup06-apply.txt new file mode 100644 index 0000000..9319fff --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/27-setup06-apply.txt @@ -0,0 +1,16 @@ +namespace/observability created +serviceaccount/prometheus created +clusterrole.rbac.authorization.k8s.io/prometheus created +clusterrolebinding.rbac.authorization.k8s.io/prometheus created +configmap/prometheus-config created +persistentvolumeclaim/prometheus-data created +deployment.apps/prometheus created +service/prometheus created +daemonset.apps/node-exporter created +service/node-exporter created +deployment.apps/grafana created +configmap/grafana-datasources created +service/grafana created +ingress.networking.k8s.io/grafana created +Waiting for deployment "prometheus" rollout to finish: 0 of 1 updated replicas are available... +deployment "prometheus" successfully rolled out diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/28-setup06-pods-targets.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/28-setup06-pods-targets.txt new file mode 100644 index 0000000..2104fe9 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/28-setup06-pods-targets.txt @@ -0,0 +1,10 @@ +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +grafana-845b5678cf-vjpcm 1/1 Running 0 47s 10.42.0.10 kc-lab-1 +node-exporter-26bzd 1/1 Running 0 47s 192.168.122.11 kc-lab-1 +node-exporter-6c5nj 1/1 Running 0 47s 192.168.122.12 kc-lab-2 +prometheus-6774f94f7c-d6r84 1/1 Running 0 47s 10.42.0.12 kc-lab-1 +TARGETS_RAW +{"status":"success","data":{"activeTargets":[{"discoveredLabels":{"__address__":"10.42.0.9:9000","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"keycloak-1","__meta_kubernetes_endpoint_hostname":"keycloak-1","__meta_kubernetes_endpoint_node_name":"kc-lab-1","__meta_kubernetes_endpoint_port_name":"management","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"keycloak-headless","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"management","__meta_kubernetes_pod_container_port_number":"9000","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.9","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"1","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-1","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"e97237d0-82c5-48eb-b244-3f93d10125ac","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak-headless\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"},{\"name\":\"management\",\"port\":9000,\"targetPort\":\"management\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak-headless","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"},"labels":{"instance":"10.42.0.9:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"scrapePool":"keycloak","scrapeUrl":"http://10.42.0.9:9000/metrics","globalUrl":"http://10.42.0.9:9000/metrics","lastError":"","lastScrape":"2026-09-21T08:16:52.310342875Z","lastScrapeDuration":0.030019415,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"},{"discoveredLabels":{"__address__":"10.42.1.4:9000","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"keycloak-0","__meta_kubernetes_endpoint_hostname":"keycloak-0","__meta_kubernetes_endpoint_node_name":"kc-lab-2","__meta_kubernetes_endpoint_port_name":"management","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"keycloak-headless","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"management","__meta_kubernetes_pod_container_port_number":"9000","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.4","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"0","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-0","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-0","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"316876a3-efdd-4d9e-b9ad-f4d7d9439f81","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak-headless\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"},{\"name\":\"management\",\"port\":9000,\"targetPort\":\"management\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak-headless","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"},"labels":{"instance":"10.42.1.4:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"scrapePool":"keycloak","scrapeUrl":"http://10.42.1.4:9000/metrics","globalUrl":"http://10.42.1.4:9000/metrics","lastError":"","lastScrape":"2026-09-21T08:16:52.61567223Z","lastScrapeDuration":0.035995817,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"},{"discoveredLabels":{"__address__":"192.168.122.11:10250","__meta_kubernetes_node_address_Hostname":"kc-lab-1","__meta_kubernetes_node_address_InternalIP":"192.168.122.11","__meta_kubernetes_node_annotation_alpha_kubernetes_io_provided_node_ip":"192.168.122.11","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_backend_data":"{\"VNI\":1,\"VtepMAC\":\"ea:1a:ac:24:a3:99\"}","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_backend_type":"vxlan","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_kube_subnet_manager":"true","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_public_ip":"192.168.122.11","__meta_kubernetes_node_annotation_k3s_io_hostname":"kc-lab-1","__meta_kubernetes_node_annotation_k3s_io_internal_ip":"192.168.122.11","__meta_kubernetes_node_annotation_k3s_io_node_args":"[\"server\",\"--node-ip\",\"192.168.122.11\"]","__meta_kubernetes_node_annotation_k3s_io_node_config_hash":"F4BW6ZZB5PCQULUNC6MN5KXIKC75GTBYWBWJ55Q7G3MPOK5ZH4VQ====","__meta_kubernetes_node_annotation_k3s_io_node_env":"{}","__meta_kubernetes_node_annotation_node_alpha_kubernetes_io_ttl":"0","__meta_kubernetes_node_annotation_volumes_kubernetes_io_controller_managed_attach_detach":"true","__meta_kubernetes_node_annotationpresent_alpha_kubernetes_io_provided_node_ip":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_backend_data":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_backend_type":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_kube_subnet_manager":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_public_ip":"true","__meta_kubernetes_node_annotationpresent_k3s_io_hostname":"true","__meta_kubernetes_node_annotationpresent_k3s_io_internal_ip":"true","__meta_kubernetes_node_annotationpresent_k3s_io_node_args":"true","__meta_kubernetes_node_annotationpresent_k3s_io_node_config_hash":"true","__meta_kubernetes_node_annotationpresent_k3s_io_node_env":"true","__meta_kubernetes_node_annotationpresent_node_alpha_kubernetes_io_ttl":"true","__meta_kubernetes_node_annotationpresent_volumes_kubernetes_io_controller_managed_attach_detach":"true","__meta_kubernetes_node_label_beta_kubernetes_io_arch":"amd64","__meta_kubernetes_node_label_beta_kubernetes_io_instance_type":"k3s","__meta_kubernetes_node_label_beta_kubernetes_io_os":"linux","__meta_kubernetes_node_label_kubernetes_io_arch":"amd64","__meta_kubernetes_node_label_kubernetes_io_hostname":"kc-lab-1","__meta_kubernetes_node_label_kubernetes_io_os":"linux","__meta_kubernetes_node_label_node_kubernetes_io_instance_type":"k3s","__meta_kubernetes_node_label_node_role_kubernetes_io_control_plane":"true","__meta_kubernetes_node_labelpresent_beta_kubernetes_io_arch":"true","__meta_kubernetes_node_labelpresent_beta_kubernetes_io_instance_type":"true","__meta_kubernetes_node_labelpresent_beta_kubernetes_io_os":"true","__meta_kubernetes_node_labelpresent_kubernetes_io_arch":"true","__meta_kubernetes_node_labelpresent_kubernetes_io_hostname":"true","__meta_kubernetes_node_labelpresent_kubernetes_io_os":"true","__meta_kubernetes_node_labelpresent_node_kubernetes_io_instance_type":"true","__meta_kubernetes_node_labelpresent_node_role_kubernetes_io_control_plane":"true","__meta_kubernetes_node_name":"kc-lab-1","__meta_kubernetes_node_provider_id":"k3s://kc-lab-1","__metrics_path__":"/metrics","__scheme__":"https","__scrape_interval__":"15s","__scrape_timeout__":"10s","instance":"kc-lab-1","job":"kubelet"},"labels":{"beta_kubernetes_io_arch":"amd64","beta_kubernetes_io_instance_type":"k3s","beta_kubernetes_io_os":"linux","instance":"kc-lab-1","job":"kubelet","kubernetes_io_arch":"amd64","kubernetes_io_hostname":"kc-lab-1","kubernetes_io_os":"linux","node_kubernetes_io_instance_type":"k3s","node_role_kubernetes_io_control_plane":"true"},"scrapePool":"kubelet","scrapeUrl":"https://kubernetes.default.svc:443/api/v1/nodes/kc-lab-1/proxy/metrics","globalUrl":"https://kubernetes.default.svc:443/api/v1/nodes/kc-lab-1/proxy/metrics","lastError":"","lastScrape":"2026-09-21T08:16:57.917954396Z","lastScrapeDuration":0.287750739,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"},{"discoveredLabels":{"__address__":"192.168.122.12:10250","__meta_kubernetes_node_address_Hostname":"kc-lab-2","__meta_kubernetes_node_address_InternalIP":"192.168.122.12","__meta_kubernetes_node_annotation_alpha_kubernetes_io_provided_node_ip":"192.168.122.12","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_backend_data":"{\"VNI\":1,\"VtepMAC\":\"4e:20:c2:33:49:a8\"}","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_backend_type":"vxlan","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_kube_subnet_manager":"true","__meta_kubernetes_node_annotation_flannel_alpha_coreos_com_public_ip":"192.168.122.12","__meta_kubernetes_node_annotation_k3s_io_hostname":"kc-lab-2","__meta_kubernetes_node_annotation_k3s_io_internal_ip":"192.168.122.12","__meta_kubernetes_node_annotation_k3s_io_node_args":"[\"agent\",\"--server\",\"https://192.168.122.11:6443\",\"--token-file\",\"/etc/rancher/node-token\",\"--node-ip\",\"192.168.122.12\"]","__meta_kubernetes_node_annotation_k3s_io_node_config_hash":"VDQHYJE77KVWOHPUF3NPP2OEPDWV6I2JDJA3J5MWGXPB5G3Z3X2A====","__meta_kubernetes_node_annotation_k3s_io_node_env":"{}","__meta_kubernetes_node_annotation_node_alpha_kubernetes_io_ttl":"0","__meta_kubernetes_node_annotation_volumes_kubernetes_io_controller_managed_attach_detach":"true","__meta_kubernetes_node_annotationpresent_alpha_kubernetes_io_provided_node_ip":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_backend_data":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_backend_type":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_kube_subnet_manager":"true","__meta_kubernetes_node_annotationpresent_flannel_alpha_coreos_com_public_ip":"true","__meta_kubernetes_node_annotationpresent_k3s_io_hostname":"true","__meta_kubernetes_node_annotationpresent_k3s_io_internal_ip":"true","__meta_kubernetes_node_annotationpresent_k3s_io_node_args":"true","__meta_kubernetes_node_annotationpresent_k3s_io_node_config_hash":"true","__meta_kubernetes_node_annotationpresent_k3s_io_node_env":"true","__meta_kubernetes_node_annotationpresent_node_alpha_kubernetes_io_ttl":"true","__meta_kubernetes_node_annotationpresent_volumes_kubernetes_io_controller_managed_attach_detach":"true","__meta_kubernetes_node_label_beta_kubernetes_io_arch":"amd64","__meta_kubernetes_node_label_beta_kubernetes_io_instance_type":"k3s","__meta_kubernetes_node_label_beta_kubernetes_io_os":"linux","__meta_kubernetes_node_label_kubernetes_io_arch":"amd64","__meta_kubernetes_node_label_kubernetes_io_hostname":"kc-lab-2","__meta_kubernetes_node_label_kubernetes_io_os":"linux","__meta_kubernetes_node_label_node_kubernetes_io_instance_type":"k3s","__meta_kubernetes_node_labelpresent_beta_kubernetes_io_arch":"true","__meta_kubernetes_node_labelpresent_beta_kubernetes_io_instance_type":"true","__meta_kubernetes_node_labelpresent_beta_kubernetes_io_os":"true","__meta_kubernetes_node_labelpresent_kubernetes_io_arch":"true","__meta_kubernetes_node_labelpresent_kubernetes_io_hostname":"true","__meta_kubernetes_node_labelpresent_kubernetes_io_os":"true","__meta_kubernetes_node_labelpresent_node_kubernetes_io_instance_type":"true","__meta_kubernetes_node_name":"kc-lab-2","__meta_kubernetes_node_provider_id":"k3s://kc-lab-2","__metrics_path__":"/metrics","__scheme__":"https","__scrape_interval__":"15s","__scrape_timeout__":"10s","instance":"kc-lab-2","job":"kubelet"},"labels":{"beta_kubernetes_io_arch":"amd64","beta_kubernetes_io_instance_type":"k3s","beta_kubernetes_io_os":"linux","instance":"kc-lab-2","job":"kubelet","kubernetes_io_arch":"amd64","kubernetes_io_hostname":"kc-lab-2","kubernetes_io_os":"linux","node_kubernetes_io_instance_type":"k3s"},"scrapePool":"kubelet","scrapeUrl":"https://kubernetes.default.svc:443/api/v1/nodes/kc-lab-2/proxy/metrics","globalUrl":"https://kubernetes.default.svc:443/api/v1/nodes/kc-lab-2/proxy/metrics","lastError":"","lastScrape":"2026-09-21T08:16:56.641012898Z","lastScrapeDuration":0.037764847,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"},{"discoveredLabels":{"__address__":"192.168.122.11:9100","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"node-exporter-26bzd","__meta_kubernetes_endpoint_node_name":"kc-lab-1","__meta_kubernetes_endpoint_port_name":"metrics","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:16:27Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"node-exporter","__meta_kubernetes_namespace":"observability","__meta_kubernetes_pod_container_image":"prom/node-exporter:v1.8.2","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"node-exporter","__meta_kubernetes_pod_container_port_name":"metrics","__meta_kubernetes_pod_container_port_number":"9100","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"DaemonSet","__meta_kubernetes_pod_controller_name":"node-exporter","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"192.168.122.11","__meta_kubernetes_pod_label_app":"node-exporter","__meta_kubernetes_pod_label_controller_revision_hash":"856fbdb7d9","__meta_kubernetes_pod_label_pod_template_generation":"1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_pod_template_generation":"true","__meta_kubernetes_pod_name":"node-exporter-26bzd","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"4813ca6d-6049-4377-ac30-225cb9725b70","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"node-exporter\",\"namespace\":\"observability\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"metrics\",\"port\":9100,\"targetPort\":\"metrics\"}],\"selector\":{\"app\":\"node-exporter\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"node-exporter","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"node-exporter"},"labels":{"instance":"192.168.122.11:9100","job":"node-exporter","node":"kc-lab-1"},"scrapePool":"node-exporter","scrapeUrl":"http://192.168.122.11:9100/metrics","globalUrl":"http://192.168.122.11:9100/metrics","lastError":"","lastScrape":"2026-09-21T08:16:56.601495667Z","lastScrapeDuration":0.026543076,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"},{"discoveredLabels":{"__address__":"192.168.122.12:9100","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"node-exporter-6c5nj","__meta_kubernetes_endpoint_node_name":"kc-lab-2","__meta_kubernetes_endpoint_port_name":"metrics","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:16:27Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"node-exporter","__meta_kubernetes_namespace":"observability","__meta_kubernetes_pod_container_image":"prom/node-exporter:v1.8.2","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"node-exporter","__meta_kubernetes_pod_container_port_name":"metrics","__meta_kubernetes_pod_container_port_number":"9100","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"DaemonSet","__meta_kubernetes_pod_controller_name":"node-exporter","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"192.168.122.12","__meta_kubernetes_pod_label_app":"node-exporter","__meta_kubernetes_pod_label_controller_revision_hash":"856fbdb7d9","__meta_kubernetes_pod_label_pod_template_generation":"1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_pod_template_generation":"true","__meta_kubernetes_pod_name":"node-exporter-6c5nj","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"3757dff4-93ee-40bd-ac67-0e57ea5dff50","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"node-exporter\",\"namespace\":\"observability\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"metrics\",\"port\":9100,\"targetPort\":\"metrics\"}],\"selector\":{\"app\":\"node-exporter\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"node-exporter","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"node-exporter"},"labels":{"instance":"192.168.122.12:9100","job":"node-exporter","node":"kc-lab-2"},"scrapePool":"node-exporter","scrapeUrl":"http://192.168.122.12:9100/metrics","globalUrl":"http://192.168.122.12:9100/metrics","lastError":"","lastScrape":"2026-09-21T08:16:54.275009034Z","lastScrapeDuration":0.025998758,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"},{"discoveredLabels":{"__address__":"localhost:9090","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"prometheus"},"labels":{"instance":"localhost:9090","job":"prometheus"},"scrapePool":"prometheus","scrapeUrl":"http://localhost:9090/metrics","globalUrl":"http://prometheus-6774f94f7c-d6r84:9090/metrics","lastError":"","lastScrape":"2026-09-21T08:17:02.610019507Z","lastScrapeDuration":0.016351894,"health":"up","scrapeInterval":"15s","scrapeTimeout":"10s"}],"droppedTargets":[{"discoveredLabels":{"__address__":"10.42.0.9:8080","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"keycloak-1","__meta_kubernetes_endpoint_node_name":"kc-lab-1","__meta_kubernetes_endpoint_port_name":"http","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"keycloak","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"http","__meta_kubernetes_pod_container_port_number":"8080","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.9","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"1","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-1","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"e97237d0-82c5-48eb-b244-3f93d10125ac","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.1.4:8080","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"keycloak-0","__meta_kubernetes_endpoint_node_name":"kc-lab-2","__meta_kubernetes_endpoint_port_name":"http","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"keycloak","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"http","__meta_kubernetes_pod_container_port_number":"8080","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.4","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"0","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-0","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-0","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"316876a3-efdd-4d9e-b9ad-f4d7d9439f81","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.0.9:9000","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"keycloak","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"management","__meta_kubernetes_pod_container_port_number":"9000","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.9","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"1","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-1","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"e97237d0-82c5-48eb-b244-3f93d10125ac","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.0.9:7800","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"keycloak","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"jgroups","__meta_kubernetes_pod_container_port_number":"7800","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.9","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"1","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-1","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"e97237d0-82c5-48eb-b244-3f93d10125ac","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.1.4:9000","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"keycloak","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"management","__meta_kubernetes_pod_container_port_number":"9000","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.4","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"0","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-0","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-0","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"316876a3-efdd-4d9e-b9ad-f4d7d9439f81","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.1.4:7800","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"keycloak","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"jgroups","__meta_kubernetes_pod_container_port_number":"7800","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.4","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"0","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-0","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-0","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"316876a3-efdd-4d9e-b9ad-f4d7d9439f81","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.0.9:8080","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"keycloak-1","__meta_kubernetes_endpoint_hostname":"keycloak-1","__meta_kubernetes_endpoint_node_name":"kc-lab-1","__meta_kubernetes_endpoint_port_name":"http","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"keycloak-headless","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"http","__meta_kubernetes_pod_container_port_number":"8080","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.9","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"1","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-1","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"e97237d0-82c5-48eb-b244-3f93d10125ac","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak-headless\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"},{\"name\":\"management\",\"port\":9000,\"targetPort\":\"management\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak-headless","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.1.4:8080","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"keycloak-0","__meta_kubernetes_endpoint_hostname":"keycloak-0","__meta_kubernetes_endpoint_node_name":"kc-lab-2","__meta_kubernetes_endpoint_port_name":"http","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"keycloak-headless","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"http","__meta_kubernetes_pod_container_port_number":"8080","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.4","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"0","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-0","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-0","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"316876a3-efdd-4d9e-b9ad-f4d7d9439f81","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak-headless\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"},{\"name\":\"management\",\"port\":9000,\"targetPort\":\"management\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak-headless","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.0.9:7800","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"keycloak-headless","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"jgroups","__meta_kubernetes_pod_container_port_number":"7800","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.9","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"1","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-1","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-1","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"e97237d0-82c5-48eb-b244-3f93d10125ac","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak-headless\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"},{\"name\":\"management\",\"port\":9000,\"targetPort\":\"management\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak-headless","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.1.4:7800","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:13:23Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_labelpresent_service_kubernetes_io_headless":"true","__meta_kubernetes_endpoints_name":"keycloak-headless","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"quay.io/keycloak/keycloak:26.7.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"keycloak","__meta_kubernetes_pod_container_port_name":"jgroups","__meta_kubernetes_pod_container_port_number":"7800","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"StatefulSet","__meta_kubernetes_pod_controller_name":"keycloak","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.4","__meta_kubernetes_pod_label_app":"keycloak","__meta_kubernetes_pod_label_apps_kubernetes_io_pod_index":"0","__meta_kubernetes_pod_label_controller_revision_hash":"keycloak-658b7db769","__meta_kubernetes_pod_label_statefulset_kubernetes_io_pod_name":"keycloak-0","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_apps_kubernetes_io_pod_index":"true","__meta_kubernetes_pod_labelpresent_controller_revision_hash":"true","__meta_kubernetes_pod_labelpresent_statefulset_kubernetes_io_pod_name":"true","__meta_kubernetes_pod_name":"keycloak-0","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"316876a3-efdd-4d9e-b9ad-f4d7d9439f81","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"keycloak-headless\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"clusterIP\":\"None\",\"ports\":[{\"name\":\"http\",\"port\":8080,\"targetPort\":\"http\"},{\"name\":\"management\",\"port\":9000,\"targetPort\":\"management\"}],\"selector\":{\"app\":\"keycloak\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"keycloak-headless","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.1.6:5432","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"postgres-7b474b88c8-bmgxq","__meta_kubernetes_endpoint_node_name":"kc-lab-2","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:12:46Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"postgres","__meta_kubernetes_namespace":"keycloak-lab","__meta_kubernetes_pod_container_image":"postgres:16-alpine","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"postgres","__meta_kubernetes_pod_container_port_name":"postgres","__meta_kubernetes_pod_container_port_number":"5432","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"ReplicaSet","__meta_kubernetes_pod_controller_name":"postgres-7b474b88c8","__meta_kubernetes_pod_host_ip":"192.168.122.12","__meta_kubernetes_pod_ip":"10.42.1.6","__meta_kubernetes_pod_label_app":"postgres","__meta_kubernetes_pod_label_pod_template_hash":"7b474b88c8","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_pod_template_hash":"true","__meta_kubernetes_pod_name":"postgres-7b474b88c8-bmgxq","__meta_kubernetes_pod_node_name":"kc-lab-2","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"b65a45fd-8216-4b69-9a52-6b32d92da997","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"postgres\",\"namespace\":\"keycloak-lab\"},\"spec\":{\"ports\":[{\"port\":5432,\"targetPort\":\"postgres\"}],\"selector\":{\"app\":\"postgres\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"postgres","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"keycloak"}},{"discoveredLabels":{"__address__":"10.42.0.12:9090","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"prometheus-6774f94f7c-d6r84","__meta_kubernetes_endpoint_node_name":"kc-lab-1","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:16:55Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"prometheus","__meta_kubernetes_namespace":"observability","__meta_kubernetes_pod_container_image":"prom/prometheus:v3.1.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"prometheus","__meta_kubernetes_pod_container_port_name":"http","__meta_kubernetes_pod_container_port_number":"9090","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"ReplicaSet","__meta_kubernetes_pod_controller_name":"prometheus-6774f94f7c","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.12","__meta_kubernetes_pod_label_app":"prometheus","__meta_kubernetes_pod_label_pod_template_hash":"6774f94f7c","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_pod_template_hash":"true","__meta_kubernetes_pod_name":"prometheus-6774f94f7c-d6r84","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"false","__meta_kubernetes_pod_uid":"1fa68e34-2508-48d2-9fd1-1ca42ae7c60f","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"prometheus\",\"namespace\":\"observability\"},\"spec\":{\"ports\":[{\"port\":9090,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"prometheus\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"prometheus","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"node-exporter"}},{"discoveredLabels":{"__address__":"10.42.0.10:3000","__meta_kubernetes_endpoint_address_target_kind":"Pod","__meta_kubernetes_endpoint_address_target_name":"grafana-845b5678cf-vjpcm","__meta_kubernetes_endpoint_node_name":"kc-lab-1","__meta_kubernetes_endpoint_port_protocol":"TCP","__meta_kubernetes_endpoint_ready":"true","__meta_kubernetes_endpoints_annotation_endpoints_kubernetes_io_last_change_trigger_time":"2026-09-21T08:16:53Z","__meta_kubernetes_endpoints_annotationpresent_endpoints_kubernetes_io_last_change_trigger_time":"true","__meta_kubernetes_endpoints_label_endpoints_kubernetes_io_managed_by":"endpoint-controller","__meta_kubernetes_endpoints_labelpresent_endpoints_kubernetes_io_managed_by":"true","__meta_kubernetes_endpoints_name":"grafana","__meta_kubernetes_namespace":"observability","__meta_kubernetes_pod_container_image":"grafana/grafana:11.4.0","__meta_kubernetes_pod_container_init":"false","__meta_kubernetes_pod_container_name":"grafana","__meta_kubernetes_pod_container_port_name":"http","__meta_kubernetes_pod_container_port_number":"3000","__meta_kubernetes_pod_container_port_protocol":"TCP","__meta_kubernetes_pod_controller_kind":"ReplicaSet","__meta_kubernetes_pod_controller_name":"grafana-845b5678cf","__meta_kubernetes_pod_host_ip":"192.168.122.11","__meta_kubernetes_pod_ip":"10.42.0.10","__meta_kubernetes_pod_label_app":"grafana","__meta_kubernetes_pod_label_pod_template_hash":"845b5678cf","__meta_kubernetes_pod_labelpresent_app":"true","__meta_kubernetes_pod_labelpresent_pod_template_hash":"true","__meta_kubernetes_pod_name":"grafana-845b5678cf-vjpcm","__meta_kubernetes_pod_node_name":"kc-lab-1","__meta_kubernetes_pod_phase":"Running","__meta_kubernetes_pod_ready":"true","__meta_kubernetes_pod_uid":"d235bba3-7379-4202-b373-8059115c4c3f","__meta_kubernetes_service_annotation_kubectl_kubernetes_io_last_applied_configuration":"{\"apiVersion\":\"v1\",\"kind\":\"Service\",\"metadata\":{\"annotations\":{},\"name\":\"grafana\",\"namespace\":\"observability\"},\"spec\":{\"ports\":[{\"port\":3000,\"targetPort\":\"http\"}],\"selector\":{\"app\":\"grafana\"}}}\n","__meta_kubernetes_service_annotationpresent_kubectl_kubernetes_io_last_applied_configuration":"true","__meta_kubernetes_service_name":"grafana","__metrics_path__":"/metrics","__scheme__":"http","__scrape_interval__":"15s","__scrape_timeout__":"10s","job":"node-exporter"}}],"droppedTargetCounts":{"keycloak":11,"kubelet":0,"node-exporter":2,"prometheus":0}}}CAN_I +Warning: resource 'nodes' is not namespace scoped + +yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/29-setup06-final-queries.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/29-setup06-final-queries.txt new file mode 100644 index 0000000..4f3846e --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/29-setup06-final-queries.txt @@ -0,0 +1,50 @@ +JOBS +"job":"keycloak" +"job":"kubelet" +"job":"node-exporter" +"job":"prometheus" +HEALTH +"job":"keycloak"} +"job":"keycloak" +"lastError":"" +"health":"up" +"job":"keycloak"} +"job":"keycloak" +"lastError":"" +"health":"up" +"job":"kubelet"} +"job":"kubelet" +"lastError":"" +"health":"up" +"job":"kubelet"} +"job":"kubelet" +"lastError":"" +"health":"up" +"job":"node-exporter"} +"job":"node-exporter" +"lastError":"" +"health":"up" +"job":"node-exporter"} +"job":"node-exporter" +"lastError":"" +"health":"up" +"job":"prometheus"} +"job":"prometheus"} +"lastError":"" +"health":"up" +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"keycloak"}} +"job":"node-exporter"}} +"job":"node-exporter"}}] +CLUSTER +{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-1-3090","instance":"10.42.0.9:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1789978660.626,"2"]},{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-0-54474","instance":"10.42.1.4:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1789978660.626,"2"]}]}}UP +{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"up","instance":"10.42.0.9:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1789978660.710,"1"]},{"metric":{"__name__":"up","instance":"10.42.1.4:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1789978660.710,"1"]},{"metric":{"__name__":"up","instance":"192.168.122.12:9100","job":"node-exporter","node":"kc-lab-2"},"value":[1789978660.710,"1"]},{"metric":{"__name__":"up","instance":"192.168.122.11:9100","job":"node-exporter","node":"kc-lab-1"},"value":[1789978660.710,"1"]},{"metric":{"__name__":"up","beta_kubernetes_io_arch":"amd64","beta_kubernetes_io_instance_type":"k3s","beta_kubernetes_io_os":"linux","instance":"kc-lab-2","job":"kubelet","kubernetes_io_arch":"amd64","kubernetes_io_hostname":"kc-lab-2","kubernetes_io_os":"linux","node_kubernetes_io_instance_type":"k3s"},"value":[1789978660.710,"1"]},{"metric":{"__name__":"up","beta_kubernetes_io_arch":"amd64","beta_kubernetes_io_instance_type":"k3s","beta_kubernetes_io_os":"linux","instance":"kc-lab-1","job":"kubelet","kubernetes_io_arch":"amd64","kubernetes_io_hostname":"kc-lab-1","kubernetes_io_os":"linux","node_kubernetes_io_instance_type":"k3s","node_role_kubernetes_io_control_plane":"true"},"value":[1789978660.710,"1"]},{"metric":{"__name__":"up","instance":"localhost:9090","job":"prometheus"},"value":[1789978660.710,"1"]}]}} \ No newline at end of file diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/30-setup06-manifest-images.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/30-setup06-manifest-images.txt new file mode 100644 index 0000000..54a18ee --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/30-setup06-manifest-images.txt @@ -0,0 +1,13 @@ +IMAGES +69: scrape_interval: 15s +165: nodeSelector: +171: image: prom/prometheus:v3.1.0 +177: - --storage.tsdb.retention.time=7d +239: image: prom/node-exporter:v1.8.2 +290: nodeSelector: +294: image: grafana/grafana:11.4.0 +RUNNING_IMAGES +grafana-845b5678cf-vjpcm grafana/grafana:11.4.0 +node-exporter-26bzd prom/node-exporter:v1.8.2 +node-exporter-6c5nj prom/node-exporter:v1.8.2 +prometheus-6774f94f7c-d6r84 prom/prometheus:v3.1.0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/31-setup06-grafana-portforward.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/31-setup06-grafana-portforward.txt new file mode 100644 index 0000000..2806c6c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/31-setup06-grafana-portforward.txt @@ -0,0 +1,7 @@ +{ + "database": "ok", + "version": "11.4.0", + "commit": "b58701869e1a11b696010a6f28bd96b68a2cf0d0" +}Forwarding from 127.0.0.1:3001 -> 3000 +Forwarding from [::1]:3001 -> 3000 +Handling connection for 3001 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/32-setup06-manifest-context.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/32-setup06-manifest-context.txt new file mode 100644 index 0000000..5454f79 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/32-setup06-manifest-context.txt @@ -0,0 +1,143 @@ +kind: ConfigMap +metadata: + name: prometheus-config + namespace: observability +data: + prometheus.yml: | + global: + # 15s is short for production but right here: a node loss should show up + # within a couple of samples, not a minute later. + scrape_interval: 15s + evaluation_interval: 15s + + scrape_configs: + # Prometheus scraping itself. Useful as a control: if this target is down, + # the problem is Prometheus, not the thing being measured. + - job_name: prometheus + static_configs: + - targets: ['localhost:9090'] + + # Keycloak. Metrics live on the management port 9000, not 8080 — the same + # split that the health probes use. KC_METRICS_ENABLED=true is already set + # on the StatefulSet. + # + # Discovery is by endpoints rather than a static list because pod IPs + # change on every restart; that was observed directly when the lab was + # power-cycled and every pod came back with a new address. + - job_name: keycloak + kubernetes_sd_configs: + - role: endpoints + namespaces: + names: [keycloak-lab] + selector: + matchLabels: + app: prometheus + template: + metadata: + labels: + app: prometheus + spec: + serviceAccountName: prometheus + # See the placement note at the top of this file. + nodeSelector: + node-role.kubernetes.io/control-plane: "true" + securityContext: + fsGroup: 65534 # the image runs as nobody and must own the volume + containers: + - name: prometheus + image: prom/prometheus:v3.1.0 + args: + - --config.file=/etc/prometheus/prometheus.yml + - --storage.tsdb.path=/prometheus + # 7 days is far more than an experiment needs and keeps the volume + # small enough that it never becomes the reason a node fills up. + - --storage.tsdb.retention.time=7d + - --web.enable-lifecycle + ports: + - containerPort: 9090 + name: http + volumeMounts: + - name: config + mountPath: /etc/prometheus + - name: data + matchLabels: + app: node-exporter + template: + metadata: + labels: + app: node-exporter + spec: + # Host namespaces: the point is to measure the machine, not the container. + hostNetwork: true + hostPID: true + tolerations: + - operator: Exists # must also run on tainted nodes + containers: + - name: node-exporter + image: prom/node-exporter:v1.8.2 + args: + - --path.procfs=/host/proc + - --path.sysfs=/host/sys + - --path.rootfs=/host/root + - --collector.filesystem.mount-points-exclude=^/(dev|proc|sys|var/lib/docker/.+|var/lib/kubelet/.+)($|/) + ports: + - containerPort: 9100 + name: metrics + hostPort: 9100 + volumeMounts: + - { name: proc, mountPath: /host/proc, readOnly: true } + - { name: sys, mountPath: /host/sys, readOnly: true } + - { name: rootfs, mountPath: /host/root, readOnly: true, mountPropagation: HostToContainer } + resources: + requests: { memory: 32Mi, cpu: 20m } + limits: { memory: 96Mi } + volumes: + - { name: proc, hostPath: { path: /proc } } + - { name: sys, hostPath: { path: /sys } } + - { name: rootfs, hostPath: { path: / } } +--- +apiVersion: v1 +kind: Service +metadata: + name: node-exporter + namespace: observability +spec: + clusterIP: None # headless: Prometheus wants each pod, not a VIP + selector: + app: node-exporter + ports: + - port: 9100 + targetPort: metrics + name: metrics +--- +apiVersion: apps/v1 +kind: Deployment +metadata: + name: grafana + namespace: observability +spec: + replicas: 1 + selector: + matchLabels: + app: grafana + template: + metadata: + labels: + app: grafana + spec: + nodeSelector: + node-role.kubernetes.io/control-plane: "true" + containers: + - name: grafana + image: grafana/grafana:11.4.0 + ports: + - containerPort: 3000 + name: http + env: + - name: GF_SECURITY_ADMIN_USER + value: admin + - name: GF_SECURITY_ADMIN_PASSWORD + value: lab-grafana-change-me + # Grafana builds absolute URLs for redirects and asset paths. Behind + # the nginx -> Traefik chain it must be told the external address, + # for exactly the reason Keycloak needs KC_HOSTNAME. Without it, diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/33-setup07-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/33-setup07-baseline.txt new file mode 100644 index 0000000..5018243 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/33-setup07-baseline.txt @@ -0,0 +1,31 @@ +DOMINFO +Max memory: 5242880 KiB +Used memory: 5242880 KiB +Max memory: 4194304 KiB +Used memory: 4194304 KiB +INACTIVE + 5242880 + 5242880 + 4194304 + 4194304 +GUESTFREE + total used free shared buff/cache available +Mem: 4929 2146 115 2 2951 2783 +Swap: 0 0 0 + total used free shared buff/cache available +Mem: 3927 1172 1149 23 1876 2755 +Swap: 0 0 0 +WORKLOADS +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 7m39s 10.42.1.4 kc-lab-2 +keycloak-1 1/1 Running 0 7m39s 10.42.0.9 kc-lab-1 +postgres-7b474b88c8-bmgxq 1/1 Running 0 7m39s 10.42.1.6 kc-lab-2 +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +grafana-845b5678cf-vjpcm 1/1 Running 0 3m24s 10.42.0.10 kc-lab-1 +node-exporter-26bzd 1/1 Running 0 3m24s 192.168.122.11 kc-lab-1 +node-exporter-6c5nj 1/1 Running 0 3m24s 192.168.122.12 kc-lab-2 +prometheus-6774f94f7c-d6r84 1/1 Running 0 3m24s 10.42.0.12 kc-lab-1 +PVC +pvc=pvc-6ba2a481-a230-429b-8451-bd6c6b2bbd49 +path=/var/lib/rancher/k3s/storage/pvc-6ba2a481-a230-429b-8451-bd6c6b2bbd49_keycloak-lab_postgres-data +nodeAffinity=kc-lab-2 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/34-setup07-memory-config-probe.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/34-setup07-memory-config-probe.txt new file mode 100644 index 0000000..dd5f075 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/34-setup07-memory-config-probe.txt @@ -0,0 +1,21 @@ +BEFORE +Max memory: 5242880 KiB +Used memory: 5242880 KiB + 5242880 + 5242880 + + +AFTER_4608_CONFIG +Max memory: 5242880 KiB +Used memory: 5242880 KiB + 4718592 + 4718592 + total used free shared buff/cache available +Mem: 4929 2146 115 2 2951 2782 + + +RESTORED_5120_CONFIG + 5242880 + 5242880 +Max memory: 5242880 KiB +Used memory: 5242880 KiB diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/35-setup07-scale-down.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/35-setup07-scale-down.txt new file mode 100644 index 0000000..6832bad --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/35-setup07-scale-down.txt @@ -0,0 +1,16 @@ +PVPATH=/var/lib/rancher/k3s/storage/pvc-6ba2a481-a230-429b-8451-bd6c6b2bbd49_keycloak-lab_postgres-data +BEFORE_POSTMASTER +exists +statefulset.apps/keycloak scaled +pod/keycloak-0 condition met +pod/keycloak-1 condition met +deployment.apps/postgres scaled +pod/postgres-7b474b88c8-bmgxq condition met +AFTER_SCALE_DOWN_POSTMASTER +absent +No resources found in keycloak-lab namespace. +NAME READY STATUS RESTARTS AGE +grafana-845b5678cf-vjpcm 1/1 Running 0 4m2s +node-exporter-26bzd 1/1 Running 0 4m2s +node-exporter-6c5nj 1/1 Running 0 4m2s +prometheus-6774f94f7c-d6r84 1/1 Running 0 4m2s diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/36-setup07-vm-shutdown-start.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/36-setup07-vm-shutdown-start.txt new file mode 100644 index 0000000..4bdaebc --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/36-setup07-vm-shutdown-start.txt @@ -0,0 +1,28 @@ +Domain 'kc-lab-1' is being shutdown + +Domain 'kc-lab-2' is being shutdown + +shutdown_poll_1 kc-lab-1=running kc-lab-2=running +shutdown_poll_2 kc-lab-1=running kc-lab-2=in shutdown +shutdown_poll_3 kc-lab-1=shut off kc-lab-2=shut off +AFTER_SHUTDOWN + Id Name State +------------------------------ + 15 kc-lab-edge running + - kc-lab-1 shut off + - kc-lab-2 shut off + + total used free shared buff/cache available +Mem: 11Gi 1.6Gi 8.8Gi 2.4Mi 1.3Gi 9.7Gi +Swap: 8.0Gi 260Mi 7.7Gi +Domain 'kc-lab-1' started + +Domain 'kc-lab-2' started + +AFTER_START + Id Name State +----------------------------- + 15 kc-lab-edge running + 20 kc-lab-1 running + 21 kc-lab-2 running + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery-precheck.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery-precheck.txt new file mode 100644 index 0000000..e900c82 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery-precheck.txt @@ -0,0 +1,13 @@ +KC1 +kc-lab-1 +active +KC2 +kc-lab-2 +activating +NODES +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 46m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 18m v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +REPLICAS +keycloak=0 +postgres=0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/37-setup07-recovery.txt new file mode 100644 index 0000000..e69de29 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/38-setup07-recover-workloads.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/38-setup07-recover-workloads.txt new file mode 100644 index 0000000..030b499 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/38-setup07-recover-workloads.txt @@ -0,0 +1,45 @@ +OBSERVABILITY_AFTER_VM_START +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +grafana-845b5678cf-vjpcm 1/1 Running 1 (3m20s ago) 7m38s 10.42.0.19 kc-lab-1 +node-exporter-26bzd 1/1 Running 1 (3m20s ago) 7m38s 192.168.122.11 kc-lab-1 +node-exporter-6c5nj 1/1 Running 1 (86s ago) 7m38s 192.168.122.12 kc-lab-2 +prometheus-6774f94f7c-d6r84 1/1 Running 1 (3m20s ago) 7m38s 10.42.0.20 kc-lab-1 +MEMORY_AFTER_REBOOT +Max memory: 5242880 KiB +Used memory: 5242880 KiB + total used free shared buff/cache available +Mem: 4929 1341 2916 2 898 3588 +Max memory: 4194304 KiB +Used memory: 4194304 KiB + total used free shared buff/cache available +Mem: 3927 455 3335 1 353 3472 +START_POSTGRES +deployment.apps/postgres scaled +Waiting for deployment "postgres" rollout to finish: 0 out of 1 new replicas have been updated... +Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available... +deployment "postgres" successfully rolled out +POSTMASTER_WHILE_RUNNING +exists +POSTGRES_LOG + +PostgreSQL Database directory appears to contain a database; Skipping initialization + +2026-09-21 08:23:58.677 UTC [1] LOG: starting PostgreSQL 16.15 on x86_64-pc-linux-musl, compiled by gcc (Alpine 15.2.0) 15.2.0, 64-bit +2026-09-21 08:23:58.677 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432 +2026-09-21 08:23:58.677 UTC [1] LOG: listening on IPv6 address "::", port 5432 +2026-09-21 08:23:58.691 UTC [1] LOG: listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432" +2026-09-21 08:23:58.703 UTC [28] LOG: database system was shut down at 2026-09-21 08:20:18 UTC +2026-09-21 08:23:58.716 UTC [1] LOG: database system is ready to accept connections +START_KEYCLOAK +statefulset.apps/keycloak scaled +Waiting for 2 pods to be ready... +Waiting for 1 pods to be ready... +partitioned roll out complete: 2 new pods have been updated... +FINAL +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +keycloak-0 1/1 Running 0 41s 10.42.1.11 kc-lab-2 +keycloak-1 1/1 Running 0 41s 10.42.0.21 kc-lab-1 +postgres-7b474b88c8-x7th5 1/1 Running 0 54s 10.42.1.10 kc-lab-2 +NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME +kc-lab-1 Ready control-plane 47m v1.36.4+k3s1 192.168.122.11 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 +kc-lab-2 Ready 19m v1.36.4+k3s1 192.168.122.12 Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/39-setup07-postrecovery-cluster.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/39-setup07-postrecovery-cluster.txt new file mode 100644 index 0000000..8d18efe --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/39-setup07-postrecovery-cluster.txt @@ -0,0 +1,7 @@ +{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-1-14503","instance":"10.42.0.21:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1789979229.054,"2"]},{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-0-62696","instance":"10.42.1.11:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1789979229.054,"2"]}]}} + name | ip +------------------+----------------- + keycloak-0-62696 | 10.42.1.11:7800 + keycloak-1-14503 | 10.42.0.21:7800 +(2 rows) + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/40-setup03-coredns-precheck.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/40-setup03-coredns-precheck.txt new file mode 100644 index 0000000..724d4f7 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/40-setup03-coredns-precheck.txt @@ -0,0 +1,4 @@ +Error from server (NotFound): configmaps "coredns-custom" not found +100.83.212.4 auth.hyeonworks.com +192.168.122.11 kc-lab-1 +192.168.122.12 kc-lab-2 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/41-setup03-coredns-state-after-block.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/41-setup03-coredns-state-after-block.txt new file mode 100644 index 0000000..d38f946 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/41-setup03-coredns-state-after-block.txt @@ -0,0 +1,9 @@ +FILE +no +CONFIGMAP +Error from server (NotFound): configmaps "coredns-custom" not found +PODS +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +coredns-54996dc9b4-ndf4n 1/1 Running 1 (9m10s ago) 52m 10.42.0.16 kc-lab-1 +RESOLVE +100.83.212.4 auth.hyeonworks.com diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/42-setup03-coredns-apply-verify.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/42-setup03-coredns-apply-verify.txt new file mode 100644 index 0000000..4510da3 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/42-setup03-coredns-apply-verify.txt @@ -0,0 +1,12 @@ +configmap/coredns-custom created +pod "coredns-54996dc9b4-ndf4n" deleted from kube-system namespace +deployment "coredns" successfully rolled out +192.168.122.10 auth.hyeonworks.com +HTTP/1.1 301 Moved Permanently +Server: nginx/1.22.1 +Date: Mon, 21 Sep 2026 08:30:28 GMT +Content-Type: text/html +Content-Length: 169 +Connection: keep-alive +Location: https://auth.hyeonworks.com/ + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/43-setup03-https-traefik-precheck.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/43-setup03-https-traefik-precheck.txt new file mode 100644 index 0000000..e7ca018 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/43-setup03-https-traefik-precheck.txt @@ -0,0 +1,21 @@ +HTTPS_FROM_POD +HTTP/2 200 +server: nginx/1.22.1 +date: Mon, 21 Sep 2026 08:30:50 GMT +content-type: application/json;charset=UTF-8 +cache-control: no-cache +referrer-policy: no-referrer +strict-transport-security: max-age=31536000; includeSubDomains +x-content-type-options: nosniff +x-frame-options: SAMEORIGIN +x-robots-tag: none + +TRAEFIK_MANIFEST +22: forwardedHeaders: +26: # 10.42.0.0/16 is the pod CIDR. It is required because the traefik +38: trustedIPs: +39: - 10.42.0.0/16 +41: forwardedHeaders: +42: trustedIPs: +43: - 10.42.0.0/16 +ECHO_RESOURCES diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/44-setup03-traefik-forwarded-apply.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/44-setup03-traefik-forwarded-apply.txt new file mode 100644 index 0000000..15e8364 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/44-setup03-traefik-forwarded-apply.txt @@ -0,0 +1,43 @@ +helmchartconfig.helm.cattle.io/traefik created +deployment "traefik" successfully rolled out +apiVersion: helm.cattle.io/v1 +kind: HelmChartConfig +metadata: + annotations: + kubectl.kubernetes.io/last-applied-configuration: | + {"apiVersion":"helm.cattle.io/v1","kind":"HelmChartConfig","metadata":{"annotations":{},"name":"traefik","namespace":"kube-system"},"spec":{"valuesContent":"ports:\n web:\n forwardedHeaders:\n # Requests arriving from these sources keep their existing\n # X-Forwarded-* values instead of having them rewritten.\n #\n # 10.42.0.0/16 is the pod CIDR. It is required because the traefik\n # Service uses externalTrafficPolicy: Cluster, so svclb SNATs the\n # traffic and Traefik sees a pod-network address rather than the\n # host nginx address.\n #\n # The node/host range is deliberately absent. Because svclb SNATs,\n # the host nginx address never reaches Traefik — measured, not assumed.\n # Trusting a range that cannot appear only widens the surface.\n #\n # Trusting the whole pod CIDR still means any pod in the cluster could\n # forge these headers, which is why echo-network-policy.yaml restricts\n # who may reach the application at all.\n trustedIPs:\n - 10.42.0.0/16\n websecure:\n forwardedHeaders:\n trustedIPs:\n - 10.42.0.0/16"}} + creationTimestamp: "2026-09-21T08:31:09Z" + generation: 1 + name: traefik + namespace: kube-system + resourceVersion: "3176" + uid: 8578b3b6-1169-4fbe-ba4b-f35a156d8e09 +spec: + failurePolicy: reinstall + valuesContent: |- + ports: + web: + forwardedHeaders: + # Requests arriving from these sources keep their existing + # X-Forwarded-* values instead of having them rewritten. + # + # 10.42.0.0/16 is the pod CIDR. It is required because the traefik + # Service uses externalTrafficPolicy: Cluster, so svclb SNATs the + # traffic and Traefik sees a pod-network address rather than the + # host nginx address. + # + # The node/host range is deliberately absent. Because svclb SNATs, + # the host nginx address never reaches Traefik — measured, not assumed. + # Trusting a range that cannot appear only widens the surface. + # + # Trusting the whole pod CIDR still means any pod in the cluster could + # forge these headers, which is why echo-network-policy.yaml restricts + # who may reach the application at all. + trustedIPs: + - 10.42.0.0/16 + websecure: + forwardedHeaders: + trustedIPs: + - 10.42.0.0/16 +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +traefik-59b7647586-n68v9 1/1 Running 1 (10m ago) 53m 10.42.0.18 kc-lab-1 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/45-setup03-traefik-rendered-verify.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/45-setup03-traefik-rendered-verify.txt new file mode 100644 index 0000000..9adab8a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/45-setup03-traefik-rendered-verify.txt @@ -0,0 +1,7 @@ +2 2 +NAME DESIRED CURRENT READY AGE +traefik-59b7647586 0 0 0 53m +traefik-5d6fcf895 1 1 1 26s +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +traefik-5d6fcf895-bptbq 1/1 Running 0 26s 10.42.1.16 kc-lab-2 +helm-install-traefik diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/46-setup03-traefik-args.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/46-setup03-traefik-args.txt new file mode 100644 index 0000000..8e5db81 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/46-setup03-traefik-args.txt @@ -0,0 +1,17 @@ + + + + + + + + + + + + + + + + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt new file mode 100644 index 0000000..5e0cedd --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt @@ -0,0 +1,103 @@ +=== libvirt network === + Name State Autostart Persistent +-------------------------------------------- + default active yes yes + + + default + a14c3b01-2c56-4181-8310-e6cba888e2a8 + + + + + + + + + + + + + + + + + + +=== bridge/route === +lo UNKNOWN 00:00:00:00:00:00 +wlo1 UP 2c:6d:c1:3d:b1:d9 +tailscale0 UNKNOWN +virbr0 UP 52:54:00:6c:a6:a8 +vnet13 UNKNOWN fe:54:00:aa:bb:10 +vnet18 UNKNOWN fe:54:00:aa:bb:11 +vnet19 UNKNOWN fe:54:00:aa:bb:12 +23: vnet13: mtu 1500 master virbr0 state forwarding priority 32 cost 2 +28: vnet18: mtu 1500 master virbr0 state forwarding priority 32 cost 2 +29: vnet19: mtu 1500 master virbr0 state forwarding priority 32 cost 2 +default via 192.168.0.1 dev wlo1 proto static metric 600 +192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600 +192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1 + +=== vhost modules === +vhost_net 36864 3 +vhost 77824 1 vhost_net +vhost_iotlb 16384 1 vhost +bridge 466944 0 +tun 73728 9 vhost_net + +=== per-domain interface === +--- kc-lab-1 --- + Interface Type Source Model MAC +------------------------------------------------------------- + vnet18 network default virtio 52:54:00:aa:bb:11 + + + + + + + +

    + +--- qemu argv net --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:11","bus":"pci.1","addr":"0x0"}' +qemu_pid=272123 +--- kc-lab-2 --- + Interface Type Source Model MAC +------------------------------------------------------------- + vnet19 network default virtio 52:54:00:aa:bb:12 + + + + + + + +
    + +--- qemu argv net --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}' +qemu_pid=272149 +--- kc-lab-edge --- + Interface Type Source Model MAC +------------------------------------------------------------- + vnet13 network default virtio 52:54:00:aa:bb:10 + + + + + + + +
    + +--- qemu argv net --- +-netdev +'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}' +'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:10","bus":"pci.1","addr":"0x0"}' +qemu_pid=167796 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt new file mode 100644 index 0000000..4a338a3 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt @@ -0,0 +1,17 @@ +rx-0 +tx-0 + 38: 0 0 PCI-MSI 524288-edge virtio1-config + 39: 12684 0 PCI-MSI 524289-edge virtio1-input.0 + 40: 0 13246 PCI-MSI 524290-edge virtio1-output.0 + 41: 0 0 PCI-MSI 2097152-edge virtio3-config + 42: 20855 0 PCI-MSI 2097153-edge virtio3-req.0 + 43: 0 13442 PCI-MSI 2097154-edge virtio3-req.1 + 44: 0 0 PCI-MSI 2621440-edge virtio4-config + 45: 43 0 PCI-MSI 2621441-edge virtio4-req.0 + 46: 0 44 PCI-MSI 2621442-edge virtio4-req.1 + 47: 0 0 PCI-MSI 3670016-edge virtio6-config + 48: 0 34 PCI-MSI 3670017-edge virtio6-input + 49: 0 0 PCI-MSI 1572864-edge virtio2-config + 50: 0 30 PCI-MSI 1572865-edge virtio2-virtqueues + 51: 0 0 PCI-MSI 3145728-edge virtio5-config + 52: 0 0 PCI-MSI 3145729-edge virtio5-virtqueues diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues.txt new file mode 100644 index 0000000..ea0af0b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues.txt @@ -0,0 +1 @@ +zsh:1: ==kc-lab-1=== not found diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt new file mode 100644 index 0000000..4e106eb --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt @@ -0,0 +1,17 @@ +rx-0 +tx-0 + 38: 0 0 PCI-MSI 2097152-edge virtio3-config + 39: 13431 0 PCI-MSI 2097153-edge virtio3-req.0 + 40: 0 10017 PCI-MSI 2097154-edge virtio3-req.1 + 41: 0 0 PCI-MSI 2621440-edge virtio4-config + 42: 43 0 PCI-MSI 2621441-edge virtio4-req.0 + 43: 0 44 PCI-MSI 2621442-edge virtio4-req.1 + 44: 0 0 PCI-MSI 524288-edge virtio1-config + 45: 13948 0 PCI-MSI 524289-edge virtio1-input.0 + 46: 0 13583 PCI-MSI 524290-edge virtio1-output.0 + 47: 0 0 PCI-MSI 3670016-edge virtio6-config + 48: 0 34 PCI-MSI 3670017-edge virtio6-input + 49: 0 0 PCI-MSI 1572864-edge virtio2-config + 50: 0 29 PCI-MSI 1572865-edge virtio2-virtqueues + 51: 0 0 PCI-MSI 3145728-edge virtio5-config + 52: 0 0 PCI-MSI 3145729-edge virtio5-virtqueues diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt new file mode 100644 index 0000000..44dcb9c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt @@ -0,0 +1,172 @@ +=== filesystem and block device === +SOURCE FSTYPE TARGET OPTIONS +/dev/nvme0n1p3 ext4 / rw,relatime +NAME TYPE SIZE FSTYPE MOUNTPOINTS MODEL +nvme0n1 disk 238.5G SAMSUNG MZVLQ256HAJD-00000 +|-nvme0n1p1 part 512M vfat /boot +|-nvme0n1p2 part 8G swap [SWAP] +`-nvme0n1p3 part 230G ext4 / +scheduler=[none] mq-deadline kyber bfq +rotational=0 + +=== volumes === + Name Path +---------------------------------------------------------------------- + base.qcow2 /var/lib/libvirt/images/base.qcow2 + kc-lab-1.qcow2 /var/lib/libvirt/images/kc-lab-1.qcow2 + kc-lab-2.qcow2 /var/lib/libvirt/images/kc-lab-2.qcow2 + kc-lab-edge.qcow2 /var/lib/libvirt/images/kc-lab-edge.qcow2 + seed-kc-lab-1.iso /var/lib/libvirt/images/seed-kc-lab-1.iso + seed-kc-lab-2.iso /var/lib/libvirt/images/seed-kc-lab-2.iso + seed-kc-lab-edge.iso /var/lib/libvirt/images/seed-kc-lab-edge.iso + +--- base.qcow2 --- +Name: base.qcow2 +Type: file +Capacity: 3.00 GiB +Allocation: 323.25 MiB + +image: /var/lib/libvirt/images/base.qcow2 +file format: qcow2 +virtual size: 3 GiB (3221225472 bytes) +disk size: 323 MiB +cluster_size: 65536 +Format specific information: + compat: 1.1 + compression type: zlib + lazy refcounts: false + refcount bits: 16 + corrupt: false + extended l2: false +Child node '/file': + filename: /var/lib/libvirt/images/base.qcow2 + protocol type: file + file length: 323 MiB (338952192 bytes) + disk size: 323 MiB +--- kc-lab-1.qcow2 --- +Name: kc-lab-1.qcow2 +Type: file +Capacity: 20.00 GiB +Allocation: 3.39 GiB + +qemu-img: Could not open '/var/lib/libvirt/images/kc-lab-1.qcow2': Could not open '/var/lib/libvirt/images/kc-lab-1.qcow2': Permission denied +--- kc-lab-1.qcow2 --- +qemu-img: Could not open '/var/lib/libvirt/images/kc-lab-1.qcow2': Failed to get shared "write" lock +Is another process using the image [/var/lib/libvirt/images/kc-lab-1.qcow2]? +--- kc-lab-2.qcow2 --- +qemu-img: Could not open '/var/lib/libvirt/images/kc-lab-2.qcow2': Failed to get shared "write" lock +Is another process using the image [/var/lib/libvirt/images/kc-lab-2.qcow2]? +--- kc-lab-edge.qcow2 --- +qemu-img: Could not open '/var/lib/libvirt/images/kc-lab-edge.qcow2': Failed to get shared "write" lock +Is another process using the image [/var/lib/libvirt/images/kc-lab-edge.qcow2]? +=== kc-lab-1 === + Type Device Target Source +--------------------------------------------------------------------- + file disk vda /var/lib/libvirt/images/kc-lab-1.qcow2 + file disk vdb /var/lib/libvirt/images/seed-kc-lab-1.iso + + + + + + + + + + + +
    + + + + + + + + +
    + +XDG_CACHE_HOME=/var/lib/libvirt/qemu/domain--1-kc-lab-1/.cache +-blockdev +'{"driver":"file","filename":"/var/lib/libvirt/images/base.qcow2","node-name":"libvirt-3-storage","auto-read-only":true,"discard":"unmap"}' +-blockdev +'{"node-name":"libvirt-3-format","read-only":true,"discard":"unmap","driver":"qcow2","file":"libvirt-3-storage","backing":null}' +-blockdev +'{"driver":"file","filename":"/var/lib/libvirt/images/kc-lab-1.qcow2","node-name":"libvirt-2-storage","auto-read-only":true,"discard":"unmap"}' +-blockdev +'{"node-name":"libvirt-2-format","read-only":false,"discard":"unmap","driver":"qcow2","file":"libvirt-2-storage","backing":"libvirt-3-format"}' +-blockdev +=== kc-lab-2 === + Type Device Target Source +--------------------------------------------------------------------- + file disk vda /var/lib/libvirt/images/kc-lab-2.qcow2 + file disk vdb /var/lib/libvirt/images/seed-kc-lab-2.iso + + + + + + + + + + + +
    + + + + + + + + +
    + +XDG_CACHE_HOME=/var/lib/libvirt/qemu/domain--1-kc-lab-2/.cache +-blockdev +'{"driver":"file","filename":"/var/lib/libvirt/images/base.qcow2","node-name":"libvirt-3-storage","auto-read-only":true,"discard":"unmap"}' +-blockdev +'{"node-name":"libvirt-3-format","read-only":true,"discard":"unmap","driver":"qcow2","file":"libvirt-3-storage","backing":null}' +-blockdev +'{"driver":"file","filename":"/var/lib/libvirt/images/kc-lab-2.qcow2","node-name":"libvirt-2-storage","auto-read-only":true,"discard":"unmap"}' +-blockdev +'{"node-name":"libvirt-2-format","read-only":false,"discard":"unmap","driver":"qcow2","file":"libvirt-2-storage","backing":"libvirt-3-format"}' +-blockdev +=== kc-lab-edge === + Type Device Target Source +------------------------------------------------------------------------ + file disk vda /var/lib/libvirt/images/kc-lab-edge.qcow2 + file disk vdb /var/lib/libvirt/images/seed-kc-lab-edge.iso + + + + + + + + + + + +
    + + + + + + + + +
    + +XDG_CACHE_HOME=/var/lib/libvirt/qemu/domain--1-kc-lab-edge/.cache +-blockdev +'{"driver":"file","filename":"/var/lib/libvirt/images/base.qcow2","node-name":"libvirt-3-storage","auto-read-only":true,"discard":"unmap"}' +-blockdev +'{"node-name":"libvirt-3-format","read-only":true,"discard":"unmap","driver":"qcow2","file":"libvirt-3-storage","backing":null}' +-blockdev +'{"driver":"file","filename":"/var/lib/libvirt/images/kc-lab-edge.qcow2","node-name":"libvirt-2-storage","auto-read-only":true,"discard":"unmap"}' +-blockdev +'{"node-name":"libvirt-2-format","read-only":false,"discard":"unmap","driver":"qcow2","file":"libvirt-2-storage","backing":"libvirt-3-format"}' +-blockdev diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt new file mode 100644 index 0000000..053f20c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt @@ -0,0 +1,33 @@ +=== kc-lab-1 === +libvirt-2-format: /var/lib/libvirt/images/kc-lab-1.qcow2 (qcow2) + Attached to: /machine/peripheral/virtio-disk0/virtio-backend + Cache mode: writeback + Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1) + +libvirt-1-storage: /var/lib/libvirt/images/seed-kc-lab-1.iso (file, read-only) + Attached to: /machine/peripheral/virtio-disk1/virtio-backend + Cache mode: writeback + + +=== kc-lab-2 === +libvirt-2-format: /var/lib/libvirt/images/kc-lab-2.qcow2 (qcow2) + Attached to: /machine/peripheral/virtio-disk0/virtio-backend + Cache mode: writeback + Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1) + +libvirt-1-storage: /var/lib/libvirt/images/seed-kc-lab-2.iso (file, read-only) + Attached to: /machine/peripheral/virtio-disk1/virtio-backend + Cache mode: writeback + + +=== kc-lab-edge === +libvirt-2-format: /var/lib/libvirt/images/kc-lab-edge.qcow2 (qcow2) + Attached to: /machine/peripheral/virtio-disk0/virtio-backend + Cache mode: writeback + Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1) + +libvirt-1-storage: /var/lib/libvirt/images/seed-kc-lab-edge.iso (file, read-only) + Attached to: /machine/peripheral/virtio-disk1/virtio-backend + Cache mode: writeback + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt new file mode 100644 index 0000000..0572e96 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt @@ -0,0 +1,123 @@ +=== host topology === +Architecture: x86_64 +CPU op-mode(s): 32-bit, 64-bit +Address sizes: 39 bits physical, 48 bits virtual +Byte Order: Little Endian +CPU(s): 8 +On-line CPU(s) list: 0-7 +Vendor ID: GenuineIntel +Model name: 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz +CPU family: 6 +Model: 140 +Thread(s) per core: 2 +Core(s) per socket: 4 +Socket(s): 1 +Stepping: 1 +Microcode version: 0x86 +CPU(s) scaling MHz: 64% +CPU max MHz: 4200.0000 +CPU min MHz: 400.0000 +BogoMIPS: 4838.40 +Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l2 cdp_l2 ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb intel_pt avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves split_lock_detect user_shstk dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp hwp_pkg_req vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid movdiri movdir64b fsrm avx512_vp2intersect md_clear ibt flush_l1d arch_capabilities +Virtualization: VT-x +L1d cache: 192 KiB (4 instances) +L1i cache: 128 KiB (4 instances) +L2 cache: 5 MiB (4 instances) +L3 cache: 8 MiB (1 instance) +NUMA node(s): 1 +NUMA node0 CPU(s): 0-7 +Vulnerability Gather data sampling: Vulnerable: No microcode +Vulnerability Ghostwrite: Not affected +Vulnerability Indirect target selection: Mitigation; Aligned branch/return thunks +Vulnerability Itlb multihit: Not affected +Vulnerability L1tf: Not affected +Vulnerability Mds: Not affected +Vulnerability Meltdown: Not affected +Vulnerability Mmio stale data: Not affected +Vulnerability Old microcode: Vulnerable +Vulnerability Reg file data sampling: Not affected +Vulnerability Retbleed: Not affected +Vulnerability Spec rstack overflow: Not affected +Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl +Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization +Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; PBRSB-eIBRS SW sequence; BHI SW loop, KVM SW loop +Vulnerability Srbds: Not affected +Vulnerability Tsa: Not affected +Vulnerability Tsx async abort: Not affected +Vulnerability Vmscape: Not affected + +=== numa nodes === +/sys/devices/system/node/node0 +--- /sys/devices/system/node/node0 --- +0-7 +Node 0 MemTotal: 11927868 kB +Node 0 MemFree: 216764 kB +Node 0 MemUsed: 11711104 kB +Node 0 SwapCached: 28800 kB + +=== vcpu mapping === +--- kc-lab-1 --- +VCPU: 0 +CPU: 0 +State: running +CPU time: 166.3s +CPU Affinity: yyyyyyyy + +VCPU: 1 +CPU: 7 +State: running +CPU time: 164.6s +CPU Affinity: yyyyyyyy + + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +emulator: CPU Affinity +---------------------------------- + *: 0-7 + + PID TID PSR %CPU STAT COMMAND + 272123 272123 5 23.9 Sl qemu-system-x86 +--- kc-lab-2 --- +VCPU: 0 +CPU: 3 +State: running +CPU time: 87.5s +CPU Affinity: yyyyyyyy + +VCPU: 1 +CPU: 6 +State: running +CPU time: 85.9s +CPU Affinity: yyyyyyyy + + VCPU CPU Affinity +---------------------- + 0 0-7 + 1 0-7 + +emulator: CPU Affinity +---------------------------------- + *: 0-7 + + PID TID PSR %CPU STAT COMMAND + 272149 272149 4 12.9 Sl qemu-system-x86 +--- kc-lab-edge --- +VCPU: 0 +CPU: 1 +State: running +CPU time: 400.6s +CPU Affinity: yyyyyyyy + + VCPU CPU Affinity +---------------------- + 0 0-7 + +emulator: CPU Affinity +---------------------------------- + *: 0-7 + + PID TID PSR %CPU STAT COMMAND + 167796 167796 2 0.7 Sl qemu-system-x86 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt new file mode 100644 index 0000000..1d1abcd --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt @@ -0,0 +1,89 @@ +=== kc-lab-1 === +* CPU #0: thread_id=272131 model=host + CPU #1: thread_id=272132 model=host + + +{ + "return": [ + { + "thread-id": 272131, + "qom-type": "host-x86_64-cpu", + "props": { + "core-id": 0, + "thread-id": 0, + "socket-id": 0 + }, + "qom-path": "/machine/unattached/device[0]", + "cpu-index": 0, + "target": "x86_64" + }, + { + "thread-id": 272132, + "qom-type": "host-x86_64-cpu", + "props": { + "core-id": 0, + "thread-id": 0, + "socket-id": 1 + }, + "qom-path": "/machine/unattached/device[2]", + "cpu-index": 1, + "target": "x86_64" + } + ], + "id": "libvirt-17" +} +=== kc-lab-2 === +* CPU #0: thread_id=272156 model=host + CPU #1: thread_id=272157 model=host + + +{ + "return": [ + { + "thread-id": 272156, + "qom-type": "host-x86_64-cpu", + "props": { + "core-id": 0, + "thread-id": 0, + "socket-id": 0 + }, + "qom-path": "/machine/unattached/device[0]", + "cpu-index": 0, + "target": "x86_64" + }, + { + "thread-id": 272157, + "qom-type": "host-x86_64-cpu", + "props": { + "core-id": 0, + "thread-id": 0, + "socket-id": 1 + }, + "qom-path": "/machine/unattached/device[2]", + "cpu-index": 1, + "target": "x86_64" + } + ], + "id": "libvirt-17" +} +=== kc-lab-edge === +* CPU #0: thread_id=167803 model=host + + +{ + "return": [ + { + "thread-id": 167803, + "qom-type": "host-x86_64-cpu", + "props": { + "core-id": 0, + "thread-id": 0, + "socket-id": 0 + }, + "qom-path": "/machine/unattached/device[0]", + "cpu-index": 0, + "target": "x86_64" + } + ], + "id": "libvirt-17" +} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/54-cpu-vcpu-thread-migration-sample.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/54-cpu-vcpu-thread-migration-sample.txt new file mode 100644 index 0000000..2ff56f6 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/54-cpu-vcpu-thread-migration-sample.txt @@ -0,0 +1,15 @@ +pid 272131's current affinity list: 0-7 +pid 272132's current affinity list: 0-7 +pid 272156's current affinity list: 0-7 +pid 272157's current affinity list: 0-7 +pid 167803's current affinity list: 0-7 +17:46:49.371 +17:46:49.674 +17:46:49.982 +17:46:50.289 +17:46:50.596 +17:46:50.903 +17:46:51.210 +17:46:51.517 +17:46:51.825 +17:46:52.131 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt new file mode 100644 index 0000000..a810527 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt @@ -0,0 +1,60 @@ +17:47:08.501 + 167803 4 0.1 Sl CPU 0/KVM + 272131 7 11.4 Sl CPU 0/KVM + 272132 5 11.3 Sl CPU 1/KVM + 272156 3 5.9 Sl CPU 0/KVM + 272157 0 5.8 Sl CPU 1/KVM +17:47:08.813 + 167803 4 0.1 Sl CPU 0/KVM + 272131 2 11.4 Sl CPU 0/KVM + 272132 5 11.3 Sl CPU 1/KVM + 272156 0 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:09.135 + 167803 4 0.1 Sl CPU 0/KVM + 272131 0 11.4 Sl CPU 0/KVM + 272132 6 11.3 Sl CPU 1/KVM + 272156 0 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:09.456 + 167803 4 0.1 Sl CPU 0/KVM + 272131 0 11.4 Sl CPU 0/KVM + 272132 1 11.3 Sl CPU 1/KVM + 272156 0 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:09.777 + 167803 4 0.1 Sl CPU 0/KVM + 272131 0 11.4 Sl CPU 0/KVM + 272132 1 11.3 Sl CPU 1/KVM + 272156 6 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:10.095 + 167803 4 0.1 Sl CPU 0/KVM + 272131 2 11.4 Sl CPU 0/KVM + 272132 1 11.3 Rl CPU 1/KVM + 272156 6 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:10.416 + 167803 4 0.1 Sl CPU 0/KVM + 272131 4 11.4 Sl CPU 0/KVM + 272132 7 11.3 Sl CPU 1/KVM + 272156 6 5.9 Sl CPU 0/KVM + 272157 2 5.8 Sl CPU 1/KVM +17:47:10.738 + 167803 4 0.1 Sl CPU 0/KVM + 272131 3 11.4 Sl CPU 0/KVM + 272132 7 11.3 Rl CPU 1/KVM + 272156 6 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:11.060 + 167803 4 0.1 Sl CPU 0/KVM + 272131 3 11.4 Sl CPU 0/KVM + 272132 6 11.3 Sl CPU 1/KVM + 272156 0 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM +17:47:11.374 + 167803 4 0.1 Sl CPU 0/KVM + 272131 3 11.4 Sl CPU 0/KVM + 272132 6 11.3 Sl CPU 1/KVM + 272156 0 5.9 Sl CPU 0/KVM + 272157 1 5.8 Sl CPU 1/KVM diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt new file mode 100644 index 0000000..86bf4ee --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt @@ -0,0 +1,125 @@ +=== host memory policy === + total used free shared buff/cache available +Mem: 11Gi 7.9Gi 187Mi 4.6Mi 3.6Gi 3.4Gi +Swap: 8.0Gi 259Mi 7.7Gi +[always] madvise never +always defer defer+madvise [madvise] never +SwapCached: 28816 kB +SwapTotal: 8388604 kB +SwapFree: 8122768 kB +AnonHugePages: 7405568 kB +ShmemHugePages: 0 kB +FileHugePages: 956416 kB +HugePages_Total: 0 +HugePages_Free: 0 +HugePages_Rsvd: 0 +HugePages_Surp: 0 +Hugepagesize: 2048 kB +Hugetlb: 0 kB + +=== per-domain memory === +--- kc-lab-1 --- +CPU(s): 2 +Max memory: 5242880 KiB +Used memory: 5242880 KiB +actual 5242880 +swap_in 0 +swap_out 0 +major_fault 289 +minor_fault 44503 +unused 4899128 +available 5048068 +usable 4802116 +last_update 1789978932 +disk_caches 48664 +hugetlb_pgalloc 0 +hugetlb_pgfail 0 +rss 3726960 + + 5242880 + 5242880 + +qemu_pid=272123 +Rss: 3727496 kB +Pss: 3709747 kB +Anonymous: 3701368 kB +AnonHugePages: 3680256 kB +Swap: 0 kB +556f53ce9000 default file=/usr/bin/qemu-system-x86_64 mapped=410 mapmax=3 active=0 N0=410 kernelpagesize_kB=4 +556f53e86000 default file=/usr/bin/qemu-system-x86_64 mapped=1658 mapmax=3 active=0 N0=1658 kernelpagesize_kB=4 +556f545fd000 default file=/usr/bin/qemu-system-x86_64 mapped=383 mapmax=3 active=0 N0=383 kernelpagesize_kB=4 +556f54974000 default file=/usr/bin/qemu-system-x86_64 anon=428 dirty=428 active=0 N0=428 kernelpagesize_kB=4 +556f5576f000 default file=/usr/bin/qemu-system-x86_64 anon=275 dirty=275 active=0 N0=275 kernelpagesize_kB=4 +556f55883000 default anon=15 dirty=15 active=0 N0=15 kernelpagesize_kB=4 +556f66b58000 default heap anon=12736 dirty=12736 active=0 N0=12736 kernelpagesize_kB=4 +7fe3874ba000 default anon=3 dirty=3 active=0 N0=3 kernelpagesize_kB=4 +--- kc-lab-2 --- +CPU(s): 2 +Max memory: 4194304 KiB +Used memory: 4194304 KiB +actual 4194304 +swap_in 0 +swap_out 0 +major_fault 339 +minor_fault 46357 +unused 3865624 +available 4022024 +usable 3776064 +last_update 1789978932 +disk_caches 54904 +hugetlb_pgalloc 0 +hugetlb_pgfail 0 +rss 2909388 + + 4194304 + 4194304 + +qemu_pid=272149 +Rss: 2909664 kB +Pss: 2891888 kB +Anonymous: 2883500 kB +AnonHugePages: 2859008 kB +Swap: 0 kB +5617e2fd6000 default file=/usr/bin/qemu-system-x86_64 mapped=410 mapmax=3 active=0 N0=410 kernelpagesize_kB=4 +5617e3173000 default file=/usr/bin/qemu-system-x86_64 mapped=1640 mapmax=3 active=0 N0=1640 kernelpagesize_kB=4 +5617e38ea000 default file=/usr/bin/qemu-system-x86_64 mapped=374 mapmax=3 active=0 N0=374 kernelpagesize_kB=4 +5617e3c61000 default file=/usr/bin/qemu-system-x86_64 anon=428 dirty=428 active=0 N0=428 kernelpagesize_kB=4 +5617e4a5c000 default file=/usr/bin/qemu-system-x86_64 anon=275 dirty=275 active=0 N0=275 kernelpagesize_kB=4 +5617e4b70000 default anon=15 dirty=15 active=0 N0=15 kernelpagesize_kB=4 +56180bf55000 default heap anon=12742 dirty=12742 active=0 N0=12742 kernelpagesize_kB=4 +7f1c1f369000 default anon=3 dirty=3 active=0 N0=3 kernelpagesize_kB=4 +--- kc-lab-edge --- +CPU(s): 1 +Max memory: 1048576 KiB +Used memory: 1048576 KiB +actual 1048576 +swap_in 0 +swap_out 0 +major_fault 263 +minor_fault 45376 +unused 877304 +available 996612 +usable 836204 +last_update 1789619051 +disk_caches 46992 +hugetlb_pgalloc 0 +hugetlb_pgfail 0 +rss 843500 + + 1048576 + 1048576 + +qemu_pid=167796 +Rss: 844140 kB +Pss: 829788 kB +Anonymous: 824792 kB +AnonHugePages: 806912 kB +Swap: 159556 kB +5590a1922000 default file=/usr/bin/qemu-system-x86_64 mapped=197 mapmax=3 active=0 N0=197 kernelpagesize_kB=4 +5590a1abf000 default file=/usr/bin/qemu-system-x86_64 mapped=927 mapmax=3 active=0 N0=927 kernelpagesize_kB=4 +5590a2236000 default file=/usr/bin/qemu-system-x86_64 mapped=269 mapmax=3 active=0 N0=269 kernelpagesize_kB=4 +5590a25ad000 default file=/usr/bin/qemu-system-x86_64 anon=15 dirty=15 swapcache=5 active=0 N0=15 kernelpagesize_kB=4 +5590a33a8000 default file=/usr/bin/qemu-system-x86_64 anon=13 dirty=13 swapcache=4 active=0 N0=13 kernelpagesize_kB=4 +5590a34bc000 default anon=13 dirty=13 active=0 N0=13 kernelpagesize_kB=4 +5590a823a000 default heap anon=12052 dirty=12052 swapcache=54 active=0 N0=12052 kernelpagesize_kB=4 +7f6a0fb4a000 default anon=6 dirty=6 active=0 N0=6 kernelpagesize_kB=4 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt new file mode 100644 index 0000000..9d0a929 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt @@ -0,0 +1,14 @@ + total used free shared buff/cache available +Mem: 4929 1912 1957 1 1292 3017 +Swap: 0 0 0 +SwapTotal: 0 kB +SwapFree: 0 kB +AnonHugePages: 1271808 kB +HugePages_Total: 0 +HugePages_Free: 0 +Hugepagesize: 2048 kB +bind +module +uevent +unbind +virtio5 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt new file mode 100644 index 0000000..033831c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt @@ -0,0 +1,14 @@ + total used free shared buff/cache available +Mem: 3927 1195 1556 18 1426 2731 +Swap: 0 0 0 +SwapTotal: 0 kB +SwapFree: 0 kB +AnonHugePages: 622592 kB +HugePages_Total: 0 +HugePages_Free: 0 +Hugepagesize: 2048 kB +bind +module +uevent +unbind +virtio5 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/59-memory-swap-activity.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/59-memory-swap-activity.txt new file mode 100644 index 0000000..e31ee2c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/59-memory-swap-activity.txt @@ -0,0 +1,24 @@ +HOST +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 0 0 265836 204592 105924 3660992 0 0 18 382 3888 5 0 1 96 0 0 2 + 0 0 265836 203536 105924 3661040 0 0 0 0 4458 5278 0 1 96 0 0 3 + 0 0 265836 203536 105924 3661040 0 0 0 0 4076 4632 0 1 96 0 0 3 + 1 0 265836 202796 105924 3661080 0 0 0 72 4473 5478 0 1 96 0 0 2 + 1 0 265836 202796 105924 3661080 0 0 0 16 4100 5024 0 1 97 0 0 2 +KC1 +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1993216 39872 1287388 0 0 310 127 1134 2083 5 3 91 1 0 + 1 0 0 1993216 39872 1287388 0 0 0 0 1970 3425 1 2 97 0 0 + 1 0 0 1993216 39872 1287388 0 0 0 0 2032 3766 3 3 94 0 0 + 1 0 0 1993216 39872 1287388 0 0 0 0 1842 3382 2 3 95 0 0 + 1 0 0 1993216 39872 1287388 0 0 0 0 2258 4110 5 2 93 0 0 +KC2 +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1594992 29564 1427904 0 0 178 251 507 925 3 1 95 1 0 + 1 0 0 1594992 29564 1427904 0 0 0 0 727 1234 1 1 99 0 0 + 1 0 0 1594992 29564 1427904 0 0 0 0 894 1620 2 2 97 0 0 + 1 0 0 1594992 29564 1427904 0 0 0 0 704 1170 1 1 98 0 0 + 1 0 0 1594992 29564 1427904 0 0 0 80 1265 2489 2 3 95 1 0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/60-storage-volume-allocation.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/60-storage-volume-allocation.txt new file mode 100644 index 0000000..f29cda0 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/60-storage-volume-allocation.txt @@ -0,0 +1,42 @@ +--- base.qcow2 --- +Name: base.qcow2 +Type: file +Capacity: 3.00 GiB +Allocation: 323.25 MiB + +--- kc-lab-1.qcow2 --- +Name: kc-lab-1.qcow2 +Type: file +Capacity: 20.00 GiB +Allocation: 3.40 GiB + +--- kc-lab-2.qcow2 --- +Name: kc-lab-2.qcow2 +Type: file +Capacity: 20.00 GiB +Allocation: 2.66 GiB + +--- kc-lab-edge.qcow2 --- +Name: kc-lab-edge.qcow2 +Type: file +Capacity: 10.00 GiB +Allocation: 345.45 MiB + +--- seed-kc-lab-1.iso --- +Name: seed-kc-lab-1.iso +Type: file +Capacity: 370.00 KiB +Allocation: 372.00 KiB + +--- seed-kc-lab-2.iso --- +Name: seed-kc-lab-2.iso +Type: file +Capacity: 370.00 KiB +Allocation: 372.00 KiB + +--- seed-kc-lab-edge.iso --- +Name: seed-kc-lab-edge.iso +Type: file +Capacity: 370.00 KiB +Allocation: 372.00 KiB + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt new file mode 100644 index 0000000..cd356a2 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt @@ -0,0 +1,89 @@ +=== base.qcow2 === +image: /var/lib/libvirt/images/base.qcow2 +file format: qcow2 +virtual size: 3 GiB (3221225472 bytes) +disk size: 323 MiB +cluster_size: 65536 +Format specific information: + compat: 1.1 + compression type: zlib + lazy refcounts: false + refcount bits: 16 + corrupt: false + extended l2: false +Child node '/file': + filename: /var/lib/libvirt/images/base.qcow2 + protocol type: file + file length: 323 MiB (338952192 bytes) + disk size: 323 MiB +324M /var/lib/libvirt/images/base.qcow2 +-rw-r--r-- 1 libvirt-qemu libvirt-qemu 324M Sep 10 17:32 /var/lib/libvirt/images/base.qcow2 +=== kc-lab-1.qcow2 === +image: /var/lib/libvirt/images/kc-lab-1.qcow2 +file format: qcow2 +virtual size: 20 GiB (21474836480 bytes) +disk size: 3.43 GiB +cluster_size: 65536 +cleanly shut down: no +backing file: /var/lib/libvirt/images/base.qcow2 +backing file format: qcow2 +Format specific information: + compat: 1.1 + compression type: zlib + lazy refcounts: true + refcount bits: 16 + corrupt: false + extended l2: false +Child node '/file': + filename: /var/lib/libvirt/images/kc-lab-1.qcow2 + protocol type: file + file length: 3.45 GiB (3708551168 bytes) + disk size: 3.43 GiB +3.5G /var/lib/libvirt/images/kc-lab-1.qcow2 +-rw------- 1 libvirt-qemu libvirt-qemu 3.5G Sep 21 18:25 /var/lib/libvirt/images/kc-lab-1.qcow2 +=== kc-lab-2.qcow2 === +image: /var/lib/libvirt/images/kc-lab-2.qcow2 +file format: qcow2 +virtual size: 20 GiB (21474836480 bytes) +disk size: 2.66 GiB +cluster_size: 65536 +cleanly shut down: no +backing file: /var/lib/libvirt/images/base.qcow2 +backing file format: qcow2 +Format specific information: + compat: 1.1 + compression type: zlib + lazy refcounts: true + refcount bits: 16 + corrupt: false + extended l2: false +Child node '/file': + filename: /var/lib/libvirt/images/kc-lab-2.qcow2 + protocol type: file + file length: 2.77 GiB (2969239552 bytes) + disk size: 2.66 GiB +2.7G /var/lib/libvirt/images/kc-lab-2.qcow2 +-rw------- 1 libvirt-qemu libvirt-qemu 2.8G Sep 21 18:25 /var/lib/libvirt/images/kc-lab-2.qcow2 +=== kc-lab-edge.qcow2 === +image: /var/lib/libvirt/images/kc-lab-edge.qcow2 +file format: qcow2 +virtual size: 10 GiB (10737418240 bytes) +disk size: 345 MiB +cluster_size: 65536 +cleanly shut down: no +backing file: /var/lib/libvirt/images/base.qcow2 +backing file format: qcow2 +Format specific information: + compat: 1.1 + compression type: zlib + lazy refcounts: true + refcount bits: 16 + corrupt: false + extended l2: false +Child node '/file': + filename: /var/lib/libvirt/images/kc-lab-edge.qcow2 + protocol type: file + file length: 420 MiB (440139776 bytes) + disk size: 345 MiB +346M /var/lib/libvirt/images/kc-lab-edge.qcow2 +-rw------- 1 libvirt-qemu libvirt-qemu 420M Sep 21 18:25 /var/lib/libvirt/images/kc-lab-edge.qcow2 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/62-memory-balloon-target-roundtrip.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/62-memory-balloon-target-roundtrip.txt new file mode 100644 index 0000000..32522ed --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/62-memory-balloon-target-roundtrip.txt @@ -0,0 +1,115 @@ +=== virsh setmem help === + NAME + setmem - change memory allocation + + SYNOPSIS + setmem [--config] [--live] [--current] + + DESCRIPTION + Change the current memory allocation in the guest domain. + + OPTIONS + [--domain] domain name, id or uuid + [--size] new memory size, as scaled integer (default KiB) + --config affect next boot + --live affect running domain + --current affect current domain + + +=== baseline host === +Max memory: 4194304 KiB +Used memory: 4194304 KiB +actual 4194304 +swap_in 0 +swap_out 0 +major_fault 339 +minor_fault 46357 +unused 3865624 +available 4022024 +usable 3776064 +last_update 1789978932 +disk_caches 54904 +hugetlb_pgalloc 0 +hugetlb_pgfail 0 +rss 2927448 + + +=== baseline guest === + total used free shared buff/cache available +Mem: 3927 1183 1590 18 1405 2744 +Swap: 0 0 0 +MemTotal: 4022024 kB +MemAvailable: 2810504 kB +SwapTotal: 0 kB +SwapFree: 0 kB +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1629156 33024 1406112 0 0 81 117 492 882 2 1 96 0 0 + 1 0 0 1629156 33024 1406112 0 0 0 0 1173 2251 3 1 97 0 0 + 1 0 0 1629156 33024 1406112 0 0 0 4 1019 1901 1 2 97 0 0 + +=== set 3584MiB live === + +Max memory: 4194304 KiB +Used memory: 3670016 KiB +actual 3670016 +swap_in 0 +swap_out 0 +major_fault 339 +minor_fault 46357 +unused 3865624 +available 4022024 +usable 3776064 +last_update 1789978932 +disk_caches 54904 +hugetlb_pgalloc 0 +hugetlb_pgfail 0 +rss 2857816 + + +=== guest after inflate === + total used free shared buff/cache available +Mem: 3415 1195 1066 18 1405 2219 +Swap: 0 0 0 +MemTotal: 3497736 kB +MemAvailable: 2273060 kB +SwapTotal: 0 kB +SwapFree: 0 kB +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1091700 33032 1406112 0 0 81 117 492 883 2 1 96 0 0 + 1 0 0 1091700 33032 1406112 0 0 0 12 1127 2171 2 2 96 0 0 + 1 0 0 1091700 33032 1406112 0 0 0 0 874 1407 1 1 98 0 0 + +=== restore 4096MiB live === + +Max memory: 4194304 KiB +Used memory: 4194304 KiB +actual 4194304 +swap_in 0 +swap_out 0 +major_fault 339 +minor_fault 46357 +unused 3865624 +available 4022024 +usable 3776064 +last_update 1789978932 +disk_caches 54904 +hugetlb_pgalloc 0 +hugetlb_pgfail 0 +rss 2866304 + + +=== guest after deflate === + total used free shared buff/cache available +Mem: 3927 1207 1566 18 1405 2720 +Swap: 0 0 0 +MemTotal: 4022024 kB +MemAvailable: 2785496 kB +SwapTotal: 0 kB +SwapFree: 0 kB +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1604128 33040 1406116 0 0 81 117 492 883 2 1 96 0 0 + 1 0 0 1604128 33040 1406116 0 0 0 0 861 1393 1 3 97 0 0 + 1 0 0 1604128 33040 1406116 0 0 0 0 707 1190 1 1 98 0 0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt new file mode 100644 index 0000000..3c66d7f --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt @@ -0,0 +1,55 @@ +=== host baseline === +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 4 0 265720 300496 106468 3499256 0 0 18 382 3889 5 0 1 96 0 0 2 + 0 0 265720 295312 106468 3499360 0 0 24 24 5211 5950 0 2 92 0 0 6 + 0 0 265720 295132 106468 3499360 0 0 0 0 5033 6740 0 2 95 0 0 3 + 0 0 265720 293368 106468 3499364 0 0 0 64 6314 9714 0 3 94 0 0 3 + 1 0 265720 293116 106468 3499364 0 0 0 0 4712 6666 0 2 96 0 0 2 +=== kc-lab-1 baseline === +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1948236 42600 1315356 0 0 135 72 1099 2011 4 3 92 0 0 + 1 0 0 1948236 42600 1315356 0 0 0 0 2378 4184 3 3 94 0 0 + 1 0 0 1948236 42600 1315356 0 0 0 0 2123 3869 4 3 94 0 0 + 1 0 0 1948236 42600 1315356 0 0 0 12 2417 4365 2 3 95 0 1 + 1 0 0 1948236 42600 1315356 0 0 0 0 1946 3693 3 2 94 0 0 +=== kc-lab-2 baseline === +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 3 0 0 1610168 33188 1406348 0 0 78 113 492 882 2 1 96 0 0 + 1 0 0 1610168 33188 1406348 0 0 0 12 1063 2020 5 1 95 0 0 + 6 0 0 1610168 33188 1406348 0 0 0 0 802 1254 1 2 97 0 0 + 1 0 0 1610168 33188 1406348 0 0 0 44 1141 2284 3 3 94 1 0 + 1 0 0 1610168 33188 1406348 0 0 0 0 735 1156 1 1 99 0 0 +=== qemu vcpu baseline === +18:30:01.330 + 167796 167803 7 0.1 Sl CPU 0/KVM + 272123 272131 0 9.9 Rl CPU 0/KVM + 272123 272132 6 9.9 Sl CPU 1/KVM + 272149 272156 7 4.9 Sl CPU 0/KVM + 272149 272157 5 4.8 Rl CPU 1/KVM +18:30:02.341 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 5 10.0 Sl CPU 0/KVM + 272123 272132 0 9.9 Sl CPU 1/KVM + 272149 272156 1 4.9 Rl CPU 0/KVM + 272149 272157 6 4.8 Sl CPU 1/KVM +18:30:03.362 + 167796 167803 7 0.1 Sl CPU 0/KVM + 272123 272131 5 9.9 Sl CPU 0/KVM + 272123 272132 6 9.9 Sl CPU 1/KVM + 272149 272156 1 4.9 Sl CPU 0/KVM + 272149 272157 5 4.8 Sl CPU 1/KVM +18:30:04.384 + 167796 167803 7 0.1 Sl CPU 0/KVM + 272123 272131 0 9.9 Sl CPU 0/KVM + 272123 272132 7 9.9 Sl CPU 1/KVM + 272149 272156 7 4.9 Sl CPU 0/KVM + 272149 272157 5 4.8 Sl CPU 1/KVM +18:30:05.405 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 0 9.9 Sl CPU 0/KVM + 272123 272132 2 9.9 Sl CPU 1/KVM + 272149 272156 2 4.9 Sl CPU 0/KVM + 272149 272157 5 4.8 Sl CPU 1/KVM diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt new file mode 100644 index 0000000..26f9784 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt @@ -0,0 +1,100 @@ +=== host load === +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 8 0 265720 285300 106516 3499588 0 0 18 382 3889 5 0 1 96 0 0 2 + 5 0 265720 281540 106516 3499600 0 0 0 8252 5061 1206 0 0 49 1 0 50 + 4 0 265720 280288 106516 3499604 0 0 0 48 4980 1174 0 0 49 0 0 50 + 6 0 265720 279840 106516 3499608 0 0 0 0 5072 1426 0 0 50 0 0 50 + 4 0 265720 274184 106516 3499608 0 0 0 68 4865 1244 0 0 50 0 0 50 + 4 0 265720 272280 106524 3499600 0 0 0 56 5329 1162 0 1 49 1 0 50 + 4 0 265720 271560 106524 3499620 0 0 0 8 5101 1304 0 0 49 0 0 50 + 4 0 265720 271560 106524 3499620 0 0 0 0 5124 1023 0 0 49 0 0 50 + 4 0 265720 271308 106524 3499620 0 0 0 24 4949 1093 0 0 50 0 0 50 + 4 0 265720 267408 106524 3499620 0 0 0 56 5388 1480 0 1 49 0 0 50 +=== kc-lab-1 load === +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 4 0 0 1943952 42612 1315664 0 0 135 72 1099 2011 4 3 92 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 0 1694 3210 32 68 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 36 1614 3096 34 66 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 0 1638 3038 32 68 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 4 1684 3201 34 66 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 0 1650 3113 34 66 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 0 1702 3212 37 63 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 0 1631 2991 35 66 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 20 1709 3050 35 65 0 0 0 + 3 0 0 1943952 42612 1315664 0 0 0 676 2262 3839 31 70 0 0 0 +=== kc-lab-2 load === +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 4 0 0 1619164 33208 1406512 0 0 78 113 492 882 2 1 96 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 0 1350 1836 35 65 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 12 1255 1684 32 69 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 0 936 963 32 69 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 56 1337 2027 31 69 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 0 1082 1272 35 65 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 8 989 1106 35 65 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 16 1045 1220 37 64 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 0 957 1075 31 70 0 0 0 + 3 0 0 1619164 33208 1406512 0 0 0 40 1341 2112 32 69 0 0 0 +=== qemu vcpu load === +18:30:15.812 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 5 10.0 Rl CPU 0/KVM + 272123 272132 4 9.9 Rl CPU 1/KVM + 272149 272156 2 4.9 Rl CPU 0/KVM + 272149 272157 7 4.8 Rl CPU 1/KVM +18:30:16.825 + 167796 167803 1 0.1 Sl CPU 0/KVM + 272123 272131 5 10.0 Rl CPU 0/KVM + 272123 272132 4 9.9 Rl CPU 1/KVM + 272149 272156 6 5.0 Rl CPU 0/KVM + 272149 272157 3 4.9 Rl CPU 1/KVM +18:30:17.839 + 167796 167803 1 0.1 Sl CPU 0/KVM + 272123 272131 5 10.0 Rl CPU 0/KVM + 272123 272132 4 9.9 Rl CPU 1/KVM + 272149 272156 6 5.0 Rl CPU 0/KVM + 272149 272157 7 4.9 Rl CPU 1/KVM +18:30:18.852 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 1 10.0 Rl CPU 0/KVM + 272123 272132 0 10.0 Rl CPU 1/KVM + 272149 272156 2 5.0 Rl CPU 0/KVM + 272149 272157 7 4.9 Rl CPU 1/KVM +18:30:19.865 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 1 10.1 Rl CPU 0/KVM + 272123 272132 0 10.0 Rl CPU 1/KVM + 272149 272156 2 5.0 Rl CPU 0/KVM + 272149 272157 7 4.9 Rl CPU 1/KVM +18:30:20.879 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 1 10.1 Rl CPU 0/KVM + 272123 272132 4 10.0 Rl CPU 1/KVM + 272149 272156 2 5.1 Rl CPU 0/KVM + 272149 272157 3 5.0 Rl CPU 1/KVM +18:30:21.892 + 167796 167803 5 0.1 Sl CPU 0/KVM + 272123 272131 1 10.1 Rl CPU 0/KVM + 272123 272132 4 10.0 Rl CPU 1/KVM + 272149 272156 2 5.1 Rl CPU 0/KVM + 272149 272157 7 5.0 Rl CPU 1/KVM +18:30:22.906 + 167796 167803 6 0.1 Sl CPU 0/KVM + 272123 272131 1 10.1 Rl CPU 0/KVM + 272123 272132 0 10.0 Rl CPU 1/KVM + 272149 272156 2 5.1 Rl CPU 0/KVM + 272149 272157 7 5.0 Rl CPU 1/KVM +18:30:23.919 + 167796 167803 6 0.1 Sl CPU 0/KVM + 272123 272131 1 10.1 Rl CPU 0/KVM + 272123 272132 4 10.1 Rl CPU 1/KVM + 272149 272156 2 5.1 Rl CPU 0/KVM + 272149 272157 7 5.0 Rl CPU 1/KVM +18:30:24.932 + 167796 167803 0 0.1 Sl CPU 0/KVM + 272123 272131 1 10.2 Rl CPU 0/KVM + 272123 272132 4 10.1 Rl CPU 1/KVM + 272149 272156 2 5.2 Rl CPU 0/KVM + 272149 272157 7 5.1 Rl CPU 1/KVM diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt new file mode 100644 index 0000000..5f015b0 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt @@ -0,0 +1,143 @@ +qemu_pid=167796 +=== baseline ps samples === +18:32:21.242 + 167796 167796 0 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Sl CPU 0/KVM +18:32:22.246 + 167796 167796 1 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Sl CPU 0/KVM +18:32:23.254 + 167796 167796 2 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Sl CPU 0/KVM +18:32:24.262 + 167796 167796 2 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Sl CPU 0/KVM +18:32:25.270 + 167796 167796 2 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Sl CPU 0/KVM +=== baseline top === +top - 18:32:26 up 17 days, 23:31, 6 users, load average: 0.45, 0.48, 0.37 +Threads: 8 total, 0 running, 8 sleep, 0 d-sleep, 0 stopped, 0 zombie +%Cpu(s): 1.2 us, 0.6 sy, 0.0 ni, 97.5 id, 0.0 wa, 0.6 hi, 0.0 si, 0.0 st +MiB Mem : 11648.3 total, 263.2 free, 8199.0 used, 3524.6 buff/cache +MiB Swap: 8192.0 total, 7932.5 free, 259.5 used. 3449.3 avail Mem + + PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND + 167796 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 25:49.00 qemu-sy+ + 167799 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.09 call_rcu + 167801 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:06.80 vhost-1+ + 167802 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 IO mon_+ + 167803 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 6:43.19 CPU 0/K+ + 167805 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 13:12.94 SPICE W+ + 167806 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 kvm-nx-+ + 276467 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 worker + +top - 18:32:27 up 17 days, 23:31, 6 users, load average: 0.45, 0.48, 0.37 +Threads: 8 total, 0 running, 8 sleep, 0 d-sleep, 0 stopped, 0 zombie +%Cpu(s): 3.5 us, 0.6 sy, 0.0 ni, 95.0 id, 0.1 wa, 0.6 hi, 0.1 si, 0.0 st +MiB Mem : 11648.3 total, 263.2 free, 8199.0 used, 3524.6 buff/cache +MiB Swap: 8192.0 total, 7932.5 free, 259.5 used. 3449.3 avail Mem + + PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND + 167796 libvirt+ 20 0 1960780 843968 19348 S 1.0 7.1 25:49.01 qemu-sy+ + 167803 libvirt+ 20 0 1960780 843968 19348 S 1.0 7.1 6:43.20 CPU 0/K+ + 167805 libvirt+ 20 0 1960780 843968 19348 S 1.0 7.1 13:12.95 SPICE W+ + 167799 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.09 call_rcu + 167801 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:06.80 vhost-1+ + 167802 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 IO mon_+ + 167806 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 kvm-nx-+ + 276467 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 worker + +top - 18:32:28 up 17 days, 23:31, 6 users, load average: 0.45, 0.48, 0.37 +Threads: 7 total, 0 running, 7 sleep, 0 d-sleep, 0 stopped, 0 zombie +%Cpu(s): 3.1 us, 0.5 sy, 0.0 ni, 95.8 id, 0.0 wa, 0.5 hi, 0.1 si, 0.0 st +MiB Mem : 11648.3 total, 263.2 free, 8199.0 used, 3524.6 buff/cache +MiB Swap: 8192.0 total, 7932.5 free, 259.5 used. 3449.3 avail Mem + + PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND + 167796 libvirt+ 20 0 1960780 843968 19348 S 1.0 7.1 25:49.02 qemu-sy+ + 167799 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.09 call_rcu + 167801 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:06.80 vhost-1+ + 167802 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 IO mon_+ + 167803 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 6:43.20 CPU 0/K+ + 167805 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 13:12.95 SPICE W+ + 167806 libvirt+ 20 0 1960780 843968 19348 S 0.0 7.1 0:00.00 kvm-nx-+ + +=== load start === +18:32:29.499 + 167796 167796 2 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Rl CPU 0/KVM +18:32:30.503 + 167796 167796 1 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Rl CPU 0/KVM +18:32:31.505 + 167796 167796 1 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Rl CPU 0/KVM +18:32:32.508 + 167796 167796 2 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Rl CPU 0/KVM +18:32:33.511 + 167796 167796 2 0.4 Sl qemu-system-x86 + 167796 167803 6 0.1 Rl CPU 0/KVM +=== load top === +top - 18:32:34 up 17 days, 23:32, 6 users, load average: 0.58, 0.50, 0.38 +Threads: 8 total, 1 running, 7 sleep, 0 d-sleep, 0 stopped, 0 zombie +%Cpu(s): 13.0 us, 0.6 sy, 0.0 ni, 86.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st +MiB Mem : 11648.3 total, 260.4 free, 8201.8 used, 3524.7 buff/cache +MiB Swap: 8192.0 total, 7932.5 free, 259.5 used. 3446.5 avail Mem + + PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND + 167803 libvirt+ 20 0 1960780 844112 19348 R 99.7 7.1 6:49.26 CPU 0/K+ + 167796 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 25:49.03 qemu-sy+ + 167799 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.09 call_rcu + 167801 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:06.80 vhost-1+ + 167802 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 IO mon_+ + 167805 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 13:12.95 SPICE W+ + 167806 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 kvm-nx-+ + 276515 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 worker + +top - 18:32:35 up 17 days, 23:32, 6 users, load average: 0.58, 0.50, 0.38 +Threads: 8 total, 1 running, 7 sleep, 0 d-sleep, 0 stopped, 0 zombie +%Cpu(s): 13.2 us, 0.5 sy, 0.0 ni, 85.6 id, 0.0 wa, 0.6 hi, 0.1 si, 0.0 st +MiB Mem : 11648.3 total, 260.4 free, 8201.8 used, 3524.7 buff/cache +MiB Swap: 8192.0 total, 7932.5 free, 259.5 used. 3446.5 avail Mem + + PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND + 167803 libvirt+ 20 0 1960780 844112 19348 R 99.9 7.1 6:50.26 CPU 0/K+ + 167796 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 25:49.03 qemu-sy+ + 167799 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.09 call_rcu + 167801 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:06.80 vhost-1+ + 167802 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 IO mon_+ + 167805 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 13:12.95 SPICE W+ + 167806 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 kvm-nx-+ + 276515 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 worker + +top - 18:32:36 up 17 days, 23:32, 6 users, load average: 0.69, 0.53, 0.39 +Threads: 8 total, 1 running, 7 sleep, 0 d-sleep, 0 stopped, 0 zombie +%Cpu(s): 13.0 us, 0.4 sy, 0.0 ni, 85.7 id, 0.1 wa, 0.5 hi, 0.2 si, 0.0 st +MiB Mem : 11648.3 total, 260.4 free, 8201.8 used, 3524.7 buff/cache +MiB Swap: 8192.0 total, 7932.5 free, 259.5 used. 3446.5 avail Mem + + PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND + 167803 libvirt+ 20 0 1960780 844112 19348 R 99.9 7.1 6:51.26 CPU 0/K+ + 167805 libvirt+ 20 0 1960780 844112 19348 S 1.0 7.1 13:12.96 SPICE W+ + 167796 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 25:49.03 qemu-sy+ + 167799 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.09 call_rcu + 167801 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:06.80 vhost-1+ + 167802 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 IO mon_+ + 167806 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 kvm-nx-+ + 276515 libvirt+ 20 0 1960780 844112 19348 S 0.0 7.1 0:00.00 worker + +=== post-load === + 167796 167796 3 0.4 Sl qemu-system-x86 + 167796 167803 2 0.1 Rl CPU 0/KVM +=== settled post-load === +18:33:00.237 + 167796 167796 3 0.4 Sl qemu-system-x86 + 167796 167803 4 0.1 Sl CPU 0/KVM +18:33:01.243 + 167796 167796 1 0.4 Sl qemu-system-x86 + 167796 167803 4 0.1 Sl CPU 0/KVM +18:33:02.251 + 167796 167796 1 0.4 Sl qemu-system-x86 + 167796 167803 7 0.1 Sl CPU 0/KVM diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt new file mode 100644 index 0000000..4ba7c41 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt @@ -0,0 +1 @@ +zsh:1: ==guest_input_after_restart=== not found diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/67-network-packet-path-capture.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/67-network-packet-path-capture.txt new file mode 100644 index 0000000..34de363 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/67-network-packet-path-capture.txt @@ -0,0 +1,14 @@ +zsh:2: no matches found: /tmp/reval-cap-* +===== tail ===== +timeout: failed to run command 'tcpdump': No such file or directory +===== vnet13 ===== +timeout: failed to run command 'tcpdump': No such file or directory +===== virbr0 ===== +timeout: failed to run command 'tcpdump': No such file or directory +===== vnet18 ===== +timeout: failed to run command 'tcpdump': No such file or directory +===== vnet19 ===== +timeout: failed to run command 'tcpdump': No such file or directory +===== edge ===== +===== kc1 ===== +===== kc2 ===== diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/68-host-tcpdump-install.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/68-host-tcpdump-install.txt new file mode 100644 index 0000000..30d2f43 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/68-host-tcpdump-install.txt @@ -0,0 +1,20 @@ +resolving dependencies... +looking for conflicting packages... + +Packages (1) tcpdump-4.99.6-1 + +Total Download Size: 0.42 MiB +Total Installed Size: 1.07 MiB + +:: Proceed with installation? [Y/n] +:: Retrieving packages... + tcpdump-4.99.6-1-x86_64 downloading... +checking keyring... +checking package integrity... +loading package files... +checking for file conflicts... +checking available disk space... +:: Processing package changes... +installing tcpdump... +:: Running post-transaction hooks... +(1/1) Arming ConditionNeedsUpdate... diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/69-network-packet-path-capture.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/69-network-packet-path-capture.txt new file mode 100644 index 0000000..375b8c9 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/69-network-packet-path-capture.txt @@ -0,0 +1,244 @@ +===== tail ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on tailscale0, link-type RAW (Raw IP), snapshot length 262144 bytes + +0 packets captured +26 packets received by filter +0 packets dropped by kernel +===== vnet13 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on vnet13, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 18:37:32.503852 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 4052102663:4052103871, ack 525054296, win 66, options [nop,nop,TS val 2455794243 ecr 863349015], length 1208 +2026-09-21 18:37:32.514856 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1:1565, ack 1208, win 503, options [nop,nop,TS val 863349033 ecr 2455794243], length 1564 +2026-09-21 18:37:32.514882 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 1565, win 69, options [nop,nop,TS val 2455794254 ecr 863349033], length 0 +2026-09-21 18:37:32.517349 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1208:1224, ack 1565, win 69, options [nop,nop,TS val 2455794257 ecr 863349033], length 16 +2026-09-21 18:37:32.560211 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 1224, win 503, options [nop,nop,TS val 863349079 ecr 2455794257], length 0 +2026-09-21 18:37:32.560287 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1224:1268, ack 1565, win 69, options [nop,nop,TS val 2455794300 ecr 863349079], length 44 +2026-09-21 18:37:32.560375 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 1268, win 503, options [nop,nop,TS val 863349079 ecr 2455794300], length 0 +2026-09-21 18:37:32.560485 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1565:1609, ack 1268, win 503, options [nop,nop,TS val 863349079 ecr 2455794300], length 44 +2026-09-21 18:37:32.560666 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1268:1336, ack 1609, win 69, options [nop,nop,TS val 2455794300 ecr 863349079], length 68 +2026-09-21 18:37:32.569853 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1609:1653, ack 1336, win 503, options [nop,nop,TS val 863349088 ecr 2455794300], length 44 +2026-09-21 18:37:32.570023 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1336:1484, ack 1653, win 69, options [nop,nop,TS val 2455794309 ecr 863349088], length 148 +2026-09-21 18:37:32.570640 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1653:1753, ack 1484, win 503, options [nop,nop,TS val 863349089 ecr 2455794309], length 100 +2026-09-21 18:37:32.571197 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1484:1800, ack 1753, win 69, options [nop,nop,TS val 2455794311 ecr 863349089], length 316 +2026-09-21 18:37:32.588491 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1753:1781, ack 1800, win 503, options [nop,nop,TS val 863349107 ecr 2455794311], length 28 +2026-09-21 18:37:32.588670 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1800:1912, ack 1781, win 69, options [nop,nop,TS val 2455794328 ecr 863349107], length 112 +2026-09-21 18:37:32.632126 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 1912, win 503, options [nop,nop,TS val 863349151 ecr 2455794328], length 0 +2026-09-21 18:37:32.671083 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1781:2557, ack 1912, win 503, options [nop,nop,TS val 863349189 ecr 2455794328], length 776 +2026-09-21 18:37:32.711206 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 2557, win 71, options [nop,nop,TS val 2455794451 ecr 863349189], length 0 +2026-09-21 18:37:32.711343 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2557:2749, ack 1912, win 503, options [nop,nop,TS val 863349230 ecr 2455794451], length 192 +2026-09-21 18:37:32.711367 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 2749, win 74, options [nop,nop,TS val 2455794451 ecr 863349230], length 0 +2026-09-21 18:37:32.711427 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1912:2020, ack 2749, win 74, options [nop,nop,TS val 2455794451 ecr 863349230], length 108 +2026-09-21 18:37:32.711455 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 2020, win 503, options [nop,nop,TS val 863349230 ecr 2455794451], length 0 +2026-09-21 18:37:32.711881 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2749:2821, ack 2020, win 503, options [nop,nop,TS val 863349230 ecr 2455794451], length 72 +2026-09-21 18:37:32.728636 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2821:2937, ack 2020, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 116 +2026-09-21 18:37:32.728663 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2937:3065, ack 2020, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 128 +2026-09-21 18:37:32.728762 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 3065:3141, ack 2020, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 76 +2026-09-21 18:37:32.728793 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 3141, win 76, options [nop,nop,TS val 2455794468 ecr 863349230], length 0 + +27 packets captured +67 packets received by filter +0 packets dropped by kernel +===== virbr0 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on virbr0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 18:37:32.503848 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 4052102663:4052103871, ack 525054296, win 66, options [nop,nop,TS val 2455794243 ecr 863349015], length 1208 +2026-09-21 18:37:32.504944 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 2878369980:2878371188, ack 3624477341, win 66, options [nop,nop,TS val 3506998488 ecr 407783162], length 1208 +2026-09-21 18:37:32.505100 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 2754949335:2754950543, ack 3024955621, win 66, options [nop,nop,TS val 1723033919 ecr 2226278585], length 1208 +2026-09-21 18:37:32.514856 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1:1565, ack 1208, win 503, options [nop,nop,TS val 863349033 ecr 2455794243], length 1564 +2026-09-21 18:37:32.514881 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 1565, win 69, options [nop,nop,TS val 2455794254 ecr 863349033], length 0 +2026-09-21 18:37:32.515666 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 1:1565, ack 1208, win 501, options [nop,nop,TS val 407783180 ecr 3506998488], length 1564 +2026-09-21 18:37:32.515674 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [.], ack 1565, win 69, options [nop,nop,TS val 3506998499 ecr 407783180], length 0 +2026-09-21 18:37:32.516481 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 1:1565, ack 1208, win 501, options [nop,nop,TS val 2226278603 ecr 1723033919], length 1564 +2026-09-21 18:37:32.516498 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 1565, win 69, options [nop,nop,TS val 1723033931 ecr 2226278603], length 0 +2026-09-21 18:37:32.517347 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1208:1224, ack 1565, win 69, options [nop,nop,TS val 2455794257 ecr 863349033], length 16 +2026-09-21 18:37:32.517700 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1208:1224, ack 1565, win 69, options [nop,nop,TS val 3506998501 ecr 407783180], length 16 +2026-09-21 18:37:32.518484 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1208:1224, ack 1565, win 69, options [nop,nop,TS val 1723033933 ecr 2226278603], length 16 +2026-09-21 18:37:32.560211 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 1224, win 503, options [nop,nop,TS val 863349079 ecr 2455794257], length 0 +2026-09-21 18:37:32.560282 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1224:1268, ack 1565, win 69, options [nop,nop,TS val 2455794300 ecr 863349079], length 44 +2026-09-21 18:37:32.560375 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 1268, win 503, options [nop,nop,TS val 863349079 ecr 2455794300], length 0 +2026-09-21 18:37:32.560485 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1565:1609, ack 1268, win 503, options [nop,nop,TS val 863349079 ecr 2455794300], length 44 +2026-09-21 18:37:32.560657 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1268:1336, ack 1609, win 69, options [nop,nop,TS val 2455794300 ecr 863349079], length 68 +2026-09-21 18:37:32.561709 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [.], ack 1224, win 501, options [nop,nop,TS val 407783226 ecr 3506998501], length 0 +2026-09-21 18:37:32.561747 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1224:1268, ack 1565, win 69, options [nop,nop,TS val 3506998545 ecr 407783226], length 44 +2026-09-21 18:37:32.561908 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [.], ack 1268, win 501, options [nop,nop,TS val 407783226 ecr 3506998545], length 0 +2026-09-21 18:37:32.561982 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 1565:1609, ack 1268, win 501, options [nop,nop,TS val 407783226 ecr 3506998545], length 44 +2026-09-21 18:37:32.562068 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1268:1336, ack 1609, win 69, options [nop,nop,TS val 3506998545 ecr 407783226], length 68 +2026-09-21 18:37:32.564006 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [.], ack 1224, win 501, options [nop,nop,TS val 2226278651 ecr 1723033933], length 0 +2026-09-21 18:37:32.564052 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1224:1268, ack 1565, win 69, options [nop,nop,TS val 1723033978 ecr 2226278651], length 44 +2026-09-21 18:37:32.564188 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [.], ack 1268, win 501, options [nop,nop,TS val 2226278651 ecr 1723033978], length 0 +2026-09-21 18:37:32.564312 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 1565:1609, ack 1268, win 501, options [nop,nop,TS val 2226278651 ecr 1723033978], length 44 +2026-09-21 18:37:32.564411 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1268:1336, ack 1609, win 69, options [nop,nop,TS val 1723033979 ecr 2226278651], length 68 +2026-09-21 18:37:32.568074 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 1609:1653, ack 1336, win 501, options [nop,nop,TS val 407783232 ecr 3506998545], length 44 +2026-09-21 18:37:32.568285 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1336:1484, ack 1653, win 69, options [nop,nop,TS val 3506998552 ecr 407783232], length 148 +2026-09-21 18:37:32.569185 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 1653:1753, ack 1484, win 501, options [nop,nop,TS val 407783233 ecr 3506998552], length 100 +2026-09-21 18:37:32.569679 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1484:1800, ack 1753, win 69, options [nop,nop,TS val 3506998553 ecr 407783233], length 316 +2026-09-21 18:37:32.569853 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1609:1653, ack 1336, win 503, options [nop,nop,TS val 863349088 ecr 2455794300], length 44 +2026-09-21 18:37:32.570016 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1336:1484, ack 1653, win 69, options [nop,nop,TS val 2455794309 ecr 863349088], length 148 +2026-09-21 18:37:32.570640 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1653:1753, ack 1484, win 503, options [nop,nop,TS val 863349089 ecr 2455794309], length 100 +2026-09-21 18:37:32.570815 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 1609:1653, ack 1336, win 501, options [nop,nop,TS val 2226278657 ecr 1723033979], length 44 +2026-09-21 18:37:32.571036 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1336:1484, ack 1653, win 69, options [nop,nop,TS val 1723033985 ecr 2226278657], length 148 +2026-09-21 18:37:32.571191 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1484:1800, ack 1753, win 69, options [nop,nop,TS val 2455794311 ecr 863349089], length 316 +2026-09-21 18:37:32.571765 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 1653:1753, ack 1484, win 501, options [nop,nop,TS val 2226278658 ecr 1723033985], length 100 +2026-09-21 18:37:32.572292 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1484:1800, ack 1753, win 69, options [nop,nop,TS val 1723033987 ecr 2226278658], length 316 +2026-09-21 18:37:32.580599 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 1753:1781, ack 1800, win 501, options [nop,nop,TS val 407783245 ecr 3506998553], length 28 +2026-09-21 18:37:32.580774 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1800:1912, ack 1781, win 69, options [nop,nop,TS val 3506998564 ecr 407783245], length 112 +2026-09-21 18:37:32.584173 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 1753:1781, ack 1800, win 501, options [nop,nop,TS val 2226278671 ecr 1723033987], length 28 +2026-09-21 18:37:32.584349 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1800:1912, ack 1781, win 69, options [nop,nop,TS val 1723033999 ecr 2226278671], length 112 +2026-09-21 18:37:32.588491 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1753:1781, ack 1800, win 503, options [nop,nop,TS val 863349107 ecr 2455794311], length 28 +2026-09-21 18:37:32.588664 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1800:1912, ack 1781, win 69, options [nop,nop,TS val 2455794328 ecr 863349107], length 112 +2026-09-21 18:37:32.621542 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [.], ack 1912, win 501, options [nop,nop,TS val 407783286 ecr 3506998564], length 0 +2026-09-21 18:37:32.631986 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [.], ack 1912, win 501, options [nop,nop,TS val 2226278719 ecr 1723033999], length 0 +2026-09-21 18:37:32.632126 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 1912, win 503, options [nop,nop,TS val 863349151 ecr 2455794328], length 0 +2026-09-21 18:37:32.671083 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 1781:2557, ack 1912, win 503, options [nop,nop,TS val 863349189 ecr 2455794328], length 776 +2026-09-21 18:37:32.703224 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 1781:2557, ack 1912, win 501, options [nop,nop,TS val 2226278790 ecr 1723033999], length 776 +2026-09-21 18:37:32.711184 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 2557, win 71, options [nop,nop,TS val 2455794451 ecr 863349189], length 0 +2026-09-21 18:37:32.711343 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2557:2749, ack 1912, win 503, options [nop,nop,TS val 863349230 ecr 2455794451], length 192 +2026-09-21 18:37:32.711366 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 2749, win 74, options [nop,nop,TS val 2455794451 ecr 863349230], length 0 +2026-09-21 18:37:32.711425 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [P.], seq 1912:2020, ack 2749, win 74, options [nop,nop,TS val 2455794451 ecr 863349230], length 108 +2026-09-21 18:37:32.711455 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [.], ack 2020, win 503, options [nop,nop,TS val 863349230 ecr 2455794451], length 0 +2026-09-21 18:37:32.711881 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2749:2821, ack 2020, win 503, options [nop,nop,TS val 863349230 ecr 2455794451], length 72 +2026-09-21 18:37:32.717047 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 1781:2557, ack 1912, win 501, options [nop,nop,TS val 407783381 ecr 3506998564], length 776 +2026-09-21 18:37:32.728636 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2821:2937, ack 2020, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 116 +2026-09-21 18:37:32.728663 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 2937:3065, ack 2020, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 128 +2026-09-21 18:37:32.728762 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 3065:3141, ack 2020, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 76 +2026-09-21 18:37:32.728790 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 3141, win 76, options [nop,nop,TS val 2455794468 ecr 863349230], length 0 +2026-09-21 18:37:32.744188 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 2557, win 72, options [nop,nop,TS val 1723034159 ecr 2226278790], length 0 +2026-09-21 18:37:32.744367 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 2557:2749, ack 1912, win 501, options [nop,nop,TS val 2226278831 ecr 1723034159], length 192 +2026-09-21 18:37:32.744402 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 2749, win 75, options [nop,nop,TS val 1723034159 ecr 2226278831], length 0 +2026-09-21 18:37:32.744539 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [P.], seq 1912:2028, ack 2749, win 75, options [nop,nop,TS val 1723034159 ecr 2226278831], length 116 +2026-09-21 18:37:32.744608 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [.], ack 2028, win 501, options [nop,nop,TS val 2226278831 ecr 1723034159], length 0 +2026-09-21 18:37:32.745529 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 2749:2821, ack 2028, win 501, options [nop,nop,TS val 2226278832 ecr 1723034159], length 72 +2026-09-21 18:37:32.757211 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [.], ack 2557, win 72, options [nop,nop,TS val 3506998741 ecr 407783381], length 0 +2026-09-21 18:37:32.757451 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 2557:2749, ack 1912, win 501, options [nop,nop,TS val 407783421 ecr 3506998741], length 192 +2026-09-21 18:37:32.757481 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [.], ack 2749, win 75, options [nop,nop,TS val 3506998741 ecr 407783421], length 0 +2026-09-21 18:37:32.757565 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [P.], seq 1912:2028, ack 2749, win 75, options [nop,nop,TS val 3506998741 ecr 407783421], length 116 +2026-09-21 18:37:32.757692 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [.], ack 2028, win 501, options [nop,nop,TS val 407783422 ecr 3506998741], length 0 +2026-09-21 18:37:32.758416 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 2749:2821, ack 2028, win 501, options [nop,nop,TS val 407783422 ecr 3506998741], length 72 +2026-09-21 18:37:32.782444 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 2821:2937, ack 2028, win 501, options [nop,nop,TS val 407783446 ecr 3506998741], length 116 +2026-09-21 18:37:32.782483 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 2937:3065, ack 2028, win 501, options [nop,nop,TS val 407783446 ecr 3506998741], length 128 +2026-09-21 18:37:32.782560 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [.], ack 3065, win 77, options [nop,nop,TS val 3506998766 ecr 407783422], length 0 +2026-09-21 18:37:32.782629 IP 192.168.122.11.22 > 192.168.122.1.40136: Flags [P.], seq 3065:3141, ack 2028, win 501, options [nop,nop,TS val 407783447 ecr 3506998741], length 76 +2026-09-21 18:37:32.787188 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 2821, win 75, options [nop,nop,TS val 1723034202 ecr 2226278832], length 0 +2026-09-21 18:37:32.789021 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 2821:2937, ack 2028, win 501, options [nop,nop,TS val 2226278876 ecr 1723034202], length 116 +2026-09-21 18:37:32.789062 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 2937, win 75, options [nop,nop,TS val 1723034203 ecr 2226278876], length 0 +2026-09-21 18:37:32.789128 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 2937:2997, ack 2028, win 501, options [nop,nop,TS val 2226278876 ecr 1723034202], length 60 +2026-09-21 18:37:32.789140 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 2997, win 75, options [nop,nop,TS val 1723034203 ecr 2226278876], length 0 +2026-09-21 18:37:32.789218 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 2997:3065, ack 2028, win 501, options [nop,nop,TS val 2226278876 ecr 1723034203], length 68 +2026-09-21 18:37:32.789230 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 3065, win 75, options [nop,nop,TS val 1723034204 ecr 2226278876], length 0 +2026-09-21 18:37:32.789405 IP 192.168.122.12.22 > 192.168.122.1.33478: Flags [P.], seq 3065:3141, ack 2028, win 501, options [nop,nop,TS val 2226278876 ecr 1723034204], length 76 +2026-09-21 18:37:32.789416 IP 192.168.122.1.33478 > 192.168.122.12.22: Flags [.], ack 3141, win 75, options [nop,nop,TS val 1723034204 ecr 2226278876], length 0 +2026-09-21 18:37:32.823204 IP 192.168.122.1.40136 > 192.168.122.11.22: Flags [.], ack 3141, win 77, options [nop,nop,TS val 3506998807 ecr 407783447], length 0 +2026-09-21 18:37:35.583110 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 1657328407:1657328435, ack 2178045099, win 501, options [nop,nop,TS val 980692385 ecr 153940314], length 28 +2026-09-21 18:37:35.583461 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [P.], seq 1:25, ack 28, win 1305, options [nop,nop,TS val 153945313 ecr 980692385], length 24 +2026-09-21 18:37:35.583602 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [.], ack 25, win 501, options [nop,nop,TS val 980692385 ecr 153945313], length 0 +2026-09-21 18:37:35.918007 IP 192.168.122.12.48592 > 192.168.122.11.6443: Flags [P.], seq 3933481447:3933481990, ack 2568161564, win 11012, options [nop,nop,TS val 980692720 ecr 153941586], length 543 +2026-09-21 18:37:35.922253 IP 192.168.122.11.6443 > 192.168.122.12.48592: Flags [P.], seq 1:91, ack 543, win 501, options [nop,nop,TS val 153945652 ecr 980692720], length 90 +2026-09-21 18:37:35.922277 IP 192.168.122.11.6443 > 192.168.122.12.48592: Flags [P.], seq 91:594, ack 543, win 501, options [nop,nop,TS val 153945652 ecr 980692720], length 503 +2026-09-21 18:37:35.922467 IP 192.168.122.12.48592 > 192.168.122.11.6443: Flags [.], ack 91, win 11012, options [nop,nop,TS val 980692724 ecr 153945652], length 0 +2026-09-21 18:37:35.922488 IP 192.168.122.12.48592 > 192.168.122.11.6443: Flags [.], ack 594, win 11012, options [nop,nop,TS val 980692724 ecr 153945652], length 0 +2026-09-21 18:37:36.238463 IP 192.168.122.11.6443 > 192.168.122.12.1944: Flags [P.], seq 642724808:642724931, ack 2749226089, win 501, options [nop,nop,TS val 153945968 ecr 123216768], length 123 +2026-09-21 18:37:36.238741 IP 192.168.122.12.1944 > 192.168.122.11.6443: Flags [.], ack 123, win 1462, options [nop,nop,TS val 123222279 ecr 153945968], length 0 +2026-09-21 18:37:36.372622 IP 192.168.122.11.6443 > 192.168.122.12.48592: Flags [P.], seq 594:692, ack 543, win 501, options [nop,nop,TS val 153946103 ecr 980692724], length 98 +2026-09-21 18:37:36.372922 IP 192.168.122.12.48592 > 192.168.122.11.6443: Flags [.], ack 692, win 11012, options [nop,nop,TS val 980693175 ecr 153946103], length 0 +2026-09-21 18:37:36.564903 IP 192.168.122.11.6443 > 192.168.122.12.1944: Flags [P.], seq 123:281, ack 1, win 501, options [nop,nop,TS val 153946295 ecr 123222279], length 158 +2026-09-21 18:37:36.565287 IP 192.168.122.12.1944 > 192.168.122.11.6443: Flags [.], ack 281, win 1462, options [nop,nop,TS val 123222606 ecr 153946295], length 0 +2026-09-21 18:37:37.299141 IP 192.168.122.11.6443 > 192.168.122.12.1944: Flags [P.], seq 281:404, ack 1, win 501, options [nop,nop,TS val 153947029 ecr 123222606], length 123 +2026-09-21 18:37:37.299383 IP 192.168.122.12.1944 > 192.168.122.11.6443: Flags [.], ack 404, win 1462, options [nop,nop,TS val 123223340 ecr 153947029], length 0 +2026-09-21 18:37:37.913538 IP 192.168.122.11.6443 > 192.168.122.12.48532: Flags [.], ack 3766367854, win 501, options [nop,nop,TS val 153947644 ecr 980514488], length 0 +2026-09-21 18:37:37.913568 IP 192.168.122.11.6443 > 192.168.122.12.60448: Flags [.], ack 1111391753, win 501, options [nop,nop,TS val 153947644 ecr 980514488], length 0 +2026-09-21 18:37:37.913696 IP 192.168.122.12.48532 > 192.168.122.11.6443: Flags [.], ack 1, win 501, options [nop,nop,TS val 980694715 ecr 153941590], length 0 +2026-09-21 18:37:37.913724 IP 192.168.122.12.60448 > 192.168.122.11.6443: Flags [.], ack 1, win 501, options [nop,nop,TS val 980694715 ecr 153940822], length 0 +2026-09-21 18:37:38.459126 IP 192.168.122.11.6443 > 192.168.122.12.1944: Flags [P.], seq 404:435, ack 1, win 501, options [nop,nop,TS val 153948189 ecr 123223340], length 31 +2026-09-21 18:37:38.459412 IP 192.168.122.12.1944 > 192.168.122.11.6443: Flags [.], ack 435, win 1462, options [nop,nop,TS val 123224500 ecr 153948189], length 0 +2026-09-21 18:37:38.460195 IP 192.168.122.12.1944 > 192.168.122.11.6443: Flags [P.], seq 1:173, ack 435, win 1462, options [nop,nop,TS val 123224501 ecr 153948189], length 172 +2026-09-21 18:37:38.461744 IP 192.168.122.11.6443 > 192.168.122.12.1944: Flags [P.], seq 435:524, ack 173, win 501, options [nop,nop,TS val 153948192 ecr 123224501], length 89 +2026-09-21 18:37:38.503943 IP 192.168.122.12.1944 > 192.168.122.11.6443: Flags [.], ack 524, win 1462, options [nop,nop,TS val 123224545 ecr 153948192], length 0 +2026-09-21 18:37:39.660728 IP 192.168.122.11.1667 > 192.168.122.12.9100: Flags [P.], seq 3848309295:3848309725, ack 1092429266, win 509, options [nop,nop,TS val 1612979355 ecr 980681475], length 430 +2026-09-21 18:37:39.681570 IP 192.168.122.12.9100 > 192.168.122.11.1667: Flags [P.], seq 1:4097, ack 430, win 1741, options [nop,nop,TS val 980696483 ecr 1612979355], length 4096 +2026-09-21 18:37:39.681630 IP 192.168.122.12.9100 > 192.168.122.11.1667: Flags [P.], seq 4097:8193, ack 430, win 1741, options [nop,nop,TS val 980696483 ecr 1612979355], length 4096 +2026-09-21 18:37:39.681696 IP 192.168.122.12.9100 > 192.168.122.11.1667: Flags [P.], seq 8193:12289, ack 430, win 1741, options [nop,nop,TS val 980696483 ecr 1612979355], length 4096 +2026-09-21 18:37:39.681696 IP 192.168.122.11.1667 > 192.168.122.12.9100: Flags [.], ack 4097, win 493, options [nop,nop,TS val 1612979376 ecr 980696483], length 0 +2026-09-21 18:37:39.681717 IP 192.168.122.12.9100 > 192.168.122.11.1667: Flags [P.], seq 12289:12813, ack 430, win 1741, options [nop,nop,TS val 980696483 ecr 1612979355], length 524 +2026-09-21 18:37:39.681734 IP 192.168.122.11.1667 > 192.168.122.12.9100: Flags [.], ack 8193, win 475, options [nop,nop,TS val 1612979376 ecr 980696483], length 0 +2026-09-21 18:37:39.681753 IP 192.168.122.11.1667 > 192.168.122.12.9100: Flags [.], ack 12289, win 455, options [nop,nop,TS val 1612979376 ecr 980696483], length 0 +2026-09-21 18:37:39.681756 IP 192.168.122.11.1667 > 192.168.122.12.9100: Flags [.], ack 12813, win 451, options [nop,nop,TS val 1612979376 ecr 980696483], length 0 +2026-09-21 18:37:40.583653 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 28:56, ack 25, win 501, options [nop,nop,TS val 980697385 ecr 153945313], length 28 +2026-09-21 18:37:40.583904 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [P.], seq 25:49, ack 56, win 1305, options [nop,nop,TS val 153950314 ecr 980697385], length 24 +2026-09-21 18:37:40.584074 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [.], ack 49, win 501, options [nop,nop,TS val 980697386 ecr 153950314], length 0 +2026-09-21 18:37:41.602694 IP 192.168.122.11.6443 > 192.168.122.12.48574: Flags [P.], seq 1300320004:1300320147, ack 688956842, win 501, options [nop,nop,TS val 153951333 ecr 980685270], length 143 +2026-09-21 18:37:41.603075 IP 192.168.122.12.48574 > 192.168.122.11.6443: Flags [.], ack 143, win 2047, options [nop,nop,TS val 980698405 ecr 153951333], length 0 +2026-09-21 18:37:42.028119 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [P.], seq 49:633, ack 56, win 1305, options [nop,nop,TS val 153951758 ecr 980697386], length 584 +2026-09-21 18:37:42.028320 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [.], ack 633, win 501, options [nop,nop,TS val 980698830 ecr 153951758], length 0 +2026-09-21 18:37:42.040559 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 56:4182, ack 633, win 501, options [nop,nop,TS val 980698842 ecr 153951758], length 4126 +2026-09-21 18:37:42.040579 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 4182:8372, ack 633, win 501, options [nop,nop,TS val 980698842 ecr 153951758], length 4190 +2026-09-21 18:37:42.040605 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 8372:8436, ack 633, win 501, options [nop,nop,TS val 980698842 ecr 153951758], length 64 +2026-09-21 18:37:42.040611 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 8436:12562, ack 633, win 501, options [nop,nop,TS val 980698842 ecr 153951758], length 4126 +2026-09-21 18:37:42.040717 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [.], ack 12562, win 1247, options [nop,nop,TS val 153951771 ecr 980698842], length 0 +2026-09-21 18:37:42.040757 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 12562:21006, ack 633, win 501, options [nop,nop,TS val 980698843 ecr 153951771], length 8444 +2026-09-21 18:37:42.040782 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [.], ack 21006, win 1269, options [nop,nop,TS val 153951771 ecr 980698843], length 0 +2026-09-21 18:37:42.042215 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 21006:25132, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951771], length 4126 +2026-09-21 18:37:42.042233 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 25132:25196, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951771], length 64 +2026-09-21 18:37:42.042258 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 25196:29322, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951771], length 4126 +2026-09-21 18:37:42.042260 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [.], ack 25132, win 1289, options [nop,nop,TS val 153951772 ecr 980698844], length 0 +2026-09-21 18:37:42.042268 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 29322:29386, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951771], length 64 +2026-09-21 18:37:42.042296 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [.], ack 29386, win 1305, options [nop,nop,TS val 153951772 ecr 980698844], length 0 +2026-09-21 18:37:42.042323 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 29386:33512, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951772], length 4126 +2026-09-21 18:37:42.042338 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 33512:33576, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951772], length 64 +2026-09-21 18:37:42.042342 IP 192.168.122.12.48620 > 192.168.122.11.6443: Flags [P.], seq 33576:34527, ack 633, win 501, options [nop,nop,TS val 980698844 ecr 153951772], length 951 +2026-09-21 18:37:42.042371 IP 192.168.122.11.6443 > 192.168.122.12.48620: Flags [.], ack 34527, win 1305, options [nop,nop,TS val 153951772 ecr 980698844], length 0 +2026-09-21 18:37:42.794920 IP 192.168.122.11.6443 > 192.168.122.12.48574: Flags [P.], seq 143:174, ack 1, win 501, options [nop,nop,TS val 153952525 ecr 980698405], length 31 +2026-09-21 18:37:42.795121 IP 192.168.122.12.48574 > 192.168.122.11.6443: Flags [.], ack 174, win 2047, options [nop,nop,TS val 980699597 ecr 153952525], length 0 +2026-09-21 18:37:42.795961 IP 192.168.122.12.48574 > 192.168.122.11.6443: Flags [P.], seq 1:114, ack 174, win 2047, options [nop,nop,TS val 980699598 ecr 153952525], length 113 +2026-09-21 18:37:42.796182 IP 192.168.122.11.6443 > 192.168.122.12.48574: Flags [.], ack 114, win 501, options [nop,nop,TS val 153952526 ecr 980699598], length 0 +2026-09-21 18:37:42.798123 IP 192.168.122.11.6443 > 192.168.122.12.48574: Flags [P.], seq 174:264, ack 114, win 501, options [nop,nop,TS val 153952528 ecr 980699598], length 90 +2026-09-21 18:37:42.839994 IP 192.168.122.12.48574 > 192.168.122.11.6443: Flags [.], ack 264, win 2047, options [nop,nop,TS val 980699642 ecr 153952528], length 0 + +151 packets captured +191 packets received by filter +0 packets dropped by kernel +===== vnet18 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on vnet18, link-type EN10MB (Ethernet), snapshot length 262144 bytes + +0 packets captured +12 packets received by filter +0 packets dropped by kernel +===== vnet19 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on vnet19, link-type EN10MB (Ethernet), snapshot length 262144 bytes + +0 packets captured +0 packets received by filter +0 packets dropped by kernel +===== edge ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 09:36:02.330176 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 525057116:525057232, ack 4052104683, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 116 +2026-09-21 09:36:02.330216 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 116:244, ack 1, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 128 +2026-09-21 09:36:02.330323 IP 192.168.122.10.22 > 192.168.122.1.45400: Flags [P.], seq 244:320, ack 1, win 503, options [nop,nop,TS val 863349247 ecr 2455794451], length 76 +2026-09-21 09:36:02.330514 IP 192.168.122.1.45400 > 192.168.122.10.22: Flags [.], ack 320, win 76, options [nop,nop,TS val 2455794468 ecr 863349230], length 0 +2026-09-21 09:36:13.268190 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [S], seq 2946242659, win 64240, options [mss 1460,sackOK,TS val 4246008720 ecr 0,nop,wscale 10], length 0 +2026-09-21 09:36:13.268230 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [S.], seq 1457685985, ack 2946242660, win 65084, options [mss 1240,sackOK,TS val 863360185 ecr 4246008720,nop,wscale 7], length 0 +2026-09-21 09:36:13.271238 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [.], ack 1, win 63, options [nop,nop,TS val 4246008726 ecr 863360185], length 0 +2026-09-21 09:36:13.272764 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [P.], seq 1:518, ack 1, win 63, options [nop,nop,TS val 4246008728 ecr 863360185], length 517 +2026-09-21 09:36:13.272789 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [.], ack 518, win 505, options [nop,nop,TS val 863360190 ecr 4246008728], length 0 +2026-09-21 09:36:13.273791 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [P.], seq 1:3841, ack 518, win 505, options [nop,nop,TS val 863360191 ecr 4246008728], length 3840 +2026-09-21 09:36:13.275682 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [.], ack 3841, win 60, options [nop,nop,TS val 4246008730 ecr 863360191], length 0 +2026-09-21 09:36:13.277133 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [P.], seq 518:598, ack 3841, win 60, options [nop,nop,TS val 4246008732 ecr 863360191], length 80 +2026-09-21 09:36:13.277133 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [P.], seq 598:684, ack 3841, win 60, options [nop,nop,TS val 4246008732 ecr 863360191], length 86 +2026-09-21 09:36:13.277133 IP 192.168.122.1.40938 > 192.168.122.10.443: Flags [P.], seq 684:799, ack 3841, win 60, options [nop,nop,TS val 4246008732 ecr 863360191], length 115 +2026-09-21 09:36:13.277193 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [.], ack 799, win 503, options [nop,nop,TS val 863360194 ecr 4246008732], length 0 +2026-09-21 09:36:13.277363 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [P.], seq 3841:4144, ack 799, win 503, options [nop,nop,TS val 863360194 ecr 4246008732], length 303 +2026-09-21 09:36:13.277392 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [P.], seq 4144:4447, ack 799, win 503, options [nop,nop,TS val 863360194 ecr 4246008732], length 303 +2026-09-21 09:36:13.277448 IP 192.168.122.10.38638 > 192.168.122.11.80: Flags [S], seq 896068254, win 64240, options [mss 1460,sackOK,TS val 601016490 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:36:13.277456 IP 192.168.122.10.443 > 192.168.122.1.40938: Flags [P.], seq 4447:4518, ack 799, win 503, options [nop,nop,TS val 863360194 ecr 4246008732], length 71 +2026-09-21 09:36:13.277727 IP 192.168.122.11.80 > 192.168.122.10.38638: Flags [S.], seq 2261205495, ack 896068255, win 64308, options [mss 1410,sackOK,TS val 3620786299 ecr 601016490,nop,wscale 7], length 0 +2026-09-21 09:36:13.277734 IP 192.168.122.10.38638 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601016491 ecr 3620786299], length 0 +2026-09-21 09:36:13.277750 IP 192.168.122.10.38638 > 192.168.122.11.80: Flags [P.], seq 1:315, ack 1, win 502, options [nop,nop,TS val 601016491 ecr 3620786299], length 314: HTTP: GET /realms/master/.well-known/openid-configuration?trace=reval-20260921 HTTP/1.1 +2026-09-21 09:36:13.277837 IP 192.168.122.11.80 > 192.168.122.10.38638: Flags [.], ack 315, win 502, options [nop,nop,TS val 3620786299 ecr===== kc1 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +===== kc2 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/70-network-packet-path-request.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/70-network-packet-path-request.txt new file mode 100644 index 0000000..91959b5 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/70-network-packet-path-request.txt @@ -0,0 +1 @@ +local_ip=172.18.0.2 local_port=40938 remote_ip=100.83.212.4 remote_port=443 http_code=200 time_total=0.187652 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt new file mode 100644 index 0000000..ee3d1c2 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt @@ -0,0 +1,130 @@ +===== tail ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on tailscale0, link-type RAW (Raw IP), snapshot length 262144 bytes +2026-09-21 18:38:19.538732 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [S], seq 3795948899, win 64240, options [mss 1460,sackOK,TS val 1924871933 ecr 0,nop,wscale 10], length 0 +2026-09-21 18:38:19.539023 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [S.], seq 2523160203, ack 3795948900, win 65084, options [mss 1240,sackOK,TS val 863396058 ecr 1924871933,nop,wscale 7], length 0 +2026-09-21 18:38:19.541128 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [.], ack 1, win 63, options [nop,nop,TS val 1924871960 ecr 863396058], length 0 +2026-09-21 18:38:19.542641 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [P.], seq 1:518, ack 1, win 63, options [nop,nop,TS val 1924871961 ecr 863396058], length 517 +2026-09-21 18:38:19.542824 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [.], ack 518, win 505, options [nop,nop,TS val 863396062 ecr 1924871961], length 0 +2026-09-21 18:38:19.543962 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 1:3839, ack 518, win 505, options [nop,nop,TS val 863396063 ecr 1924871961], length 3838 +2026-09-21 18:38:19.545802 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [.], ack 3839, win 60, options [nop,nop,TS val 1924871965 ecr 863396063], length 0 +2026-09-21 18:38:19.547219 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [P.], seq 518:598, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 80 +2026-09-21 18:38:19.547260 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [P.], seq 598:684, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 86 +2026-09-21 18:38:19.547271 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [P.], seq 684:804, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 120 +2026-09-21 18:38:19.547469 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [.], ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 0 +2026-09-21 18:38:19.547638 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 3839:4142, ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 303 +2026-09-21 18:38:19.547741 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 4142:4445, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 303 +2026-09-21 18:38:19.547889 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 4445:4516, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 71 +2026-09-21 18:38:19.549655 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [.], ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 0 +2026-09-21 18:38:19.549697 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [P.], seq 804:835, ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 31 +2026-09-21 18:38:19.564346 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 4516:10656, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 6140 +2026-09-21 18:38:19.564359 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 10656:11479, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 823 +2026-09-21 18:38:19.564465 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [P.], seq 11479:11510, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 31 +2026-09-21 18:38:19.566182 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [.], ack 11510, win 54, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 18:38:19.566203 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [P.], seq 835:859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 24 +2026-09-21 18:38:19.566207 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [F.], seq 859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 18:38:19.566323 IP 100.83.212.4.443 > 100.92.240.34.42996: Flags [F.], seq 11510, ack 860, win 503, options [nop,nop,TS val 863396085 ecr 1924871985], length 0 +2026-09-21 18:38:19.567705 IP 100.92.240.34.42996 > 100.83.212.4.443: Flags [.], ack 11511, win 58, options [nop,nop,TS val 1924871987 ecr 863396085], length 0 + +24 packets captured +24 packets received by filter +0 packets dropped by kernel +===== vnet13 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on vnet13, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 18:38:19.538809 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [S], seq 3795948899, win 64240, options [mss 1460,sackOK,TS val 1924871933 ecr 0,nop,wscale 10], length 0 +2026-09-21 18:38:19.538982 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [S.], seq 2523160203, ack 3795948900, win 65084, options [mss 1240,sackOK,TS val 863396058 ecr 1924871933,nop,wscale 7], length 0 +2026-09-21 18:38:19.541189 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 1, win 63, options [nop,nop,TS val 1924871960 ecr 863396058], length 0 +2026-09-21 18:38:19.542686 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 1:518, ack 1, win 63, options [nop,nop,TS val 1924871961 ecr 863396058], length 517 +2026-09-21 18:38:19.542798 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [.], ack 518, win 505, options [nop,nop,TS val 863396062 ecr 1924871961], length 0 +2026-09-21 18:38:19.543927 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 1:3839, ack 518, win 505, options [nop,nop,TS val 863396063 ecr 1924871961], length 3838 +2026-09-21 18:38:19.545835 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 3839, win 60, options [nop,nop,TS val 1924871965 ecr 863396063], length 0 +2026-09-21 18:38:19.547252 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 518:598, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 80 +2026-09-21 18:38:19.547267 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 598:684, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 86 +2026-09-21 18:38:19.547276 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 684:804, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 120 +2026-09-21 18:38:19.547441 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [.], ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 0 +2026-09-21 18:38:19.547628 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 3839:4142, ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 303 +2026-09-21 18:38:19.547735 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4142:4445, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 303 +2026-09-21 18:38:19.547883 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4445:4516, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 71 +2026-09-21 18:38:19.549687 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 0 +2026-09-21 18:38:19.549708 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 804:835, ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 31 +2026-09-21 18:38:19.564314 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4516:10656, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 6140 +2026-09-21 18:38:19.564355 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 10656:11479, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 823 +2026-09-21 18:38:19.564453 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 11479:11510, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 31 +2026-09-21 18:38:19.566199 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 11510, win 54, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 18:38:19.566205 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 835:859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 24 +2026-09-21 18:38:19.566209 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [F.], seq 859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 18:38:19.566310 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [F.], seq 11510, ack 860, win 503, options [nop,nop,TS val 863396085 ecr 1924871985], length 0 +2026-09-21 18:38:19.567716 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 11511, win 58, options [nop,nop,TS val 1924871987 ecr 863396085], length 0 + +24 packets captured +24 packets received by filter +0 packets dropped by kernel +===== virbr0 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on virbr0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 18:38:19.538801 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [S], seq 3795948899, win 64240, options [mss 1460,sackOK,TS val 1924871933 ecr 0,nop,wscale 10], length 0 +2026-09-21 18:38:19.538982 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [S.], seq 2523160203, ack 3795948900, win 65084, options [mss 1240,sackOK,TS val 863396058 ecr 1924871933,nop,wscale 7], length 0 +2026-09-21 18:38:19.541182 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 1, win 63, options [nop,nop,TS val 1924871960 ecr 863396058], length 0 +2026-09-21 18:38:19.542679 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 1:518, ack 1, win 63, options [nop,nop,TS val 1924871961 ecr 863396058], length 517 +2026-09-21 18:38:19.542798 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [.], ack 518, win 505, options [nop,nop,TS val 863396062 ecr 1924871961], length 0 +2026-09-21 18:38:19.543927 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 1:3839, ack 518, win 505, options [nop,nop,TS val 863396063 ecr 1924871961], length 3838 +2026-09-21 18:38:19.545831 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 3839, win 60, options [nop,nop,TS val 1924871965 ecr 863396063], length 0 +2026-09-21 18:38:19.547247 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 518:598, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 80 +2026-09-21 18:38:19.547266 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 598:684, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 86 +2026-09-21 18:38:19.547275 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 684:804, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 120 +2026-09-21 18:38:19.547441 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [.], ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 0 +2026-09-21 18:38:19.547628 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 3839:4142, ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 303 +2026-09-21 18:38:19.547735 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4142:4445, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 303 +2026-09-21 18:38:19.547883 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4445:4516, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 71 +2026-09-21 18:38:19.549683 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 0 +2026-09-21 18:38:19.549706 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 804:835, ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 31 +2026-09-21 18:38:19.564314 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4516:10656, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 6140 +2026-09-21 18:38:19.564355 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 10656:11479, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 823 +2026-09-21 18:38:19.564453 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 11479:11510, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 31 +2026-09-21 18:38:19.566197 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 11510, win 54, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 18:38:19.566205 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 835:859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 24 +2026-09-21 18:38:19.566209 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [F.], seq 859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 18:38:19.566310 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [F.], seq 11510, ack 860, win 503, options [nop,nop,TS val 863396085 ecr 1924871985], length 0 +2026-09-21 18:38:19.567714 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 11511, win 58, options [nop,nop,TS val 1924871987 ecr 863396085], length 0 + +24 packets captured +24 packets received by filter +0 packets dropped by kernel +===== vnet18 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on vnet18, link-type EN10MB (Ethernet), snapshot length 262144 bytes + +0 packets captured +0 packets received by filter +0 packets dropped by kernel +===== edge ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 09:36:49.140942 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [S], seq 3795948899, win 64240, options [mss 1460,sackOK,TS val 1924871933 ecr 0,nop,wscale 10], length 0 +2026-09-21 09:36:49.140987 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [S.], seq 2523160203, ack 3795948900, win 65084, options [mss 1240,sackOK,TS val 863396058 ecr 1924871933,nop,wscale 7], length 0 +2026-09-21 09:36:49.143343 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 1, win 63, options [nop,nop,TS val 1924871960 ecr 863396058], length 0 +2026-09-21 09:36:49.144790 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 1:518, ack 1, win 63, options [nop,nop,TS val 1924871961 ecr 863396058], length 517 +2026-09-21 09:36:49.144819 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [.], ack 518, win 505, options [nop,nop,TS val 863396062 ecr 1924871961], length 0 +2026-09-21 09:36:49.145871 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 1:3839, ack 518, win 505, options [nop,nop,TS val 863396063 ecr 1924871961], length 3838 +2026-09-21 09:36:49.147923 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 3839, win 60, options [nop,nop,TS val 1924871965 ecr 863396063], length 0 +2026-09-21 09:36:49.149359 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 518:598, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 80 +2026-09-21 09:36:49.149359 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 598:684, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 86 +2026-09-21 09:36:49.149359 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 684:804, ack 3839, win 60, options [nop,nop,TS val 1924871966 ecr 863396063], length 120 +2026-09-21 09:36:49.149416 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [.], ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 0 +2026-09-21 09:36:49.149657 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 3839:4142, ack 804, win 503, options [nop,nop,TS val 863396066 ecr 1924871966], length 303 +2026-09-21 09:36:49.149767 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4142:4445, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 303 +2026-09-21 09:36:49.149915 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4445:4516, ack 804, win 503, options [nop,nop,TS val 863396067 ecr 1924871966], length 71 +2026-09-21 09:36:49.151788 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 0 +2026-09-21 09:36:49.151789 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 804:835, ack 4516, win 60, options [nop,nop,TS val 1924871969 ecr 863396066], length 31 +2026-09-21 09:36:49.166302 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 4516:10656, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 6140 +2026-09-21 09:36:49.166309 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 10656:11479, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 823 +2026-09-21 09:36:49.166451 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [P.], seq 11479:11510, ack 835, win 503, options [nop,nop,TS val 863396083 ecr 1924871969], length 31 +2026-09-21 09:36:49.168272 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 11510, win 54, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 09:36:49.168272 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [P.], seq 835:859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 24 +2026-09-21 09:36:49.168272 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [F.], seq 859, ack 11510, win 58, options [nop,nop,TS val 1924871985 ecr 863396083], length 0 +2026-09-21 09:36:49.168346 IP 192.168.122.10.443 > 192.168.122.1.42996: Flags [F.], seq 11510, ack 860, win 503, options [nop,nop,TS val 863396085 ecr 1924871985], length 0 +2026-09-21 09:36:49.169803 IP 192.168.122.1.42996 > 192.168.122.10.443: Flags [.], ack 11511, win 58, options [nop,nop,TS val 1924871987 ecr 863396085], length 0 +===== kc1 ===== +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt new file mode 100644 index 0000000..2d89891 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt @@ -0,0 +1 @@ +local_ip=172.18.0.2 local_port=42996 remote_ip=100.83.212.4 remote_port=443 http_code=200 time_total=0.053348 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt new file mode 100644 index 0000000..32153d6 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt @@ -0,0 +1,11 @@ +# Warning: table ip nat is managed by iptables-nft, do not touch! +table ip nat { # handle 2 + chain ts-postrouting { # handle 2 + meta mark & 0x00ff0000 == 0x00040000 counter packets 165 bytes 9900 xt target "MASQUERADE" # handle 5 + } + + chain POSTROUTING { # handle 3 + type nat hook postrouting priority srcnat; policy accept; + counter packets 430113 bytes 31329501 jump ts-postrouting # handle 4 + } +} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-source-rewrite-rules.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-source-rewrite-rules.txt new file mode 100644 index 0000000..5704294 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-source-rewrite-rules.txt @@ -0,0 +1 @@ +zsh:1: ==nat=== not found diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt new file mode 100644 index 0000000..3f7de96 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt @@ -0,0 +1,152 @@ +tcpdump: WARNING: any: That device doesn't support promiscuous mode +(Promiscuous mode not supported on the "any" device) +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on any, link-type LINUX_SLL2 (Linux cooked v2), snapshot length 262144 bytes +2026-09-21 18:40:37.222234 vnet13 P IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [S], seq 4272384995, win 64240, options [mss 1460,sackOK,TS val 601190038 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.222241 vnet18 Out IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [S], seq 4272384995, win 64240, options [mss 1460,sackOK,TS val 601190038 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.222922 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [S.], seq 2522243603, ack 4272384996, win 64308, options [mss 1410,sackOK,TS val 3620959849 ecr 601190038,nop,wscale 7], length 0 +2026-09-21 18:40:37.222926 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [S.], seq 2522243603, ack 4272384996, win 64308, options [mss 1410,sackOK,TS val 3620959849 ecr 601190038,nop,wscale 7], length 0 +2026-09-21 18:40:37.223020 vnet13 P IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190039 ecr 3620959849], length 0 +2026-09-21 18:40:37.223027 vnet18 Out IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190039 ecr 3620959849], length 0 +2026-09-21 18:40:37.223070 vnet13 P IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190039 ecr 3620959849], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-1 HTTP/1.1 +2026-09-21 18:40:37.223073 vnet18 Out IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190039 ecr 3620959849], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-1 HTTP/1.1 +2026-09-21 18:40:37.223513 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620959850 ecr 601190039], length 0 +2026-09-21 18:40:37.223520 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620959850 ecr 601190039], length 0 +2026-09-21 18:40:37.233781 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.233787 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.233820 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 2966: HTTP +2026-09-21 18:40:37.233821 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 2966: HTTP +2026-09-21 18:40:37.233879 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 0 +2026-09-21 18:40:37.233879 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 0 +2026-09-21 18:40:37.233911 vnet13 P IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 4097, win 487, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 18:40:37.233917 vnet18 Out IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 4097, win 487, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 18:40:37.233923 vnet13 P IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 7063, win 475, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 18:40:37.233924 vnet18 Out IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 7063, win 475, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 18:40:37.234093 vnet13 P IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 18:40:37.234094 vnet18 Out IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 18:40:37.234213 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620959861 ecr 601190050], length 0 +2026-09-21 18:40:37.234214 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620959861 ecr 601190050], length 0 +2026-09-21 18:40:37.282240 vnet13 P IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [S], seq 90491088, win 64240, options [mss 1460,sackOK,TS val 2760447736 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.282245 vnet19 Out IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [S], seq 90491088, win 64240, options [mss 1460,sackOK,TS val 2760447736 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.282492 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [S.], seq 892785071, ack 90491089, win 64308, options [mss 1410,sackOK,TS val 2403019530 ecr 2760447736,nop,wscale 7], length 0 +2026-09-21 18:40:37.282500 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [S.], seq 892785071, ack 90491089, win 64308, options [mss 1410,sackOK,TS val 2403019530 ecr 2760447736,nop,wscale 7], length 0 +2026-09-21 18:40:37.282548 vnet13 P IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447737 ecr 2403019530], length 0 +2026-09-21 18:40:37.282551 vnet19 Out IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447737 ecr 2403019530], length 0 +2026-09-21 18:40:37.282579 vnet13 P IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447737 ecr 2403019530], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-2 HTTP/1.1 +2026-09-21 18:40:37.282580 vnet19 Out IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447737 ecr 2403019530], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-2 HTTP/1.1 +2026-09-21 18:40:37.282765 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019530 ecr 2760447737], length 0 +2026-09-21 18:40:37.282773 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019530 ecr 2760447737], length 0 +2026-09-21 18:40:37.287894 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.287904 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.287911 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 2966: HTTP +2026-09-21 18:40:37.287912 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 2966: HTTP +2026-09-21 18:40:37.287912 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 0 +2026-09-21 18:40:37.287913 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 0 +2026-09-21 18:40:37.288066 vnet13 P IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 18:40:37.288071 vnet19 Out IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 18:40:37.288076 vnet13 P IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 18:40:37.288076 vnet19 Out IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 18:40:37.288226 vnet13 P IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 18:40:37.288227 vnet19 Out IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 18:40:37.288277 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019536 ecr 2760447742], length 0 +2026-09-21 18:40:37.288280 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019536 ecr 2760447742], length 0 +2026-09-21 18:40:37.332459 vnet13 P IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [S], seq 1882123395, win 64240, options [mss 1460,sackOK,TS val 601190148 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.332466 vnet18 Out IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [S], seq 1882123395, win 64240, options [mss 1460,sackOK,TS val 601190148 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.333222 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [S.], seq 1427008417, ack 1882123396, win 64308, options [mss 1410,sackOK,TS val 3620959959 ecr 601190148,nop,wscale 7], length 0 +2026-09-21 18:40:37.333229 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [S.], seq 1427008417, ack 1882123396, win 64308, options [mss 1410,sackOK,TS val 3620959959 ecr 601190148,nop,wscale 7], length 0 +2026-09-21 18:40:37.333488 vnet13 P IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190149 ecr 3620959959], length 0 +2026-09-21 18:40:37.333496 vnet18 Out IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190149 ecr 3620959959], length 0 +2026-09-21 18:40:37.333501 vnet13 P IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190149 ecr 3620959959], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-3 HTTP/1.1 +2026-09-21 18:40:37.333503 vnet18 Out IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190149 ecr 3620959959], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-3 HTTP/1.1 +2026-09-21 18:40:37.333952 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620959960 ecr 601190149], length 0 +2026-09-21 18:40:37.333956 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620959960 ecr 601190149], length 0 +2026-09-21 18:40:37.343148 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620959969 ecr 601190149], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.343157 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620959969 ecr 601190149], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.343208 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620959970 ecr 601190149], length 2966: HTTP +2026-09-21 18:40:37.343212 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620959970 ecr 601190149], length 2966: HTTP +2026-09-21 18:40:37.343259 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620959970 ecr 601190149], length 0 +2026-09-21 18:40:37.343261 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620959970 ecr 601190149], length 0 +2026-09-21 18:40:37.343308 vnet13 P IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 601190159 ecr 3620959969], length 0 +2026-09-21 18:40:37.343315 vnet18 Out IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 601190159 ecr 3620959969], length 0 +2026-09-21 18:40:37.343320 vnet13 P IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 601190159 ecr 3620959970], length 0 +2026-09-21 18:40:37.343322 vnet18 Out IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 601190159 ecr 3620959970], length 0 +2026-09-21 18:40:37.343579 vnet13 P IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190160 ecr 3620959970], length 0 +2026-09-21 18:40:37.343583 vnet18 Out IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190160 ecr 3620959970], length 0 +2026-09-21 18:40:37.343877 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620959970 ecr 601190160], length 0 +2026-09-21 18:40:37.343880 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620959970 ecr 601190160], length 0 +2026-09-21 18:40:37.381224 vnet13 P IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [S], seq 3362804855, win 64240, options [mss 1460,sackOK,TS val 2760447835 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.381235 vnet19 Out IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [S], seq 3362804855, win 64240, options [mss 1460,sackOK,TS val 2760447835 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.381522 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [S.], seq 899178962, ack 3362804856, win 64308, options [mss 1410,sackOK,TS val 2403019629 ecr 2760447835,nop,wscale 7], length 0 +2026-09-21 18:40:37.381527 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [S.], seq 899178962, ack 3362804856, win 64308, options [mss 1410,sackOK,TS val 2403019629 ecr 2760447835,nop,wscale 7], length 0 +2026-09-21 18:40:37.381651 vnet13 P IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447836 ecr 2403019629], length 0 +2026-09-21 18:40:37.381660 vnet19 Out IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447836 ecr 2403019629], length 0 +2026-09-21 18:40:37.381760 vnet13 P IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447836 ecr 2403019629], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-4 HTTP/1.1 +2026-09-21 18:40:37.381764 vnet19 Out IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447836 ecr 2403019629], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-4 HTTP/1.1 +2026-09-21 18:40:37.381893 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019629 ecr 2760447836], length 0 +2026-09-21 18:40:37.381901 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019629 ecr 2760447836], length 0 +2026-09-21 18:40:37.391407 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.391420 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.391472 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 2966: HTTP +2026-09-21 18:40:37.391475 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 2966: HTTP +2026-09-21 18:40:37.391563 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 0 +2026-09-21 18:40:37.391565 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 0 +2026-09-21 18:40:37.391619 vnet13 P IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 18:40:37.391628 vnet19 Out IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 18:40:37.391636 vnet13 P IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 18:40:37.391638 vnet19 Out IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 18:40:37.391928 vnet13 P IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 18:40:37.391930 vnet19 Out IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 18:40:37.392052 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019640 ecr 2760447846], length 0 +2026-09-21 18:40:37.392055 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019640 ecr 2760447846], length 0 +2026-09-21 18:40:37.449117 vnet13 P IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [S], seq 1233237271, win 64240, options [mss 1460,sackOK,TS val 601190265 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.449123 vnet18 Out IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [S], seq 1233237271, win 64240, options [mss 1460,sackOK,TS val 601190265 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.450093 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [S.], seq 1183171545, ack 1233237272, win 64308, options [mss 1410,sackOK,TS val 3620960076 ecr 601190265,nop,wscale 7], length 0 +2026-09-21 18:40:37.450101 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [S.], seq 1183171545, ack 1233237272, win 64308, options [mss 1410,sackOK,TS val 3620960076 ecr 601190265,nop,wscale 7], length 0 +2026-09-21 18:40:37.450242 vnet13 P IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190266 ecr 3620960076], length 0 +2026-09-21 18:40:37.450247 vnet18 Out IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190266 ecr 3620960076], length 0 +2026-09-21 18:40:37.450366 vnet13 P IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190266 ecr 3620960076], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-5 HTTP/1.1 +2026-09-21 18:40:37.450374 vnet18 Out IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190266 ecr 3620960076], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-5 HTTP/1.1 +2026-09-21 18:40:37.450878 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620960077 ecr 601190266], length 0 +2026-09-21 18:40:37.450886 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620960077 ecr 601190266], length 0 +2026-09-21 18:40:37.455314 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.455319 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.455324 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 2966: HTTP +2026-09-21 18:40:37.455325 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 2966: HTTP +2026-09-21 18:40:37.455371 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 0 +2026-09-21 18:40:37.455373 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 0 +2026-09-21 18:40:37.455410 vnet13 P IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 601190271 ecr 3620960082], length 0 +2026-09-21 18:40:37.455413 vnet18 Out IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 601190271 ecr 3620960082], length 0 +2026-09-21 18:40:37.455415 vnet13 P IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 601190271 ecr 3620960082], length 0 +2026-09-21 18:40:37.455416 vnet18 Out IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 601190271 ecr 3620960082], length 0 +2026-09-21 18:40:37.455566 vnet13 P IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190272 ecr 3620960082], length 0 +2026-09-21 18:40:37.455567 vnet18 Out IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190272 ecr 3620960082], length 0 +2026-09-21 18:40:37.455689 vnet18 P IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620960082 ecr 601190272], length 0 +2026-09-21 18:40:37.455690 vnet13 Out IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620960082 ecr 601190272], length 0 +2026-09-21 18:40:37.506072 vnet13 P IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [S], seq 2119381418, win 64240, options [mss 1460,sackOK,TS val 2760447960 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.506077 vnet19 Out IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [S], seq 2119381418, win 64240, options [mss 1460,sackOK,TS val 2760447960 ecr 0,nop,wscale 7], length 0 +2026-09-21 18:40:37.506294 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [S.], seq 4014982627, ack 2119381419, win 64308, options [mss 1410,sackOK,TS val 2403019754 ecr 2760447960,nop,wscale 7], length 0 +2026-09-21 18:40:37.506300 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [S.], seq 4014982627, ack 2119381419, win 64308, options [mss 1410,sackOK,TS val 2403019754 ecr 2760447960,nop,wscale 7], length 0 +2026-09-21 18:40:37.506369 vnet13 P IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447960 ecr 2403019754], length 0 +2026-09-21 18:40:37.506373 vnet19 Out IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447960 ecr 2403019754], length 0 +2026-09-21 18:40:37.506395 vnet13 P IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447960 ecr 2403019754], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-6 HTTP/1.1 +2026-09-21 18:40:37.506397 vnet19 Out IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447960 ecr 2403019754], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-6 HTTP/1.1 +2026-09-21 18:40:37.506480 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019754 ecr 2760447960], length 0 +2026-09-21 18:40:37.506482 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019754 ecr 2760447960], length 0 +2026-09-21 18:40:37.512138 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.512143 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 18:40:37.512162 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 2966: HTTP +2026-09-21 18:40:37.512168 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 2966: HTTP +2026-09-21 18:40:37.512196 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 0 +2026-09-21 18:40:37.512197 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 0 +2026-09-21 18:40:37.512224 vnet13 P IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 18:40:37.512228 vnet19 Out IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 18:40:37.512230 vnet13 P IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 7063, win 475, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 18:40:37.512231 vnet19 Out IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 7063, win 475, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 18:40:37.512322 vnet13 P IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 18:40:37.512323 vnet19 Out IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 18:40:37.512397 vnet19 P IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019760 ecr 2760447966], length 0 +2026-09-21 18:40:37.512399 vnet13 Out IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019760 ecr 2760447966], length 0 + +144 packets captured +145 packets received by filter +0 packets dropped by kernel diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt new file mode 100644 index 0000000..b111a5a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt @@ -0,0 +1,42 @@ +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 09:39:06.839031 IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [S], seq 4272384995, win 64240, options [mss 1460,sackOK,TS val 601190038 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:39:06.839580 IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [S.], seq 2522243603, ack 4272384996, win 64308, options [mss 1410,sackOK,TS val 3620959849 ecr 601190038,nop,wscale 7], length 0 +2026-09-21 09:39:06.839723 IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190039 ecr 3620959849], length 0 +2026-09-21 09:39:06.839776 IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190039 ecr 3620959849], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-1 HTTP/1.1 +2026-09-21 09:39:06.840125 IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620959850 ecr 601190039], length 0 +2026-09-21 09:39:06.850434 IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 09:39:06.850484 IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 2966: HTTP +2026-09-21 09:39:06.850544 IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620959860 ecr 601190039], length 0 +2026-09-21 09:39:06.850599 IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 4097, win 487, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 09:39:06.850623 IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [.], ack 7063, win 475, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 09:39:06.850773 IP 192.168.122.10.57288 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190050 ecr 3620959860], length 0 +2026-09-21 09:39:06.850879 IP 192.168.122.11.80 > 192.168.122.10.57288: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620959861 ecr 601190050], length 0 +2026-09-21 09:39:06.949269 IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [S], seq 1882123395, win 64240, options [mss 1460,sackOK,TS val 601190148 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:39:06.949866 IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [S.], seq 1427008417, ack 1882123396, win 64308, options [mss 1410,sackOK,TS val 3620959959 ecr 601190148,nop,wscale 7], length 0 +2026-09-21 09:39:06.950287 IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190149 ecr 3620959959], length 0 +2026-09-21 09:39:06.950287 IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190149 ecr 3620959959], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-3 HTTP/1.1 +2026-09-21 09:39:06.950611 IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620959960 ecr 601190149], length 0 +2026-09-21 09:39:06.959772 IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620959969 ecr 601190149], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 09:39:06.959855 IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620959970 ecr 601190149], length 2966: HTTP +2026-09-21 09:39:06.959916 IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620959970 ecr 601190149], length 0 +2026-09-21 09:39:06.960010 IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 601190159 ecr 3620959969], length 0 +2026-09-21 09:39:06.960010 IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 601190159 ecr 3620959970], length 0 +2026-09-21 09:39:06.960291 IP 192.168.122.10.57292 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190160 ecr 3620959970], length 0 +2026-09-21 09:39:06.960536 IP 192.168.122.11.80 > 192.168.122.10.57292: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620959970 ecr 601190160], length 0 +2026-09-21 09:39:07.065904 IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [S], seq 1233237271, win 64240, options [mss 1460,sackOK,TS val 601190265 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:39:07.066703 IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [S.], seq 1183171545, ack 1233237272, win 64308, options [mss 1410,sackOK,TS val 3620960076 ecr 601190265,nop,wscale 7], length 0 +2026-09-21 09:39:07.066962 IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 601190266 ecr 3620960076], length 0 +2026-09-21 09:39:07.067120 IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 601190266 ecr 3620960076], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-5 HTTP/1.1 +2026-09-21 09:39:07.067481 IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [.], ack 309, win 502, options [nop,nop,TS val 3620960077 ecr 601190266], length 0 +2026-09-21 09:39:07.071971 IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 09:39:07.071978 IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 2966: HTTP +2026-09-21 09:39:07.072038 IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 3620960082 ecr 601190266], length 0 +2026-09-21 09:39:07.072093 IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 601190271 ecr 3620960082], length 0 +2026-09-21 09:39:07.072093 IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 601190271 ecr 3620960082], length 0 +2026-09-21 09:39:07.072251 IP 192.168.122.10.57308 > 192.168.122.11.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 601190272 ecr 3620960082], length 0 +2026-09-21 09:39:07.072354 IP 192.168.122.11.80 > 192.168.122.10.57308: Flags [.], ack 310, win 502, options [nop,nop,TS val 3620960082 ecr 601190272], length 0 + +36 packets captured +36 packets received by filter +0 packets dropped by kernel diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt new file mode 100644 index 0000000..9f2b2e6 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt @@ -0,0 +1,42 @@ +tcpdump: verbose output suppressed, use -v[v]... for full protocol decode +listening on enp1s0, link-type EN10MB (Ethernet), snapshot length 262144 bytes +2026-09-21 09:39:06.929208 IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [S], seq 90491088, win 64240, options [mss 1460,sackOK,TS val 2760447736 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:39:06.929331 IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [S.], seq 892785071, ack 90491089, win 64308, options [mss 1410,sackOK,TS val 2403019530 ecr 2760447736,nop,wscale 7], length 0 +2026-09-21 09:39:06.929506 IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447737 ecr 2403019530], length 0 +2026-09-21 09:39:06.929506 IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447737 ecr 2403019530], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-2 HTTP/1.1 +2026-09-21 09:39:06.929562 IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019530 ecr 2760447737], length 0 +2026-09-21 09:39:06.934645 IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 09:39:06.934710 IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 2966: HTTP +2026-09-21 09:39:06.934734 IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019535 ecr 2760447737], length 0 +2026-09-21 09:39:06.934948 IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 09:39:06.934948 IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 09:39:06.935106 IP 192.168.122.10.46732 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447742 ecr 2403019535], length 0 +2026-09-21 09:39:06.935128 IP 192.168.122.12.80 > 192.168.122.10.46732: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019536 ecr 2760447742], length 0 +2026-09-21 09:39:07.028186 IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [S], seq 3362804855, win 64240, options [mss 1460,sackOK,TS val 2760447835 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:39:07.028363 IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [S.], seq 899178962, ack 3362804856, win 64308, options [mss 1410,sackOK,TS val 2403019629 ecr 2760447835,nop,wscale 7], length 0 +2026-09-21 09:39:07.028598 IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447836 ecr 2403019629], length 0 +2026-09-21 09:39:07.028696 IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447836 ecr 2403019629], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-4 HTTP/1.1 +2026-09-21 09:39:07.028733 IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019629 ecr 2760447836], length 0 +2026-09-21 09:39:07.038188 IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 09:39:07.038318 IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 2966: HTTP +2026-09-21 09:39:07.038413 IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019639 ecr 2760447836], length 0 +2026-09-21 09:39:07.038529 IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 09:39:07.038530 IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [.], ack 7063, win 477, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 09:39:07.038836 IP 192.168.122.10.46746 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447846 ecr 2403019639], length 0 +2026-09-21 09:39:07.038898 IP 192.168.122.12.80 > 192.168.122.10.46746: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019640 ecr 2760447846], length 0 +2026-09-21 09:39:07.153007 IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [S], seq 2119381418, win 64240, options [mss 1460,sackOK,TS val 2760447960 ecr 0,nop,wscale 7], length 0 +2026-09-21 09:39:07.153140 IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [S.], seq 4014982627, ack 2119381419, win 64308, options [mss 1410,sackOK,TS val 2403019754 ecr 2760447960,nop,wscale 7], length 0 +2026-09-21 09:39:07.153274 IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 1, win 502, options [nop,nop,TS val 2760447960 ecr 2403019754], length 0 +2026-09-21 09:39:07.153274 IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [P.], seq 1:309, ack 1, win 502, options [nop,nop,TS val 2760447960 ecr 2403019754], length 308: HTTP: GET /realms/master/.well-known/openid-configuration?trace=worker-6 HTTP/1.1 +2026-09-21 09:39:07.153334 IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [.], ack 309, win 502, options [nop,nop,TS val 2403019754 ecr 2760447960], length 0 +2026-09-21 09:39:07.158965 IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [P.], seq 1:4097, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 4096: HTTP: HTTP/1.1 200 OK +2026-09-21 09:39:07.159021 IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [P.], seq 4097:7063, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 2966: HTTP +2026-09-21 09:39:07.159057 IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [F.], seq 7063, ack 309, win 502, options [nop,nop,TS val 2403019760 ecr 2760447960], length 0 +2026-09-21 09:39:07.159111 IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 4097, win 489, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 09:39:07.159111 IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [.], ack 7063, win 475, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 09:39:07.159227 IP 192.168.122.10.46760 > 192.168.122.12.80: Flags [F.], seq 309, ack 7064, win 501, options [nop,nop,TS val 2760447966 ecr 2403019760], length 0 +2026-09-21 09:39:07.159254 IP 192.168.122.12.80 > 192.168.122.10.46760: Flags [.], ack 310, win 502, options [nop,nop,TS val 2403019760 ecr 2760447966], length 0 +36 packets captured +36 packets received by filter +0 packets dropped by kernel + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt new file mode 100644 index 0000000..d17ab19 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt @@ -0,0 +1,6 @@ +req=1 code=200 time=0.147691 +req=2 code=200 time=0.044732 +req=3 code=200 time=0.048518 +req=4 code=200 time=0.045165 +req=5 code=200 time=0.046890 +req=6 code=200 time=0.041142 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt new file mode 100644 index 0000000..9c4f611 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt @@ -0,0 +1,4 @@ +HOST_VNET13 +EDGE +KC1 +KC2 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/80-memory-guest-page-fault-demand-paging.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/80-memory-guest-page-fault-demand-paging.txt new file mode 100644 index 0000000..c859dec --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/80-memory-guest-page-fault-demand-paging.txt @@ -0,0 +1,16 @@ +=== command intent === +Guest: kc-lab-2 +Workload: anonymous 512 MiB mmap, touch every 4096-byte page once, then hold briefly and release. +Observation: Python resource.getrusage() minor/major faults plus /proc/vmstat pgfault/pgmajfault/pswpin/pswpout. + +=== observed output === +before_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 4182216, 'pgmajfault': 3330} +before_ru_minflt 1135 before_ru_majflt 4 +size_bytes 536870912 pages_touched 131072 elapsed_sec 0.382356 +after_ru_minflt 132208 after_ru_majflt 4 +delta_ru_minflt 131073 delta_ru_majflt 0 +after_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 4313396, 'pgmajfault': 3330} +delta_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 131180, 'pgmajfault': 0} + +=== interpretation boundary === +The process-level delta isolates the synthetic workload. System-wide pgfault rose slightly more because other guest processes were active concurrently. No major fault or swap activity was induced by this run. diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-host-sysstat-install.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-host-sysstat-install.txt new file mode 100644 index 0000000..1a177a1 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-host-sysstat-install.txt @@ -0,0 +1,31 @@ +resolving dependencies... +looking for conflicting packages... + +Packages (1) sysstat-12.7.9-1 + +Total Download Size: 0.44 MiB +Total Installed Size: 1.63 MiB + +:: Proceed with installation? [Y/n] +:: Retrieving packages... + sysstat-12.7.9-1-x86_64 downloading... +checking keyring... +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from fastly.mirror.pkgbuild.com : The requested URL returned error: 404 +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from geo.mirror.pkgbuild.com : The requested URL returned error: 404 +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from ftpmirror.infania.net : The requested URL returned error: 404 +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from mirror.rackspace.com : The requested URL returned error: 404 +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from al.arch.niranjan.co : Failed to connect to al.arch.niranjan.co:443 after 327 ms: Could not connect to server +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from mirrors.teamcloud.am : The requested URL returned error: 404 +error: failed retrieving file 'sysstat-12.7.9-1-x86_64.pkg.tar.zst' from mirror.aarnet.edu.au : The requested URL returned error: 404 +checking package integrity... +loading package files... +checking for file conflicts... +checking available disk space... +:: Processing package changes... +installing sysstat... +Optional dependencies for sysstat + tk: to use isag + gnuplot: to use isag +:: Running post-transaction hooks... +(1/2) Reloading system manager configuration... +(2/2) Arming ConditionNeedsUpdate... diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-memory-guest-page-fault-demand-paging.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-memory-guest-page-fault-demand-paging.txt new file mode 100644 index 0000000..b87996a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/81-memory-guest-page-fault-demand-paging.txt @@ -0,0 +1,23 @@ +cat: /shared/document-haness/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/pagefault-workload.py: No such file or directory +=== python workload === +=== guest vmstat === +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 3 0 0 1573052 42136 1395968 0 0 50 96 499 886 2 2 96 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 0 1379 2675 3 2 96 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 0 1020 1704 4 3 93 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 4 1284 2189 2 1 97 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 0 693 1097 0 2 99 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 748 863 1403 1 2 97 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 52 1162 2204 2 3 94 2 0 + 1 0 0 1573052 42136 1395968 0 0 0 0 828 1301 3 1 96 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 16 1154 2025 2 3 96 0 0 + 1 0 0 1573052 42136 1395968 0 0 0 16 849 1420 1 1 98 1 0 +=== guest post === + total used free shared buff/cache available +Mem: 3927 1248 1527 18 1404 2679 +Swap: 0 0 0 +pswpin 0 +pswpout 0 +pgfault 5088162 +pgmajfault 3338 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-memory-guest-page-fault-demand-paging.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-memory-guest-page-fault-demand-paging.txt new file mode 100644 index 0000000..660ffb7 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-memory-guest-page-fault-demand-paging.txt @@ -0,0 +1,29 @@ +=== python workload === +before_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 5106131, 'pgmajfault': 3338} +before_ru_minflt 1133 before_ru_majflt 0 +size_bytes 536870912 pages_touched 131072 elapsed_sec 0.225706 +after_ru_minflt 132206 after_ru_majflt 0 +delta_ru_minflt 131073 delta_ru_majflt 0 +after_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 5237308, 'pgmajfault': 3338} +delta_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 131177, 'pgmajfault': 0} +=== guest vmstat === +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1576552 42172 1396044 0 0 50 95 499 886 2 2 96 0 0 + 1 0 0 1576552 42172 1396044 0 0 0 16 877 1521 1 1 98 0 0 + 8 0 0 1576552 42172 1396044 0 0 0 0 1280 1956 4 5 91 0 0 + 8 0 0 1576552 42172 1396044 0 0 0 0 14252 15191 46 24 29 0 1 + 1 0 0 1576552 42172 1396044 0 0 0 44 16924 18681 52 18 30 0 1 + 1 0 0 1576552 42172 1396044 0 0 0 0 15851 17415 46 15 38 0 1 + 1 0 0 1576552 42172 1396044 0 0 0 32 13712 15469 42 14 43 1 1 + 1 0 0 1576552 42172 1396044 0 0 0 0 1251 2390 2 2 96 0 0 + 1 0 0 1576552 42172 1396044 0 0 0 0 984 1778 2 0 98 0 0 + 1 0 0 1576552 42172 1396044 0 0 0 48 1255 2433 1 2 96 1 0 +=== guest post === + total used free shared buff/cache available +Mem: 3927 1237 1538 18 1404 2690 +Swap: 0 0 0 +pswpin 0 +pswpout 0 +pgfault 5247151 +pgmajfault 3338 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-python.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-python.txt new file mode 100644 index 0000000..73721ba --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-python.txt @@ -0,0 +1,7 @@ +before_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 5106131, 'pgmajfault': 3338} +before_ru_minflt 1133 before_ru_majflt 0 +size_bytes 536870912 pages_touched 131072 elapsed_sec 0.225706 +after_ru_minflt 132206 after_ru_majflt 0 +delta_ru_minflt 131073 delta_ru_majflt 0 +after_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 5237308, 'pgmajfault': 3338} +delta_vm {'pswpin': 0, 'pswpout': 0, 'pgfault': 131177, 'pgmajfault': 0} diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-vmstat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-vmstat.txt new file mode 100644 index 0000000..3a7fbc6 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-pagefault-vmstat.txt @@ -0,0 +1,12 @@ +procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- + r b swpd free buff cache si so bi bo in cs us sy id wa st + 2 0 0 1576552 42172 1396044 0 0 50 95 499 886 2 2 96 0 0 + 1 0 0 1576552 42172 1396044 0 0 0 16 877 1521 1 1 98 0 0 + 8 0 0 1576552 42172 1396044 0 0 0 0 1280 1956 4 5 91 0 0 + 8 0 0 1576552 42172 1396044 0 0 0 0 14252 15191 46 24 29 0 1 + 1 0 0 1576552 42172 1396044 0 0 0 44 16924 18681 52 18 30 0 1 + 1 0 0 1576552 42172 1396044 0 0 0 0 15851 17415 46 15 38 0 1 + 1 0 0 1576552 42172 1396044 0 0 0 32 13712 15469 42 14 43 1 1 + 1 0 0 1576552 42172 1396044 0 0 0 0 1251 2390 2 2 96 0 0 + 1 0 0 1576552 42172 1396044 0 0 0 0 984 1778 2 0 98 0 0 + 1 0 0 1576552 42172 1396044 0 0 0 48 1255 2433 1 2 96 1 0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt new file mode 100644 index 0000000..9457584 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt @@ -0,0 +1,34 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.22 0.00 1.99 0.12 0.00 93.66 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 4.00 48.00 0.00 0.00 3.00 12.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 2.50 0.02 1.10 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.00 0.00 1.62 0.00 0.00 94.38 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.12 0.00 1.38 0.00 0.00 95.50 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.75 0.00 1.50 0.00 0.00 95.75 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.88 0.00 1.38 0.13 0.00 95.61 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 25.00 148.00 10.00 28.57 3.36 5.92 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.08 0.70 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-host-iostat-during-kc2-fsync.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-host-iostat-during-kc2-fsync.txt new file mode 100644 index 0000000..5a4fd0f --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-host-iostat-during-kc2-fsync.txt @@ -0,0 +1,34 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.15 391.57 0.92 15.12 6.16 76.09 0.00 0.00 0.00 0.00 0.00 0.00 1.12 3.16 0.04 0.99 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 7.00 100.00 15.00 68.18 1.43 14.29 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.33 0.01 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1719.00 59740.00 593.00 25.65 0.83 34.75 0.00 0.00 0.00 0.00 0.00 0.00 543.00 0.64 1.77 68.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 183.00 1384.00 60.00 24.69 0.31 7.56 0.00 0.00 0.00 0.00 0.00 0.00 59.00 0.51 0.09 5.90 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-kc2-fsync-bench.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-kc2-fsync-bench.txt new file mode 100644 index 0000000..120513b --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-kc2-fsync-bench.txt @@ -0,0 +1,7 @@ +count 300 +write_bytes 4096 +mean_ms 2.709254 +median_ms 2.054977 +p95_ms 5.279685 +p99_ms 12.86243 +max_ms 56.469911 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-fsync-vs-host-iostat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-fsync-vs-host-iostat.txt new file mode 100644 index 0000000..2cff67d --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-fsync-vs-host-iostat.txt @@ -0,0 +1,43 @@ +=== guest fsync === +count 300 +write_bytes 4096 +mean_ms 2.709254 +median_ms 2.054977 +p95_ms 5.279685 +p99_ms 12.86243 +max_ms 56.469911 +=== host iostat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.15 391.57 0.92 15.12 6.16 76.09 0.00 0.00 0.00 0.00 0.00 0.00 1.12 3.16 0.04 0.99 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 7.00 100.00 15.00 68.18 1.43 14.29 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.33 0.01 1.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1719.00 59740.00 593.00 25.65 0.83 34.75 0.00 0.00 0.00 0.00 0.00 0.00 543.00 0.64 1.77 68.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 183.00 1384.00 60.00 24.69 0.31 7.56 0.00 0.00 0.00 0.00 0.00 0.00 59.00 0.51 0.09 5.90 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt new file mode 100644 index 0000000..bfd0723 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt @@ -0,0 +1,55 @@ +=== guest fsync workload === +=== guest fsync workload === +2026-09-21T09:52:02,421141072+00:00 +iterations 128 +bytes_written 33554432 +fsync_ms_avg 8.2035 +fsync_ms_p50 7.5482 +fsync_ms_p95 11.2 +fsync_ms_p99 16.5487 +fsync_ms_max 27.662 +2026-09-21T09:52:03,528661000+00:00 +=== host iostat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.89 0.00 1.76 0.00 0.00 95.36 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.22 0.00 2.23 7.44 0.00 86.10 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 2.00 164.00 0.00 0.00 4.00 82.00 532.00 27404.00 312.00 36.97 1.09 51.51 0.00 0.00 0.00 0.00 0.00 0.00 150.00 2.43 0.96 58.40 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.47 0.00 1.98 4.83 0.00 89.73 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 373.00 19296.00 214.00 36.46 0.98 51.73 0.00 0.00 0.00 0.00 0.00 0.00 106.00 2.08 0.59 36.80 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.76 0.00 2.01 0.25 0.00 94.99 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 8.00 40.00 0.00 0.00 5.62 5.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 3.50 0.05 1.50 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.64 0.00 1.76 0.00 0.00 95.59 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.03 0.00 1.39 0.00 0.00 95.59 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + +=== guest file cleanup === +cleaned=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-host-iostat-kc2-fsync-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-host-iostat-kc2-fsync-baseline.txt new file mode 100644 index 0000000..7554379 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-host-iostat-kc2-fsync-baseline.txt @@ -0,0 +1,26 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.15 391.66 0.92 15.12 6.16 76.09 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.16 0.04 0.99 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 88.00 12.00 66.67 2.83 14.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 4.50 0.03 2.20 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1658.00 11968.00 560.00 25.25 0.36 7.22 0.00 0.00 0.00 0.00 0.00 0.00 511.00 0.63 0.93 57.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2109.00 17488.00 734.00 25.82 0.33 8.29 0.00 0.00 0.00 0.00 0.00 0.00 693.00 0.52 1.05 69.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1.00 8.00 1.00 50.00 7.00 8.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-kc2-fsync-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-kc2-fsync-baseline.txt new file mode 100644 index 0000000..8fa0a00 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-kc2-fsync-baseline.txt @@ -0,0 +1,7 @@ +count 600 +write_bytes 4096 +mean_ms 2.36538 +median_ms 2.080391 +p95_ms 3.449103 +p99_ms 7.247095 +max_ms 20.506353 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt new file mode 100644 index 0000000..d12851c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt @@ -0,0 +1,137 @@ +=== vm1 load === +loop=1 2026-09-21T09:52:53,956919580+00:00 +loop=2 2026-09-21T09:52:54,822970172+00:00 +loop=3 2026-09-21T09:52:55,386927691+00:00 +loop=4 2026-09-21T09:52:55,765885520+00:00 +loop=5 2026-09-21T09:52:56,314525017+00:00 +loop=6 2026-09-21T09:52:56,690069474+00:00 +loop=7 2026-09-21T09:52:57,052403971+00:00 +loop=8 2026-09-21T09:52:57,425357296+00:00 +loop=9 2026-09-21T09:52:57,946189760+00:00 +loop=10 2026-09-21T09:52:58,316738488+00:00 +loop=11 2026-09-21T09:52:58,703070671+00:00 +loop=12 2026-09-21T09:52:59,077146410+00:00 +loop=13 2026-09-21T09:52:59,447961640+00:00 +loop=14 2026-09-21T09:53:00,140336180+00:00 +loop=15 2026-09-21T09:53:00,795611178+00:00 +loop=16 2026-09-21T09:53:01,170483914+00:00 +loop=17 2026-09-21T09:53:01,535520582+00:00 +loop=18 2026-09-21T09:53:02,048886364+00:00 +loop=19 2026-09-21T09:53:02,521936272+00:00 +loop=20 2026-09-21T09:53:03,181268399+00:00 +cleaned=yes +=== vm2 fsync === +--- vm2 run 1 2026-09-21T18:54:25,757563170+09:00 --- +iterations 128 +bytes_written 33554432 +fsync_ms_avg 58.4576 +fsync_ms_p50 9.2025 +fsync_ms_p95 314.0799 +fsync_ms_p99 594.9726 +fsync_ms_max 631.0144 +--- vm2 run 2 2026-09-21T18:54:33,614415289+09:00 --- +iterations 128 +bytes_written 33554432 +fsync_ms_avg 7.9038 +fsync_ms_p50 7.7046 +fsync_ms_p95 9.8822 +fsync_ms_p99 11.1315 +fsync_ms_max 13.4412 +--- vm2 run 3 2026-09-21T18:54:34,841925670+09:00 --- +iterations 128 +bytes_written 33554432 +fsync_ms_avg 8.0636 +fsync_ms_p50 7.7765 +fsync_ms_p95 9.804 +fsync_ms_p99 10.466 +fsync_ms_max 13.4199 +=== host iostat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +avg-cpu: %user %nice %system %iowait %steal %idle + 5.14 0.13 2.88 11.28 0.00 80.58 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 69.00 90544.00 27.00 28.12 136.54 1312.23 0.00 0.00 0.00 0.00 0.00 0.00 4.00 3.75 9.44 62.20 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.88 0.00 2.62 11.50 0.00 83.00 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 79.00 89120.00 37.00 31.90 183.94 1128.10 0.00 0.00 0.00 0.00 0.00 0.00 6.00 3.17 14.55 93.00 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 5.88 0.00 3.88 18.02 0.00 72.22 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 1.00 8.00 0.00 0.00 82.00 8.00 140.00 151788.00 82.00 36.94 81.97 1084.20 0.00 0.00 0.00 0.00 0.00 0.00 15.00 3.00 11.60 92.10 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.86 0.00 4.23 21.42 0.00 69.49 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 309.00 179492.00 194.00 38.57 50.19 580.88 0.00 0.00 0.00 0.00 0.00 0.00 55.00 6.73 15.88 96.80 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.74 0.00 2.87 22.97 0.00 69.41 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 229.00 195772.00 145.00 38.77 81.18 854.90 0.00 0.00 0.00 0.00 0.00 0.00 35.00 10.46 18.96 98.20 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.99 0.00 4.12 20.35 0.00 70.54 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 562.00 178108.00 204.00 26.63 29.68 316.92 0.00 0.00 0.00 0.00 0.00 0.00 52.00 2.52 16.81 96.80 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.87 0.00 3.24 22.19 0.00 70.70 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 221.00 113628.00 133.00 37.57 128.52 514.15 0.00 0.00 0.00 0.00 0.00 0.00 34.00 10.59 28.76 98.40 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 4.13 0.00 3.25 21.28 0.00 71.34 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 203.00 140484.00 131.00 39.22 96.57 692.04 0.00 0.00 0.00 0.00 0.00 0.00 35.00 2.37 19.69 98.30 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.86 0.12 3.36 14.69 0.00 77.96 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 235.00 157452.00 148.00 38.64 80.04 670.01 0.00 0.00 0.00 0.00 0.00 0.00 37.00 3.95 18.95 98.30 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.37 0.00 2.62 19.85 0.00 74.16 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 174.00 130788.00 104.00 37.41 112.32 751.66 0.00 0.00 0.00 0.00 0.00 0.00 29.00 2.52 19.62 92.00 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.57 0.00 2.45 9.79 0.00 85.19 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 767.00 39744.00 441.00 36.51 1.02 51.82 0.00 0.00 0.00 0.00 0.00 0.00 216.00 2.18 1.25 76.30 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.45 0.00 2.34 8.62 0.00 85.59 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 655.00 33928.00 377.00 36.53 1.04 51.80 0.00 0.00 0.00 0.00 0.00 0.00 187.00 2.21 1.09 66.90 + + +=== cleanup check === +vm1_cleaned=yes +vm2_cleaned=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-kc2-fsync-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-kc2-fsync-baseline.txt new file mode 100644 index 0000000..8943985 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-kc2-fsync-baseline.txt @@ -0,0 +1,35 @@ +=== kc2 fsync baseline === +count 600 +write_bytes 4096 +mean_ms 2.36538 +median_ms 2.080391 +p95_ms 3.449103 +p99_ms 7.247095 +max_ms 20.506353 +=== host iostat baseline === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.15 391.66 0.92 15.12 6.16 76.09 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.16 0.04 0.99 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 88.00 12.00 66.67 2.83 14.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 4.50 0.03 2.20 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1658.00 11968.00 560.00 25.25 0.36 7.22 0.00 0.00 0.00 0.00 0.00 0.00 511.00 0.63 0.93 57.10 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2109.00 17488.00 734.00 25.82 0.33 8.29 0.00 0.00 0.00 0.00 0.00 0.00 693.00 0.52 1.05 69.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1.00 8.00 1.00 50.00 7.00 8.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt new file mode 100644 index 0000000..3724ae8 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt @@ -0,0 +1,11 @@ +HOST 2026-09-21T18:54:52,041873079+09:00 +EDGE 2026-09-21T09:53:21,902262951+00:00 +KC1 2026-09-21T09:53:22,163022077+00:00 +KC2 2026-09-21T09:53:22,497452708+00:00 +---timedatectl--- +Timezone=Asia/Seoul +NTPSynchronized=no +Timezone=Etc/UTC +NTPSynchronized=yes +Timezone=Etc/UTC +NTPSynchronized=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-host-iostat-kc1-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-host-iostat-kc1-load.txt new file mode 100644 index 0000000..329426c --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-host-iostat-kc1-load.txt @@ -0,0 +1,42 @@ +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.15 391.67 0.92 15.13 6.16 76.05 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.16 0.04 0.99 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1897.00 48408.00 1102.00 36.75 0.37 25.52 0.00 0.00 0.00 0.00 0.00 0.00 538.00 0.66 1.06 65.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3207.00 60748.00 1743.00 35.21 0.51 18.94 0.00 0.00 0.00 0.00 0.00 0.00 963.00 0.63 2.24 94.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3309.00 57376.00 1777.00 34.94 0.56 17.34 0.00 0.00 0.00 0.00 0.00 0.00 1007.00 0.65 2.49 97.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3001.00 107456.00 1614.00 34.97 0.73 35.81 0.00 0.00 0.00 0.00 0.00 0.00 874.00 0.70 2.81 92.60 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2894.00 73976.00 1645.00 36.24 0.30 25.56 0.00 0.00 0.00 0.00 0.00 0.00 822.00 0.53 1.31 84.30 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2969.00 73680.00 1626.00 35.39 0.30 24.82 0.00 0.00 0.00 0.00 0.00 0.00 811.00 0.53 1.32 83.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2843.00 72068.00 1620.00 36.30 0.31 25.35 0.00 0.00 0.00 0.00 0.00 0.00 808.00 0.55 1.32 83.40 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2891.00 73972.00 1644.00 36.25 0.30 25.59 0.00 0.00 0.00 0.00 0.00 0.00 821.00 0.54 1.32 84.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 737.00 18644.00 412.00 35.86 0.31 25.30 0.00 0.00 0.00 0.00 0.00 0.00 210.00 0.55 0.35 20.90 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc1-storage-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc1-storage-load.txt new file mode 100644 index 0000000..b984296 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc1-storage-load.txt @@ -0,0 +1,3 @@ +fsync_writes 2823 +chunk_bytes 65536 +duration_sec 8.0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc2-fsync-under-kc1-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc2-fsync-under-kc1-load.txt new file mode 100644 index 0000000..3f8e93f --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-kc2-fsync-under-kc1-load.txt @@ -0,0 +1,7 @@ +count 600 +write_bytes 4096 +mean_ms 3.972295 +median_ms 3.675092 +p95_ms 6.852434 +p99_ms 8.2887 +max_ms 11.660574 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-storage-cross-vm-contention.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-storage-cross-vm-contention.txt new file mode 100644 index 0000000..8a39ee0 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/85-storage-cross-vm-contention.txt @@ -0,0 +1,55 @@ +=== kc1 storage load === +fsync_writes 2823 +chunk_bytes 65536 +duration_sec 8.0 +=== kc2 fsync under kc1 load === +count 600 +write_bytes 4096 +mean_ms 3.972295 +median_ms 3.675092 +p95_ms 6.852434 +p99_ms 8.2887 +max_ms 11.660574 +=== host iostat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.15 391.67 0.92 15.13 6.16 76.05 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.16 0.04 0.99 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1897.00 48408.00 1102.00 36.75 0.37 25.52 0.00 0.00 0.00 0.00 0.00 0.00 538.00 0.66 1.06 65.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3207.00 60748.00 1743.00 35.21 0.51 18.94 0.00 0.00 0.00 0.00 0.00 0.00 963.00 0.63 2.24 94.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3309.00 57376.00 1777.00 34.94 0.56 17.34 0.00 0.00 0.00 0.00 0.00 0.00 1007.00 0.65 2.49 97.00 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3001.00 107456.00 1614.00 34.97 0.73 35.81 0.00 0.00 0.00 0.00 0.00 0.00 874.00 0.70 2.81 92.60 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2894.00 73976.00 1645.00 36.24 0.30 25.56 0.00 0.00 0.00 0.00 0.00 0.00 822.00 0.53 1.31 84.30 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2969.00 73680.00 1626.00 35.39 0.30 24.82 0.00 0.00 0.00 0.00 0.00 0.00 811.00 0.53 1.32 83.50 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2843.00 72068.00 1620.00 36.30 0.31 25.35 0.00 0.00 0.00 0.00 0.00 0.00 808.00 0.55 1.32 83.40 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2891.00 73972.00 1644.00 36.25 0.30 25.59 0.00 0.00 0.00 0.00 0.00 0.00 821.00 0.54 1.32 84.70 + + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 737.00 18644.00 412.00 35.86 0.31 25.30 0.00 0.00 0.00 0.00 0.00 0.00 210.00 0.55 0.35 20.90 + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt new file mode 100644 index 0000000..1622b67 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt @@ -0,0 +1,76 @@ +=== vm2 isolated fsync === +--- vm2 isolated run 1 host=2026-09-21T18:55:09,941524173+09:00 --- +iterations 128 +bytes_written 33554432 +fsync_ms_avg 8.2397 +fsync_ms_p50 7.6923 +fsync_ms_p95 11.1817 +fsync_ms_p99 12.4218 +fsync_ms_max 29.8927 +--- vm2 isolated run 2 host=2026-09-21T18:55:11,317596071+09:00 --- +iterations 128 +bytes_written 33554432 +fsync_ms_avg 8.2676 +fsync_ms_p50 7.6624 +fsync_ms_p95 9.574 +fsync_ms_p99 18.0481 +fsync_ms_max 29.7234 +--- vm2 isolated run 3 host=2026-09-21T18:55:12,612699599+09:00 --- +iterations 128 +bytes_written 33554432 +fsync_ms_avg 9.1264 +fsync_ms_p50 7.8983 +fsync_ms_p95 11.1407 +fsync_ms_p99 13.0332 +fsync_ms_max 112.5016 +=== host iostat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.63 0.00 1.51 0.50 0.00 95.36 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 129.00 936.00 11.00 7.86 3.44 7.26 0.00 0.00 0.00 0.00 0.00 0.00 2.00 8.00 0.46 3.50 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.83 0.00 2.10 7.91 0.00 86.16 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 593.00 30284.00 338.00 36.31 1.09 51.07 0.00 0.00 0.00 0.00 0.00 0.00 165.00 2.35 1.03 62.60 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.08 0.00 1.97 8.88 0.00 86.07 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 664.00 33564.00 372.00 35.91 1.04 50.55 0.00 0.00 0.00 0.00 0.00 0.00 186.00 2.39 1.14 69.60 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 3.46 0.00 1.85 8.64 0.00 86.05 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 618.00 72904.00 329.00 34.74 6.88 117.97 0.00 0.00 0.00 0.00 0.00 0.00 165.00 2.25 4.62 88.30 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.83 0.00 1.85 11.32 0.00 84.01 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 852.00 43332.00 480.00 36.04 1.05 50.86 0.00 0.00 0.00 0.00 0.00 0.00 237.00 2.27 1.43 89.10 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 2.00 0.00 1.62 0.75 0.00 95.63 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util +nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 61.00 2920.00 32.00 34.41 1.08 47.87 0.00 0.00 0.00 0.00 0.00 0.00 17.00 2.24 0.10 5.90 + + +avg-cpu: %user %nice %system %iowait %steal %idle + 1.50 0.00 1.25 0.00 0.00 97.24 + +Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util + + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt new file mode 100644 index 0000000..bce0380 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt @@ -0,0 +1,32 @@ +resolving dependencies... +looking for conflicting packages... + +Packages (3) elfutils-0.196-1 libpfm-4.13.0+r83+g91970fe-1 perf-7.2.2-1 + +Total Download Size: 4.29 MiB +Total Installed Size: 31.20 MiB + +:: Proceed with installation? [Y/n] +:: Retrieving packages... + perf-7.2.2-1-x86_64 downloading... + elfutils-0.196-1-x86_64 downloading... + libpfm-4.13.0+r83+g91970fe-1-x86_64 downloading... +checking keyring... +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from fastly.mirror.pkgbuild.com : The requested URL returned error: 404 +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from geo.mirror.pkgbuild.com : The requested URL returned error: 404 +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from ftpmirror.infania.net : The requested URL returned error: 404 +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from mirror.rackspace.com : The requested URL returned error: 404 +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from al.arch.niranjan.co : Failed to connect to al.arch.niranjan.co:443 after 291 ms: Could not connect to server +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from mirrors.teamcloud.am : The requested URL returned error: 404 +error: failed retrieving file 'perf-7.2.2-1-x86_64.pkg.tar.zst' from mirror.aarnet.edu.au : The requested URL returned error: 404 +checking package integrity... +loading package files... +checking for file conflicts... +checking available disk space... +:: Processing package changes... +installing elfutils... +installing libpfm... +installing perf... +:: Running post-transaction hooks... +(1/2) Configuring dynamic linker run-time bindings... +(2/2) Arming ConditionNeedsUpdate... diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/88-cpu-perf-kvm-edge-idle.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/88-cpu-perf-kvm-edge-idle.txt new file mode 100644 index 0000000..99b7d10 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/88-cpu-perf-kvm-edge-idle.txt @@ -0,0 +1,28 @@ +qemu_pid=167796 +18:58:49.600922 + +Analyze events for pid(s) 167796, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 45 63.38% 0.01% 0.45us 4.41us 2.09us ( +- 7.11% ) + HLT 23 32.39% 99.99% 371.57us 287977.34us 80613.56us ( +- 25.84% ) + MSR_READ 2 2.82% 0.00% 4.58us 5.19us 4.88us ( +- 6.30% ) + EXTERNAL_INTERRUPT 1 1.41% 0.00% 20.17us 20.17us 20.17us ( +- 0.00% ) + +Total Samples:71, Total events handled time:1854235.87us. + +18:58:51.600900 + +Analyze events for pid(s) 167796, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 41 62.12% 8.21% 1.24us 152082.67us 3711.57us ( +- 99.94% ) + HLT 21 31.82% 91.79% 310.41us 327468.74us 81033.69us ( +- 28.93% ) + MSR_READ 2 3.03% 0.00% 4.50us 6.51us 5.50us ( +- 18.35% ) + EXTERNAL_INTERRUPT 1 1.52% 0.00% 18.43us 18.43us 18.43us ( +- 0.00% ) + PREEMPTION_TIMER 1 1.52% 0.00% 3.44us 3.44us 3.44us ( +- 0.00% ) + +Total Samples:66, Total events handled time:1853914.83us. + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/89-cpu-perf-kvm-edge-cpu-bound.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/89-cpu-perf-kvm-edge-cpu-bound.txt new file mode 100644 index 0000000..dcae5ad --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/89-cpu-perf-kvm-edge-cpu-bound.txt @@ -0,0 +1,26 @@ +qemu_pid=167796 +18:59:09.157967 + +Analyze events for pid(s) 167796, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + EXTERNAL_INTERRUPT 181 70.43% 91.52% 0.57us 15.95us 2.24us ( +- 5.17% ) + PREEMPTION_TIMER 44 17.12% 4.29% 0.25us 1.79us 0.43us ( +- 9.13% ) + MSR_WRITE 32 12.45% 4.19% 0.40us 1.07us 0.58us ( +- 4.74% ) + +Total Samples:257, Total events handled time:443.78us. + +18:59:11.157937 + +Analyze events for pid(s) 167796, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + EXTERNAL_INTERRUPT 199 71.33% 92.26% 0.75us 17.52us 2.23us ( +- 4.05% ) + PREEMPTION_TIMER 47 16.85% 3.42% 0.25us 0.63us 0.35us ( +- 3.72% ) + MSR_WRITE 32 11.47% 3.62% 0.41us 1.07us 0.54us ( +- 3.93% ) + EXTERNAL_INTERRUPT 1 0.36% 0.69% 3.34us 3.34us 3.34us ( +- 0.00% ) + +Total Samples:279, Total events handled time:481.25us. + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/90-cpu-perf-kvm-edge-io-heavy.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/90-cpu-perf-kvm-edge-io-heavy.txt new file mode 100644 index 0000000..c7c934d --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/90-cpu-perf-kvm-edge-io-heavy.txt @@ -0,0 +1,33 @@ +qemu_pid=167796 +18:59:41.835703 + +Analyze events for pid(s) 167796, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 79 44.89% 17.35% 0.62us 117703.35us 3032.68us ( +- 60.31% ) + HLT 38 21.59% 55.83% 138.79us 104002.90us 20292.69us ( +- 21.14% ) + EXTERNAL_INTERRUPT 34 19.32% 19.87% 2.52us 178598.96us 8073.56us ( +- 72.87% ) + EPT_MISCONFIG 16 9.09% 0.00% 0.85us 8.51us 3.82us ( +- 17.11% ) + PREEMPTION_TIMER 7 3.98% 0.00% 0.55us 2.66us 1.59us ( +- 22.21% ) + MSR_READ 2 1.14% 6.94% 4.92us 95917.50us 47961.21us ( +- 99.99% ) + +Total Samples:176, Total events handled time:1381200.13us. + +18:59:43.835673 + +Analyze events for pid(s) 167796, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 77 38.50% 21.00% 0.60us 124026.16us 4021.67us ( +- 57.61% ) + EXTERNAL_INTERRUPT 37 18.50% 17.93% 2.62us 170518.14us 7143.56us ( +- 72.71% ) + HLT 37 18.50% 61.06% 247.90us 104024.83us 24328.54us ( +- 21.66% ) + CPUID 25 12.50% 0.00% 0.57us 4.64us 1.36us ( +- 12.77% ) + EPT_MISCONFIG 15 7.50% 0.01% 1.95us 8.71us 5.83us ( +- 9.88% ) + PREEMPTION_TIMER 8 4.00% 0.00% 0.69us 3.34us 1.75us ( +- 19.07% ) + MSR_READ 1 0.50% 0.00% 6.15us 6.15us 6.15us ( +- 0.00% ) + +Total Samples:200, Total events handled time:1474277.98us. + +cleaned=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt new file mode 100644 index 0000000..4b1e293 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt @@ -0,0 +1,42 @@ +qemu_pid=272123 +19:00:47.331434 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 476 62.55% 65.00% 0.41us 100757.71us 2483.47us ( +- 25.00% ) + HLT 232 30.49% 34.51% 4.65us 104207.85us 2705.23us ( +- 27.11% ) + PREEMPTION_TIMER 28 3.68% 0.47% 0.67us 5837.57us 303.63us ( +- 74.22% ) + EXTERNAL_INTERRUPT 23 3.02% 0.02% 5.41us 29.53us 12.03us ( +- 8.99% ) + EPT_MISCONFIG 2 0.26% 0.00% 2.65us 4.59us 3.62us ( +- 26.88% ) + +Total Samples:761, Total events handled time:1818529.86us. + +19:00:49.331442 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 439 62.09% 71.59% 0.41us 99951.87us 2673.80us ( +- 24.07% ) + HLT 228 32.25% 20.17% 1.25us 97715.08us 1450.07us ( +- 29.60% ) + EXTERNAL_INTERRUPT 20 2.83% 0.58% 3.67us 9282.84us 474.76us ( +- 97.65% ) + PREEMPTION_TIMER 17 2.40% 4.19% 0.99us 68624.45us 4038.17us ( +- 99.96% ) + CPUID 1 0.14% 3.47% 56953.55us 56953.55us 56953.55us ( +- 0.00% ) + MSR_READ 1 0.14% 0.00% 2.48us 2.48us 2.48us ( +- 0.00% ) + MSR_WRITE 1 0.14% 0.00% 5.10us 5.10us 5.10us ( +- 0.00% ) + +Total Samples:707, Total events handled time:1639517.77us. + +=== requests === +req=1 code=200 time=0.005716 +req=2 code=200 time=0.009064 +req=3 code=200 time=0.010687 +req=4 code=200 time=0.011020 +req=5 code=200 time=0.012373 +req=6 code=200 time=0.009762 +req=7 code=200 time=0.021790 +req=8 code=200 time=0.013547 +req=9 code=200 time=0.007096 +req=10 code=200 time=0.008359 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt new file mode 100644 index 0000000..e53c7de --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt @@ -0,0 +1,53 @@ +qemu_pid=272123 +19:01:37.655346 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 415 42.05% 48.23% 0.42us 95362.59us 2109.18us ( +- 27.72% ) + HLT 393 39.82% 37.78% 0.48us 96561.17us 1744.78us ( +- 23.90% ) + EPT_MISCONFIG 98 9.93% 11.17% 0.78us 69348.72us 2068.26us ( +- 50.40% ) + EXTERNAL_INTERRUPT 48 4.86% 2.81% 2.68us 50617.01us 1062.96us ( +- 99.19% ) + PREEMPTION_TIMER 29 2.94% 0.00% 0.52us 2.46us 1.32us ( +- 7.44% ) + CPUID 4 0.41% 0.00% 1.46us 3.27us 2.23us ( +- 17.54% ) + +Total Samples:987, Total events handled time:1814768.46us. + +19:01:39.655365 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + HLT 564 46.57% 39.04% 0.41us 60896.32us 1058.87us ( +- 22.80% ) + MSR_WRITE 330 27.25% 50.42% 0.43us 68219.57us 2337.08us ( +- 25.80% ) + EPT_MISCONFIG 218 18.00% 1.72% 0.77us 21749.00us 120.58us ( +- 84.18% ) + EXTERNAL_INTERRUPT 58 4.79% 8.81% 1.86us 56860.89us 2322.91us ( +- 53.62% ) + PREEMPTION_TIMER 30 2.48% 0.00% 0.53us 1.92us 1.03us ( +- 6.76% ) + CPUID 9 0.74% 0.00% 0.56us 3.07us 1.52us ( +- 16.95% ) + PAUSE_INSTRUCTION 1 0.08% 0.00% 1.82us 1.82us 1.82us ( +- 0.00% ) + HLT 1 0.08% 0.00% 53.63us 53.63us 53.63us ( +- 0.00% ) + +Total Samples:1211, Total events handled time:1529556.17us. + +19:01:41.655342 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + HLT 610 45.56% 42.60% 0.41us 77342.00us 1486.40us ( +- 20.66% ) + MSR_WRITE 385 28.75% 34.64% 0.42us 81185.40us 1915.18us ( +- 25.62% ) + EPT_MISCONFIG 254 18.97% 15.24% 0.77us 83183.97us 1277.50us ( +- 44.61% ) + EXTERNAL_INTERRUPT 56 4.18% 4.86% 2.82us 45569.59us 1848.66us ( +- 61.95% ) + PREEMPTION_TIMER 22 1.64% 0.00% 0.39us 2.29us 1.05us ( +- 8.55% ) + CPUID 7 0.52% 0.00% 0.48us 3.19us 1.77us ( +- 22.46% ) + PAUSE_INSTRUCTION 3 0.22% 0.00% 1.76us 2.25us 2.03us ( +- 6.91% ) + HLT 1 0.07% 2.65% 56457.25us 56457.25us 56457.25us ( +- 0.00% ) + PREEMPTION_TIMER 1 0.07% 0.00% 2.08us 2.08us 2.08us ( +- 0.00% ) + +Total Samples:1339, Total events handled time:2128558.95us. + +=== load === +requests=1000 concurrency=20 rc=0 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt new file mode 100644 index 0000000..62a3d13 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt @@ -0,0 +1,32 @@ +qemu_pid=272123 +19:02:11.734617 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 391 59.69% 69.13% 0.48us 121372.00us 3883.71us ( +- 21.70% ) + HLT 210 32.06% 30.86% 1.02us 97526.39us 3228.25us ( +- 22.28% ) + PREEMPTION_TIMER 21 3.21% 0.00% 0.88us 3.37us 1.54us ( +- 8.09% ) + EXTERNAL_INTERRUPT 20 3.05% 0.01% 6.04us 18.47us 12.19us ( +- 5.97% ) + CPUID 12 1.83% 0.00% 1.22us 4.84us 1.92us ( +- 19.02% ) + MSR_READ 1 0.15% 0.00% 4.21us 4.21us 4.21us ( +- 0.00% ) + +Total Samples:655, Total events handled time:2196768.88us. + +19:02:13.734679 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 427 60.83% 57.56% 0.42us 100470.24us 2896.14us ( +- 23.08% ) + HLT 232 33.05% 40.93% 0.48us 97062.25us 3790.31us ( +- 23.58% ) + EXTERNAL_INTERRUPT 23 3.28% 0.01% 1.53us 17.60us 8.00us ( +- 14.56% ) + PREEMPTION_TIMER 17 2.42% 1.30% 0.34us 27804.89us 1636.98us ( +- 99.91% ) + CPUID 1 0.14% 0.00% 2.44us 2.44us 2.44us ( +- 0.00% ) + MSR_READ 1 0.14% 0.00% 5.23us 5.23us 5.23us ( +- 0.00% ) + MSR_WRITE 1 0.14% 0.21% 4519.26us 4519.26us 4519.26us ( +- 0.00% ) + +Total Samples:702, Total events handled time:2148542.54us. + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt new file mode 100644 index 0000000..8cee3f1 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt @@ -0,0 +1,26 @@ +qemu_pid=272123 +19:02:25.128671 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 345 41.12% 23.30% 0.38us 3.15us 0.60us ( +- 2.19% ) + EXTERNAL_INTERRUPT 298 35.52% 68.16% 0.55us 22.76us 2.04us ( +- 5.25% ) + PREEMPTION_TIMER 196 23.36% 8.55% 0.24us 1.26us 0.39us ( +- 3.32% ) + +Total Samples:839, Total events handled time:890.12us. + +19:02:27.128611 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + EXTERNAL_INTERRUPT 342 39.31% 71.75% 1.09us 15.31us 1.77us ( +- 3.47% ) + MSR_WRITE 297 34.14% 18.50% 0.38us 1.96us 0.53us ( +- 1.95% ) + PREEMPTION_TIMER 230 26.44% 9.59% 0.25us 1.20us 0.35us ( +- 2.74% ) + EXTERNAL_INTERRUPT 1 0.11% 0.16% 1.35us 1.35us 1.35us ( +- 0.00% ) + +Total Samples:870, Total events handled time:845.39us. + diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt new file mode 100644 index 0000000..c217db2 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt @@ -0,0 +1,34 @@ +qemu_pid=272123 +19:02:40.482658 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 400 53.05% 59.76% 0.45us 121340.28us 3488.19us ( +- 22.56% ) + HLT 257 34.08% 36.03% 0.35us 125361.74us 3272.91us ( +- 25.63% ) + EXTERNAL_INTERRUPT 47 6.23% 0.02% 2.55us 23.77us 10.96us ( +- 6.30% ) + PREEMPTION_TIMER 22 2.92% 4.18% 1.02us 97647.56us 4440.24us ( +- 99.96% ) + CPUID 16 2.12% 0.00% 1.31us 1.75us 1.38us ( +- 2.16% ) + EPT_MISCONFIG 12 1.59% 0.00% 0.68us 5.66us 2.79us ( +- 19.83% ) + +Total Samples:754, Total events handled time:2334670.28us. + +19:02:42.482755 + +Analyze events for pid(s) 272123, all VCPUs: + + VM-EXIT Samples Samples% Time% Min Time Max Time Avg time + + MSR_WRITE 445 54.94% 62.00% 0.40us 99284.81us 2975.07us ( +- 23.90% ) + HLT 265 32.72% 32.40% 0.33us 105096.11us 2610.54us ( +- 22.79% ) + EXTERNAL_INTERRUPT 38 4.69% 0.93% 3.82us 19635.64us 524.96us ( +- 98.39% ) + PREEMPTION_TIMER 28 3.46% 4.67% 0.42us 99633.71us 3559.57us ( +- 99.96% ) + CPUID 20 2.47% 0.00% 1.39us 5.34us 2.02us ( +- 10.77% ) + EPT_MISCONFIG 11 1.36% 0.00% 1.14us 5.37us 2.31us ( +- 17.08% ) + MSR_READ 2 0.25% 0.00% 5.01us 5.89us 5.45us ( +- 8.12% ) + PAUSE_INSTRUCTION 1 0.12% 0.00% 2.33us 2.33us 2.33us ( +- 0.00% ) + +Total Samples:810, Total events handled time:2135393.91us. + +cleaned=yes diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt new file mode 100644 index 0000000..4524f9e --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt @@ -0,0 +1,271 @@ +=== softirq before === + NET_TX: 7 15 10 9 4 14 13 13 + NET_RX: 237930 339317 204064 97719 467969 1383616 336208 5292774 +=== host vmstat === +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 0 0 265540 824312 121548 2427816 0 0 18 386 3890 5 0 1 96 0 0 2 + 0 0 265540 823524 121548 2428284 0 0 0 0 4407 5099 0 2 95 0 0 3 + 0 0 265540 823524 121548 2428284 0 0 0 32 4704 5514 0 2 96 0 0 2 + 0 0 265540 823524 121548 2428284 0 0 0 0 4113 5087 0 1 97 0 0 2 + 0 0 265540 823524 121556 2428316 0 0 0 592 4530 5563 0 1 96 0 0 2 +=== qemu/vhost pidstat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +19:06:46 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:06:47 958 167796 - 0.00 0.00 0.00 0.00 0.00 6 qemu-system-x86 +19:06:47 958 - 167796 1.00 0.00 0.00 0.00 1.00 6 |__qemu-system-x86 +19:06:47 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:06:47 958 - 167801 0.00 0.00 0.00 0.00 0.00 4 |__vhost-167796 +19:06:47 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:47 958 - 167803 0.00 0.00 0.00 0.00 0.00 1 |__CPU 0/KVM +19:06:47 958 - 167805 0.00 0.00 0.00 0.00 0.00 1 |__SPICE Worker +19:06:47 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:47 958 272123 - 3.00 4.00 12.00 0.00 19.00 4 qemu-system-x86 +19:06:47 958 - 272123 0.00 1.00 0.00 0.00 1.00 4 |__qemu-system-x86 +19:06:47 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:06:47 958 - 272129 0.00 0.00 0.00 0.00 0.00 0 |__vhost-272123 +19:06:47 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:47 958 - 272131 2.00 1.00 4.00 0.00 7.00 1 |__CPU 0/KVM +19:06:47 958 - 272132 2.00 2.00 7.00 0.00 11.00 5 |__CPU 1/KVM +19:06:47 958 - 272134 0.00 0.00 0.00 0.00 0.00 6 |__SPICE Worker +19:06:47 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:06:47 958 - 277780 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:47 958 - 278025 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:47 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:47 958 - 278656 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:06:47 958 - 278657 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:06:47 958 - 278658 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:06:47 958 - 278661 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:06:47 958 272149 - 2.00 2.00 3.00 0.00 7.00 0 qemu-system-x86 +19:06:47 958 - 272149 0.00 0.00 0.00 0.00 0.00 0 |__qemu-system-x86 +19:06:47 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:06:47 958 - 272154 0.00 0.00 0.00 0.00 0.00 3 |__vhost-272149 +19:06:47 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:06:47 958 - 272156 1.00 1.00 1.00 0.00 3.00 7 |__CPU 0/KVM +19:06:47 958 - 272157 0.00 1.00 2.00 0.00 3.00 4 |__CPU 1/KVM +19:06:47 958 - 272159 0.00 0.00 0.00 0.00 0.00 6 |__SPICE Worker +19:06:47 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:47 958 - 277711 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:47 958 - 277718 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:47 958 - 277725 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:47 958 - 277732 0.00 0.00 0.00 0.00 0.00 1 |__worker + +19:06:47 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:06:48 958 167796 - 1.00 0.00 0.00 0.00 1.00 7 qemu-system-x86 +19:06:48 958 - 167796 0.00 0.00 0.00 0.00 0.00 7 |__qemu-system-x86 +19:06:48 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:06:48 958 - 167801 0.00 0.00 0.00 0.00 0.00 4 |__vhost-167796 +19:06:48 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:48 958 - 167803 0.00 0.00 0.00 0.00 0.00 1 |__CPU 0/KVM +19:06:48 958 - 167805 0.00 1.00 0.00 0.00 1.00 1 |__SPICE Worker +19:06:48 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:48 958 272123 - 3.00 4.00 13.00 0.00 20.00 3 qemu-system-x86 +19:06:48 958 - 272123 1.00 0.00 0.00 0.00 1.00 3 |__qemu-system-x86 +19:06:48 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:06:48 958 - 272129 0.00 0.00 0.00 0.00 0.00 3 |__vhost-272123 +19:06:48 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:48 958 - 272131 2.00 2.00 7.00 0.00 11.00 1 |__CPU 0/KVM +19:06:48 958 - 272132 1.00 3.00 6.00 0.00 10.00 5 |__CPU 1/KVM +19:06:48 958 - 272134 0.00 0.00 0.00 0.00 0.00 6 |__SPICE Worker +19:06:48 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:06:48 958 - 277780 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:48 958 - 278025 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:48 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:48 958 - 278656 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:06:48 958 - 278657 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:06:48 958 - 278658 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:06:48 958 - 278661 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:06:48 958 272149 - 0.00 1.00 5.00 0.00 6.00 7 qemu-system-x86 +19:06:48 958 - 272149 0.00 0.00 0.00 0.00 0.00 7 |__qemu-system-x86 +19:06:48 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:06:48 958 - 272154 0.00 0.00 0.00 0.00 0.00 5 |__vhost-272149 +19:06:48 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:06:48 958 - 272156 1.00 0.00 2.00 0.00 3.00 6 |__CPU 0/KVM +19:06:48 958 - 272157 0.00 1.00 3.00 0.00 4.00 4 |__CPU 1/KVM +19:06:48 958 - 272159 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:06:48 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:48 958 - 277711 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:48 958 - 277718 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:48 958 - 277725 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:48 958 - 277732 0.00 0.00 0.00 0.00 0.00 1 |__worker + +19:06:48 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:06:49 958 167796 - 1.00 0.00 0.00 0.00 1.00 6 qemu-system-x86 +19:06:49 958 - 167796 0.00 0.00 0.00 0.00 0.00 6 |__qemu-system-x86 +19:06:49 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:06:49 958 - 167801 0.00 0.00 0.00 0.00 0.00 4 |__vhost-167796 +19:06:49 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:49 958 - 167803 0.00 0.00 0.00 0.00 0.00 1 |__CPU 0/KVM +19:06:49 958 - 167805 0.00 0.00 0.00 0.00 0.00 0 |__SPICE Worker +19:06:49 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:49 958 272123 - 4.00 3.00 9.00 0.00 16.00 3 qemu-system-x86 +19:06:49 958 - 272123 0.00 0.00 0.00 0.00 0.00 3 |__qemu-system-x86 +19:06:49 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:06:49 958 - 272129 0.00 0.00 0.00 0.00 0.00 0 |__vhost-272123 +19:06:49 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:49 958 - 272131 1.00 1.00 4.00 0.00 6.00 2 |__CPU 0/KVM +19:06:49 958 - 272132 1.00 2.00 6.00 0.00 9.00 5 |__CPU 1/KVM +19:06:49 958 - 272134 0.00 0.00 0.00 0.00 0.00 6 |__SPICE Worker +19:06:49 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:06:49 958 - 277780 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:49 958 - 278025 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:49 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:49 958 - 278656 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:06:49 958 - 278657 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:06:49 958 - 278658 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:06:49 958 - 278661 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:06:49 958 272149 - 2.00 2.00 7.00 0.00 11.00 0 qemu-system-x86 +19:06:49 958 - 272149 1.00 0.00 0.00 0.00 1.00 0 |__qemu-system-x86 +19:06:49 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:06:49 958 - 272154 0.00 0.00 0.00 0.00 0.00 5 |__vhost-272149 +19:06:49 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:06:49 958 - 272156 0.00 1.00 3.00 0.00 4.00 6 |__CPU 0/KVM +19:06:49 958 - 272157 1.00 1.00 3.00 0.00 5.00 4 |__CPU 1/KVM +19:06:49 958 - 272159 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:06:49 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:49 958 - 277711 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:49 958 - 277718 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:49 958 - 277725 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:49 958 - 277732 0.00 0.00 0.00 0.00 0.00 0 |__worker + +19:06:49 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:06:50 958 167796 - 0.00 0.00 0.00 0.00 0.00 6 qemu-system-x86 +19:06:50 958 - 167796 0.00 1.00 0.00 0.00 1.00 6 |__qemu-system-x86 +19:06:50 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:06:50 958 - 167801 0.00 0.00 0.00 0.00 0.00 4 |__vhost-167796 +19:06:50 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:50 958 - 167803 0.00 0.00 0.00 0.00 0.00 1 |__CPU 0/KVM +19:06:50 958 - 167805 1.00 0.00 0.00 0.00 1.00 3 |__SPICE Worker +19:06:50 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:50 958 272123 - 2.00 4.00 10.00 0.00 16.00 3 qemu-system-x86 +19:06:50 958 - 272123 0.00 0.00 0.00 0.00 0.00 3 |__qemu-system-x86 +19:06:50 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:06:50 958 - 272129 0.00 0.00 0.00 0.00 0.00 0 |__vhost-272123 +19:06:50 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:50 958 - 272131 1.00 1.00 5.00 0.00 7.00 1 |__CPU 0/KVM +19:06:50 958 - 272132 1.00 3.00 5.00 0.00 9.00 7 |__CPU 1/KVM +19:06:50 958 - 272134 1.00 0.00 0.00 0.00 1.00 4 |__SPICE Worker +19:06:50 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:06:50 958 - 277780 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:50 958 - 278025 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:50 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:50 958 - 278656 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:06:50 958 - 278657 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:06:50 958 - 278658 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:06:50 958 - 278661 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:06:50 958 272149 - 1.00 1.00 9.00 0.00 11.00 0 qemu-system-x86 +19:06:50 958 - 272149 0.00 0.00 0.00 0.00 0.00 0 |__qemu-system-x86 +19:06:50 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:06:50 958 - 272154 0.00 0.00 0.00 0.00 0.00 3 |__vhost-272149 +19:06:50 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:06:50 958 - 272156 0.00 0.00 5.00 0.00 5.00 6 |__CPU 0/KVM +19:06:50 958 - 272157 0.00 1.00 5.00 0.00 6.00 4 |__CPU 1/KVM +19:06:50 958 - 272159 1.00 0.00 0.00 0.00 1.00 6 |__SPICE Worker +19:06:50 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:50 958 - 277711 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:50 958 - 277718 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:50 958 - 277725 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:50 958 - 277732 0.00 0.00 0.00 0.00 0.00 0 |__worker + +19:06:50 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:06:51 958 167796 - 1.00 0.00 0.00 0.00 1.00 6 qemu-system-x86 +19:06:51 958 - 167796 1.00 0.00 0.00 0.00 1.00 6 |__qemu-system-x86 +19:06:51 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:06:51 958 - 167801 0.00 0.00 0.00 0.00 0.00 4 |__vhost-167796 +19:06:51 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:51 958 - 167803 0.00 0.00 0.00 0.00 0.00 1 |__CPU 0/KVM +19:06:51 958 - 167805 0.00 0.00 0.00 0.00 0.00 1 |__SPICE Worker +19:06:51 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:51 958 272123 - 3.00 3.00 17.00 0.00 23.00 3 qemu-system-x86 +19:06:51 958 - 272123 1.00 0.00 0.00 0.00 1.00 3 |__qemu-system-x86 +19:06:51 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:06:51 958 - 272129 0.00 0.00 0.00 0.00 0.00 0 |__vhost-272123 +19:06:51 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:06:51 958 - 272131 1.00 2.00 8.00 0.00 11.00 1 |__CPU 0/KVM +19:06:51 958 - 272132 1.00 1.00 9.00 0.00 11.00 0 |__CPU 1/KVM +19:06:51 958 - 272134 0.00 0.00 0.00 0.00 0.00 4 |__SPICE Worker +19:06:51 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:06:51 958 - 277780 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:06:51 958 - 278025 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:06:51 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:51 958 - 278656 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:06:51 958 - 278657 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:06:51 958 - 278658 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:06:51 958 - 278661 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:06:51 958 272149 - 1.00 2.00 6.00 0.00 9.00 7 qemu-system-x86 +19:06:51 958 - 272149 0.00 1.00 0.00 0.00 1.00 7 |__qemu-system-x86 +19:06:51 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:06:51 958 - 272154 0.00 0.00 0.00 0.00 0.00 3 |__vhost-272149 +19:06:51 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:06:51 958 - 272156 1.00 1.00 3.00 0.00 5.00 3 |__CPU 0/KVM +19:06:51 958 - 272157 0.00 0.00 3.00 0.00 3.00 5 |__CPU 1/KVM +19:06:51 958 - 272159 0.00 0.00 0.00 0.00 0.00 6 |__SPICE Worker +19:06:51 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:06:51 958 - 277711 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:51 958 - 277718 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:06:51 958 - 277725 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:06:51 958 - 277732 0.00 0.00 0.00 0.00 0.00 2 |__worker + +Average: UID TGID TID %usr %system %guest %wait %CPU CPU Command +Average: 958 167796 - 0.60 0.00 0.00 0.00 0.60 - qemu-system-x86 +Average: 958 - 167796 0.40 0.20 0.00 0.00 0.60 - |__qemu-system-x86 +Average: 958 - 167799 0.00 0.00 0.00 0.00 0.00 - |__call_rcu +Average: 958 - 167801 0.00 0.00 0.00 0.00 0.00 - |__vhost-167796 +Average: 958 - 167802 0.00 0.00 0.00 0.00 0.00 - |__IO mon_iothread +Average: 958 - 167803 0.00 0.00 0.00 0.00 0.00 - |__CPU 0/KVM +Average: 958 - 167805 0.20 0.20 0.00 0.00 0.40 - |__SPICE Worker +Average: 958 - 167806 0.00 0.00 0.00 0.00 0.00 - |__kvm-nx-lpage-re +Average: 958 272123 - 3.00 3.60 12.20 0.00 18.80 - qemu-system-x86 +Average: 958 - 272123 0.40 0.20 0.00 0.00 0.60 - |__qemu-system-x86 +Average: 958 - 272127 0.00 0.00 0.00 0.00 0.00 - |__call_rcu +Average: 958 - 272129 0.00 0.00 0.00 0.00 0.00 - |__vhost-272123 +Average: 958 - 272130 0.00 0.00 0.00 0.00 0.00 - |__IO mon_iothread +Average: 958 - 272131 1.40 1.40 5.60 0.00 8.40 - |__CPU 0/KVM +Average: 958 - 272132 1.20 2.20 6.60 0.00 10.00 - |__CPU 1/KVM +Average: 958 - 272134 0.20 0.00 0.00 0.00 0.20 - |__SPICE Worker +Average: 958 - 272135 0.00 0.00 0.00 0.00 0.00 - |__kvm-nx-lpage-re +Average: 958 - 277780 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278025 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278541 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278656 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278657 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278658 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278661 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 272149 - 1.20 1.60 6.00 0.00 8.80 - qemu-system-x86 +Average: 958 - 272149 0.20 0.20 0.00 0.00 0.40 - |__qemu-system-x86 +Average: 958 - 272152 0.00 0.00 0.00 0.00 0.00 - |__call_rcu +Average: 958 - 272154 0.00 0.00 0.00 0.00 0.00 - |__vhost-272149 +Average: 958 - 272155 0.00 0.00 0.00 0.00 0.00 - |__IO mon_iothread +Average: 958 - 272156 0.60 0.60 2.80 0.00 4.00 - |__CPU 0/KVM +Average: 958 - 272157 0.20 0.80 3.20 0.00 4.20 - |__CPU 1/KVM +Average: 958 - 272159 0.20 0.00 0.00 0.00 0.20 - |__SPICE Worker +Average: 958 - 272160 0.00 0.00 0.00 0.00 0.00 - |__kvm-nx-lpage-re +Average: 958 - 277711 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 277718 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 277725 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 277732 0.00 0.00 0.00 0.00 0.00 - |__worker +=== softirq after === + NET_TX: 7 15 10 9 4 14 13 13 + NET_RX: 237978 339333 204065 97722 467970 1383705 336212 5292981 +=== external serial latency === +req=1 code=200 time=0.043495 +req=2 code=200 time=0.012051 +req=3 code=200 time=0.013181 +req=4 code=200 time=0.010887 +req=5 code=200 time=0.013320 +req=6 code=200 time=0.011876 +req=7 code=200 time=0.011573 +req=8 code=200 time=0.018896 +req=9 code=200 time=0.012629 +req=10 code=200 time=0.010023 +req=11 code=200 time=0.010309 +req=12 code=200 time=0.011008 +req=13 code=200 time=0.031833 +req=14 code=200 time=0.011050 +req=15 code=200 time=0.011204 +req=16 code=200 time=0.018685 +req=17 code=200 time=0.011421 +req=18 code=200 time=0.012635 +req=19 code=200 time=0.010012 +req=20 code=200 time=0.018141 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt new file mode 100644 index 0000000..410443a --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt @@ -0,0 +1,418 @@ +=== softirq before === + NET_TX: 7 15 10 9 4 14 13 13 + NET_RX: 237982 339336 204080 97902 467980 1383776 336212 5293286 +=== host vmstat === +procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu------- + r b swpd free buff cache si so bi bo in cs us sy id wa st gu + 1 0 265540 823444 121636 2429048 0 0 18 386 3890 5 0 1 96 0 0 2 + 5 0 265540 823444 121636 2429068 0 0 0 0 9256 33438 1 4 84 0 0 12 + 9 0 265540 821268 121636 2429068 0 0 0 0 28025 141763 3 14 39 0 0 43 + 8 0 265540 820824 121636 2429068 0 0 0 32 27104 134362 3 14 45 0 0 38 + 8 0 265540 820872 121636 2429076 0 0 0 0 26055 127451 3 12 41 0 0 44 + 2 0 265540 820884 121644 2429412 0 0 0 1944 22430 101972 2 10 56 1 0 31 + 5 0 265540 821036 121644 2429448 0 0 0 12 24257 118596 2 11 52 0 0 34 + 5 0 265540 820852 121644 2429948 0 0 0 92 24807 122380 3 12 52 0 0 33 +=== qemu/vhost pidstat === +Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU) + +19:07:16 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:17 958 167796 - 6.00 0.00 16.00 0.00 22.00 4 qemu-system-x86 +19:07:17 958 - 167796 0.00 0.00 0.00 0.00 0.00 4 |__qemu-system-x86 +19:07:17 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:17 958 - 167801 0.00 3.00 0.00 1.00 3.00 4 |__vhost-167796 +19:07:17 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:17 958 - 167803 2.00 0.00 16.00 0.00 18.00 5 |__CPU 0/KVM +19:07:17 958 - 167805 0.00 0.00 0.00 0.00 0.00 1 |__SPICE Worker +19:07:17 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:17 958 272123 - 2.00 7.00 37.00 0.00 46.00 1 qemu-system-x86 +19:07:17 958 - 272123 0.00 0.00 0.00 0.00 0.00 1 |__qemu-system-x86 +19:07:17 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:17 958 - 272129 0.00 1.00 0.00 0.00 1.00 4 |__vhost-272123 +19:07:17 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:17 958 - 272131 1.00 4.00 14.00 1.00 19.00 1 |__CPU 0/KVM +19:07:17 958 - 272132 1.00 1.00 23.00 0.00 25.00 6 |__CPU 1/KVM +19:07:17 958 - 272134 0.00 0.00 0.00 0.00 0.00 2 |__SPICE Worker +19:07:17 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:17 958 - 277780 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:17 958 - 278025 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:17 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:17 958 - 278656 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:17 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:17 958 - 278658 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:17 958 - 278661 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:17 958 272149 - 2.00 4.00 40.00 0.00 46.00 5 qemu-system-x86 +19:07:17 958 - 272149 0.00 0.00 0.00 0.00 0.00 5 |__qemu-system-x86 +19:07:17 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:17 958 - 272154 0.00 1.00 0.00 0.00 1.00 2 |__vhost-272149 +19:07:17 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:17 958 - 272156 0.00 1.00 21.00 0.00 22.00 0 |__CPU 0/KVM +19:07:17 958 - 272157 2.00 1.00 18.00 1.00 21.00 3 |__CPU 1/KVM +19:07:17 958 - 272159 0.00 0.00 0.00 0.00 0.00 7 |__SPICE Worker +19:07:17 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:17 958 - 277711 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:17 958 - 277718 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:17 958 - 277725 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:17 958 - 277732 0.00 0.00 0.00 0.00 0.00 3 |__worker + +19:07:17 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:18 958 167796 - 25.00 0.00 72.00 0.00 97.00 1 qemu-system-x86 +19:07:18 958 - 167796 1.00 0.00 0.00 0.00 1.00 1 |__qemu-system-x86 +19:07:18 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:18 958 - 167801 0.00 15.00 0.00 4.00 15.00 5 |__vhost-167796 +19:07:18 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:18 958 - 167803 6.00 3.00 72.00 1.00 81.00 6 |__CPU 0/KVM +19:07:18 958 - 167805 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:07:18 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:18 958 272123 - 1.00 34.00 115.00 0.00 150.00 1 qemu-system-x86 +19:07:18 958 - 272123 0.00 0.00 0.00 0.00 0.00 1 |__qemu-system-x86 +19:07:18 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:18 958 - 272129 0.00 6.00 0.00 3.00 6.00 1 |__vhost-272123 +19:07:18 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:18 958 - 272131 0.00 14.00 56.00 1.00 70.00 0 |__CPU 0/KVM +19:07:18 958 - 272132 1.00 14.00 59.00 1.00 74.00 4 |__CPU 1/KVM +19:07:18 958 - 272134 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:07:18 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:18 958 - 277780 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:18 958 - 278025 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:18 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:18 958 - 278656 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:18 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:18 958 - 278658 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:18 958 - 278661 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:18 958 272149 - 3.00 17.00 160.00 0.00 180.00 4 qemu-system-x86 +19:07:18 958 - 272149 1.00 0.00 0.00 0.00 1.00 4 |__qemu-system-x86 +19:07:18 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:18 958 - 272154 0.00 6.00 0.00 3.00 6.00 6 |__vhost-272149 +19:07:18 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:18 958 - 272156 1.00 6.00 82.00 1.00 89.00 7 |__CPU 0/KVM +19:07:18 958 - 272157 1.00 6.00 78.00 1.00 85.00 2 |__CPU 1/KVM +19:07:18 958 - 272159 0.00 0.00 0.00 0.00 0.00 5 |__SPICE Worker +19:07:18 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:18 958 - 277711 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:18 958 - 277718 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:18 958 - 277725 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:18 958 - 277732 0.00 0.00 0.00 0.00 0.00 3 |__worker + +19:07:18 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:19 958 167796 - 22.00 0.00 65.00 0.00 87.00 7 qemu-system-x86 +19:07:19 958 - 167796 0.00 0.00 0.00 0.00 0.00 7 |__qemu-system-x86 +19:07:19 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:19 958 - 167801 0.00 14.00 0.00 3.00 14.00 0 |__vhost-167796 +19:07:19 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:19 958 - 167803 0.00 7.00 65.00 0.00 72.00 1 |__CPU 0/KVM +19:07:19 958 - 167805 0.00 0.00 0.00 0.00 0.00 0 |__SPICE Worker +19:07:19 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:19 958 272123 - 6.00 28.00 105.00 0.00 139.00 5 qemu-system-x86 +19:07:19 958 - 272123 1.00 0.00 0.00 0.00 1.00 0 |__qemu-system-x86 +19:07:19 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:19 958 - 272129 0.00 5.00 0.00 2.00 5.00 2 |__vhost-272123 +19:07:19 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:19 958 - 272131 3.00 9.00 60.00 1.00 72.00 7 |__CPU 0/KVM +19:07:19 958 - 272132 1.00 13.00 46.00 1.00 60.00 4 |__CPU 1/KVM +19:07:19 958 - 272134 1.00 0.00 0.00 0.00 1.00 7 |__SPICE Worker +19:07:19 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:19 958 - 277780 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:19 958 - 278025 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:19 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:19 958 - 278656 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:19 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:19 958 - 278658 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:19 958 - 278661 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:19 958 272149 - 1.00 21.00 137.00 1.00 159.00 5 qemu-system-x86 +19:07:19 958 - 272149 0.00 1.00 0.00 1.00 1.00 5 |__qemu-system-x86 +19:07:19 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:19 958 - 272154 0.00 6.00 0.00 2.00 6.00 2 |__vhost-272149 +19:07:19 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:19 958 - 272156 0.00 9.00 68.00 1.00 77.00 5 |__CPU 0/KVM +19:07:19 958 - 272157 0.00 8.00 70.00 1.00 77.00 3 |__CPU 1/KVM +19:07:19 958 - 272159 0.00 0.00 0.00 0.00 0.00 2 |__SPICE Worker +19:07:19 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:19 958 - 277711 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:19 958 - 277718 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:19 958 - 277725 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:19 958 - 277732 0.00 0.00 0.00 0.00 0.00 7 |__worker + +19:07:19 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:20 958 167796 - 22.00 0.00 62.00 0.00 84.00 3 qemu-system-x86 +19:07:20 958 - 167796 0.00 0.00 0.00 0.00 0.00 3 |__qemu-system-x86 +19:07:20 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:20 958 - 167801 0.00 13.00 0.00 3.00 13.00 2 |__vhost-167796 +19:07:20 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:20 958 - 167803 2.00 8.00 62.00 1.00 72.00 0 |__CPU 0/KVM +19:07:20 958 - 167805 0.00 0.00 0.00 0.00 0.00 1 |__SPICE Worker +19:07:20 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:20 958 272123 - 3.00 18.00 140.00 0.00 161.00 5 qemu-system-x86 +19:07:20 958 - 272123 0.00 0.00 0.00 0.00 0.00 5 |__qemu-system-x86 +19:07:20 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:20 958 - 272129 0.00 5.00 0.00 2.00 5.00 1 |__vhost-272123 +19:07:20 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:20 958 - 272131 0.00 13.00 54.00 1.00 67.00 5 |__CPU 0/KVM +19:07:20 958 - 272132 3.00 2.00 85.00 1.00 90.00 4 |__CPU 1/KVM +19:07:20 958 - 272134 0.00 0.00 0.00 0.00 0.00 1 |__SPICE Worker +19:07:20 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:20 958 - 277780 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:20 958 - 278025 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:20 958 - 278541 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:20 958 - 278656 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:20 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:20 958 - 278658 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:20 958 - 278661 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:20 958 272149 - 5.00 12.00 154.00 0.00 171.00 3 qemu-system-x86 +19:07:20 958 - 272149 0.00 0.00 0.00 0.00 0.00 3 |__qemu-system-x86 +19:07:20 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:20 958 - 272154 0.00 5.00 0.00 3.00 5.00 2 |__vhost-272149 +19:07:20 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:20 958 - 272156 2.00 2.00 84.00 1.00 88.00 7 |__CPU 0/KVM +19:07:20 958 - 272157 2.00 6.00 69.00 1.00 77.00 3 |__CPU 1/KVM +19:07:20 958 - 272159 0.00 0.00 0.00 0.00 0.00 5 |__SPICE Worker +19:07:20 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:20 958 - 277711 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:20 958 - 277718 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:20 958 - 277725 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:20 958 - 277732 0.00 0.00 0.00 0.00 0.00 7 |__worker + +19:07:20 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:21 958 167796 - 19.00 0.00 42.00 0.00 61.00 2 qemu-system-x86 +19:07:21 958 - 167796 0.00 0.00 0.00 0.00 0.00 2 |__qemu-system-x86 +19:07:21 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:21 958 - 167801 0.00 9.00 0.00 1.00 9.00 3 |__vhost-167796 +19:07:21 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:21 958 - 167803 1.00 8.00 42.00 1.00 51.00 5 |__CPU 0/KVM +19:07:21 958 - 167805 0.00 0.00 0.00 0.00 0.00 7 |__SPICE Worker +19:07:21 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:21 958 272123 - 2.00 19.00 116.00 0.00 137.00 4 qemu-system-x86 +19:07:21 958 - 272123 1.00 0.00 0.00 0.00 1.00 4 |__qemu-system-x86 +19:07:21 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:21 958 - 272129 0.00 3.00 0.00 1.00 3.00 3 |__vhost-272123 +19:07:21 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:21 958 - 272131 1.00 10.00 50.00 0.00 61.00 2 |__CPU 0/KVM +19:07:21 958 - 272132 1.00 3.00 66.00 0.00 70.00 4 |__CPU 1/KVM +19:07:21 958 - 272134 0.00 0.00 0.00 0.00 0.00 7 |__SPICE Worker +19:07:21 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:21 958 - 277780 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:21 958 - 278025 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:21 958 - 278541 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:21 958 - 278656 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:21 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:21 958 - 278658 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:21 958 - 278661 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:21 958 - 278770 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:21 958 - 278771 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:21 958 - 278772 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:21 958 - 278773 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:21 958 - 278774 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:21 958 - 278775 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:21 958 - 278776 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:21 958 272149 - 2.00 20.00 97.00 0.00 119.00 2 qemu-system-x86 +19:07:21 958 - 272149 0.00 0.00 0.00 0.00 0.00 2 |__qemu-system-x86 +19:07:21 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:21 958 - 272154 0.00 3.00 0.00 1.00 3.00 3 |__vhost-272149 +19:07:21 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:21 958 - 272156 0.00 7.00 51.00 1.00 58.00 7 |__CPU 0/KVM +19:07:21 958 - 272157 0.00 10.00 47.00 1.00 57.00 1 |__CPU 1/KVM +19:07:21 958 - 272159 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:07:21 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:21 958 - 277711 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:21 958 - 277718 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:21 958 - 277725 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:21 958 - 277732 0.00 0.00 0.00 0.00 0.00 0 |__worker + +19:07:21 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:22 958 167796 - 21.00 0.00 51.00 0.00 72.00 0 qemu-system-x86 +19:07:22 958 - 167796 1.00 0.00 0.00 0.00 1.00 0 |__qemu-system-x86 +19:07:22 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:22 958 - 167801 0.00 11.00 0.00 1.00 11.00 3 |__vhost-167796 +19:07:22 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:22 958 - 167803 1.00 8.00 51.00 0.00 60.00 5 |__CPU 0/KVM +19:07:22 958 - 167805 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:07:22 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:22 958 - 278777 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:22 958 272123 - 4.00 22.00 98.00 0.00 124.00 2 qemu-system-x86 +19:07:22 958 - 272123 0.00 0.00 0.00 0.00 0.00 2 |__qemu-system-x86 +19:07:22 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:22 958 - 272129 0.00 4.00 0.00 1.00 4.00 3 |__vhost-272123 +19:07:22 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:22 958 - 272131 1.00 13.00 42.00 1.00 56.00 0 |__CPU 0/KVM +19:07:22 958 - 272132 3.00 7.00 56.00 1.00 66.00 1 |__CPU 1/KVM +19:07:22 958 - 272134 0.00 0.00 0.00 0.00 0.00 3 |__SPICE Worker +19:07:22 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:22 958 - 277780 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:22 958 - 278025 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:22 958 - 278541 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:22 958 - 278656 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:22 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:22 958 - 278658 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:22 958 - 278661 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:22 958 - 278770 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:22 958 - 278771 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:22 958 - 278772 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:22 958 - 278773 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:22 958 - 278774 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:22 958 - 278775 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:22 958 - 278776 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:22 958 272149 - 4.00 16.00 128.00 0.00 148.00 2 qemu-system-x86 +19:07:22 958 - 272149 0.00 1.00 0.00 0.00 1.00 2 |__qemu-system-x86 +19:07:22 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:22 958 - 272154 0.00 4.00 0.00 1.00 4.00 0 |__vhost-272149 +19:07:22 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:22 958 - 272156 1.00 7.00 59.00 0.00 67.00 2 |__CPU 0/KVM +19:07:22 958 - 272157 1.00 6.00 69.00 1.00 76.00 7 |__CPU 1/KVM +19:07:22 958 - 272159 0.00 0.00 0.00 0.00 0.00 4 |__SPICE Worker +19:07:22 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:22 958 - 277711 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:22 958 - 277718 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:22 958 - 277725 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:22 958 - 277732 0.00 0.00 0.00 0.00 0.00 0 |__worker + +19:07:22 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:23 958 167796 - 22.00 0.00 51.00 0.00 73.00 2 qemu-system-x86 +19:07:23 958 - 167796 0.00 0.00 0.00 0.00 0.00 2 |__qemu-system-x86 +19:07:23 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:23 958 - 167801 0.00 11.00 0.00 1.00 11.00 7 |__vhost-167796 +19:07:23 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:23 958 - 167803 2.00 9.00 51.00 1.00 62.00 6 |__CPU 0/KVM +19:07:23 958 - 167805 0.00 0.00 0.00 0.00 0.00 5 |__SPICE Worker +19:07:23 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:23 958 - 278777 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:23 958 - 278778 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:23 958 - 278779 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:23 958 - 278780 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:23 958 272123 - 1.00 25.00 98.00 0.00 124.00 4 qemu-system-x86 +19:07:23 958 - 272123 0.00 0.00 0.00 0.00 0.00 4 |__qemu-system-x86 +19:07:23 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:23 958 - 272129 0.00 5.00 0.00 1.00 5.00 4 |__vhost-272123 +19:07:23 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:23 958 - 272131 0.00 13.00 41.00 1.00 53.00 5 |__CPU 0/KVM +19:07:23 958 - 272132 0.00 8.00 57.00 0.00 65.00 2 |__CPU 1/KVM +19:07:23 958 - 272134 0.00 0.00 0.00 0.00 0.00 5 |__SPICE Worker +19:07:23 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:23 958 - 277780 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:23 958 - 278025 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:23 958 - 278541 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:23 958 - 278656 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:23 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:23 958 - 278658 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:23 958 - 278661 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:23 958 - 278770 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:23 958 - 278771 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:23 958 - 278772 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:23 958 - 278773 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:23 958 - 278774 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:23 958 - 278775 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:23 958 - 278776 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:23 958 272149 - 0.00 21.00 123.00 0.00 144.00 4 qemu-system-x86 +19:07:23 958 - 272149 0.00 0.00 0.00 0.00 0.00 4 |__qemu-system-x86 +19:07:23 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:23 958 - 272154 0.00 5.00 0.00 1.00 5.00 3 |__vhost-272149 +19:07:23 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:23 958 - 272156 1.00 7.00 61.00 1.00 69.00 1 |__CPU 0/KVM +19:07:23 958 - 272157 0.00 10.00 61.00 1.00 71.00 0 |__CPU 1/KVM +19:07:23 958 - 272159 0.00 0.00 0.00 0.00 0.00 7 |__SPICE Worker +19:07:23 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:23 958 - 277711 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:23 958 - 277718 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:23 958 - 277725 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:23 958 - 277732 0.00 0.00 0.00 0.00 0.00 0 |__worker + +19:07:23 UID TGID TID %usr %system %guest %wait %CPU CPU Command +19:07:24 958 167796 - 3.00 0.00 9.00 0.00 12.00 2 qemu-system-x86 +19:07:24 958 - 167796 0.00 1.00 0.00 0.00 1.00 2 |__qemu-system-x86 +19:07:24 958 - 167799 0.00 0.00 0.00 0.00 0.00 7 |__call_rcu +19:07:24 958 - 167801 0.00 2.00 0.00 1.00 2.00 4 |__vhost-167796 +19:07:24 958 - 167802 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:24 958 - 167803 0.00 2.00 9.00 0.00 11.00 6 |__CPU 0/KVM +19:07:24 958 - 167805 1.00 0.00 0.00 0.00 1.00 4 |__SPICE Worker +19:07:24 958 - 167806 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:24 958 - 278777 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:24 958 - 278778 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:24 958 - 278779 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:24 958 - 278780 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:24 958 272123 - 4.00 10.00 16.00 0.00 30.00 6 qemu-system-x86 +19:07:24 958 - 272123 0.00 0.00 0.00 0.00 0.00 6 |__qemu-system-x86 +19:07:24 958 - 272127 0.00 0.00 0.00 0.00 0.00 5 |__call_rcu +19:07:24 958 - 272129 0.00 0.00 0.00 0.00 0.00 3 |__vhost-272123 +19:07:24 958 - 272130 0.00 0.00 0.00 0.00 0.00 1 |__IO mon_iothread +19:07:24 958 - 272131 2.00 4.00 10.00 0.00 16.00 5 |__CPU 0/KVM +19:07:24 958 - 272132 1.00 4.00 6.00 0.00 11.00 3 |__CPU 1/KVM +19:07:24 958 - 272134 0.00 0.00 0.00 0.00 0.00 2 |__SPICE Worker +19:07:24 958 - 272135 0.00 0.00 0.00 0.00 0.00 5 |__kvm-nx-lpage-re +19:07:24 958 - 277780 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:24 958 - 278025 0.00 0.00 0.00 0.00 0.00 2 |__worker +19:07:24 958 - 278541 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:24 958 - 278656 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:24 958 - 278657 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:24 958 - 278658 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:24 958 - 278661 0.00 0.00 0.00 0.00 0.00 4 |__worker +19:07:24 958 - 278770 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:24 958 - 278771 0.00 0.00 0.00 0.00 0.00 5 |__worker +19:07:24 958 - 278772 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:24 958 - 278773 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:24 958 - 278774 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:24 958 - 278775 0.00 0.00 0.00 0.00 0.00 7 |__worker +19:07:24 958 - 278776 0.00 0.00 0.00 0.00 0.00 3 |__worker +19:07:24 958 272149 - 0.00 8.00 25.00 0.00 30.00 1 qemu-system-x86 +19:07:24 958 - 272149 0.00 0.00 0.00 0.00 0.00 1 |__qemu-system-x86 +19:07:24 958 - 272152 0.00 0.00 0.00 0.00 0.00 0 |__call_rcu +19:07:24 958 - 272154 0.00 0.00 0.00 0.00 0.00 2 |__vhost-272149 +19:07:24 958 - 272155 0.00 0.00 0.00 0.00 0.00 5 |__IO mon_iothread +19:07:24 958 - 272156 0.00 5.00 11.00 0.00 14.00 7 |__CPU 0/KVM +19:07:24 958 - 272157 0.00 3.00 14.00 0.00 15.00 1 |__CPU 1/KVM +19:07:24 958 - 272159 1.00 0.00 0.00 0.00 1.00 6 |__SPICE Worker +19:07:24 958 - 272160 0.00 0.00 0.00 0.00 0.00 2 |__kvm-nx-lpage-re +19:07:24 958 - 277711 0.00 0.00 0.00 0.00 0.00 6 |__worker +19:07:24 958 - 277718 0.00 0.00 0.00 0.00 0.00 0 |__worker +19:07:24 958 - 277725 0.00 0.00 0.00 0.00 0.00 1 |__worker +19:07:24 958 - 277732 0.00 0.00 0.00 0.00 0.00 4 |__worker + +Average: UID TGID TID %usr %system %guest %wait %CPU CPU Command +Average: 958 167796 - 17.50 0.00 46.00 0.00 63.50 - qemu-system-x86 +Average: 958 - 167796 0.25 0.12 0.00 0.00 0.38 - |__qemu-system-x86 +Average: 958 - 167799 0.00 0.00 0.00 0.00 0.00 - |__call_rcu +Average: 958 - 167801 0.00 9.75 0.00 1.88 9.75 - |__vhost-167796 +Average: 958 - 167802 0.00 0.00 0.00 0.00 0.00 - |__IO mon_iothread +Average: 958 - 167803 1.75 5.62 46.00 0.50 53.37 - |__CPU 0/KVM +Average: 958 - 167805 0.12 0.00 0.00 0.00 0.12 - |__SPICE Worker +Average: 958 - 167806 0.00 0.00 0.00 0.00 0.00 - |__kvm-nx-lpage-re +Average: 958 - 278777 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278778 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278779 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278780 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 272123 - 2.88 20.38 90.62 0.00 113.88 - qemu-system-x86 +Average: 958 - 272123 0.25 0.00 0.00 0.00 0.25 - |__qemu-system-x86 +Average: 958 - 272127 0.00 0.00 0.00 0.00 0.00 - |__call_rcu +Average: 958 - 272129 0.00 3.62 0.00 1.25 3.62 - |__vhost-272123 +Average: 958 - 272130 0.00 0.00 0.00 0.00 0.00 - |__IO mon_iothread +Average: 958 - 272131 0.88 10.00 40.88 0.75 51.75 - |__CPU 0/KVM +Average: 958 - 272132 1.38 6.50 49.75 0.50 57.63 - |__CPU 1/KVM +Average: 958 - 272134 0.12 0.00 0.00 0.00 0.12 - |__SPICE Worker +Average: 958 - 272135 0.00 0.00 0.00 0.00 0.00 - |__kvm-nx-lpage-re +Average: 958 - 277780 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278025 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278541 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278656 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278657 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278658 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278661 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278770 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278771 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278772 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278773 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278774 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278775 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 278776 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 272149 - 1.75 14.88 108.00 0.12 124.63 - qemu-system-x86 +Average: 958 - 272149 0.12 0.25 0.00 0.12 0.38 - |__qemu-system-x86 +Average: 958 - 272152 0.00 0.00 0.00 0.00 0.00 - |__call_rcu +Average: 958 - 272154 0.00 3.75 0.00 1.38 3.75 - |__vhost-272149 +Average: 958 - 272155 0.00 0.00 0.00 0.00 0.00 - |__IO mon_iothread +Average: 958 - 272156 0.38 5.50 54.62 0.62 60.50 - |__CPU 0/KVM +Average: 958 - 272157 0.38 6.25 53.25 0.88 59.88 - |__CPU 1/KVM +Average: 958 - 272159 0.12 0.00 0.00 0.00 0.12 - |__SPICE Worker +Average: 958 - 272160 0.00 0.00 0.00 0.00 0.00 - |__kvm-nx-lpage-re +Average: 958 - 277711 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 277718 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 277725 0.00 0.00 0.00 0.00 0.00 - |__worker +Average: 958 - 277732 0.00 0.00 0.00 0.00 0.00 - |__worker +=== softirq after === + NET_TX: 7 15 10 9 4 14 13 13 + NET_RX: 237982 339337 204082 104602 467984 1383886 336213 5301733 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt new file mode 100644 index 0000000..7344f8d --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt @@ -0,0 +1,41 @@ +probe=1 code=200 time=0.077007 +probe=2 code=200 time=0.026492 +probe=3 code=200 time=0.032362 +probe=4 code=200 time=0.029537 +probe=5 code=200 time=0.028666 +probe=6 code=200 time=0.032624 +probe=7 code=200 time=0.022259 +probe=8 code=200 time=0.033384 +probe=9 code=200 time=0.035387 +probe=10 code=200 time=0.023943 +probe=11 code=200 time=0.028354 +probe=12 code=200 time=0.048538 +probe=13 code=200 time=0.038810 +probe=14 code=200 time=0.025219 +probe=15 code=200 time=0.026773 +probe=16 code=200 time=0.027697 +probe=17 code=200 time=0.027473 +probe=18 code=200 time=0.024472 +probe=19 code=200 time=0.035138 +probe=20 code=200 time=0.026533 +probe=21 code=200 time=0.028962 +probe=22 code=200 time=0.028509 +probe=23 code=200 time=0.026038 +probe=24 code=200 time=0.044113 +probe=25 code=200 time=0.026144 +probe=26 code=200 time=0.044765 +probe=27 code=200 time=0.062884 +probe=28 code=200 time=0.029045 +probe=29 code=200 time=0.035362 +probe=30 code=200 time=0.063686 +probe=31 code=200 time=0.033893 +probe=32 code=200 time=0.023724 +probe=33 code=200 time=0.027099 +probe=34 code=200 time=0.020672 +probe=35 code=200 time=0.050068 +probe=36 code=200 time=0.039562 +probe=37 code=200 time=0.024871 +probe=38 code=200 time=0.021189 +probe=39 code=200 time=0.030651 +probe=40 code=200 time=0.023975 +load_requests=4000 concurrency=40 rc=0 elapsed_sec=6.469 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt new file mode 100644 index 0000000..6fd3269 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt @@ -0,0 +1,23 @@ +=== before /proc/stat === +cpu0 3727780 61 936380 148325145 187746 821947 446106 0 3658631 0 +cpu1 4023271 55 1014343 148894304 182980 794724 211484 0 3955938 0 +cpu2 4049043 51 1018341 149140138 181451 788083 139032 0 3980457 0 +cpu3 4042959 53 1016975 149182088 182265 810216 121738 0 3972076 0 +cpu4 3776287 45 961989 149573761 179980 735455 106880 0 3706689 0 +cpu5 3840709 45 979083 149494362 181129 738786 112554 0 3771901 0 +cpu6 3884079 51 980395 149446863 179340 750286 106600 0 3812157 0 +cpu7 3718972 49 949348 149684386 183284 715811 111575 0 3650777 0 +=== before NET_RX === + NET_RX: 237987 339339 204086 104671 468016 1384142 336214 5302252 +=== after /proc/stat === +cpu0 3727924 61 936435 148325431 187748 821950 446107 0 3658761 0 +cpu1 4023471 55 1014390 148894543 182980 794727 211485 0 3956128 0 +cpu2 4049209 51 1018394 149140401 181455 788087 139033 0 3980609 0 +cpu3 4043123 53 1017029 149182345 182265 810220 121750 0 3972228 0 +cpu4 3776436 45 962043 149574043 179983 735458 106881 0 3706823 0 +cpu5 3840872 45 979136 149494631 181130 738790 112555 0 3772052 0 +cpu6 3884224 51 980446 149447154 179340 750290 106601 0 3812285 0 +cpu7 3719130 49 949407 149684647 183284 715816 111583 0 3650919 0 +=== after NET_RX === + NET_RX: 238007 339376 204108 107653 468045 1384190 336231 5307774 +load_requests=3000 concurrency=40 rc=0 elapsed_sec=3.953 diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/README.txt b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/README.txt new file mode 100644 index 0000000..1b2f052 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/README.txt @@ -0,0 +1,66 @@ +2026-09-21 이후 workmachine -> SSH alias test-server -> test-server 실제 재검증 증거. + +기존 docs/virtualization/final/evidence/raw/lab-state-before-rebuild/ 의 2026-09-17 historical evidence와 섞지 않는다. +이번 디렉터리의 값은 모두 이번 재검증 세션에서 실제로 실행한 명령과 실험 결과다. + +환경: +- workmachine에서 `ssh test-server` +- target user: donghyeon +- target node: test-server +- destructive scope: 명확한 virtualization lab 자원(kc-lab-*)만 +- preserved: libvirt default network 자체, host SSH/Tailscale, 사용자 파일, unrelated service/config, repository existing changes +- final sanity: 2026-09-22 KST, kc-lab-1/2/edge running, k3s 2 nodes Ready, key workloads Running, external OIDC discovery HTTP 200 + +분류는 CONFIRMED / CHANGED / INCORRECT / ENVIRONMENT-SPECIFIC / UNVERIFIED 를 사용한다. + +CONFIRMED: +- 현재 test-server는 Intel i5-1135G7, 4 physical cores / 8 logical CPUs, single NUMA node이며 /dev/kvm과 KVM을 사용한다. +- 현재 세 VM은 libvirt default NAT network의 virbr0에 붙고, 외부 egress는 NAT다. +- virtio-net runtime backend는 vhost-net이며 worker NIC는 single RX/TX queue다. +- 실제 ingress path는 Tailscale -> host DNAT/source rewrite -> edge VM nginx -> worker Traefik -> Keycloak이다. +- qcow2 overlay 3개는 공통 base.qcow2를 backing store로 사용하고 같은 host NVMe/ext4를 공유한다. +- 실행 중 주 디스크 QEMU cache mode는 writeback이고 host NVMe I/O scheduler는 none이다. +- host THP policy는 always, explicit HugeTLB pool/backing은 없으며 virtio-balloon 장치는 세 VM에 구성돼 있다. +- kc-lab-2에서 4096MiB -> 3584MiB -> 4096MiB live balloon round-trip과 guest-visible memory 감소/복원을 재현했다. +- 512MiB first-touch workload의 fault 증가는 minor fault 중심의 demand paging이었고 major fault/swap 증가는 없었다. +- 두 worker 2+2 vCPU를 동시에 CPU-bound로 만들어도 현재 8 logical CPU host에서는 guest steal 증가가 관측되지 않았다. +- storage load 실험에서는 같은 NVMe를 공유하는 VM 사이의 latency 간섭을 현재 조건에서 재현했다. +- final sanity state는 124-final-sanity-state.txt에 남겼다. +- k3s worker 재구축 뒤 lab host의 기본 `~/.kube/config`가 옛 CA를 들고 있어 plain `kubectl`이 x509 오류로 실패하는 상태를 확인했다. 현재 server kubeconfig를 다시 복사하고 `server:`를 `192.168.122.11:6443`으로 바꿔, 환경변수 없이 `kubectl get nodes -o wide`가 두 노드 `Ready`를 반환하도록 복구했다. 증거는 125-host-default-kubeconfig-refresh.txt다. + +CHANGED: +- 과거 문서에 남은 16-core 값과 달리 현재 host truth는 4 cores / 8 logical CPUs다. +- 과거 host nginx 진입 구조에서 현재는 host DNAT -> kc-lab-edge nginx 구조로 바뀌었다. +- 2026-09-17의 DNAT/service 배포 상태와 2026-09-21 재검증 상태를 같은 현재값으로 취급하지 않는다. +- kc-lab-2의 과거 balloon/current-memory 관측값은 현재 재검증 시 지속 상태로 재현되지 않았다. +- package manager로 설치한 libvirt/QEMU/nginx의 exact version은 관측값이며 설치 pin이 아니다. + +INCORRECT: +- 우리 DNAT 테이블에 SNAT가 없다는 이유만으로 원본 client IP가 edge까지 보존된다고 보는 설명은 현재 환경에서 틀렸다. + 2026-09-21 packet capture에서 Tailscale ts-postrouting MASQUERADE로 source가 192.168.122.1로 바뀌었다. +- L7 hop 수가 이전과 같다는 이유만으로 X-Forwarded-* 계약도 그대로라고 보는 설명은 틀렸다. +- lab-edge-dnat.service 시작 시 ExecStartPost로 guest_input allow rule을 한 번 삽입하면 계속 유지된다는 설명은 충분하지 않다. + libvirt가 guest_input chain을 다시 만들면 allow rule이 reject 뒤로 밀릴 수 있다. +- XML에 가 있다는 사실만으로 runtime network backend가 QEMU userspace로 바뀌었다고 판정하면 안 된다. + 실제 QEMU argv 확인이 필요하다. + +ENVIRONMENT-SPECIFIC: +- CPU/RSS/memory pressure 수치, qcow2 allocation, storage latency, network latency, packet rate, VM-exit 비율, exact package/kernel versions는 이번 host와 측정 시점의 값이다. +- 이 수치들은 일반적인 KVM/libvirt 고정값으로 일반화하지 않는다. + +UNVERIFIED: +1. 물리 host/edge/certificate까지 비운 완전한 00~06 clean rebuild. + Worker teardown -> cloud-init -> k3s -> Keycloak/observability -> power-cycle recovery는 CONFIRMED지만 완전 clean rebuild와는 구분한다. +2. 운영 서버가 bare-metal인지 상위 hypervisor/cloud VM 위인지. +3. 동일 refresh token 동시 요청에서 virtualization layer saturation이 결과를 흔드는지. +4. 2/4/8 vCPU별 동일 Keycloak workload throughput/latency 비교. +5. QEMU userspace network backend와 vhost-net의 동일 조건 A/B 성능 비교. + 를 넣고 재부팅해도 runtime argv가 vhost:true여서 userspace backend 조건을 만들지 못했다. +6. libvirt firewall_backend=iptables에서도 nftables backend와 같은 guest_input hole이 필요한지. + 전역 firewall backend 전환은 현재 edge 경로를 크게 건드리므로 이번 세션에서는 수행하지 않았다. + +문서 상태: +- QUESTION 43개 중 RESOLVED 37개, OPEN 6개. +- OPEN 6개는 모두 위 UNVERIFIED 사유를 본문에 명시한다. +- RESOLVED 질문은 모두 evidence 경로를 가진다. +- tech-log-tree build/verify, audit-records, project-layout 검증은 마지막 재실행에서 PASS했다. diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/direct-node-load.py b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/direct-node-load.py new file mode 100644 index 0000000..e85b076 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/direct-node-load.py @@ -0,0 +1,55 @@ +#!/usr/bin/env python3 +import concurrent.futures +import statistics +import sys +import time +import urllib.request + +url = sys.argv[1] +host_header = sys.argv[2] +total = int(sys.argv[3]) +concurrency = int(sys.argv[4]) + +def one(i): + u = url + ("&" if "?" in url else "?") + f"backendrun={i}" + req = urllib.request.Request(u, headers={"Host": host_header, "Connection": "close"}) + start = time.perf_counter() + code = None + err = None + try: + with urllib.request.urlopen(req, timeout=10) as resp: + resp.read() + code = resp.status + except Exception as e: + err = type(e).__name__ + ":" + str(e) + return time.perf_counter() - start, code, err + +start = time.perf_counter() +with concurrent.futures.ThreadPoolExecutor(max_workers=concurrency) as ex: + rows = list(ex.map(one, range(total))) +elapsed = time.perf_counter() - start +lat = sorted(x[0] for x in rows) +codes = {} +errors = {} +for _, c, e in rows: + codes[c] = codes.get(c, 0) + 1 + if e: + errors[e] = errors.get(e, 0) + 1 + +def pct(p): + if not lat: + return 0.0 + idx = min(len(lat)-1, max(0, int((len(lat)-1)*p))) + return lat[idx] + +print(f"requests={total}") +print(f"concurrency={concurrency}") +print(f"elapsed_sec={elapsed:.6f}") +print(f"throughput_rps={total/elapsed:.3f}") +print(f"latency_avg_ms={statistics.fmean(lat)*1000:.3f}") +print(f"latency_p50_ms={pct(0.50)*1000:.3f}") +print(f"latency_p95_ms={pct(0.95)*1000:.3f}") +print(f"latency_p99_ms={pct(0.99)*1000:.3f}") +print(f"latency_max_ms={max(lat)*1000:.3f}") +print(f"codes={codes}") +print(f"errors={errors}") diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/fsync-bench.py b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/fsync-bench.py new file mode 100644 index 0000000..862d7c1 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/fsync-bench.py @@ -0,0 +1,35 @@ +import os, time, statistics, math, sys + +path = sys.argv[1] if len(sys.argv) > 1 else "/tmp/reval-fsync.bin" +count = int(sys.argv[2]) if len(sys.argv) > 2 else 200 +size = int(sys.argv[3]) if len(sys.argv) > 3 else 4096 +payload = b"x" * size +lat = [] + +fd = os.open(path, os.O_CREAT | os.O_TRUNC | os.O_WRONLY, 0o600) +try: + for i in range(count): + t0 = time.perf_counter_ns() + os.write(fd, payload) + os.fsync(fd) + t1 = time.perf_counter_ns() + lat.append((t1 - t0) / 1_000_000) +finally: + os.close(fd) + try: + os.unlink(path) + except FileNotFoundError: + pass + +lat_sorted = sorted(lat) +def pct(p): + idx = min(len(lat_sorted)-1, max(0, math.ceil((p/100)*len(lat_sorted))-1)) + return lat_sorted[idx] + +print("count", len(lat)) +print("write_bytes", size) +print("mean_ms", round(statistics.mean(lat), 6)) +print("median_ms", round(statistics.median(lat), 6)) +print("p95_ms", round(pct(95), 6)) +print("p99_ms", round(pct(99), 6)) +print("max_ms", round(max(lat), 6)) diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/host-memory-pressure.py b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/host-memory-pressure.py new file mode 100644 index 0000000..574edd0 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/host-memory-pressure.py @@ -0,0 +1,45 @@ +import os, time + +STEP = 256 * 1024 * 1024 +MAX = 3584 * 1024 * 1024 +MIN_AVAILABLE_KB = 700 * 1024 +HOLD_SECONDS = 12 +PAGE = 4096 + +try: + with open("/proc/self/oom_score_adj", "w") as f: + f.write("1000") +except Exception as e: + print("oom_score_adj_error", repr(e), flush=True) + +def meminfo(): + out = {} + with open("/proc/meminfo") as f: + for line in f: + key, rest = line.split(":", 1) + if key in ("MemAvailable", "SwapFree", "SwapTotal"): + out[key] = int(rest.strip().split()[0]) + return out + +chunks = [] +allocated = 0 +print("start", meminfo(), flush=True) + +while allocated < MAX: + current = meminfo() + if current["MemAvailable"] < MIN_AVAILABLE_KB: + print("stop_before_step", "allocated_bytes", allocated, current, flush=True) + break + b = bytearray(STEP) + for i in range(0, len(b), PAGE): + b[i] = 1 + chunks.append(b) + allocated += STEP + print("step", "allocated_bytes", allocated, meminfo(), flush=True) + +print("hold", HOLD_SECONDS, "allocated_bytes", allocated, meminfo(), flush=True) +time.sleep(HOLD_SECONDS) +print("release", "allocated_bytes", allocated, meminfo(), flush=True) +chunks.clear() +time.sleep(2) +print("after_release", meminfo(), flush=True) diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/oidc-load.py b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/oidc-load.py new file mode 100644 index 0000000..ab80969 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/oidc-load.py @@ -0,0 +1,55 @@ +#!/usr/bin/env python3 +import concurrent.futures +import statistics +import ssl +import sys +import time +import urllib.request + +url = sys.argv[1] +total = int(sys.argv[2]) +concurrency = int(sys.argv[3]) +ctx = ssl.create_default_context() + +def one(i): + u = url + ("&" if "?" in url else "?") + f"pinrun={i}" + start = time.perf_counter() + code = None + err = None + try: + with urllib.request.urlopen(u, context=ctx, timeout=10) as r: + r.read() + code = r.status + except Exception as e: + err = type(e).__name__ + ":" + str(e) + return time.perf_counter() - start, code, err + +start = time.perf_counter() +with concurrent.futures.ThreadPoolExecutor(max_workers=concurrency) as ex: + rows = list(ex.map(one, range(total))) +elapsed = time.perf_counter() - start +lat = sorted(x[0] for x in rows) +codes = {} +errors = {} +for _, c, e in rows: + codes[c] = codes.get(c, 0) + 1 + if e: + errors[e] = errors.get(e, 0) + 1 + +def pct(p): + if not lat: + return 0.0 + idx = min(len(lat)-1, max(0, int((len(lat)-1)*p))) + return lat[idx] + +print(f"requests={total}") +print(f"concurrency={concurrency}") +print(f"elapsed_sec={elapsed:.6f}") +print(f"throughput_rps={total/elapsed:.3f}") +print(f"latency_avg_ms={statistics.fmean(lat)*1000:.3f}") +print(f"latency_p50_ms={pct(0.50)*1000:.3f}") +print(f"latency_p95_ms={pct(0.95)*1000:.3f}") +print(f"latency_p99_ms={pct(0.99)*1000:.3f}") +print(f"latency_max_ms={max(lat)*1000:.3f}") +print(f"codes={codes}") +print(f"errors={errors}") diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/pagefault-workload.py b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/pagefault-workload.py new file mode 100644 index 0000000..9fcd8c4 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/pagefault-workload.py @@ -0,0 +1,35 @@ +import mmap, resource, time + +size = 512 * 1024 * 1024 +page = 4096 + +def vmstat(): + out = {} + with open("/proc/vmstat") as f: + for line in f: + k, v = line.split() + if k in ("pgfault", "pgmajfault", "pswpin", "pswpout"): + out[k] = int(v) + return out + +before_vm = vmstat() +before_ru = resource.getrusage(resource.RUSAGE_SELF) +print("before_vm", before_vm) +print("before_ru_minflt", before_ru.ru_minflt, "before_ru_majflt", before_ru.ru_majflt) + +mm = mmap.mmap(-1, size, access=mmap.ACCESS_WRITE) +start = time.perf_counter() +for i in range(0, size, page): + mm[i] = 1 +elapsed = time.perf_counter() - start + +after_ru = resource.getrusage(resource.RUSAGE_SELF) +after_vm = vmstat() +print("size_bytes", size, "pages_touched", size // page, "elapsed_sec", round(elapsed, 6)) +print("after_ru_minflt", after_ru.ru_minflt, "after_ru_majflt", after_ru.ru_majflt) +print("delta_ru_minflt", after_ru.ru_minflt - before_ru.ru_minflt, "delta_ru_majflt", after_ru.ru_majflt - before_ru.ru_majflt) +print("after_vm", after_vm) +print("delta_vm", {k: after_vm[k] - before_vm[k] for k in before_vm}) + +time.sleep(2) +mm.close() diff --git a/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/storage-load.py b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/storage-load.py new file mode 100644 index 0000000..4a476b3 --- /dev/null +++ b/docs/virtualization/final/evidence/raw/2026-09-21-test-server-revalidation/storage-load.py @@ -0,0 +1,31 @@ +import os, sys, time + +path = sys.argv[1] if len(sys.argv) > 1 else "/tmp/reval-storage-load.bin" +duration = float(sys.argv[2]) if len(sys.argv) > 2 else 8.0 +chunk = 64 * 1024 +payload = b"z" * chunk +deadline = time.monotonic() + duration +writes = 0 +bytes_written = 0 + +fd = os.open(path, os.O_CREAT | os.O_TRUNC | os.O_WRONLY, 0o600) +try: + while time.monotonic() < deadline: + os.write(fd, payload) + os.fsync(fd) + writes += 1 + bytes_written += chunk + if bytes_written >= 64 * 1024 * 1024: + os.ftruncate(fd, 0) + os.lseek(fd, 0, os.SEEK_SET) + bytes_written = 0 +finally: + os.close(fd) + try: + os.unlink(path) + except FileNotFoundError: + pass + +print("fsync_writes", writes) +print("chunk_bytes", chunk) +print("duration_sec", duration) diff --git a/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-an-empty-token-installed-the-agent-anyway.md b/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-an-empty-token-installed-the-agent-anyway.md index e17e989..541af1d 100644 --- a/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-an-empty-token-installed-the-agent-anyway.md +++ b/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-an-empty-token-installed-the-agent-anyway.md @@ -19,22 +19,9 @@ source: # 빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다 -k3s agent 설치는 오류 한 줄 없이 끝났는데 kubectl get nodes 에는 노드가 하나뿐이었다. 게스트 안에서 친 ssh 가 실패해 토큰이 빈 문자열로 넘어갔고, 설치 스크립트는 그 전까지를 성공으로 찍었다. 값을 찍지 않고 길이만 재는 한 줄을 설치 앞에 두면 잡힌다. +이 Case는 **과거 셸 변수 방식에서 생긴 실패**를 기록한다. k3s agent 설치 출력은 끝까지 진행됐지만 `kubectl get nodes`에는 노드가 하나뿐이었고, 뒤에서 `--token is required`가 드러났다. 현재 Setup은 이 경로를 그대로 쓰지 않는다. node-token을 파일로 내려받아 크기가 0이 아닌지 확인하고 `--token-file`로 넘기므로, 이 글은 왜 그 절차로 바뀌었는지를 설명하는 실패 기록으로 읽는다. -## 관계 - -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - 설치 스크립트의 출력을 노드가 붙었다는 뜻으로 읽은 사건이라 그 규칙의 사례가 된다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 설치가 끝났다는 출력 대신 각 층에서 무엇이 성공 신호인지로 판정을 옮기는 절차다. -- **cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다** - 같은 구축의 한 단계 앞에서 벌어진 일이고, 거기서도 실패가 아무 오류 없이 지나갔다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 여기 적은 설치 명령을 다시 쳐서 같은 상태가 되는지는 확인된 적이 없다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 명령을 어느 셸에서 치는지를 단계마다 확인하라는 규칙이고, 그 확인이 빠졌을 때 나온 실패가 이것이다. - -## 문제 +## 설치는 끝났는데 두 번째 노드가 없었다 k3s agent 설치가 끝까지 돌았고 출력에 오류가 없었다. 그런데 두 노드가 Ready 로 나와야 할 kubectl get nodes 에 두 번째 노드가 나타나지 않았다. @@ -45,17 +32,17 @@ journalctl -u k3s-agent : level=fatal msg="Error: --token is required" 실패가 화면에 나오지 않아 설치는 끝난 것으로 읽힌다. -## 결론 +## 빈 토큰이 설치 단계까지 조용히 흘렀다 토큰을 꺼내는 ssh 를 게스트 안에서 쳤고 그 명령이 Host key verification failed. 로 끝났다. 명령 치환으로 감싸면 오류는 stderr 로 흘러가고 변수에는 빈 문자열이 담긴다. 셸은 아무 불평도 하지 않는다. agent 는 --token '' 을 받아 level=fatal msg="Error: --token is required" 로 죽지만, 설치 스크립트는 그 전까지를 다 성공으로 찍고 끝난다. 그래서 설치 출력만 보면 성공이고, 유닛이 Restart=always 라 5초마다 조용히 재시도한다. -해결 : 게스트에 들어가지 않고 lab host 한 셸에서 ssh kc-lab-1 '...' 형태로 친다 -가드 : 값을 쓰기 전에 길이로 가른다. 이 실험대의 토큰은 108자였다 -히스토리에 남기지 않으려면 : --token-file 로 넘긴다. 토큰을 꺼낸 셸과 같은 셸에서 쳐야 한다는 제약도 없어진다 +당시 바로잡은 방향 : 게스트 안에서 다시 `ssh kc-lab-1`을 부르지 않고 lab host에서 server token을 읽는다 +당시 가드 : 비밀 값을 화면에 찍지 않고 비어 있지 않은지만 확인한다. 108자는 그 실행의 관측값이지 고정 규격이 아니다 +현재 Setup : token을 파일로 받아 `wc -c`로 비어 있지 않은지 확인한 뒤 `--token-file`로 넘긴다. 셸 변수와 같은 셸 제약을 없앴다 -## 검증 환경 +## 당시 k3s 실험 환경 호스트 : test-server, Arch Linux CPU : i5-1135G7, 논리 코어 8 @@ -69,7 +56,7 @@ agent 노드 : kc-lab-2, 192.168.122.12 토큰 길이 : 108자 토큰 형식 : K10<해시>::server:<비밀번호> -## 재현 조건 +## 같은 실패를 다시 만들려면 1. lab host 에서 게스트 세 대를 세우고 kc-lab-1 에 k3s server 를 깐다. 2. lab host 에서 ssh kc-lab-1 로 게스트에 로그인한다. @@ -79,7 +66,6 @@ agent 노드 : kc-lab-2, 192.168.122.12 6. lab host 로 돌아와 kubectl get nodes 를 친다. 노드가 하나뿐이다. 7. ssh kc-lab-2 'journalctl -u k3s-agent' 에서 --token is required 를 찾는다. -## 본문 @@ -87,7 +73,7 @@ agent 노드 : kc-lab-2, 192.168.122.12 k3s server 는 `kc-lab-1` 에, agent 는 `kc-lab-2` 에 깔고 둘 다 lab host 에서 `ssh` 로 원격 실행한다. 가이드가 코드 블록마다 어느 기계에서 치는지를 붙여 둔 까닭이 여기에 있다 — 게스트는 libvirt NAT(`192.168.122.0/24`) 안에 있어 워크스테이션에서 직접 닿지 않고, `ssh kc-lab-1` 이라는 별칭도 lab host 의 `~/.ssh/config` 에만 있다. -agent 가 server 에 붙으려면 server 가 만든 node-token 이 필요하고, 그 값을 lab host 에서 꺼내 같은 셸에서 설치 명령에 넘긴다. +당시 절차는 agent가 사용할 node-token을 lab host의 셸 변수에 담아 설치 명령으로 넘겼다. 바로 이 변수 전달이 실패 지점이 됐다. 현재 Setup은 token file을 사용하므로 아래 블록은 **historical failure path**다. ```bash TOKEN=$(ssh kc-lab-1 'sudo cat /var/lib/rancher/k3s/server/node-token') @@ -132,21 +118,17 @@ kc-lab-2 Ready 21m v1.36.4+k3s1 192.168.122.12 빈 토큰으로 깔린 agent 는 이 목록에 올라오지 않는다. -## 값을 찍지 않고 길이만 잰다 +## 값을 보여 주지 않고 빈 토큰만 걸러낸다 -토큰을 화면에 찍어 눈으로 대조하는 방법은 표기 규약이 막아 두었다. 그래서 설치 앞에 길이를 재는 한 줄을 둔다. +이 사건에서 필요한 확인은 토큰 내용을 눈으로 대조하는 일이 아니었다. 설치를 시작하기 전에 값이 비어 있는지만 알면 됐다. 당시 기록에는 토큰 길이가 108자로 남아 있지만, 그 숫자는 한 번의 실행에서 나온 값이지 성공 조건이 아니다. -```bash -[ ${#TOKEN} -ge 50 ] || echo "TOKEN 이 비었다 — 3번으로 돌아간다" -``` +과거 절차에서는 셸 변수의 길이를 확인했다. 현재 Setup은 이 실패를 피하려고 token file로 바뀌었고, `wc -c`로 파일이 비어 있지 않은지 확인한 뒤 `--token-file`로 넘긴다. 따라서 이 Case에는 원문 근거에 없던 셸 가드 명령을 새로 보태지 않는다. -이 실험대의 토큰은 108자였고 형식이 `K10<해시>::server:<비밀번호>` 라 k3s 판올림에 따라 자릿수가 달라진다. 그래서 이 가드는 값을 맞춰 보지 않고 길이가 `0` 이 아닌지만 본다. +길이가 `0` 으로 나올 수 있는 길은 하나로 한정되지 않는다. 게스트 안에서 다시 `ssh kc-lab-1`을 불러 실패할 수도 있고, server가 아직 token 파일을 만들지 못했을 수도 있고, 새 셸을 열면서 변수 자체가 사라졌을 수도 있다. 중요한 건 원인을 추측하기 전에 설치 직전의 입력이 비어 있는지부터 확인하는 것이다. -길이가 `0` 으로 나오는 길은 셋이다. 가이드는 게스트 안에서 친 경우를 그중 가장 흔하다고 적어 두었고, 나머지 둘은 server 가 아직 안 떠서 토큰 파일이 없거나 새 셸을 열어 변수가 사라진 경우를 가리킨다. 가드 한 줄은 그 몇 분을 막는다 — 설치가 성공으로 끝나고, 노드 목록에서 한 줄이 빠진 것을 알아채고, `journalctl` 까지 가는 동안이다. +## 현재 Setup은 처음부터 token file을 쓴다 -## 토큰을 파일로 넘기면 같은 셸 제약이 없어진다 - -위 가드는 `TOKEN` 이 셸 변수라 토큰을 꺼낸 셸과 같은 셸에서 쳐야 하고, 다른 창에서는 비어 있다. 토큰이 명령줄에 들어가는 것도 걸리면 파일로 넘긴다. +셸 변수 방식은 새 창으로 넘어가면 값이 없고, command line에 token이 들어갈 위험도 있다. 그래서 현재 Setup은 이 Case의 우회책을 정식 절차로 올려 **처음부터 파일로 넘긴다.** 아래 파이프 형태는 사건 이후 사용한 historical/reference 방식이고, 현재 Setup은 `scp`·`chmod`·`wc -c`를 나눠 실패 지점을 더 분명하게 만든다. ```bash ssh kc-lab-1 'sudo cat /var/lib/rancher/k3s/server/node-token' \ @@ -156,13 +138,13 @@ ssh kc-lab-2 "curl -sfL https://get.k3s.io | sudo sh -s - agent \ --node-ip 192.168.122.12; rm -f /tmp/token" ``` -토큰이 셸 히스토리에 남지 않고, 변수를 쓰지 않으니 셸이 달라도 된다. +이 방식은 token 값을 command line 인자로 직접 넣지 않고 셸 변수에도 의존하지 않는다. 현재 canonical Setup은 여기에 파일 존재·길이 확인과 영구 경로 이동을 더해 재부팅 뒤에도 agent가 같은 token file을 읽도록 구성한다. -## 확인하지 못한 것 +## 아직 원문 증거가 부족한 부분 -원래 빈 토큰 사건의 `level=fatal msg="Error: --token is required"` 와 당시 설치 출력은 여전히 직접 raw가 없다. 다만 2026-09-17 후속 원문은 현재 정상 경로를 보강한다. `15-k3s-precheck.txt` 에는 별도 precheck에서 `Host key verification failed.`가 남아 있고, `21-k3s-token.txt` 는 재구축 시점의 **비어 있지 않은 토큰**을 길이로 확인했으며, `22-k3s-agent-install.txt` 는 그 토큰으로 agent 설치가 성공한 출력을 담는다. 이 셋은 원래 빈 토큰 실패의 재현이 아니라 **follow-up corroboration**이다. 과거 사건의 토큰 108자와 후속 실행의 길이가 다르더라도 같은 측정으로 덮어쓰지 않는다. +원래 빈 토큰 사건의 `level=fatal msg="Error: --token is required"` 와 당시 설치 출력은 여전히 직접 raw가 없다. 다만 2026-09-17 후속 원문은 현재 정상 경로를 보강한다. `15-k3s-precheck.txt` 에는 별도 precheck에서 `Host key verification failed.`가 남아 있고, `21-k3s-token.txt` 는 재구축 시점의 **비어 있지 않은 토큰**을 길이로 확인했으며, `22-k3s-agent-install.txt` 는 그 토큰으로 agent 설치가 성공한 출력을 담는다. 이 셋은 원래 빈 토큰 실패의 재현이 아니라 **후속 정상 경로를 뒷받침하는 자료**다. 과거 사건의 토큰 108자와 후속 실행의 길이가 다르더라도 같은 측정으로 덮어쓰지 않는다. -이 실패를 일부러 다시 만들어 본 기록도 없어서, 빈 토큰으로 설치하면 설치 출력이 성공으로 끝난다는 것은 한 번의 관측이다. 재현이 쉽지 않은 까닭은 이 부의 검증 방식에 있다 — 만드는 명령은 다시 치면 돌고 있는 실험대가 없어지므로 구축할 때 쓴 것을 옮기고 결과 상태를 확인하는 것으로 대신했다. 재현 없이 남길 수 있는 것은 `journalctl` 쪽이고, 그 출력을 `final/evidence/raw/` 에 남기면 진단 절에 증거가 붙는다. +이 실패를 일부러 다시 만들어 본 기록은 없다. 빈 토큰 사건은 한 번의 과거 관측이고, 현재 정상 절차는 token file 방식으로 바뀌었다. 같은 문제가 다시 발생하면 설치 출력만 보지 말고 `journalctl -u k3s-agent`의 원문과 `kubectl get nodes` 결과를 함께 보존해 실패 지점을 확인한다. 가드 한 줄이 실제로 빈 토큰을 잡아 본 기록도 없다. diff --git a/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-cloud-init-failures-all-look-like-ssh-refused.md b/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-cloud-init-failures-all-look-like-ssh-refused.md index 16ddd92..ae0ea1b 100644 --- a/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-cloud-init-failures-all-look-like-ssh-refused.md +++ b/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-cloud-init-failures-all-look-like-ssh-refused.md @@ -1,7 +1,7 @@ --- kind: CASE slug: cloud-init-failures-all-look-like-ssh-refused -title: cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다 +title: SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유 topic: build-completion-judgment topicName: 끝났다는 판정 project: virtualization @@ -15,24 +15,11 @@ source: - final/document.md#186-단계-00-lab-host-가상화-준비 --- -# cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다 +# SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유 -SSH 가 안 붙는 원인은 넷이고 넷 다 게스트 밖에서 정해진다. 그래서 SSH 설정을 고치기 전에 호스트명 한 낱말을 본다. 시드를 붙인 방식, YAML 파싱, vol-upload 누락, 가상 네트워크 autostart 가 그 넷이고, cloud-init 은 어느 쪽이든 오류를 남기지 않는다. +게스트가 `running`인데 SSH가 안 붙으면 곧바로 SSH 키부터 고치지 않았다. 먼저 cloud-init이 시드를 읽었는지 확인했다. 이 실험대에서 실제로 확인한 것은 `--cloud-init`으로 붙인 시드 경로가 기대대로 보이지 않았던 사례와 cloud-init 22.4.2의 schema 거부다. YAML 파싱 실패, `vol-upload` 누락, libvirt network autostart 문제는 같은 단계에서 점검해야 할 **가능한 실패 경로**로 남기되, 모두 이 환경에서 같은 증상으로 재현했다고 쓰지 않는다. -## 관계 - -- **빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다** - 바로 다음 단계에서 벌어진 같은 모양의 실패이고, 거기서도 성공한 출력이 실패를 덮었다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - 스키마 검사기의 통과와 거부를 게스트의 상태로 읽으면 양쪽 방향으로 다 틀린다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 게스트를 만드는 명령은 다시 쳐 본 적이 없어 여기 적은 원인 넷도 그 물음에 걸린다. -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 게스트 디스크가 base 이미지 위의 오버레이라 `virt-install` 이 10GB 를 즉시 할당한 것으로 찍힌다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 시드를 만드는 순서와 DHCP 예약을 넣는 순서가 결과를 가르는 단계라 그 규칙이 받는다. - -## 문제 +## VM은 떴는데 SSH만 붙지 않았다 게스트 세 대가 running 인데 lab host 에서 SSH 가 키로 붙지 않는다. @@ -41,16 +28,16 @@ ssh donghyeon@192.168.122.11 : Permission denied (publickey) 게스트의 hostname : localhost cloud-init 이 남긴 오류 : x -cloud-init 이 돌지 않으면 사용자도 SSH 키도 들어가지 않는다. 그런데 cloud-init 은 데이터소스를 못 찾아도 YAML 파싱에 실패해도 오류를 남기지 않아서, 원인 넷이 전부 SSH 하나로만 나타난다. +cloud-init이 user-data를 적용하지 못하면 기대한 사용자와 SSH key도 들어가지 않을 수 있다. 다만 원인마다 남는 로그와 상태는 다를 수 있으므로 “cloud-init이 오류를 남기지 않는다”로 일반화하지 않는다. 이 사건에서는 SSH 실패와 `localhost` hostname이 먼저 눈에 띄었고, 그래서 시드/data source 경로를 SSH 설정보다 먼저 확인했다. -## 결론 +## SSH보다 먼저 cloud-init이 시드를 읽었는지 본다 -증상 하나 뒤에 원인이 넷이고 넷 다 게스트 밖에서 정해진다. +SSH 실패가 보이면 아래 경로를 차례로 가른다. -시드를 --cloud-init 으로 붙였다 : SATA CD-ROM 으로 붙는데 Debian genericcloud 이미지에는 그 드라이버가 없다. 디스크로, bus=virtio 로 붙인다 -YAML 파싱에 실패했다 : cloud-init 이 아무 오류를 남기지 않는다 -vol-upload 를 빠뜨렸다 : 목록에는 이름이 보이는데 안이 0 으로 채워져 있어 cidata 라벨을 못 찾는다 -default 네트워크의 autostart 가 no 다 : 지금은 되고 호스트를 재부팅한 다음에야 세 게스트의 SSH 가 한꺼번에 실패한다 +시드 연결 방식 : 이 환경에서는 `--cloud-init` 경로로 만든 시드가 guest에서 기대대로 읽히지 않았고, seed ISO를 `bus=virtio` disk로 붙인 구성에서는 `/dev/vdb`의 NoCloud data source로 확인됐다 +YAML/cloud-config : syntax와 schema를 별도로 확인한다. parser/schema 실패는 guest 로그와 `cloud-init status --long`을 함께 본다 +`vol-upload` 누락 : libvirt volume 이름만 존재하고 실제 seed 내용이 올라갔는지 용량과 업로드 절차를 확인한다 +`default` network autostart : host 재부팅 뒤 network 자체가 안 올라온 경우에는 cloud-init과 별개로 guest 접근 경로가 사라질 수 있으므로 `virsh net-info default`를 본다 판정 : SSH 설정을 고치기 전에 호스트명 한 낱말을 본다. ssh kc-lab-edge 'hostname' 이 kc-lab-edge 를 내면 시드가 읽혔고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다 못 들어가면 : virsh screenshot 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다 @@ -58,7 +45,7 @@ default 네트워크의 autostart 가 no 다 : 지금은 되고 호스트를 재 반대 방향도 하나 있다. 게스트의 cloud-init 22.4.2 스키마 검사기는 sudo 를 리스트로 쓴 것을 거부한다. 그런데 그 표기로도 부팅은 되고, kc-lab-1 과 kc-lab-2 에서 그 상태로 NOPASSWD sudo 가 돌고 있다. 검사가 통과해도 안 도는 쪽이 넷이고 검사에 걸려도 도는 쪽이 하나라, 어느 방향이든 검사 결과를 게스트의 상태로 읽으면 틀린다. -## 검증 환경 +## 당시 cloud-init 실험 환경 호스트 : test-server, Arch Linux RAM : 11,648MiB @@ -72,7 +59,7 @@ base 이미지 : Debian 12 genericcloud amd64 cloud-init 이 깐 패키지 : curl · nftables running 에서 done 까지 : 약 50초 -## 재현 조건 +## 같은 증상을 확인하는 순서 1. base 이미지를 받고 게스트마다 cloud-init user-data 를 쓴다. 2. 시드 iso 를 만들고 virsh vol-create-as 로 볼륨을 만든 뒤 virsh vol-upload 로 채운다. @@ -82,7 +69,6 @@ running 에서 done 까지 : 약 50초 6. 호스트명이 게스트 이름이고 cloud-init status 가 done 이면 통과다. localhost 가 나오면 2번과 3번을 다시 본다. 7. SSH 가 안 붙으면 virsh screenshot kc-lab-1 /tmp/kc1.ppm 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다. -## 본문 @@ -100,20 +86,20 @@ virsh vol-create-as default seed-kc-lab-1.iso "$(stat -c%s seed-kc-lab-1.iso)" - virsh vol-upload --pool default seed-kc-lab-1.iso seed-kc-lab-1.iso ``` -볼륨을 만드는 것과 채우는 것이 다른 명령이다. `vol-create-as` 는 빈 볼륨을 만들 뿐이고 내용은 `vol-upload` 가 넣는다. 뒤엣것을 빠뜨리면 목록에는 이름이 보이는데 안이 0 으로 채워져 있고, cloud-init 은 `cidata` 라벨을 못 찾은 채 끝난다. +볼륨을 만드는 것과 seed ISO 내용을 올리는 것은 다른 단계다. `vol-create-as`는 libvirt volume을 만들고 `vol-upload`가 로컬 ISO 내용을 그 volume에 쓴다. 따라서 업로드를 빠뜨리면 이름만 존재하고 기대한 CIDATA filesystem이 없는 volume이 될 수 있다. 이 실패 경로는 절차상 방지해야 하지만, 2026-09-17 원문에는 실제로 `vol-upload`를 누락해 부팅해 본 재현은 남아 있지 않다. `instance-id` 에 타임스탬프를 넣는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이다. id 가 같으면 user-data 를 고쳐도 반영되지 않는다. -## 증상 하나에 원인 넷 +## 같은 단계에서 먼저 가를 네 가지 경로 -| 무엇이 어긋났나 | 게스트에서 무엇으로 나타나나 | +| 확인 경로 | 현재 증거 수준 | |---|---| -| 시드를 `--cloud-init` 으로 붙였다 | SSH 가 `Permission denied (publickey)` · 호스트명이 `localhost` | -| YAML 파싱에 실패했다 | 같다 | -| `vol-upload` 를 빠뜨렸다 | 같다 | -| `default` 네트워크의 autostart 가 `no` 다 | 호스트를 재부팅한 뒤 세 게스트가 한꺼번에 | +| `--cloud-init`으로 붙인 시드가 guest에서 기대대로 읽히지 않음 | 이 환경에서 실제 관측. 수동 virtio seed 구성으로 바꾼 뒤 NoCloud `seed=/dev/vdb` 확인 | +| YAML/cloud-config 파싱 또는 schema 문제 | schema 거부는 실제 관측. 임의의 YAML parsing failure를 같은 증상으로 재현한 기록은 없음 | +| `vol-upload` 누락 | 절차상 가능한 실패 경로. 실제 누락 부팅 재현 원문은 없음 | +| `default` network autostart 비활성 | host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제 재현한 원문은 없음 | -넷 가운데 이 실험대에서 관측으로 적힌 것은 시드를 붙인 방식이다. `--cloud-init` 옵션은 시드를 SATA CD-ROM 으로 붙이는데, Debian `genericcloud` 이미지는 크기를 줄이려고 물리 하드웨어 드라이버를 뺐다. AHCI 장치가 보이지 않아 cloud-init 이 데이터소스를 못 찾고 조용히 끝난다. 그래서 시드를 디스크로, `bus=virtio` 로 붙인다. +시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 `--cloud-init`이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 `device=disk,bus=virtio,readonly=on`으로 붙였다. 2026-09-17의 정상 guest `cloud-init status --long`에는 `DataSourceNoCloud [seed=/dev/vdb][dsmode=net]`가 남아 있다. **원인을 ‘Debian genericcloud에는 AHCI 드라이버가 없다’로 일반화하지 않는다.** 현재 증거가 확정하는 것은 이 환경에서 virtio `vdb` seed 경로가 실제로 동작했다는 것까지다. ```bash virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \ @@ -123,7 +109,7 @@ virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \ --import --os-variant debian12 --noautoconsole ``` -마지막 원인은 한 단계 앞에서 만들어진다. lab host 를 준비할 때 `default` 네트워크의 autostart 를 켜지 않으면 지금은 세 게스트가 다 붙고, 호스트를 재부팅한 다음에야 SSH 가 한꺼번에 실패한다. 그때 원인을 게스트 안에서 찾게 된다. +`default` network의 autostart도 guest 내부 문제와 분리해 본다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근이 함께 끊길 수 있으므로 `virsh net-info default`의 `Active`와 `Autostart`를 먼저 확인한다. 이 문서는 그 실패를 이 환경에서 실제 재현했다고 주장하지 않고, 재부팅 뒤 접근 경로를 가르는 사전 확인으로 둔다. ## 호스트명 한 낱말이 시드와 SSH 를 가른다 @@ -169,7 +155,7 @@ Error: Cloud config schema errors: users.0: {'name': 'donghyeon', 'groups': `NOPASSWD:ALL` 을 넣은 것은 k3s 설치와 장애 주입이 비대화식으로 돌아야 해서다. 비밀번호를 물으면 원격 실행이 거기서 멈춘다. 검사기가 거부한 줄이 바로 그 줄이다. -검사가 통과해도 cloud-init 이 안 도는 경로가 넷이고, 검사가 거부해도 도는 경로가 하나다. +schema 검사는 중요한 사전 확인이지만 guest의 최종 상태를 대신하지 않는다. 이 환경에서는 schema가 거부한 표현으로 만들어진 기존 VM이 실제로 동작하고 있었고, 반대로 YAML 문법이 맞아도 seed 연결이나 network 같은 다른 계층이 실패하면 원하는 상태에 도달하지 못할 수 있다. ## 시드를 만들기 전에 세 줄로 거른다 @@ -190,12 +176,12 @@ ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-l 이 파일에는 콘솔 비밀번호가 평문으로 들어 있어 `/tmp` 가 아니라 자기 홈에 `600` 으로 두고, 검사가 끝나면 바로 지운다. -## 확인하지 못한 것 +## 실제로 재현한 실패와 아직 가정인 실패 -넷 가운데 SSOT 가 관측으로 표시한 것은 시드를 SATA 로 붙였을 때 AHCI 장치가 보이지 않는 것과 스키마 검사기의 거부 문구뿐이다. YAML 파싱 실패와 `vol-upload` 누락과 네트워크 autostart 셋은 가이드가 막히면 표에 적어 둔 항목이라, 이 실험대에서 실제로 그 증상을 본 것인지 예상해 적은 것인지 SSOT 가 가르지 않았다. 이 글에서 그 셋은 그렇게 되는 구조까지이고 그렇게 됐다가 아니다. +네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 `--cloud-init` 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 `DataSourceNoCloud [seed=/dev/vdb]`가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 `sudo` 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, `vol-upload` 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 원문이 없으므로 **진단 후보**로만 남긴다. -후속 원문이 생겼다. `14-cloudinit-schema-check.txt` 는 cloud-init 22.4.2가 `sudo` 리스트 표기를 실제로 거부한 출력을 다시 담아 **스키마 거부 claim을 직접 보강한다**. `15-k3s-precheck.txt` 의 `Host key verification failed.` 는 2026-09-17 재구축 중 나온 후속 SSH 관측으로, 원래 사건의 `Permission denied (publickey)`를 재현한 것은 아니다. 원래 `Permission denied (publickey)`, `cloud-init status: done`, 약 50초, `virsh screenshot` 화면은 여전히 SSOT 본문만 근거이고 직접 raw는 없다. +후속 원문도 남겼다. `14-cloudinit-schema-check.txt`에는 cloud-init 22.4.2가 `sudo` 리스트 표기를 실제로 거부한 출력이 있다. `15-k3s-precheck.txt`의 `Host key verification failed.`는 2026-09-17 재구축 중 나온 별도 SSH 실패라 원래 사건의 `Permission denied (publickey)`를 재현한 것은 아니다. 원래 `Permission denied (publickey)`, `cloud-init status: done`, 약 50초, `virsh screenshot` 화면은 아직 별도 raw 파일이 없고 당시 본문 기록만 남아 있다. -만드는 명령은 재실행으로 검증되지 않았다. 게스트를 다시 만들면 돌고 있는 실험대가 없어지므로 시드와 관련된 셋은 다시 재현하기 어렵다. 네트워크 autostart 만은 호스트를 재부팅해 확인할 수 있는데 그 기록도 없다. +이 Case의 과거 실패 조합 전체를 그대로 다시 만드는 재현은 하지 않았다. 다만 2026-09-21에는 worker 두 대를 실제로 철거하고 현재 Setup의 qcow2·seed ISO·cloud-init 경로로 다시 만들어 `cloud-init status: done`과 SSH, 고정 IP, k3s 재합류까지 확인했다. 따라서 **현재 정상 생성 경로는 재검증됐고**, 과거 실패 후보 각각을 일부러 다시 유발한 것은 아니다. diff --git a/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-renewal-succeeded-while-the-old-certificate-kept-serving.md b/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-renewal-succeeded-while-the-old-certificate-kept-serving.md index 258e682..308a441 100644 --- a/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-renewal-succeeded-while-the-old-certificate-kept-serving.md +++ b/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-renewal-succeeded-while-the-old-certificate-kept-serving.md @@ -15,22 +15,9 @@ source: # 갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초 -갱신은 매번 SUCCESS 로 끝나는데 nginx 는 옛 인증서를 계속 내보냈다. certbot-renew.service 에 훅이 없어 갱신에서 서빙까지 2305초 걸렸고, deploy 훅을 두니 1~2초였다. 만료 30일 전까지는 갱신을 안 해 88일 동안 아무 표시도 나지 않는다. +과거 물리 호스트 배치에서는 갱신이 SUCCESS로 끝나도 nginx가 옛 인증서를 계속 내보냈다. 당시 `certbot-renew.service`에 reload 훅이 없어 갱신에서 서빙까지 2305초 걸렸고, deploy 훅을 두니 1~2초였다. **현재 2026-09-21 edge Debian 12 배치는 `certbot.timer → certbot.service`를 쓴다.** 이 글의 2305초·1~2초는 과거 배치의 측정값으로 남긴다. -## 관계 - -- **인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다** - 이 인증서를 어떻게 받기로 했는지가 그 결정이고, 여기서는 받은 뒤의 갱신을 다룬다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - 갱신 로그의 SUCCESS 와 훅 로그의 error output 이 둘 다 상태를 잘못 말한 사건이다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 이 단계의 확인을 어느 기계에서 치느냐가 결과를 바꾸고, 층별 확인이 그 순서를 정한다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 훅을 호스트에 두었다가 잃은 것도, 확인 명령을 엣지 안에서 친 것도 그 규칙이 받는 결함이다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 2305초를 잰 배치와 지금 배치가 다르므로 다시 세운 실험대에서 재야 할 값이 여기 있다. - -## 문제 +## certbot은 성공했는데 서버 인증서는 그대로였다 인증서 갱신은 매번 성공으로 끝나는데 서버가 내보내는 인증서는 옛것이었다. @@ -43,7 +30,7 @@ nginx 가 새 인증서를 읽었나 : x 발현하는 날의 증상은 인증서 만료이고, 그날에도 로그에는 SUCCESS 라고 적혀 있다. -## 결론 +## 갱신 성공과 nginx reload는 별도 단계였다 certbot-renew.service 는 /usr/bin/certbot -q renew 한 줄이고 인증서를 새로 받는 데까지만 책임진다. nginx 는 인증서를 기동 시점에 읽어 메모리에 들고 있고 certbot 은 live/ 심볼릭 링크만 갈아 끼우므로, 경로는 그대로이고 내용만 바뀌어 nginx 는 바뀐 줄 모른다. @@ -57,7 +44,7 @@ post/ 가 아니라 deploy/ 인 까닭 : post/ 는 갱신이 없어도 매번 훅을 넣어도 안전했다. reload 는 무중단이었고 새 연결 8856건이 전부 200, p95 는 205.7ms 대 204.3ms 로 변화가 없었다. -## 검증 환경 +## 과거 측정 배치와 현재 edge 배치 엣지 게스트 : kc-lab-edge, 192.168.122.10, Debian 12 nginx : nginx/1.22.1 @@ -65,40 +52,48 @@ certbot 플러그인 : dns-cloudflare 발급 대상 : -d hyeonworks.com -d '*.hyeonworks.com' lineage 디렉터리 : /etc/letsencrypt/live/auth.hyeonworks.com/ (2026-09-17 현재 관측) nginx 가 읽는 파일 : fullchain.pem · privkey.pem -타이머 : certbot-renew.timer → certbot-renew.service +과거 측정 배치의 타이머 : `certbot-renew.timer → certbot-renew.service` +현재 edge Debian 12 : `certbot.timer → certbot.service` 인증서 유효기간 : 오늘 + 90일 2305초를 잴 때의 배치 : 훅이 물리 호스트에 있었다 지금의 배치 : certbot · 인증서 · 갱신 타이머 · deploy 훅이 전부 엣지 게스트에 있다 -## 재현 조건 +## worker PID로 reload 여부를 확인하는 순서 1. 엣지 게스트에 certbot 과 python3-certbot-dns-cloudflare 를 깔고 와일드카드 인증서를 받는다. 2. nginx 443 블록에 fullchain.pem 과 privkey.pem 경로를 적고 reload 한다. -3. systemctl cat certbot-renew.service 로 ExecStartPost 와 --deploy-hook 이 없는지 본다. +3. 현재 edge에서는 `systemctl cat certbot.service` 로 기본 renew 유닛을 본다. 과거 2305초 측정 당시 유닛 이름은 `certbot-renew.service`였다. 4. ps -eo pid,lstart,args 로 nginx 워커 PID 를 적어 둔다. 5. sudo certbot renew --force-renewal 을 친다. 6. 워커 PID 를 다시 본다. 바뀌지 않았으면 옛 인증서가 계속 나가고 있다. 7. deploy/reload-nginx.sh 를 두고 chmod +x 를 준 뒤 4번부터 6번까지를 다시 한다. -## 본문 ## 배포판 유닛이 어디까지 책임지나 -Let's Encrypt 인증서는 90일짜리이고 갱신은 `certbot-renew.timer` 가 건다. 타이머가 부르는 유닛을 열어 보면 한 줄이다. +이 글의 2305초 측정 당시에는 `certbot-renew.timer → certbot-renew.service`라는 이름을 썼다. **2026-09-21 현재 edge Debian 12에서 직접 확인한 유닛은 `certbot.timer → certbot.service`다.** ```bash -systemctl cat certbot-renew.service +systemctl cat certbot.timer +systemctl cat certbot.service ``` -``` -[Service] +```text +# certbot.timer +OnCalendar=*-*-* 00,12:00:00 +RandomizedDelaySec=43200 +Persistent=true + +# certbot.service Type=oneshot -ExecStart=/usr/bin/certbot -q renew +ExecStart=/usr/bin/certbot -q renew --no-random-sleep-on-renew PrivateTmp=true ``` +유닛 이름과 `ExecStart` 옵션은 배포판/패키지 판에 따라 달라질 수 있다. 이 Case의 핵심은 이름이 아니라 **renew 성공과 nginx reload는 별도 상태 전이**라는 점이다. + `ExecStartPost` 도 `--deploy-hook` 도 없다. 이 유닛은 인증서를 새로 받는 데까지만 책임지고, 받은 것을 nginx 가 읽게 만드는 일은 아무도 하지 않는다. 배포판이 이렇게 준다는 것이 요점이라, 「기본값이니 괜찮겠지」가 이 결함이 사는 곳이다. 그래서 이 글의 훅이 모든 배포판에 필요하지는 않다. 위 유닛에 `ExecStartPost` 나 `--deploy-hook` 이 이미 적혀 있는 배포판이라면 훅을 새로 넣을 것이 아니라 거기 적힌 명령이 nginx 를 reload 하는지만 본다. @@ -175,11 +170,11 @@ curl -sI https://www.google.com | grep -i '^date:' timedatectl show -p NTP -p NTPSynchronized ``` -## 확인하지 못한 것 +## 과거 측정값으로만 남아 있는 부분 2305초는 훅이 물리 호스트에만 있던 시절의 값이다. 지금은 certbot 과 인증서와 갱신 타이머와 deploy 훅이 전부 엣지 게스트에 있고, 그 배치에서 다시 재면 같은 수가 나오는지는 재지 않았다. 그래서 이 글의 2305초는 훅이 없으면 이만큼 벌어진다는 한 번의 측정이고 지금 배치의 값이 아니다. 1~2초 쪽도 같은 시기에 잰 값이다. -측정 출력을 `final/evidence/` 에 남기지 않았다. 2305초도 8856건도 p95 두 값도 845361바이트도 106초도 SSOT 본문에만 있다. 워커 PID 를 전후로 비교한 출력도 저장해 두지 않았다. +당시 측정의 raw 출력 파일은 별도로 보존하지 않았다. 2305초, 8856건, p95 두 값, 845361바이트, 106초와 worker PID 전후 비교는 당시 본문 기록에만 남아 있다. 따라서 이 수치는 현재 raw 출력으로 다시 대조할 수 있는 값이 아니라 **당시 기록 범위의 historical measurement**로 읽는다. 88일이라는 잠복 기간은 만료 30일 전에야 갱신을 시작한다는 동작에서 끌어낸 것이지, 한 주기를 실제로 돌려 본 값이 아니다. 훅을 뺀 채 만료일까지 가 본 기록은 없고 그런 기록이 있을 까닭도 없다. diff --git a/docs/virtualization/tech-log-studio/build-completion-judgment/question/question-does-the-guide-rebuild-this-lab.md b/docs/virtualization/tech-log-studio/build-completion-judgment/question/question-does-the-guide-rebuild-this-lab.md index f670bdb..ead8c8d 100644 --- a/docs/virtualization/tech-log-studio/build-completion-judgment/question/question-does-the-guide-rebuild-this-lab.md +++ b/docs/virtualization/tech-log-studio/build-completion-judgment/question/question-does-the-guide-rebuild-this-lab.md @@ -7,6 +7,15 @@ topicName: 끝났다는 판정 project: virtualization status: 게시 전 questionStatus: OPEN +lastVerifiedOn: 2026-09-21 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/04-worker-teardown.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/05-setup00-host-prep-recheck.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/09-setup01-worker-verify.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/19-certbot-dryrun.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/24-setup05-core-verification.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/29-setup06-final-queries.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/39-setup07-postrecovery-cluster.txt sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot source: - final/document.md#194-이-부에서-파생될-open-question @@ -15,53 +24,41 @@ source: # 가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가 -생성 명령을 다시 쳐서 같은 실험대가 서는지는 확인된 적이 없다. 돌고 있는 실험대를 멈출 수 없어 구축할 때 쓴 명령을 옮기고 결과 상태를 확인하는 것으로 대신했다. 다시 세우는 데 필요한 매니페스트 둘과 cloud-init 템플릿도 저장소에 없다. +2026-09-21에는 기존 worker 두 대를 실제로 철거한 뒤 cloud-init부터 k3s, Keycloak, observability까지 다시 올리고 power-cycle 뒤 복구 상태까지 확인했다. 따라서 **worker 재생성 이후의 복구 경로는 실제로 재검증됐다.** 다만 물리 호스트와 Edge VM, 인증서 계층을 모두 지운 빈 환경에서 00~06을 처음부터 다시 수행한 것은 아니다. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example` 원본도 저장소에 아직 없어, "문서만으로 빈 호스트를 완전 재구축할 수 있는가"라는 질문은 아직 확인이 끝나지 않았다. -## 관계 +## 2026-09-21에 실제로 재구축한 범위 -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 그 기준이 요구하는 검증을 이 물음이 실제로 실행한다. 그 기록은 스스로 「이 기준으로 가이드를 고친 뒤 처음부터 다시 따라가 본 기록이 아직 없다」고 적었다. -- **WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가** - 같은 물음의 다른 절반이다. 옮기는 것과 다시 세우는 것 가운데 어느 쪽이 복원 경로인지는 두 값이 다 나와야 정해진다. -- **cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다** - 재구축에서 01 단계가 가장 먼저 걸린다. 그 기록이 센 네 원인이 다시 나오는지가 이 검증의 한 칸이다. -- **빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다** - 02 단계에서 같은 일이 벌어진다. 길이 가드 한 줄이 실제로 빈 토큰을 잡아 본 기록이 없으므로, 재구축이 그 가드를 처음으로 시험하게 된다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - 다시 선 실험대가 같은 상태인지를 판정할 근거가 전부 그런 출력이다. 통과 조건 일곱을 그대로 믿을지 여러 층으로 견줄지가 그 기준에 걸려 있다. +- 「이 부의 출처와 범위」에서는 이 부의 검증 방식을 갈라 적었다. 읽기 전용 확인은 돌아가는 실험대에서 실제로 실행해 출력을 그대로 실었다. +- 2026-09-21 재검증에서는 `kc-lab-1`과 `kc-lab-2`를 `destroy → undefine --remove-all-storage`로 실제 철거하고 DHCP 예약도 제거한 뒤 다시 만들었다. +- Setup 00은 host 상태를 재확인했고, Setup 01에서는 두 worker의 qcow2·seed ISO를 다시 만든 뒤 SSH, cloud-init `status: done`, 고정 IP를 확인했다. 이어서 k3s server/agent, Keycloak 2노드·PostgreSQL, Prometheus/Grafana를 다시 올렸고 `vendor_cluster_size=2`와 주요 target `up=1`을 확인했다. +- 그 뒤 worker power-cycle과 workload 복구도 수행했고 Keycloak cluster size가 다시 2로 돌아오는 것까지 확인했다. 이 범위에서는 "기존 host/edge를 유지한 worker 재구축 경로"가 실제로 동작했다. +- 재구축 성공 여부는 일곱 가지 상태로 확인한다: `virsh list`가 동작하는가, 세 게스트에 SSH가 붙는가, `kubectl get nodes`에서 두 노드가 `Ready`인가, 외부 요청이 파드까지 닿는가, HTTPS가 열리고 인증서 체인이 기대한 형태인가, 관리 콘솔 로그인이 되는가, `vendor_cluster_size`가 2인가. +- 문서만으로 다시 세울 때 필요한 입력 파일 일부가 이 문서 묶음 안에 완결된 형태로 들어 있지 않다. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`의 canonical 파일 자체가 함께 제공되어야 ‘본문을 읽은 기억’ 없이 빈 환경에서 그대로 재구축할 수 있다. +- 기존 구축 과정에서는 실행 순서와 실행 위치 때문에 여섯 번 막혔다. 각 실패 자체는 실제로 관측했고, 이 여섯 사례를 ‘순서와 위치를 검증하지 않은 문서’라는 공통 원인으로 묶은 것은 사례를 바탕으로 한 해석이다. +- 수정한 가이드의 상당 부분은 2026-09-21 재구축에서 실제 실행 순서로 다시 확인했다. 다만 host 패키지 설치부터 Edge VM·DNS-01 인증서 계층까지 전부 제거한 완전한 빈 환경 재구축은 아직 하지 않았다. -## 사실 +## 완전 재구축에 필요한 조건 -- §184 가 이 부의 검증 방식을 갈라 적었다. 읽기 전용 확인은 돌아가는 실험대에서 실제로 실행해 출력을 그대로 실었다. -- 만드는 명령은 그렇게 하지 못했다. VM 을 다시 만들거나 k3s 를 다시 깔면 돌고 있는 실험대가 없어지므로, 구축할 때 쓴 명령을 그대로 옮기고 결과 상태를 확인하는 것으로 대신했다. -- §186 부터 §192 까지의 생성 명령에는 unknown 이 붙어 있다. 「지금 다시 쳐도 같은 상태가 된다」가 확인되지 않았다. -- 세울 대상과 단계마다의 통과 조건은 §185 의 표에 일곱 줄로 적혀 있다. virsh list 가 돈다 · 세 게스트에 SSH 가 붙는다 · kubectl get nodes 에 둘 다 Ready · 밖에서 요청이 파드까지 닿는다 · https 가 열리고 체인이 4단계 · 관리 콘솔 로그인이 된다 · vendor_cluster_size 가 2. -- 다시 세울 때 필요한 것 가운데 일부가 저장소에 없다. 매니페스트 둘(keycloak-cluster.yaml · observability.yaml)과 cloud-init 템플릿 kc-lab.yaml.example 이 source/ 에 반입되지 않았고, 가이드가 화면에 옮겨 적은 만큼만 있다. -- 가이드를 순서대로 따라가다 나온 결함 여섯을 §182 가 이미 표로 적었고, 공통 원인 하나를 inferred 로 붙였다. -- 「단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다」가 스스로 밝혔다. 그 규칙으로 가이드를 고친 뒤 처음부터 다시 따라가 본 기록이 아직 없고, 규칙이 결함을 막아 냈다는 관측도 아직 없다. - -## 가정 - -- 검증을 시작하는 판이 지금 source/ 에 있는 가이드라고 본다. 그 가이드가 §182 의 결함 여섯을 고친 판인지는 대조하지 않았다. -- 밖에서 받아 오는 것들이 그때와 같은 판이라고 전제한다. Debian 12 genericcloud 이미지와 get.k3s.io 설치 스크립트와 apt 저장소의 nginx 와 certbot 이 그것이다. 판 번호가 달라지면 같은 명령이 다른 상태를 만든다. +- 검증할 때는 현재 저장소의 가이드를 기준으로 삼는다. 다만 기존 여섯 결함이 모두 현재 판에 반영됐는지는 실행 전에 별도로 대조해야 한다. +- 외부 입력은 **버전 고정 여부를 구분해서** 본다. k3s는 `INSTALL_K3S_VERSION=v1.36.4+k3s1`로 명시적으로 고정한다. 반면 Debian 12 genericcloud 이미지, apt의 nginx/certbot, Arch의 libvirt/QEMU는 현재 절차가 exact package version을 고정하지 않는다. 이들은 재구축 시 실제 판 번호를 기록하되, 숫자가 다르다는 이유만으로 곧바로 재구축 실패로 판정하지 않는다. - 도메인과 Cloudflare 토큰과 tailnet 주소는 다시 세울 때도 그대로 쓴다고 본다. 04 단계 전체가 그 셋에 묶여 있다. - 새로 세우는 기계의 CPU 가 하드웨어 가상화를 지원한다고 전제한다. 아니면 00 단계부터 다른 이유로 막히고, 그 막힘은 가이드의 결함이 아니다. -## 미지수 +## 아직 빈 호스트에서 모르는 것 -- 지금의 가이드 7단계를 빈 호스트에서 처음부터 순서대로 쳤을 때 어느 단계에서 멈추는지. 멈춘다면 그것이 §182 가 이미 센 여섯 중 하나인지 그때는 안 보이던 새 결함인지. -- source/ 에 없는 매니페스트 둘과 cloud-init 템플릿 없이 02 와 05 와 06 단계가 문서만으로 서는지. -- 다시 선 실험대가 지금과 같은 상태인지를 무엇으로 판정할지. 통과 조건 일곱이 같은 값을 내는 것으로 충분한지, 판 번호까지 같아야 하는지 — libvirt 12.7.0 · QEMU emulator version 11.1.1 · v1.36.4+k3s1 · nginx/1.22.1 이 지금 값이다. +- 물리 호스트와 Edge VM, 인증서 계층까지 모두 제거한 빈 환경에서 00~06을 처음부터 순서대로 실행했을 때 어느 단계에서 멈추는지. +- 저장소에 원본이 없는 `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`를 문서 본문만으로 다시 만들 수 있다고 봐도 되는지. 2026-09-21에는 현재 문서와 기존 환경 정보를 이용해 복구했지만, "필요한 입력 파일이 저장소에 완결돼 있다"는 조건은 아직 충족하지 못했다. +- 다시 선 실험대의 동등성은 **통과 조건 일곱과 topology/behavior**로 판정한다. 현재 관측값은 libvirt 12.7.0 · QEMU 11.1.1 · nginx 1.22.1이고, k3s는 v1.36.4+k3s1이다. 이 가운데 k3s는 설치 명령에서 버전을 고정하지만 libvirt/QEMU/nginx는 현재 설치 절차가 exact version을 pin하지 않는다. 따라서 후자의 숫자는 provenance로 기록하되 재현 성공의 필수 동일값으로 요구하지 않는다. -## 제약 +## 보존해야 할 경계 -- 지금 돌고 있는 실험대를 멈출 수 없다. §184 가 생성 명령을 재실행으로 검증하지 않은 이유가 그것이고, 이 물음도 같은 제약 아래에서 답해야 한다. -- 이 호스트에 한 벌 더 세우기에는 메모리가 모자란다. §187 의 배치는 세 게스트 합이 10240MB 이고 §178 의 호스트 RAM 은 11,648MiB 다. +- 기존 실험대와 사용자 작업을 보존해야 하므로 재검증 범위는 명확한 lab 자원으로 제한한다. 2026-09-21에도 worker 두 대만 철거했고 libvirt `default` network, host SSH/Tailscale, unrelated service/config, Edge VM은 보존했다. +- 이 호스트에 동일한 세 게스트를 한 벌 더 병렬로 세우기는 메모리 여유가 부족하다. 완전 재구축을 다시 검증하려면 기존 lab을 계획적으로 철거하거나 별도 host를 준비해야 한다. - 04 단계는 공개 인터넷이 아니라 tailnet 과 Cloudflare 계정에 묶여 있다. 다른 기계에서 재려면 그 둘에 닿아야 한다. - Let's Encrypt 의 주당 중복 인증서 5장 한도가 있다. 재구축을 여러 번 돌리면 04 단계가 거기 걸린다. - 한 번 끝까지 따라가는 것으로 답한다. 여러 번 돌려 분포를 보는 것은 이 물음의 범위 밖이다. -## 선택지 +## 완전 재구축을 확인하는 방법 ### 1. 다른 기계에 빈 호스트를 두고 00 부터 06 까지 순서대로 친다 @@ -71,26 +68,26 @@ source: 멈춘 단계 : 00 부터 06 까지 중 어디인가 멈춘 이유 : 그 시점에 리소스가 없어서인가, 그 셸에서 안 도는 명령이라서인가, 둘 다 아닌가 -§182 의 여섯과 겹치나 : o 또는 x +「이 구축에서 드러난 문서 결함의 공통 원인」의 여섯과 겹치나 : o 또는 x 통과 조건 일곱 : 단계마다 같은 값이 나왔는가 -### 2. 이 호스트에 게스트 세 대를 새 이름으로 한 벌 더 세운다 +### 2. 현재 lab을 계획적으로 철거한 뒤 00부터 다시 세운다 -하드웨어 차이가 없으므로 막힌 단계를 가이드 쪽으로 좁힐 수 있다. 대신 §187 의 배치로는 메모리가 모자라니 게스트 크기를 줄여 돌리고, 그 사실을 결과에 함께 적는다. 크기를 줄인 채로 나온 값은 05 단계와 06 단계에서 지금 실험대와 다를 수 있다. +같은 하드웨어에서 검증할 수 있어 장비 차이를 제거할 수 있다. 대신 host/edge/certificate까지 포함해 어디까지 철거할지 먼저 정하고, SSH/Tailscale과 사용자 파일처럼 실험대 밖 자원은 보존해야 한다. 2026-09-21 worker 재구축보다 범위가 훨씬 크므로 별도 실험 세션에서 수행한다. ### 3. 문서만 읽어 빠진 단계를 찾는다 — 제외 -§182 가 이미 답을 적었다. 개별 명령은 전부 실제로 돌았던 것이고 틀린 것은 명령이 아니라 그 명령이 놓인 위치라, 각 줄은 참인데 순서대로 따라가면 막힌다. 그런 결함은 문서를 읽어서는 안 나오고 실행해야 나온다. +「이 구축에서 드러난 문서 결함의 공통 원인」에서는 이미 답을 적었다. 개별 명령은 전부 실제로 돌았던 것이고 틀린 것은 명령이 아니라 그 명령이 놓인 위치라, 각 줄은 참인데 순서대로 따라가면 막힌다. 그런 결함은 문서를 읽어서는 안 나오고 실행해야 나온다. ## 다음 검증 -1. 매니페스트 둘과 cloud-init 템플릿을 source/ 로 반입해 final/ 에 넣는다. 없이 시작하면 이 검증이 재는 것이 「가이드가 서는가」가 아니라 「빠진 파일을 다시 만들 수 있는가」로 바뀐다. -2. 대상을 정한다. 다른 기계면 1번, 이 호스트에 한 벌 더면 2번이고, 2번을 고르면 게스트 메모리를 줄인 값을 먼저 적는다. -3. 가이드 그대로 00 부터 06 까지 순서대로 친다. §184 가 명령을 두 이름으로 갈라 적어 둔 곳에서는 어느 쪽을 칠지부터 정한다 — 「이 실험대는 이렇게 했다」는 실제로 친 명령 그대로이고, 「따라 하는 사람은」 쪽은 이 실험대에서 한 번도 치지 않았다. 각 단계의 「이 단계가 끝나면」 명령을 치고 출력을 final/evidence/raw/ 에 원문으로 남기고, meta/ 에 명령과 cwd 와 실행 시각과 종료 코드를 적는다. +1. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`의 canonical source를 저장소에 포함시킨다. 이 셋이 없으면 완전 재구축 검증에 "문서 밖의 기억"이 섞인다. +2. 대상을 정한다. 다른 빈 host에서 검증할지, 현재 lab을 계획적으로 철거한 뒤 같은 host에서 다시 세울지 선택한다. +3. 가이드 그대로 00부터 06까지 순서대로 친다. historical command와 현재 따라 할 절차가 함께 있는 곳에서는 현재 절차를 기준으로 실행한다. 각 단계의 통과 조건을 확인하고, 실행한 명령·작업 디렉터리·시각·종료 코드와 원문 출력을 함께 남겨 나중에 같은 실패를 다시 대조할 수 있게 한다. 4. 04 단계는 --dry-run 을 먼저 돌린다. 주당 중복 인증서 5장 한도를 dry-run 은 쓰지 않는다. -5. 막힌 단계마다 무엇이 없어서 막혔는지를 §182 의 두 축으로 분류해 적는다. 그 시점에 리소스가 없었나, 그 셸에서 안 도는 명령이었나. 어느 축에도 안 들어가면 그것을 새 축으로 적는다. -6. 끝나면 판 번호 넷을 적어 지금 실험대의 값과 나란히 둔다. +5. 막힌 단계마다 무엇이 없어서 막혔는지를 「이 구축에서 드러난 문서 결함의 공통 원인」의 두 축으로 분류해 적는다. 그 시점에 리소스가 없었나, 그 셸에서 안 도는 명령이었나. 어느 축에도 안 들어가면 그것을 새 축으로 적는다. +6. 끝나면 판 번호 넷을 적어 지금 실험대의 값과 나란히 둔다. 명령이 pin한 k3s는 동일 버전 여부를 판정하고, package manager가 고정하지 않은 nginx/libvirt/QEMU는 관측값 차이와 동작 차이를 분리해서 적는다. -닫는 조건 : 00 부터 06 까지 통과 조건 일곱이 전부 같은 값을 내면 「가이드만으로 이 실험대가 다시 선다」고 적고 닫는다. 그러면 「WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가」가 재는 이동 시간과 견줄 대상이 생겨, 옮기는 편이 빠른지 다시 세우는 편이 빠른지가 그때 정해진다. 옮기는 것이 현실적이지 않다면 이 실험대의 복원 경로는 문서 하나가 된다. +현재까지는 worker 재생성부터 workload·관측 스택·power-cycle 복구까지 실제로 통과했다. 남은 완전 재구축에서도 00부터 06까지 필요한 입력 파일만으로 통과 조건 일곱을 만족하면 그때 "가이드만으로 빈 환경에서 이 실험대가 다시 선다"고 기록한다. 그 결과가 있어야 qcow2를 옮기는 방식과 처음부터 재구축하는 방식의 시간도 같은 기준으로 비교할 수 있다. -어느 단계에서든 막히면 그 단계를 §182 의 결함 표에 행으로 더하고, 「단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다」의 「규칙이 결함을 막아 냈다는 관측은 아직 얻지 못했다」를 그 결과로 바꾼다. 막힌 단계가 그 규칙의 두 축 안이면 규칙이 통한 것이고, 밖이면 축이 모자란 것이라 규칙을 고친다. 어느 쪽이든 §186 부터 §192 까지의 생성 명령에 붙은 unknown 이 그때 확인이나 반증으로 바뀐다. +어느 단계에서든 막히면 그 시점의 선행 리소스와 실행 위치를 먼저 확인한다. 기존 여섯 실패와 같은 유형이면 수정한 가이드가 아직 충분하지 않은 것이고, 두 범주로 설명되지 않는다면 새 결함 유형으로 기록한다. 이 과정을 끝까지 거쳐야 00~06의 생성 명령을 ‘현재 환경에서 재현 가능한 절차’라고 말할 수 있다. diff --git a/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-check-the-nearest-layer-first.md b/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-check-the-nearest-layer-first.md index c7e5bf2..eb612e5 100644 --- a/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-check-the-nearest-layer-first.md +++ b/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-check-the-nearest-layer-first.md @@ -17,28 +17,15 @@ source: 가장 가까운 층부터 치고 한 칸씩 밖으로 나오며, 층마다 성공 신호를 미리 적는다. 200 이 아닌 층이 있다 — 03 단계 네 칸의 실측은 404 와 301 과 301 과 200 이었다. 밖에서 한 번 쳐서 받은 값 하나로는 여섯 층 가운데 어디서 끊겼는지가 나오지 않는다. -## 관계 +## 왜 가장 가까운 층부터 보는가 -- **빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다** - 가장 안쪽 칸에서 연결 거부나 타임아웃이 나오면 02 단계로 돌아가는데, 그 기록이 거기서 노드가 안 붙는 이유 하나를 끝까지 따라간다. -- **갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초** - 04 단계의 판정도 같은 모양으로 갈린다. 그 기록은 로그 문구가 아니라 워커 PID 로 판정하라는 결론을 낸다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - 여기서는 어디서 끊겼는지까지만 좁힌다. 좁힌 층의 출력을 어떻게 읽고 무엇을 잘못 읽기 쉬운지는 그쪽에 적혀 있다. -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - 같은 「어디서 끊겼나」를 응답 코드가 아니라 네 지점의 capture 로 좁힌다. 응답 코드로는 가릴 수 없을 때 그쪽으로 넘어간다. -- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다** - 가장 안쪽 칸이 404 인데 밖에서만 막히는 상태를 그 기록이 다룬다. 층을 좁힌 뒤 남은 원인이 방화벽이었던 경우다. +밖에서 한 번 친 값 하나로는 고칠 층을 고를 수 없다. 「단계 03 — 엣지 nginx 라우팅과 호스트 DNAT」에서는 03 단계의 확인을 네 칸으로 나누고 칸마다 건너뛰는 층을 하나씩 늘렸다. 첫 칸은 엣지 nginx 를 건너뛰고 게스트의 80 을 직접 치고, 둘째 칸은 호스트 DNAT 을 건너뛰고 엣지를 직접 치고, 셋째 칸은 밖에서 도메인으로 치고, 넷째 칸은 TLS 가 붙은 뒤를 친다. 둘째 칸이 통과하는데 셋째 칸이 안 되면 막힌 곳은 DNAT 이고, 둘째 칸에서 막히면 막힌 곳은 엣지 안이다. 이 한 칸을 끼워 두면 그 둘이 섞이지 않는다. -## 목적 - -밖에서 한 번 친 값 하나로는 고칠 층을 고를 수 없다. §189 은 03 단계의 확인을 네 칸으로 나누고 칸마다 건너뛰는 층을 하나씩 늘렸다. 첫 칸은 엣지 nginx 를 건너뛰고 게스트의 80 을 직접 치고, 둘째 칸은 호스트 DNAT 을 건너뛰고 엣지를 직접 치고, 셋째 칸은 밖에서 도메인으로 치고, 넷째 칸은 TLS 가 붙은 뒤를 친다. 둘째 칸이 통과하는데 셋째 칸이 안 되면 막힌 곳은 DNAT 이고, 둘째 칸에서 막히면 막힌 곳은 엣지 안이다. 이 한 칸을 끼워 두면 그 둘이 섞이지 않는다. - -이 순서를 쓰려면 층마다 무엇이 성공인지를 먼저 적어야 한다. 첫 칸의 404 는 게스트의 80 을 Traefik 이 듣고 있고 매칭되는 Ingress 규칙이 없다고 답한 것이라 성공이다. 502 면 Traefik 은 떴는데 뒤에 백엔드가 없는 것이고, 연결 거부나 타임아웃이면 02 단계의 노드 상태로 돌아간다. 미리 적어 두지 않으면 404 를 보고 nginx 설정부터 고치기 시작한다. 성공 신호를 적어 두지 않아 통과한 출력을 실패로 읽는 일은 이 실험대에서 이미 있었다. §189 은 nginx -t 가 Debian 12 에서 늘 같이 내놓는 경고 한 줄을 04 단계에서 실패로 오독하는 일이 실제로 벌어졌다고 적고, 그래서 경고와 오류를 구분하는 눈을 03 단계에서 들여 둔다. +이 순서를 쓰려면 층마다 무엇이 성공인지를 먼저 적어야 한다. 첫 칸의 404 는 게스트의 80 을 Traefik 이 듣고 있고 매칭되는 Ingress 규칙이 없다고 답한 것이라 성공이다. 502 면 Traefik 은 떴는데 뒤에 백엔드가 없는 것이고, 연결 거부나 타임아웃이면 02 단계의 노드 상태로 돌아간다. 미리 적어 두지 않으면 404 를 보고 nginx 설정부터 고치기 시작한다. 성공 신호를 적어 두지 않아 통과한 출력을 실패로 읽는 일은 이 실험대에서 이미 있었다. 「단계 03 — 엣지 nginx 라우팅과 호스트 DNAT」에서는 nginx -t 가 Debian 12 에서 늘 같이 내놓는 경고 한 줄을 04 단계에서 실패로 오독하는 일이 실제로 벌어졌다고 적고, 그래서 경고와 오류를 구분하는 눈을 03 단계에서 들여 둔다. 05 단계도 같은 순서로 판정한다. 밖에서 200 이면 nginx 에서 Traefik, Ingress, Service 를 지나 파드까지 전부 이어졌다. 502 나 503 이면 Ingress 가 있는지, Service 뒤에 파드가 있는지, 파드가 Ready 인지를 뒤에서부터 되짚는다. -## 규칙 +## 한 층씩 건너뛰는 순서 ### 1. 가장 가까운 층에서 시작해 한 칸씩 밖으로 나오며 친다 @@ -50,7 +37,7 @@ source: ### 3. 무엇이 잘못됐는지 모르는 동안에는 값만 뽑는 명령을 쓰지 않는다 -§185 의 ① 이 확인 명령을 두 종류로 갈라 적는다. 실무자가 한 번 볼 때 치는 curl -I 는 헤더를 통째로 내놓고, 여러 번 재서 비교할 때 쓰는 curl -s -o /dev/null -w 는 골라 놓은 한 칸 말고 전부 버린다. 그래서 03 단계의 확인이 첫 칸에서 -I 로 시작해 넷째 칸에서 http_code 한 칸으로 줄어든다. 순서가 반대면 첫 칸에서 무엇이 잘못됐는지 알려 줄 헤더를 스스로 버리게 된다. +「가이드 묶음이 스스로 정한 규약」의 ① 이 확인 명령을 두 종류로 갈라 적는다. 실무자가 한 번 볼 때 치는 curl -I 는 헤더를 통째로 내놓고, 여러 번 재서 비교할 때 쓰는 curl -s -o /dev/null -w 는 골라 놓은 한 칸 말고 전부 버린다. 그래서 03 단계의 확인이 첫 칸에서 -I 로 시작해 넷째 칸에서 http_code 한 칸으로 줄어든다. 순서가 반대면 첫 칸에서 무엇이 잘못됐는지 알려 줄 헤더를 스스로 버리게 된다. ### 4. 층을 좁힌 뒤에는 그 층이 내는 문구와 errno 와 종료 코드를 읽는다 @@ -60,14 +47,14 @@ source: Keycloak 컨테이너에는 curl 이 없다. 공식 이미지가 최소 구성이라 wget 도 nc 도 없고, 그때 나오는 것이 curl: command not found 와 command terminated with exit code 127 이다. 127 을 규칙 4 대로 읽으면 서버가 내려간 것이 아니라 명령이 없는 것이므로, 안에서 묻기를 그만두고 Prometheus 로 묻거나 curlimages/curl 임시 파드를 띄워 밖에서 묻는다. -## 적용 조건 +## 이 기준을 쓰는 순간 - 프록시나 컨트롤러가 겹쳐 있어 밖에서 한 번 쳐서는 어디서 끊겼는지 알 수 없는 스택. 이 실험대의 요청 경로는 여섯 층이다 - 층마다 성공 신호를 미리 적을 수 있을 때. 모르면 그것부터 한 층씩 재서 적는다 - 각 칸을 어느 기계에서 치는지가 이미 정해져 있을 때 - 밖에서 200 이 나오면 전부 이어졌다고 말할 수 있는 스택. 05 단계가 그렇다 -## 예외 +## 한 번에 여러 층을 보지 않는 이유 치는 위치가 틀리면 층 판정이 통째로 무의미해진다. 04 단계의 확인을 엣지 게스트 안에서 치면 connect to 100.83.212.4 port 443 failed: Connection refused 가 돌아오는데, 이것은 어느 층의 답도 아니다. 엣지에서 나간 패킷은 호스트의 virbr0 으로 들어가고 DNAT 규칙은 tailscale0 으로 들어온 것만 매칭하므로 규칙에 안 걸리고, 호스트 443 에 리스너가 없어 거절된다. 그래서 이 절차를 쓰기 전에 각 칸을 어느 기계에서 치는지가 정해져 있어야 한다. 문서가 그것을 매번 적게 만드는 방법은 「단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다」에 있다. @@ -77,7 +64,7 @@ Keycloak 컨테이너에는 curl 이 없다. 공식 이미지가 최소 구성 제3부의 「packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다」와는 재는 것이 다르다. 그쪽은 네 지점에서 capture 를 떠 패킷이 사라진 구간을 좁히고, 이쪽은 층을 건너뛴 요청의 응답 코드로 좁힌다. 응답이 아예 안 돌아오고 패킷도 안 보이는 상태에서는 이 절차가 답을 못 내므로 그때 그쪽으로 넘어간다. -## 예시 +## 이 실험대에서 쓴 예 - 첫 칸 : nginx 를 건너뛰고 curl -I http://192.168.122.11 을 쳐서 404. 이것이 성공 신호다 - 둘째 칸 : DNAT 을 건너뛰고 http://192.168.122.10 을 쳐서 301 diff --git a/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-tool-output-is-not-the-subject-state.md b/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-tool-output-is-not-the-subject-state.md index 3bfb06d..3c7d830 100644 --- a/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-tool-output-is-not-the-subject-state.md +++ b/docs/virtualization/tech-log-studio/build-completion-judgment/reference/reference-tool-output-is-not-the-subject-state.md @@ -17,28 +17,15 @@ source: 상태를 묻는 명령의 출력을 대상의 상태로 바로 읽지 않고, 그 명령이 무엇을 세고 무엇을 안 세는지 먼저 적는다. 7800 포트를 끊었을 때 외부 응답은 전부 200 이었고, 503 이 나는 동안에도 up 은 1 이었다. -## 관계 +## 출력과 대상 상태를 분리하는 이유 -- **빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다** - 설치 명령의 출력과 설치된 상태가 어긋났다. 출력은 끝까지 성공이었고 실패는 journalctl 안에만 있었다. -- **cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다** - 검사가 통과해도 안 도는 쪽과 검사에 걸려도 도는 쪽이 한 사건 안에 같이 있다. 검사 결과를 상태로 읽으면 어느 방향이든 틀린다는 것이 그 기록의 결론이다. -- **갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초** - 로그 문구가 SUCCESS 인데 서빙되는 인증서는 옛것이었다. 판정을 문구가 아니라 워커 PID 로 옮긴 기록이다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 어디서 끊겼는지를 그 기준이 좁히고, 좁힌 층의 출력을 어떻게 읽는지를 이쪽이 받는다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 단계마다의 통과 조건 일곱이 전부 이런 출력이라, 다시 세운 실험대가 같은 상태인지를 무엇으로 판정할지가 그 물음에 걸려 있다. - -## 목적 - -판정을 밖에서만 하면 놓친다. §192 는 그래서 클러스터 안을 보는 관측대(Prometheus 와 Grafana)를 따로 세웠다. 7800 포트를 끊었을 때 외부 응답이 전부 200 이었고, 분단된 노드가 스스로 로드밸런서에서 빠져 밖에서는 아무 일도 없어 보였다. +판정을 밖에서만 하면 놓친다. 「단계 06 — Prometheus 와 Grafana」에서는 그래서 클러스터 안을 보는 관측대(Prometheus 와 Grafana)를 따로 세웠다. 7800 포트를 끊었을 때 외부 응답이 전부 200 이었고, 분단된 노드가 스스로 로드밸런서에서 빠져 밖에서는 아무 일도 없어 보였다. 안쪽에 세운 관측대도 지표 하나로는 같은 실패를 되풀이한다. 503 이 나는 동안에도 up 은 1 이었다. 프로세스가 살아 있고 metrics 경로가 응답하기만 하면 1 이 되므로, 살아 있지만 쓸모없는 상태를 up 은 보지 못한다. 경보를 up 이 0 인지 하나로 걸면 그 상태를 통째로 놓친다. 같은 일이 구축 7단계 전체에서 되풀이된다. 목록이 비어 있어서 없다고 읽은 것, 검사기가 통과해서 동작한다고 읽은 것, 아무것도 안 찍혀서 멈췄다고 읽은 것이 전부 같은 오독이다. 이 기준은 그 셋을 하나로 묶고, 판정하기 전에 그 명령이 무엇을 세는지 적게 한다. -## 규칙 +## 먼저 그 명령이 무엇을 세는지 적는다 ### 1. 그 명령이 무엇을 세는지 먼저 적는다 @@ -52,15 +39,15 @@ source: ### 2. 빈 출력을 낼 때 「없다」와 「못 봤다」를 갈라 적는다 -Prometheus 질의가 빈 배열을 내면 그 값이 0 이라는 뜻이 아니라 그런 지표가 없다는 뜻이다. 스크레이프 대상 목록에서는 거기 없는 이름이 답을 준다 — 이 실험대는 Redis 와 BFF 와 PostgreSQL 을 긁지 않으므로 그 지표가 안 나오는 것이 측정 실패가 아니라 측정된 공백이다. §192 는 그것을 스크린샷 누락이 아니라 측정된 공백으로 적었다. grep 이 아무것도 안 내놓을 때도 같다. ip-dhcp-host 로 grep 하면 DHCP 예약이 멀쩡히 들어가 있어도 아무것도 안 나오는데, 그것은 net-update 의 섹션 이름이라 XML 안에 그 문자열이 없기 때문이다. 이벤트가 하나도 없는 것도 무사하다는 뜻이 아니라 한 시간이 지났다는 뜻일 수 있다. +Prometheus 질의가 빈 배열을 내면 그 값이 0 이라는 뜻이 아니라 그런 지표가 없다는 뜻이다. 스크레이프 대상 목록에서는 거기 없는 이름이 답을 준다 — 이 실험대는 Redis 와 BFF 와 PostgreSQL 을 긁지 않으므로 그 지표가 안 나오는 것이 측정 실패가 아니라 측정된 공백이다. 「단계 06 — Prometheus 와 Grafana」에서는 그것을 스크린샷 누락이 아니라 측정된 공백으로 적었다. grep 이 아무것도 안 내놓을 때도 같다. ip-dhcp-host 로 grep 하면 DHCP 예약이 멀쩡히 들어가 있어도 아무것도 안 나오는데, 그것은 net-update 의 섹션 이름이라 XML 안에 그 문자열이 없기 때문이다. 이벤트가 하나도 없는 것도 무사하다는 뜻이 아니라 한 시간이 지났다는 뜻일 수 있다. ### 3. 한 근거로 판정하지 않고 시제나 층이 다른 것을 함께 본다 -§191 이 클러스터가 섰는지를 근거 셋으로 보고, 그 셋이 서로 다른 것을 본다고 적었다. 로그 ISPN000094 는 「그때 그렇게 보였다」이고, 테이블 jgroups_ping 은 「지금 등록되어 있다」이며, 지표 vendor_cluster_size 는 「지금 그 노드가 그렇게 안다」다. 테이블에는 둘 다 있는데 로그가 (1) 이면 서로를 찾기는 했는데 7800 포트로 메시지가 안 가는 것이고, 이 실험대에서 실제로 그 일이 벌어졌다. 각 노드가 자기가 아는 멤버 수를 보고하므로 한 노드만 보면 분단을 놓친다. +「단계 05 — Keycloak 2노드와 PostgreSQL」에서는 클러스터가 섰는지를 근거 셋으로 보고, 그 셋이 서로 다른 것을 본다고 적었다. 로그 ISPN000094 는 「그때 그렇게 보였다」이고, 테이블 jgroups_ping 은 「지금 등록되어 있다」이며, 지표 vendor_cluster_size 는 「지금 그 노드가 그렇게 안다」다. 테이블에는 둘 다 있는데 로그가 (1) 이면 서로를 찾기는 했는데 7800 포트로 메시지가 안 가는 것이고, 이 실험대에서 실제로 그 일이 벌어졌다. 각 노드가 자기가 아는 멤버 수를 보고하므로 한 노드만 보면 분단을 놓친다. 저장과 주입도 다른 층이다. describe 가 보여 주는 19 bytes 와 22 bytes 는 Secret 에 저장된 값이고, 파드 안에서 잰 길이 19 는 그 파드가 받은 값이다. 두 수가 같아야 Secret 에서 파드 환경변수까지 이어진 것이고, 길이가 0 이면 Secret 에는 있는데 이 파드가 그것을 안 받았다. -보고된 값과 준 값도 다르다. kubectl get nodes -o wide 의 INTERNAL-IP 는 k3s 가 보고한 값이고 systemctl cat 의 ExecStart 줄은 우리가 준 값이라 둘을 견준다. 값을 안 찍고 길이만으로 확인하는 §185 의 ② 도 같은 갈래다. 비밀은 값을 보지 않고 0 이 아니라는 것만 확인한다. +보고된 값과 준 값도 다르다. kubectl get nodes -o wide 의 INTERNAL-IP 는 k3s 가 보고한 값이고 systemctl cat 의 ExecStart 줄은 우리가 준 값이라 둘을 견준다. 값을 안 찍고 길이만으로 확인하는 「가이드 묶음이 스스로 정한 규약」의 ② 도 같은 갈래다. 비밀은 값을 보지 않고 0 이 아니라는 것만 확인한다. ### 4. 검사기가 통과한 것을 동작하는 상태로 읽지 않는다 @@ -76,26 +63,26 @@ sites-available 을 site-available 로 잘못 치면 빈 새 파일이 열리고 kubectl rollout status 는 끝날 때까지 아무것도 안 찍고 그 침묵이 정상이다. StatefulSet 은 파드를 하나씩 순서대로 띄우므로 중간에 0/2 로 한참 멈춰 있는 것도 정상이고, 300초를 다 쓰고 타임아웃으로 끝나면 그것도 답이다 — 안 떴다가 확정된다. 반대쪽에서는 경고가 실패로 읽힌다. nginx -t 의 [warn] could not build optimal types_hash 줄은 통과를 막지 않고, 실패는 [emerg] 줄에 파일과 줄 번호로 나온다. 04 단계에서 이 경고를 실패로 오독하는 일이 실제로 벌어졌다. -## 적용 조건 +## 이 기준이 필요한 출력 - 상태를 묻는 명령의 출력으로 구축 단계의 통과를 판정할 때 - 같은 대상을 보는 명령이 여럿이고 서로 다른 시제나 층을 볼 때. 로그와 테이블과 지표가 그런 셋이다 - 검사기나 문법 검사가 앞에 있는 단계. nginx -t 와 nft 와 cloud-init 스키마 검사기가 그렇다 - 목록이나 질의 결과가 비어 있을 때. 판정하기 전에 그 명령이 무엇을 세는지 먼저 적는다 -## 예외 +## 값 하나로 상태를 단정하지 않는 경우 이 기준은 출력을 상태로 읽는 오독을 잡고, 출력 자체가 정확한지는 보지 않는다. 세 근거가 다 통과로 나와도 그 셋이 다 같은 층에서 나왔으면 여전히 한 근거다. 밖에서 친 200 이 분단을 가린 것이 그런 경우이고, 그래서 관측대를 클러스터 안쪽에 따로 세웠다. 그 관측대도 up 하나로는 같은 실패를 되풀이하므로 기능 지표를 함께 본다. -근거를 늘리는 데는 비용이 든다. 명령이 늘고 손으로 치는 선을 넘으면 파서를 짜게 되는데, §192 는 그 선을 grep -o 와 tr 로 쉼표마다 줄을 나누는 데까지로 그었다. 그 이상 가공해야 하면 파서를 짜지 않고 화면에 나온 JSON 을 그대로 읽는다. +근거를 늘리는 데는 비용이 든다. 명령이 늘고 손으로 치는 선을 넘으면 파서를 짜게 되는데, 「단계 06 — Prometheus 와 Grafana」에서는 그 선을 grep -o 와 tr 로 쉼표마다 줄을 나누는 데까지로 그었다. 그 이상 가공해야 하면 파서를 짜지 않고 화면에 나온 JSON 을 그대로 읽는다. 「없다」와 「못 봤다」를 가르는 일도 도구가 대신해 주지 않는다. 스크레이프 대상 목록에서 없는 이름을 알아보려면 사람이 그 이름을 미리 알고 있어야 한다. Redis 와 BFF 와 PostgreSQL 이 빠진 것을 그 목록만 보고 알아낼 방법은 없다. 이 기준의 근거는 대부분 이 실험대 한 대에서 한 번씩 본 것이다. 다른 판 번호나 다른 배포판에서 같은 명령이 같은 것을 세는지는 재지 않았다. -가이드에 실린 출력이 이 호스트의 것인지도 한 군데에서 어긋난다. §186 의 실측 줄은 이 호스트가 16 코어 전부에서 지원한다고 적었는데 §178 의 대상 환경은 논리 코어 8(i5-1135G7)이다. 어느 쪽이 이 호스트의 값인지는 재지 않았다. +가이드에 실린 출력이 이 호스트의 것인지도 한 군데에서 어긋났다. 「단계 00 — lab host 가상화 준비」의 과거 출력은 16 코어 전부에서 지원한다고 적었지만, 2026-09-17과 2026-09-21에 `nproc`·`lscpu`로 다시 확인한 현재 `test-server`는 i5-1135G7, 물리 4코어·8 logical CPU다. 따라서 16코어 줄은 **현재 호스트의 관측값이 아니라 다른 환경에서 섞여 들어온 historical output**으로 취급한다. -## 예시 +## 실제 판독 예 - virsh list 가 비었다 : VM 이 없는 것인가 qemu:///session 에 붙은 것인가. virsh uri 로 가른다 - net-list 에 그 네트워크가 없다 : --all 을 줬는가. 없음과 꺼짐이 구분되나 diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/concept/concept-kvm-vcpu-to-physical-cpu.md b/docs/virtualization/tech-log-studio/cpu-virtualization/concept/concept-kvm-vcpu-to-physical-cpu.md index 01912ba..a4e1536 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/concept/concept-kvm-vcpu-to-physical-cpu.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/concept/concept-kvm-vcpu-to-physical-cpu.md @@ -43,22 +43,6 @@ source: `virsh` 로 가상 머신을 시작하면 그 뒤로 CPU 를 쓰는 쪽은 QEMU 프로세스다. vCPU 하나마다 QEMU vCPU 스레드가 하나씩 있다. 그 스레드를 호스트 Linux 스케줄러가 다른 호스트 스레드와 나란히 놓고 논리 CPU 에 배치한다. 게스트 코드는 그 스레드가 `KVM_RUN` 을 호출한 뒤 VM Entry 를 지나 물리 CPU 에서 직접 실행된다. 하이퍼바이저가 개입해야 하는 조건을 만나면 VM Exit 으로 KVM 에 제어권이 넘어간다. Keycloak 멀티 노드 실험을 가상 머신 두 대 위에서 돌리다 보니, 이 경로를 알아 두면 게스트 안의 지연을 애플리케이션·저장소 문제와 호스트 자원 문제로 갈라 볼 수 있다. -## 관계 - -- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가** - 이 글은 vCPU 스레드가 호스트 스케줄러에 따라 다른 논리 CPU 에서 실행될 수 있다고만 적었다. 그 이동을 `PSR` 로 실제로 재는 질문이다. -- **실제 작업에서 주로 발생하는 VM Exit 은 무엇인가** - 무엇이 VM Exit 을 부르는지는 여기 적었지만, 어떤 작업에서 어떤 이유의 Exit 이 얼마나 나오는지는 이 호스트에서 세지 않았다. -- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가** - 경쟁과 초과 할당은 예시 숫자로 설명했다. 이 테스트 환경의 논리 CPU 수와 두 가상 머신의 vCPU 합은 SSOT 에 적혀 있지 않다. -- **cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가** - 진단표는 두 원인을 다른 행으로 갈라 놓았다. 그 구분이 지표로도 갈리는지는 같은 크기의 지연을 두 원인으로 각각 재현해야 안다. -- **운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가** - 진단표의 어느 행부터 보는지가 이 답에 달려 있다. -- **이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가** - 이 글은 NUMA 를 진단표의 한 행으로만 두고 메모리 배치는 범위 밖으로 미뤘다. 단일 NUMA node 면 이 실험에서 우선순위를 낮추고, 다중이면 vCPU 와 메모리 배치를 따로 확인한다. - -## 본문 @@ -80,7 +64,7 @@ VMX(Virtual Machine Extensions)는 Intel CPU 자체가 제공하는 하드웨어 가상 머신에 4 vCPU 를 설정하면 게스트 OS 는 그것을 자신의 CPU 처럼 인식한다. 호스트에는 각 vCPU 의 실행 주체에 대응하는 QEMU vCPU 스레드가 하나씩 존재한다. 4 vCPU 는 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 4개의 가상 CPU 실행 컨텍스트를 제공한다는 의미에 가깝다. 호스트의 물리 CPU 4개가 그 가상 머신으로 영구히 넘어가지는 않는다. -vCPU 스레드가 실행될 논리 CPU 를 특정 집합으로 제한하는 설정을 CPU pinning 이라고 한다. pinning 도 별도의 CPU 격리도 하지 않았다면 vCPU 스레드는 호스트 Linux 스케줄러가 스케줄링한다. 호스트가 6 Core / 12 Thread 라면 Linux 에서는 일반적으로 12개의 논리 CPU 가 스케줄링 대상으로 보인다. vCPU 스레드도 Chrome 스레드나 Java 스레드와 마찬가지로 그 12개 위에 배치된다. 그래서 시간에 따라 같은 스레드가 서로 다른 논리 CPU 에서 실행될 수도 있다. 다만 이 호스트에서 그 이동을 재지는 않았다. 스레드가 최근 실행된 논리 CPU 를 알려 주는 `PSR` 값을 시간에 따라 여러 번 보면 확인되는데, 그 관찰을 아직 돌리지 않았다. +vCPU 스레드가 실행될 논리 CPU 를 특정 집합으로 제한하는 설정을 CPU pinning 이라고 한다. pinning 도 별도의 CPU 격리도 하지 않았다면 vCPU 스레드는 호스트 Linux 스케줄러가 스케줄링한다. 호스트가 6 Core / 12 Thread 라면 Linux 에서는 일반적으로 12개의 논리 CPU 가 스케줄링 대상으로 보인다. vCPU 스레드도 Chrome 스레드나 Java 스레드와 마찬가지로 그 12개 위에 배치된다. 그래서 시간에 따라 같은 스레드가 서로 다른 논리 CPU에서 실행될 수도 있다. 2026-09-21 재검증에서는 worker vCPU thread의 실제 TID를 확인한 뒤 `PSR`을 반복해서 읽었다. `kc-lab-1`의 vCPU0 thread는 짧은 구간에도 `7 → 2 → 0 → 4 → 3`처럼 여러 논리 CPU 사이를 이동했고, `virsh vcpupin`과 `taskset -pc`는 허용 CPU가 `0-7` 전체임을 보여 줬다. 현재 구성은 unpinned이고 실제 migration도 관측됐다. 호스트 CPU 가 부족하면 QEMU vCPU 스레드와 호스트의 다른 작업이 같은 논리 CPU 자원을 두고 경쟁한다. @@ -130,7 +114,7 @@ VM Exit 자체는 정상적인 가상화 동작이어서 Exit 이 있다고 문 호스트에 논리 CPU 가 12개 있고 8 vCPU 가상 머신을 네 대 올리면 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다. 그 가상 머신들이 대부분 유휴 상태면 이 구성 자체가 장애를 뜻하지 않는다. 여러 가상 머신의 vCPU 가 동시에 실행 대기 상태가 될 때 CPU 경쟁과 스케줄링 지연이 늘어난다. -vCPU 스레드끼리만 경쟁하지도 않는다. 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 테스트 환경이라면 호스트 쪽 Nginx 와 K3s, DB, Redis, 그 밖의 호스트 프로세스도 같은 Linux 스케줄러를 거친다. +vCPU 스레드끼리만 경쟁하지도 않는다. 호스트의 다른 프로세스와 커널 작업도 같은 논리 CPU를 쓴다. 현재 실험대에서는 nginx가 Edge VM으로 이동했지만, QEMU 프로세스와 host networking·storage 작업, SSH·관측 명령 같은 host workload는 여전히 같은 Linux 스케줄러의 대상이다. 게스트 안에서 이 경쟁이 드러나는 값이 steal time 이다. 게스트 Linux 의 `top` 에서 `%st` 로 확인할 수 있다. 게스트 vCPU 에 실행할 작업이 있고 호스트에서 그 스레드가 CPU 를 필요로 하는데, 다른 작업 때문에 즉시 실행되지 못한 시간을 나타낸다. 이 값이 높으면 호스트 CPU 경쟁이나 논리 CPU 보다 많은 vCPU 를 할당한 초과 할당을 의심할 수 있지만, 단독으로 원인을 확정하는 지표는 아니다. 호스트 CPU 포화와 실행 대기열, 친화도, 어떤 작업이 돌고 있었는지를 함께 확인한다. @@ -184,11 +168,15 @@ sudo perf kvm stat live 지원되는 명령과 표시되는 Exit 이유는 커널과 `perf` 버전, CPU 아키텍처 및 설정에 따라 다르기 때문에 그 환경에서 무엇이 되는지 `perf kvm --help` 로 확인한다. 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토한다. -## 이 문서가 확정하지 않는 것 +## 이 호스트에서 실제로 확인한 CPU 경로 -CPU 가상화 개념에서 확정하는 수준은 셋까지다. 구조적으로 어떤 문제가 발생할 수 있는가, 어떤 지표로 그 문제를 의심할 수 있는가, 어느 계층에서 확인해야 하는가. 현재 테스트 서버에서 실제로 그 문제가 일어나는지는 여기서 사실로 확정하지 않는다. +2026-09-21 재검증으로 CPU 가상화 경로의 여러 지점을 실제 값으로 확인했다. host는 4 cores / 8 logical CPUs이고 single NUMA node다. Edge VM의 `CPU 0/KVM` thread는 guest가 유휴에 가까울 때 sleep 상태와 0~1% CPU로 보였고, guest에서 CPU-bound workload를 주자 running 상태와 약 100% CPU로 바뀌었다가 부하 종료 뒤 다시 sleep 상태로 돌아왔다. worker vCPU thread는 pinning 없이 CPU `0-7` 전체에서 실제로 migration했다. -이 호스트에서 잰 값은 하나도 없다. 관찰 명령은 무엇을 볼 수 있는지 적어 둔 목록이다. VM Exit 분포도 steal time 도, pinning 없이 vCPU 스레드가 논리 CPU 사이를 옮겨 다니는지도 아직 측정하지 않았다. 검증은 VMX 와 SVM 확인에서 시작한다. 그다음 KVM 모듈과 `/dev/kvm`, `virsh` 가상 머신, QEMU 프로세스, vCPU 스레드, 호스트 논리 CPU 스케줄링, 게스트가 유휴일 때와 부하를 받을 때의 비교, steal time, VM Exit 관찰로 이어진다. 값이 나오면 각각 재현 조건을 붙인 기록으로 남기고, 그때도 답하지 못한 항목은 열린 질문으로 유지한다. +두 worker의 2 vCPU를 각각 모두 CPU-bound로 만든 실험에서는 guest 두 대 모두 `id=0%`까지 자기 vCPU를 사용했지만 host에는 약 49~50% idle이 남았고 `%st`는 0%였다. 따라서 현재 8 logical CPU / worker 2+2 vCPU 조건에서는 guest CPU 포화가 host CPU starvation이나 steal 증가와 같은 상태가 아니었다. + +VM Exit 분포와 pinning, cgroup throttling과 host contention은 2026-09-21에 실제 workload로 확인했다. `perf kvm stat live`에서는 idle·CPU-bound·I/O-heavy·Keycloak 요청에 따라 Exit 분포가 달라졌지만, 특정 Exit 비중만으로 병목을 판정하지 않았다. pinning은 vCPU migration을 없앴지만 Keycloak latency와 throughput 개선은 반복 실행에서 재현되지 않아 원래의 unpinned `0-7` affinity로 복원했다. cgroup quota는 `cpu.stat`의 throttling으로, host contention은 cgroup throttle 없이 guest `%st`와 특정 pCPU 포화로 구분됐다. + +아직 답하지 않은 것은 vCPU 수를 늘렸을 때 처리량이 어디서 포화되는지, 실제 Keycloak refresh 부하에서 가상화 CPU 계층이 병목이 되는지, 그리고 운영 서버가 bare metal인지 상위 hypervisor 위인지다. 이 셋은 현재 실험대의 구조 설명만으로 정하지 않는다. 범위 밖으로 미룬 영역도 있다. 네트워크·메모리·스토리지 가상화와 PCIe/VFIO/IOMMU 상세, K3s 네트워크와 컨테이너 런타임 상세는 이 문서가 다루지 않는다. NUMA 는 문제가 생길 수 있다는 것과 CPU 친화도와의 연관까지만 적었다. 메모리 배치와 NUMA 튜닝은 메모리 가상화 개념 문서에서 다룬다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-exit-distribution-for-keycloak-workload.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-exit-distribution-for-keycloak-workload.md index 199cc5e..4838c92 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-exit-distribution-for-keycloak-workload.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-exit-distribution-for-keycloak-workload.md @@ -7,9 +7,17 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/d103bb81-45df-402f-86e5-e41d66ed7f8d/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt source: - final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-11 - final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-9 @@ -18,17 +26,15 @@ source: # Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가 -이 호스트에서 Exit 을 받아 본 기록이 없고 관측 도구가 열리는지부터 확인하지 않았다. VM Exit 은 게스트를 실행하던 CPU 가 제어권을 KVM 쪽으로 넘기는 정상 동작이라, 있다는 것만으로 문제가 되지 않는다. Keycloak 구간에서 Exit 이 얼마나 잦은지는 나머지 네 구간의 분포와 견줘야 갈린다. +2026-09-21 같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 `perf kvm stat live -p `로 비교했다. Keycloak 정상 요청 10회 구간은 baseline과 비슷했지만, OIDC discovery 1000회/concurrency 20 부하에서는 `EPT_MISCONFIG` 비중과 전체 VM Exit sample 수가 뚜렷하게 증가했다. **Keycloak workload의 Exit 분포는 부하 강도에 따라 실제로 달라지지만, 이 변화만으로 병목이라고 판정하지 않는다.** -## 관계 +## 2026-09-21에 비교한 다섯 구간 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 무엇이 VM Exit 을 부르고 그 처리가 커널에서 끝나는지 QEMU 사용자 공간까지 가는지를 이 개념이 설명한다. -- **실제 작업에서 주로 발생하는 VM Exit 은 무엇인가** - 그쪽은 작업 다섯의 분포를 서로 견주는 물음이고, 이 질문은 Keycloak 구간의 분포가 같은 구간의 지연과 같이 움직이는지를 묻는다. - 다섯 구간을 한 번 받으면 두 질문의 자료가 함께 나오지만 닫는 기준이 달라 기록은 따로 둔다. 도구가 이 환경에서 열리는지 보는 첫 단계도 둘이 같이 쓴다. - -## 사실 +- 2026-09-21 재검증에서 `perf version 7.2.2-1`과 `perf kvm stat live -p --event vmexit`가 현재 host에서 동작했고 KVM tracepoint도 존재했다. +- 2026-09-21 재검증에서 `kc-lab-1` baseline은 2초 구간 sample 655/702개, `MSR_WRITE` 약 60%, `HLT` 약 32~33%였다. +- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회는 모두 HTTP 200, 약 5.7~21.8 ms였고 Exit 분포는 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다. +- 2026-09-21 재검증에서 OIDC discovery 1000회/concurrency 20 부하는 `rc=0`이었고 sample 수는 987→1211→1339, `EPT_MISCONFIG` 비중은 약 9.9%→18.0%→19.0%로 증가했다. +- 2026-09-21 재검증에서 비교군인 CPU-bound는 HLT가 사라지고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%로 바뀌었으며, I/O-heavy는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%, `EPT_MISCONFIG` 약 1.4~1.6%였다. Keycloak 부하의 분포가 단순 CPU-bound나 I/O-heavy와 같지는 않았다. - VM Exit 은 정상적인 가상화 동작이어서 Exit 이 존재한다는 것만으로 문제가 되지 않는다. - 하이퍼바이저가 개입해야 하는 Exit 이 특정 작업에서 지나치게 빈번하고 처리 비용이 커지면 성능에 영향을 줄 수 있다. @@ -40,35 +46,30 @@ source: - Exit 이 많다는 관측 하나로 장애라고 판단하지 않는다. - 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있고, 예로 든 명령은 sudo perf kvm stat live 다. - 지원되는 명령과 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 다를 수 있어 perf kvm --help 를 함께 확인한다. 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토한다. -- §197 은 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다. -- 비교 후보로 적어 둔 구간은 idle, CPU-bound 작업, I/O 가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트 다섯이다. - 이 목록은 개념 문서가 앞선 물음 자리에 적어 둔 것이고, 이 질문의 제목이 든 것은 그 가운데 앞쪽 셋이다. 받아야 하는 구간은 제목이 든 것보다 둘 많다. +- 「측정 환경」에서는 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. perf 버전은 적혀 있지 않다. +- 비교할 구간은 다섯이다: idle, CPU-bound, I/O가 많은 작업, Keycloak 정상 요청, Keycloak 부하 테스트. 제목에는 앞쪽 세 범주만 드러나지만 실제 비교에는 Keycloak 정상·부하 구간도 함께 넣는다. -## 가정 +## Exit 분포를 비교할 때 고정한 조건 -- 이 호스트에서 perf kvm 이나 KVM tracepoint 가운데 하나는 열린다고 보고 측정 순서를 짠다. - 둘 다 열리지 않는 결과도 이 질문의 정상적인 답이다. +- 2026-09-21 확인 결과 `perf kvm stat live -p --event vmexit`가 실제로 동작했고 KVM tracepoint도 존재했다. - 다섯 구간을 같은 도구로 같은 길이만큼 잴 수 있다고 전제한다. -- Keycloak 부하 구간의 지연은 실험이 이미 재고 있는 값에서 가져올 수 있다고 본다. -- I/O 가 많은 구간을 이 환경에서 따로 만들 수 있다고 보고 짰다. 만드는 방법은 개념 문서에 적혀 있지 않다. +- Keycloak 정상 요청과 1000회/concurrency 20 read-only 부하를 직접 실행하면서 같은 구간의 HTTP 결과와 VM Exit 분포를 함께 남겼다. +- 비교군으로 CPU-bound와 I/O-heavy workload를 따로 실행해 같은 QEMU PID에서 분포를 비교했다. -## 미지수 +## 분포만으로 말할 수 없는 것 -- 이 호스트에서 perf kvm 의 어떤 하위 명령이 열리는지, 열리지 않으면 tracepoint 쪽이 열리는지. -- Keycloak 구간의 Exit 이유 분포가 나머지 네 구간과 얼마나 다른지. -- 그 차이가 같은 구간의 Keycloak 지연과 같이 움직이는지. -- Exit 처리 위치가 KVM 인지 QEMU 사용자 공간인지를 이 환경의 출력으로 가를 수 있는지. -- 관측이 열린다면 얼마나 오래 받아야 구간 사이의 차이가 잡히는지. +현재 환경의 `perf kvm` 지원 여부와 Keycloak 정상·부하 구간의 Exit 분포 차이는 해소됐다. 정상 요청은 baseline과 유사했고 read-only 고부하에서는 `EPT_MISCONFIG`과 전체 sample이 증가했다. -## 제약 +이번 실험만으로 각 Exit reason이 Keycloak latency를 얼마나 직접 유발했는지까지는 확정하지 않는다. 특히 `perf kvm`의 reason 통계는 KVM이 관측한 Exit 분포이며 모든 reason이 QEMU userspace까지 올라간다는 뜻이 아니다. + +## 이 수치를 읽는 범위 - 표시되는 Exit 이유는 커널과 perf 버전, CPU 아키텍처와 설정에 따라 달라지므로 다른 환경에서 나온 분포와 이 호스트의 분포를 바로 견주지 않는다. - Exit 횟수만 세지 않는다. Exit 이유와 작업 종류, 처리 위치, 같은 구간의 지연을 함께 받아 적는다. -- 도구가 열려야 측정이 시작된다. 열리지 않으면 이 질문은 값 없이 닫힌다. -- sudo 가 필요한 명령인데, §204 는 이 호스트의 sudo 가 비밀번호를 요구해 비대화식으로는 읽지 못했다고 적었다. 그래서 콘솔에 붙어 직접 치는 실행으로 잡는다. -- 이 호스트에서 Exit 을 실제로 받아 본 기록이 없다. +- 2026-09-21 현재 `perf kvm`과 KVM tracepoint가 실제로 동작하며 `sudo -n`도 사용 가능했다. 이번 측정은 `-p`로 `kc-lab-1` QEMU PID만 지정했다. +- 관측 구간은 2초 단위의 짧은 sample이므로 비율을 장기 평균으로 일반화하지 않는다. 같은 workload를 반복하거나 더 긴 구간으로 재면 분포가 달라질 수 있다. -## 선택지 +## idle·CPU·I/O·Keycloak을 같은 방식으로 비교했다 ### 1. perf kvm stat live 로 다섯 구간을 차례로 받는다 @@ -89,11 +90,6 @@ tracepoint 를 직접 켜면 Exit 이유를 더 세밀하게 받을 수 있다. Keycloak 구간의 Exit 수가 크면 Exit 처리 비용이 있다고 읽는 방법이다. Exit 이 많다는 관측 하나로 장애라고 판단하지 않기로 했고, 무엇과 견줘야 「많다」인지도 이 호스트에는 아직 기준이 없다. 그래서 다른 구간 없이 Keycloak 구간만 받지 않는다. -## 다음 검증 +## Keycloak 부하에서는 Exit 분포가 달라졌지만 원인으로 단정하지 않았다 -1. perf kvm --help 로 이 환경이 지원하는 하위 명령을 확인한다. -2. 열리면 sudo perf kvm stat live 로 idle, CPU-bound, I/O 가 많은 구간, Keycloak 정상 요청, Keycloak 부하 다섯의 Exit 이유 분포를 받는다. -3. 같은 다섯 구간의 Keycloak 지연을 실험이 이미 재는 값에서 가져와 분포 옆에 적는다. -4. perf kvm 이 열리지 않으면 KVM tracepoint 를 쓰는 쪽을 검토하고, 검토 결과와 그 판단 근거도 함께 기록한다. - -닫는 조건 : Keycloak 구간의 Exit 분포가 다른 구간과 다르고 그 차이가 지연과 같이 움직이면 그 측정이 Case 가 되고 닫는다. 분포가 다르지 않거나 지연과 따로 움직이면, 이 작업에서 Exit 처리 비용은 조사 대상이 아니라고 적고 진단표의 「과도한 VM Exit」 행을 뒤로 미루는 근거로 남긴 뒤 닫는다. +같은 `kc-lab-1`에서 Keycloak 정상 요청은 baseline과 유사한 VM Exit 분포를 보였고, 1000회/concurrency 20 read-only 부하에서는 `EPT_MISCONFIG` 비중과 전체 sample 수가 증가했다. CPU-bound·I/O-heavy 비교군과도 분포가 달랐다. 다만 이 변화가 애플리케이션 지연의 직접 원인이라는 결론은 내리지 않으며, 실제 refresh-token 부하의 latency와 Exit을 같은 실행에서 비교하는 일은 별도 질문으로 남긴다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-host-numa-topology.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-host-numa-topology.md index aec455c..a5b93c7 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-host-numa-topology.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-host-numa-topology.md @@ -7,9 +7,12 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/688c6c02-c1bd-4cd2-a615-2396db145386/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt source: - final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-12 - final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-11 @@ -17,50 +20,39 @@ source: # 이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가 -이 호스트의 NUMA 노드 수를 확인한 기록이 없다. §197 이 받은 `lscpu` 출력에 NUMA 줄이 없어서다. NUMA(Non-Uniform Memory Access)는 어느 CPU 가 어느 메모리에 접근하느냐에 따라 접근 비용이 달라지는 구조다. 단일 노드면 지금 실험에서 우선순위를 낮추고, 다중 노드면 vCPU 와 메모리 배치를 따로 다룬다. +2026-09-21 현재 `test-server`는 **NUMA node 1개**다. `lscpu`에서 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 확인했고 sysfs의 `/sys/devices/system/node/node0/cpulist`도 `0-7`이었다. 따라서 현재 host에서는 remote NUMA 접근을 전제로 한 vCPU/memory locality 튜닝을 우선 항목으로 둘 이유가 없다. -## 관계 +## 현재 호스트의 토폴로지 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - vCPU 스레드가 어느 논리 CPU 에서 실행될지를 호스트 스케줄러가 정한다는 것이 이 물음의 전제다. - -## 사실 +- 2026-09-21 재검증에서 Host CPU는 Intel i5-1135G7, 4 cores / 8 logical CPUs이고 NUMA node는 `node0` 하나다. node0에 CPU `0-7`과 host memory 전체가 속한다. - 멀티소켓 또는 NUMA 구조의 호스트에서는 CPU 가 실행되는 NUMA 노드와 가상 머신 메모리가 놓인 NUMA 노드가 어디냐에 따라 성능이 달라질 수 있다. - vCPU 가 노드 0 의 CPU 에서 실행되는데 필요한 메모리가 주로 노드 1 에 배치되어 있으면 다른 노드의 메모리를 읽는 접근(remote memory access)이 생길 수 있다. - NUMA 는 CPU 가상화와 메모리 가상화의 경계에 걸쳐 있다. 그래서 지금 개념 문서는 문제가 있다는 것과 CPU 친화도와 어떻게 얽히는지까지만 기록했고, 상세한 메모리 배치와 NUMA 튜닝은 메모리 가상화를 다루는 개념 문서로 넘겼다. -- 이 물음의 종료 기준은 개념 문서가 직접 적어 두었다. - 단일 NUMA 노드 : 지금 실험에서 우선순위를 낮춘다 - 다중 NUMA 노드 : vCPU 와 메모리 배치를 별도 Case 후보로 올린다 - 개념 문서가 남긴 열린 물음 열둘 가운데 닫는 갈래를 스스로 적어 둔 것은 이 하나다. -- §24.11 은 이 확인에 쓸 명령을 적지 않았다. 다른 확인 항목과 달리 NUMA 쪽에는 예로 든 명령이 없다. -- 메모리 가상화 쪽 §78 이 그 명령을 든다. 노드 수는 `lscpu` 의 NUMA 줄로 보라고 적고 `numactl --hardware` 를 추가로 든다. QEMU 프로세스별 메모리 분포는 `numastat -p `, vCPU 배치는 `virsh vcpupin ` 과 `virsh vcpuinfo ` 이다. -- §197 이 2026-09-10 에 이 호스트에서 받은 `lscpu` 출력은 `Model name` 이 `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, `CPU(s)` 가 8, `Core(s) per socket` 이 4, `Thread(s) per core` 가 2 다. 네 줄만 `grep` 으로 걸러 받아서 NUMA 줄은 거기 없다. -- §24.11 이 문제를 두는 조건은 멀티소켓 또는 NUMA 구조인데, 그 네 줄에는 `Socket(s)` 도 NUMA 줄도 없다. -- 이 호스트의 NUMA 노드 수를 확인한 기록이 없다. +- 판정은 단순하다. 단일 NUMA 노드라면 지금 실험에서 우선순위를 낮춘다. 다중 NUMA 노드라면 vCPU 실행 위치와 메모리 배치를 이어서 확인한다. +- 「NUMA Locality 문제」에서는 이 확인에 쓸 명령을 적지 않았다. 다른 확인 항목과 달리 NUMA 쪽에는 예로 든 명령이 없다. +- 메모리 가상화 쪽 「NUMA는 실제 장비 topology부터 확인한다」에서는 그 명령을 든다. 노드 수는 `lscpu` 의 NUMA 줄로 보라고 적고 `numactl --hardware` 를 추가로 든다. QEMU 프로세스별 메모리 분포는 `numastat -p `, vCPU 배치는 `virsh vcpupin ` 과 `virsh vcpuinfo ` 이다. +- 「측정 환경」에서는 2026-09-10 에 이 호스트에서 받은 `lscpu` 출력은 `Model name` 이 `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, `CPU(s)` 가 8, `Core(s) per socket` 이 4, `Thread(s) per core` 가 2 다. 네 줄만 `grep` 으로 걸러 받아서 NUMA 줄은 거기 없다. +- 「NUMA Locality 문제」에서는 문제를 두는 조건은 멀티소켓 또는 NUMA 구조인데, 그 네 줄에는 `Socket(s)` 도 NUMA 줄도 없다. +- 2026-09-21 `lscpu`와 sysfs를 읽어 이 호스트가 NUMA node 하나인 것을 확인했다. -## 가정 +## NUMA를 판단할 때 필요한 조건 -- 호스트에 붙어 노드 수를 읽을 수 있다고 본다. -- 단일 노드로 나오면 vCPU 가 실행되는 노드와 메모리가 놓인 노드가 갈리지 않으므로 다른 노드의 메모리를 읽을 일이 지금 실험에서 성능 차이를 만들지 않는다고 본다. - 그 추론을 이 호스트에서 확인하지는 않았다. -- 두 가상 머신의 메모리 배치가 실행 중에 바뀌지 않는다고 전제한다. - §198 은 virtio-balloon 이 안 쓰는 만큼 호스트에 돌려준다고 적었으므로 할당된 양은 실행 중에 바뀐다. 노드 배치까지 따라 바뀌는지는 적혀 있지 않다. +- 2026-09-21 호스트에서 NUMA node 수와 node0 CPU 목록을 직접 읽었다. +- 실제로 node0 하나뿐이어서 이 호스트에서는 서로 다른 NUMA node 사이의 remote memory access 구성이 성립하지 않는다. +- 이 host에서는 node가 하나뿐이라 실행 중 memory placement 변화가 있어도 remote NUMA라는 두 번째 위치가 생기지 않는다. `virtio-balloon` 장치가 있다는 사실도 NUMA node를 추가하지 않는다. 다중 NUMA 장비로 옮겼을 때만 vCPU 실행 위치와 QEMU memory placement를 별도로 다시 읽는다. -## 미지수 +## 단일 노드라 사라진 질문 -- 이 호스트가 단일 NUMA 노드인지 다중 NUMA 노드인지. -- 다중이라면 두 가상 머신의 vCPU 와 메모리가 각각 어느 노드에 배치되어 있는지. -- §78 이 든 명령 가운데 `numactl` 과 `numastat` 이 이 호스트에 깔려 있는지. -- 다중으로 나왔을 때 배치를 바꾸는 일이 지금 가상 머신 구성에서 가능한지. +현재 host의 NUMA topology에 대한 미지수는 해소됐다. node0 하나뿐이므로 현재 환경에서 서로 다른 NUMA node 사이의 remote memory access를 만들 수 없다. 다중 NUMA host에서의 배치 방법은 이 질문의 현재 답에 필요하지 않다. -## 제약 +## 이 결과의 적용 범위 -- 이 질문이 다중 노드로 닫혀도 여기서 NUMA 튜닝을 정하지 않는다. 상세한 메모리 배치는 §73~§78 과 그것을 받을 메모리 가상화 개념 기록이 다룬다. -- §24.11 쪽에는 예로 든 명령이 없고 §78 쪽 명령은 메모리 가상화 절에 있다. 그래서 실행한 명령과 그 출력을 함께 증거로 남긴다. -- 이 호스트의 노드 수를 잰 값이 없어 다른 장비의 노드 구성을 근거로 삼지 않는다. +- 다중 NUMA라는 사실만으로 pinning이나 memory binding을 적용하지 않는다. 실제 vCPU·메모리 배치와 지연 차이를 확인한 뒤에야 튜닝 여부를 판단한다. +- 「NUMA Locality 문제」쪽에는 예로 든 명령이 없고 「NUMA는 실제 장비 topology부터 확인한다」쪽 명령은 메모리 가상화 절에 있다. 그래서 실행한 명령과 그 출력을 함께 증거로 남긴다. +- 현재 판정은 다른 장비가 아니라 2026-09-21 `test-server`에서 직접 읽은 topology를 근거로 한다. -## 선택지 +## 토폴로지를 확인하는 방법 ### 1. 노드 수만 먼저 읽고 거기서 갈린다 @@ -76,14 +68,10 @@ source: ### 3. 메모리 가상화 쪽에서 함께 본다 — 제외 -상세한 메모리 배치를 §73~§78 이 다루므로 확인도 그쪽에서 하자는 방법이다. +상세한 메모리 배치를 「NUMA」~「NUMA는 실제 장비 topology부터 확인한다」에서는 다루므로 확인도 그쪽에서 하자는 방법이다. 지금 필요한 판단은 이 항목을 실험 목록의 어디에 둘지 하나이고, 그것은 노드 수만으로 갈린다. -§78 은 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다. +「NUMA는 실제 장비 topology부터 확인한다」에서는 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다. -## 다음 검증 +## 이 호스트에서는 NUMA 간 차이를 비교할 수 없다 -1. `lscpu` 를 NUMA 줄까지 받아 노드 수를 적고 `numactl --hardware` 로 한 번 더 본다 (§78). -2. 실행한 명령과 그 출력을 함께 증거로 남긴다. §24.11 쪽에 예로 든 명령이 없어서 무엇을 썼는지 적어 두지 않으면 다음 사람이 같은 값을 다시 읽지 못한다. -3. 다중 노드로 나오면 `virsh vcpupin ` 으로 vCPU 배치를, `numastat -p ` 로 그 QEMU 프로세스의 메모리 분포를 이어서 적는다 (§78). - -닫는 조건 : 단일 NUMA 노드로 나오면 §27 이 적은 대로 지금 실험에서 우선순위를 낮추고 닫는다. 다중 NUMA 노드로 나오면 vCPU 와 메모리 배치를 별도 Case 후보로 올리고 §24.11 과 함께 §73~§78 쪽으로 넘긴다. +현재 host는 single NUMA node다. 다중 NUMA 장비로 실험 환경이 바뀌면 다시 연다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-idle-vcpu-thread-appearance.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-idle-vcpu-thread-appearance.md index 314db87..10a06ed 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-idle-vcpu-thread-appearance.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-idle-vcpu-thread-appearance.md @@ -7,9 +7,12 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/4a2d3332-81c3-44fa-a4fb-216a41abb504/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt source: - final/document.md#20-이-concept에서-파생되는-open-question-oq-3 - final/document.md#10-guest가-idle이면-물리-cpu는-어떻게-되는가 @@ -18,106 +21,74 @@ source: # 게스트가 유휴 상태일 때 vCPU 스레드는 이 테스트 환경에서 어떻게 보이는가 -유휴와 부하 두 상태에서 QEMU 프로세스의 스레드 목록을 아직 어느 쪽도 찍지 않았다. §10 은 게스트에 할 일이 없으면 vCPU 스레드가 잠들거나 대기 상태로 들어가고, 그동안 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적었다. 그 서술이 이 환경에서도 보이는지, 이 QEMU 에서 그 스레드가 어떤 이름으로 나오는지가 남았다. +2026-09-21 `kc-lab-edge`의 1-vCPU QEMU를 synthetic CPU load 전후로 비교했다. baseline에서 `CPU 0/KVM` thread는 `S/Sl` 상태에 0~1% CPU였고, guest에서 `yes`를 돌리자 같은 thread가 `R` 상태로 바뀌며 약 99.7~99.9% CPU를 사용했다. 부하 종료 뒤 다시 `Sl` 상태와 0.1% 수준으로 돌아왔다. -## 관계 +## 유휴와 부하에서 보인 차이 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - vCPU 스레드가 왜 잠들 수 있는지, 무엇이 그것을 깨우는지를 이 개념이 설명한다. -- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가** - 같은 `ps -eLo` 출력의 `psr` 값을 본다. 여기서 스레드를 가려내는 방법이 정해지면 그쪽 측정이 바로 이어진다. +- 2026-09-21 재검증에서 `kc-lab-edge` QEMU PID는 `167796`, vCPU thread는 `167803`이며 이름은 `CPU 0/KVM`으로 보였다. baseline `top -H`에서는 QEMU thread 7~8개가 모두 sleep 상태였고 vCPU thread `%CPU`는 0~1%였다. +- 2026-09-21 재검증에서 guest에서 `timeout 12s yes`를 실행하자 `CPU 0/KVM` thread가 `R` 상태로 바뀌고 `%CPU=99.7~99.9`를 사용했다. 종료 후 3초 뒤 다시 `Sl`, 0.1% 수준으로 돌아왔다. -## 사실 +가상 머신에 4 vCPU를 설정했다고 해서 호스트 논리 CPU 네 개가 계속 예약되는 것은 아니다. 게스트에 실행할 작업이 없으면 게스트 커널이 idle 상태로 들어가고, HLT 같은 동작을 계기로 VM Exit 뒤 vCPU 스레드가 block/sleep 상태가 될 수 있다. 그동안 호스트 스케줄러는 해당 논리 CPU를 다른 작업에 쓸 수 있다. -가상 머신에 4 vCPU 를 설정했다고 해서 4개의 호스트 논리 CPU 가 계속 예약되지는 않는다 : §10 +다시 타이머·인터럽트·I/O 완료 같은 이벤트가 생기면 vCPU 스레드는 runnable 상태가 되고, 호스트 스케줄러가 논리 CPU에서 실행시킨 뒤 KVM/VM Entry를 거쳐 게스트 실행이 이어진다. -§10 이 그린 유휴 흐름 +「Guest가 idle이면 물리 CPU는 어떻게 되는가」에서는 깨우는 이유로 타이머, 인터럽트, I/O 완료를 든다. -Guest 에 실행할 작업 없음 -Guest Kernel idle -HLT 등 -VM Exit -KVM -vCPU Thread block/sleep +「QEMU thread 확인」에서는 ps -T -p 또는 top -H -p 로 vCPU 관련 스레드를 호스트에서 관찰할 수 있다고 적는다. 환경과 QEMU 버전에 따라 이름은 다를 수 있다는 단서를 함께 단다. -이때 호스트 스케줄러는 물리 CPU 를 호스트의 다른 작업에 쓸 수 있다 : §10 +「측정 환경」에서는 2026-09-10 에 이 호스트에서 qemu-system-x86_64 --version 을 받아 QEMU emulator version 11.1.1 을 적었다. 「QEMU thread 확인」에서는 이름이 다를 수 있다고 든 조건 가운데 QEMU 버전이 여기서 정해진다. -§10 이 그린 깨어나는 흐름 +「QEMU」에서는 가상 머신 하나가 호스트에서 QEMU 프로세스 하나로 돈다고 적었고, 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. -vCPU wake-up -runnable -Host Linux Scheduler -Logical CPU 에서 vCPU Thread 실행 -KVM / VM Entry -Guest 실행 재개 - -§10 은 깨우는 이유로 타이머, 인터럽트, I/O 완료를 든다. - -§14.6 은 ps -T -p 또는 top -H -p 로 vCPU 관련 스레드를 호스트에서 관찰할 수 있다고 적는다. 환경과 QEMU 버전에 따라 이름은 다를 수 있다는 단서를 함께 단다. - -§197 은 2026-09-10 에 이 호스트에서 qemu-system-x86_64 --version 을 받아 QEMU emulator version 11.1.1 을 적었다. §14.6 이 이름이 다를 수 있다고 든 조건 가운데 QEMU 버전이 여기서 정해진다. - -§222 는 가상 머신 하나가 호스트에서 QEMU 프로세스 하나로 돈다고 적었고, §218 은 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. - -§20 은 게스트의 유휴 상태와 CPU 부하 상태를 비교하라고 적고 확인 명령으로 둘을 든다. +유휴 상태와 CPU 부하 상태를 같은 명령으로 비교한다. top -H -p ps -eLo pid,tid,psr,pcpu,stat,comm -## 가정 +## 관찰 조건 -QEMU 프로세스의 PID 를 먼저 찾아야 한다. §197 이 잰 시점의 이 실험대는 게스트가 세 대라 §14.5 의 ps -ef | grep '[q]emu' 는 프로세스 셋을 준다. 셋 가운데 하나는 엣지 게스트이고 vCPU 1 이다(§194). 어느 PID 가 어느 가상 머신인지 가리는 방법은 아직 정하지 않았다. +먼저 대상 VM의 QEMU PID를 찾아야 한다. 게스트가 세 대라 `ps -ef | grep '[q]emu'`는 QEMU 프로세스도 세 개를 보여 준다. 프로세스 명령행의 도메인 이름이나 libvirt 정보로 어느 PID가 어느 VM인지 먼저 대응시킨 뒤 스레드를 본다. -vCPU 스레드를 이름으로 못 가리면 스레드 수를 그 가상 머신의 vCPU 수와 맞춰 가린다고 전제한다. kc-lab-1 과 kc-lab-2 라면 그 수가 2 다. +재검증에서는 QEMU thread ID와 이름을 직접 확인했고 edge VM의 vCPU thread는 `CPU 0/KVM`으로 식별됐다. 유휴라고 부를 상태를 이 가상 머신에서 만들 수 있다. 가상 머신 안에서 도는 것이 있으면 완전한 유휴가 아니다. pcpu 와 stat 를 한 번씩 찍은 값으로 두 상태를 가를 수 있다. -## 미지수 +## 이 측정 뒤에도 남는 것 -이 환경의 QEMU 에서 vCPU 스레드가 어떤 이름으로 보이는지. +이 환경에서 vCPU thread 이름과 idle/load 상태 변화는 해소됐다. edge VM에서는 `CPU 0/KVM`으로 보였고, synthetic load가 없을 때 sleep 상태와 낮은 CPU 사용률, CPU-bound일 때 running 상태와 약 100% 사용률이 관측됐다. -유휴 상태에서 그 스레드의 pcpu 와 stat 값. +유휴 중 짧게 깨어나는 개별 타이머/인터럽트 원인을 event 단위로 추적하는 것은 이 질문의 범위를 넘긴다. -CPU 부하를 걸었을 때 같은 두 값이 어떻게 바뀌는지. +## 상태값을 읽을 때 주의할 점 -vCPU 스레드 말고 어떤 스레드가 같은 QEMU 프로세스 아래에 함께 보이는지, 그 스레드들이 유휴 상태에서도 CPU 를 쓰는지. +2026-09-21 `kc-lab-edge`의 QEMU thread 목록과 `pcpu`·`stat`를 유휴와 CPU-bound 상태에서 나란히 측정했다. -유휴인데도 주기적으로 깨어나는 구간이 있는지. §10 은 타이머와 인터럽트를 깨우는 이유로 들었다. +「QEMU thread 확인」에서는 스레드 이름은 환경과 QEMU 버전에 따라 다를 수 있다고 적기 때문에, 이름으로 거르는 절차를 미리 굳혀 둘 수 없다. -## 제약 - -이 호스트에서 그 스레드 목록을 찍은 출력이 없다. §10 은 개념 흐름을 그린 것이고 이 환경의 실제 출력이 아니다. 결과가 §10 과 같으면 개념에 흡수되고 다르면 Case 가 되므로, 어느 쪽으로 갈리든 이 물음은 닫힌다. - -§14.6 이 스레드 이름은 환경과 QEMU 버전에 따라 다를 수 있다고 적기 때문에, 이름으로 거르는 절차를 미리 굳혀 둘 수 없다. - -§20 이 든 확인 명령 둘은 그 시점의 스레드 목록과 값을 보여 준다. §10 이 적은 HLT 에서 VM Exit 을 거쳐 block/sleep 으로 가는 전이를 단계마다 짚어 주지는 않는다. +`top -H`와 `ps -eLo ... stat`은 특정 시점의 스레드 상태를 보여 준다. HLT부터 VM Exit, block/sleep까지의 전이 순간을 단계마다 추적하는 도구는 아니므로 여기서는 상태 전후만 비교한다. 상태를 바꾸는 것 말고 가상 머신 구성은 건드리지 않는다. vCPU 수를 조정하면 유휴와 부하의 차이 대신 구성 차이를 보게 된다. -## 선택지 +## 유휴와 부하를 비교한 방법 ### 1. 스레드 이름부터 확정한다 -§14.6 의 ps -T -p 로 그 QEMU 프로세스의 스레드 목록을 받아, vCPU 스레드로 보이는 것이 그 가상 머신의 vCPU 수와 같은 수로 나오는지 맞춰 본다. 이름을 확정해 두면 뒤의 두 출력에서 어느 줄을 읽을지 정해진다. +「QEMU thread 확인」의 ps -T -p 로 그 QEMU 프로세스의 스레드 목록을 받아, vCPU 스레드로 보이는 것이 그 가상 머신의 vCPU 수와 같은 수로 나오는지 맞춰 본다. 이름을 확정해 두면 뒤의 두 출력에서 어느 줄을 읽을지 정해진다. ### 2. 유휴와 부하를 같은 명령 두 개로 찍어 나란히 둔다 -§20 이 확인 명령으로 top -H -p 와 ps -eLo pid,tid,psr,pcpu,stat,comm 둘을 들었다. 두 상태에서 같은 두 명령을 돌리면 pcpu 와 stat 두 열을 그대로 견줄 수 있다. §14.7 이 스레드가 어느 논리 CPU 에서 돌았는지 볼 때 든 ps 에는 stat 열이 없다. §20 은 이 물음의 확인 명령에만 그 열을 더했고, 스레드가 자고 있는지 실행 상태인지는 그 열에서 읽는다. +두 상태에서 `top -H -p `와 `ps -eLo pid,tid,psr,pcpu,stat,comm`을 같은 방식으로 찍는다. `pcpu`는 CPU 사용량을, `stat`는 스레드가 자고 있는지 실행 가능한지를 보여 주고, `psr`은 최근 실행된 논리 CPU를 알려 준다. ### 3. 호스트 쪽 CPU 사용량도 같이 본다 -§10 은 vCPU 스레드가 잠들면 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적는다. vCPU 스레드의 pcpu 만 보면 그 스레드가 CPU 를 안 쓴다는 데까지만 확인되고, 비워 준 CPU 를 호스트가 실제로 다른 작업에 썼는지는 안 보인다. +「Guest가 idle이면 물리 CPU는 어떻게 되는가」에서는 vCPU 스레드가 잠들면 호스트가 그 물리 CPU 를 다른 작업에 쓸 수 있다고 적는다. vCPU 스레드의 pcpu 만 보면 그 스레드가 CPU 를 안 쓴다는 데까지만 확인되고, 비워 준 CPU 를 호스트가 실제로 다른 작업에 썼는지는 안 보인다. ### 4. 제외 — 추적으로 전이 시점을 직접 잡는다 -HLT 로 VM Exit 이 나고 스레드가 잠드는 순간을 추적하면 §10 의 흐름을 단계마다 확인할 수 있다. 그러나 이 질문은 두 상태의 출력이 갈리는지를 묻고 §20 도 확인 명령을 두 줄로 적어 두었기 때문에, 더 무거운 도구는 두 출력이 갈리지 않을 때 꺼낸다. +HLT 이후 스레드가 잠드는 순간까지 직접 추적할 수도 있지만 처음부터 그렇게 하지 않는다. 유휴와 부하의 `pcpu`·`stat`가 구분되지 않을 때만 스케줄러나 KVM 추적으로 내려간다. -## 다음 검증 +## idle에서는 잠들고, CPU 부하를 주면 다시 깨어났다 -1. 가상 머신을 유휴 상태로 둔 채 top -H -p 와 ps -eLo pid,tid,psr,pcpu,stat,comm 을 찍는다. -2. 같은 가상 머신에 CPU 부하를 걸고 같은 두 명령을 다시 찍는다. -3. 두 출력을 나란히 둔다. §20 이 적은 확인 명령 그대로다. - -닫는 조건 : 유휴 상태에서 vCPU 스레드의 pcpu 가 0 에 가깝고 stat 가 sleep 계열이며 부하에서 실행 상태로 바뀌면, §10 의 서술이 이 환경에서도 성립하는 것으로 개념의 확인 사례에 흡수하고 닫는다. 두 상태에서 출력이 갈리지 않거나 §10 과 반대로 나오면 그 출력이 Case 가 된다. +이 환경의 QEMU vCPU thread는 guest가 유휴에 가까울 때 sleep 상태와 낮은 CPU 사용률로 보이고, CPU-bound workload를 주면 running 상태와 높은 CPU 사용률로 전환된다. 부하를 제거하면 다시 sleep 상태로 돌아오는 것도 확인했다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-is-production-on-a-hypervisor.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-is-production-on-a-hypervisor.md index 90f76e7..6227961 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-is-production-on-a-hypervisor.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-is-production-on-a-hypervisor.md @@ -8,6 +8,7 @@ topicName: CPU 가상화 project: virtualization status: 초안 questionStatus: OPEN +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/2acec7d5-3eaf-4115-9d61-45647c4ec01e/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 source: @@ -18,29 +19,23 @@ source: # 운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가 -운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 SSOT 에 적혀 있지 않다. -§25 의 진단표에는 Virtualization 과 Host 계층에만 걸리는 행이 따로 있어서, 그 구조가 정해져야 어느 행을 운영 진단에 쓸지 고를 수 있다. +운영 서버가 bare-metal인지, 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 아직 확인하지 못했다. 이번 세션이 접근한 대상은 `test-server`뿐이며 운영 서버의 구성 기록이나 명령 출력은 새로 확보하지 않았다. 테스트 환경의 KVM 구조를 운영 구조로 복사해 쓰지 않는다. -## 관계 +## 현재 문서에서 아는 운영 정보 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 운영 서버가 가상 머신 위라면 무엇이 더 끼어드는지를 설명한 기록이다. - -## 사실 - -§18 은 호스트 OS 에 K3s 를 직접 설치했을 때의 CPU 경로를 적었다. +「Bare-metal K3s와 VM 기반 K3s의 차이」에서는 호스트 OS 에 K3s 를 직접 설치했을 때의 CPU 경로를 적었다. 컨테이너에서 도는 작업은 K3s 와 컨테이너 런타임을 지나 호스트 Linux 스케줄러로, 다시 물리 CPU 로 간다. 그 호스트 위에 별도 가상 머신이 없다면 그 작업이 QEMU 와 /dev/kvm, KVM, VMX 경로를 타지는 않는다. 컨테이너의 프로세스는 호스트 커널을 공유하고 호스트 스케줄러가 직접 스케줄링한다. 가상 머신 안에 K3s 를 구성하면 계층이 더 붙는다. -§18 이 든 것은 게스트 Linux 와 K3s, vCPU, QEMU vCPU 스레드, 호스트 Linux 스케줄러, KVM / VMX 다. +「Bare-metal K3s와 VM 기반 K3s의 차이」에서 든 것은 게스트 Linux 와 K3s, vCPU, QEMU vCPU 스레드, 호스트 Linux 스케줄러, KVM / VMX 다. 그래서 같은 부하 테스트라도 가상 머신 기반 환경에서는 호스트 가상화 자원 병목을 추가로 확인해야 한다. -§20 의 OQ-6 은 두 경로를 K3s -> Host Scheduler -> Physical CPU 와 K3s -> Guest -> vCPU -> Hypervisor -> Physical CPU 로 나란히 적고, 구조에 따라 진단 지표가 달라진다고 밝혔다. +CPU 경로는 두 가지로 나뉜다. bare-metal이면 `K3s → Host Scheduler → Physical CPU`, 가상 머신 기반이면 `K3s → Guest → vCPU → Hypervisor → Physical CPU`다. 어느 경로인지에 따라 볼 지표가 달라진다. -§25 의 진단표는 문제마다 주된 계층을 갈라 적었다. +「CPU 문제를 계층별로 구분하는 진단표」의 진단표는 문제마다 주된 계층을 갈라 적었다. vCPU 과다 할당 : VM 구성 CPU overcommit : Host 구성 @@ -50,41 +45,41 @@ CPU contention · Scheduling latency : Host Scheduler Steal time 증가 : Guest 에서 관측 Host CPU saturation : Host -§218 은 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다. -§284 는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 SSOT 가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다. +「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다. +「nginx 설정 구조 — `sites-available`은 nginx 기능이 아니다」에서는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 기존 문서가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다. -운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 SSOT 에 적혀 있지 않다. +운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 기존 문서에 적혀 있지 않다. -## 가정 +## 판단에 필요한 전제 -운영 서버도 K3s 로 Keycloak 을 돌린다고 전제한다. §20 이 나눈 두 경로는 둘 다 K3s 에서 시작한다. +운영 서버도 K3s에서 Keycloak을 실행한다고 전제한다. 이 전제가 틀리면 위 두 경로 비교부터 다시 잡아야 한다. -운영 서버가 그 두 갈래 중 하나라고 전제한다. 중첩 가상화처럼 계층이 더 들어가는 구성은 이 물음에 넣지 않았다. +운영 서버가 bare-metal 또는 단일 하이퍼바이저/클라우드 VM 중 하나라고 전제한다. 중첩 가상화처럼 계층이 더 들어가는 구성은 이번 범위에서 제외한다. -구조가 정해지면 §25 의 진단표를 운영 진단에도 그대로 쓴다고 전제한다. 진단표를 만든 근거는 이 테스트 환경이다. +구조가 정해지면 「CPU 문제를 계층별로 구분하는 진단표」의 진단표를 운영 진단에도 그대로 쓴다고 전제한다. 진단표를 만든 근거는 이 테스트 환경이다. -## 미지수 +## 아직 모르는 한 가지 운영 서버가 bare-metal 호스트에 직접 K3s 를 설치한 것인가, 상위 하이퍼바이저나 클라우드 가상 머신 위에 있는가. 하이퍼바이저 위라면 그 호스트의 CPU 지표를 볼 수 있는가. -클라우드 가상 머신이면 호스트 쪽 실행 대기열과 사용률을 읽을 수 없어 §25 의 Host 행을 그대로 쓰기 어려워진다. +클라우드 가상 머신이면 호스트 쪽 실행 대기열과 사용률을 읽을 수 없어 「CPU 문제를 계층별로 구분하는 진단표」의 Host 행을 그대로 쓰기 어려워진다. 운영 서버에 직접 붙어 명령을 돌릴 수 있는가. -## 제약 +## 이 질문의 범위 -이 물음은 부하를 걸어 재는 것이 아니라 구성을 확인해서 닫는다. +이건 부하를 걸어 재는 질문이 아니다. 서버가 어느 계층 위에서 실행되는지만 확인하면 된다. -§14.1~§14.3 은 그 장비가 가상 머신을 직접 돌리는 호스트인지를 보여 준다. +「VMX/SVM 지원 확인」~「/dev/kvm 확인」에서는 그 장비가 가상 머신을 직접 돌리는 호스트인지를 보여 준다. 그 장비 자신이 어떤 하이퍼바이저의 게스트인지는 이 세 명령이 말해 주지 않는다. -구조가 정해지기 전에는 §25 의 어느 행을 운영 진단에 넣을지 고를 수 없다. +구조가 정해지기 전에는 「CPU 문제를 계층별로 구분하는 진단표」의 어느 행을 운영 진단에 넣을지 고를 수 없다. -§25 는 그 표의 목적을 「하나의 지표로 장애 원인을 확정하는 것이 아니라, 어느 계층부터 조사해야 하는지 범위를 줄이는 것」이라고 적었다. -그래서 이 물음이 닫혀도 운영 장애의 원인이 정해지는 것은 아니다. 정해지는 것은 어느 계층부터 조사할지다. +「CPU 문제를 계층별로 구분하는 진단표」에서는 그 표의 목적을 「하나의 지표로 장애 원인을 확정하는 것이 아니라, 어느 계층부터 조사해야 하는지 범위를 줄이는 것」이라고 적었다. +구조를 확인해도 운영 장애의 원인이 정해지는 것은 아니다. 달라지는 것은 어느 계층부터 조사할지다. -## 선택지 +## 운영 서버에서 확인할 방법 ### 1. 구성 기록과 도입 경로로 확인한다 @@ -93,22 +88,21 @@ Host CPU saturation : Host 기록이 실제 구성과 어긋나 있으면 어긋난 채로 적히므로 2번과 함께 쓴다. -### 2. 서버에 붙어 명령으로 확인한다 +### 2. 서버에 붙어 보조 신호를 확인한다 -§14.1~§14.3 의 grep -E 'vmx|svm' /proc/cpuinfo · lsmod | grep kvm · ls -l /dev/kvm 로 그 장비가 가상 머신을 직접 돌리는 호스트인지부터 적는다. -이어서 게스트 안에서 top 의 %st 가 관측되는지 본다. +「VMX/SVM 지원 확인」~「/dev/kvm 확인」의 `grep -E 'vmx|svm' /proc/cpuinfo` · `lsmod | grep kvm` · `ls -l /dev/kvm`은 **그 OS가 KVM host 역할을 할 수 있거나 실제 KVM 모듈을 쓰고 있는지**를 보는 신호다. 이 값만으로 그 OS 자체가 bare-metal인지 어떤 상위 hypervisor의 guest인지까지 결정할 수는 없다. 게스트 환경이라면 `systemd-detect-virt` 같은 가상화 탐지 결과와 인프라 구성 기록, 클라우드 provider 정보도 함께 본다. -세 명령이 모두 비어 있으면 그 장비가 가상 머신을 직접 돌리지는 않는다는 뜻이고, 그 위에 하이퍼바이저가 있는지는 1번의 구성 기록으로 가른다. +`top`의 `%st`도 보조 지표다. steal time이 관측되면 상위 스케줄링 계층을 의심할 근거가 되지만, 0이라고 해서 bare-metal임이 증명되지는 않는다. ### 3. 제외 — 테스트 환경의 구조를 운영에 옮겨 적는다 테스트 환경이 가상 머신 위라는 것이 운영 서버의 구조를 말해 주지 않는다. -두 환경을 같다고 적으면 §25 의 Virtualization 행을 근거 없이 운영 진단에 넣게 된다. +두 환경을 같다고 적으면 「CPU 문제를 계층별로 구분하는 진단표」의 Virtualization 행을 근거 없이 운영 진단에 넣게 된다. -## 다음 검증 +## 다음 확인 1. 운영 서버의 구성 기록이나 도입 경로로 bare-metal 인지 하이퍼바이저 / 클라우드 가상 머신 위인지 확인한다. -2. 서버에 붙을 수 있으면 §14.1~§14.3 의 grep -E 'vmx|svm' /proc/cpuinfo · lsmod | grep kvm · ls -l /dev/kvm 으로 그 장비가 가상 머신을 직접 돌리는 호스트인지 적는다. -3. 게스트 안에서 top (§14.8) 의 %st 가 관측되는지 함께 본다. +2. 서버에 붙을 수 있으면 `systemd-detect-virt`와 인프라/클라우드 메타데이터로 상위 가상화 여부를 먼저 확인하고, VMX/SVM · KVM 모듈 · `/dev/kvm`은 그 OS의 KVM host 능력/사용 여부를 보는 보조 신호로 함께 기록한다. +3. `%st`가 관측되는지도 함께 보되, 값이 0이라는 이유만으로 bare-metal이라고 판정하지 않는다. -닫는 조건 : 운영 서버가 bare-metal 로 확인되면 §25 의 Virtualization · Host 행을 운영 진단에서 빼도 된다고 적고 닫는다. 하이퍼바이저나 클라우드 가상 머신 위로 확인되면 그 사실이 운영 진단의 전제가 되고, §25 의 어느 행을 운영에서 쓸지는 그 뒤 Decision 이 정한다. +운영 서버가 bare-metal 로 확인되면 「CPU 문제를 계층별로 구분하는 진단표」의 Virtualization · Host 행을 운영 진단에서 빼도 된다고 기록한다. 하이퍼바이저나 클라우드 가상 머신 위로 확인되면 그 사실이 운영 진단의 전제가 되고, 「CPU 문제를 계층별로 구분하는 진단표」의 어느 행을 운영에서 쓸지는 그 뒤 측정 결과를 본 뒤 정한다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-pinning-before-and-after.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-pinning-before-and-after.md index 36f78c7..fd325ae 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-pinning-before-and-after.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-pinning-before-and-after.md @@ -7,9 +7,19 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/62319064-17ef-4b2f-bf8b-e363cd0e36a6/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt source: - final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-10 - final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-7 @@ -18,16 +28,15 @@ source: # CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가 -이 호스트에서는 pinning 을 걸지 않은 상태의 Keycloak 지연도, 건 상태의 지연도 아직 재지 않았다. CPU pinning 은 vCPU 스레드가 실행될 호스트 논리 CPU 를 특정 집합으로 제한하는 설정이다. 논리 코어 8 과 게스트별 vCPU 2 는 §197 · §218 에 나왔지만, 묶은 뒤 지연과 CPU 별 사용률이 어떻게 달라지는지는 재 봐야 갈린다. +2026-09-21 두 worker를 live pinning으로 `kc-lab-1 vCPU0/1 → pCPU 0/1`, `kc-lab-2 vCPU0/1 → pCPU 2/3`에 묶고 동일 OIDC read-only 부하를 전후로 비교했다. pinning 전에는 같은 vCPU TID의 `PSR`이 여러 pCPU 사이를 이동했지만 pinning 뒤에는 각각 0/1/2/3에 고정됐다. 그러나 **Keycloak latency/throughput 개선은 반복 실행에서 재현되지 않았다.** -## 관계 +## pinning 전후 비교 결과 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - pinning 도 CPU 격리도 하지 않았을 때 vCPU 스레드를 누가 어디에 배치하는지를 이 개념이 설명한다. -- **pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가** - 그쪽이 이동 자체를 관측하고, 이 질문은 그 이동을 없앴을 때 Keycloak 지연이 달라지는지를 받는다. - -## 사실 +- 2026-09-21 재검증에서 unpinned 상태의 worker vCPU affinity는 모두 `0-7`이었다. 15초 샘플에서 `kc-lab-1` vCPU0 TID `272131`은 pCPU `0,2,3,4,5,6,7`에서, 다른 vCPU TID들도 여러 pCPU에서 관측됐다. +- 2026-09-21 재검증에서 live pinning 뒤에는 `272131→0`, `272132→1`, `272156→2`, `272157→3`으로 모든 샘플이 고정됐다. 즉 pinning이 scheduling migration을 실제로 제거한 것은 확인됐다. +- 2026-09-21 재검증에서 첫 2000회/concurrency 20 비교는 unpinned `768.4 rps / avg 25.8 ms / p95 36.9 ms`, pinned `616.0 rps / avg 32.2 ms / p95 46.3 ms`로 pinned 쪽이 느렸다. +- 2026-09-21 재검증에서 반복 비교는 unpinned `793.9 rps / avg 25.0 ms / p95 32.7 ms`, pinned `781.7 rps / avg 25.4 ms / p95 33.6 ms`로 거의 비슷했다. 첫 실행의 큰 차이가 반복되지 않았으므로 pinning이 지연을 개선하거나 악화한다고 일반화하지 않는다. +- 2026-09-21 재검증에서 실험 종료 뒤 worker vCPU affinity를 모두 `0-7`로 복원했다. - CPU pinning 은 특정 vCPU 스레드를 특정 호스트 논리 CPU 에 제한하는 설정이다. - 적절히 쓰면 스케줄링 변동을 줄일 수 있고, 잘못 설정하면 특정 CPU 에 작업이 집중될 수 있다. @@ -36,35 +45,31 @@ source: 치우침을 만드는 쪽에 호스트 프로세스가 함께 들어 있다. - 스레드가 최근 실행된 논리 CPU 는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 의 PSR 로 볼 수 있다. - PSR 값 하나가 vCPU 가 물리 CPU 에 영구 고정되어 있다는 뜻은 되지 않는다. pinning 을 걸지 않았다면 스케줄링에 따라 달라질 수 있다. -- 이 호스트의 논리 코어는 8 이고(§197), kc-lab-1 과 kc-lab-2 에 준 vCPU 는 각각 2 다(§218). 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다(§197). -- pinning 이 지금 작업에서 실제 이점을 주는지는 실험으로 확인하기로 했고, 아직 그 실험을 돌리지 않았다. +- 이 호스트의 논리 코어는 8 이고(「측정 환경」), kc-lab-1 과 kc-lab-2 에 준 vCPU 는 각각 2 다(「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」). 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다(「측정 환경」). +- 2026-09-21 동일 OIDC read-only 부하를 pinning 전후로 두 차례 비교했다. migration 제거는 재현됐지만 latency/throughput 개선은 반복 재현되지 않았다. -## 가정 +## A/B 비교 조건 -- 지금 두 가상 머신에 pinning 도 별도의 친화도 설정도 걸려 있지 않다고 보고 「전」 실행을 잡는다. - 걸려 있는지는 개념 문서에 적혀 있지 않아 실행할 때 함께 확인한다. -- pinning 없이 돌리면 같은 tid 의 PSR 이 시간에 따라 바뀐다고 본다. - 이 호스트에서 그 이동을 아직 관측하지 않았다. +- baseline에서 두 worker의 vCPU affinity가 모두 `0-7`임을 먼저 확인했다. +- 같은 TID의 `PSR`을 반복 샘플링해 unpinned 상태에서 실제 migration이 일어나는 것도 확인했다. - 두 실행에 같은 Keycloak 부하를 같은 방식으로 걸 수 있다고 전제한다. - 두 실행 사이에 vCPU 수와 가상 머신 배치를 바꾸지 않는다고 두고 짠다. 그래야 차이를 pinning 쪽으로 읽을 수 있다. -## 미지수 +## migration 제거와 성능 개선은 달랐다 -- pinning 뒤 Keycloak 지연이 달라지는지, 달라진다면 어느 방향인지. -- 같은 tid 의 PSR 변동이 실제로 줄어드는지. -- 변동이 줄어드는 대신 특정 논리 CPU 로 작업이 몰리는지. -- 어떤 논리 CPU 집합에 묶을지. 논리 코어 8 과 게스트별 vCPU 2 는 §197 · §218 에 나왔지만, 그 여덟 가운데 어느 코어에 묶을지는 CPU 별 사용률을 보고 정해야 한다. -- 호스트 쪽 Nginx 와 다른 호스트 프로세스가 그 집합을 함께 쓰는지. §179 는 그 Nginx 를 엣지 게스트로 옮겼다고 적었으므로, 묶을 집합을 고르기 전에 호스트에 무엇이 남아 있는지부터 이번 실행에서 적는다. +pinning이 PSR migration을 줄이는지는 해소됐다. 이번 구성에서는 완전히 고정됐다. 반면 Keycloak latency/throughput 이점은 두 A/B 실행에서 일관되게 나타나지 않았다. -## 제약 +따라서 현재 남는 문제는 `어느 pCPU 조합이 최적이냐`가 아니라, **실제 workload에서 pinning을 유지할 운영상 근거가 있느냐**다. 이번 측정만으로는 그 근거가 없다. + +## 결과를 일반화하지 않는 이유 - pinning 여부만으로 판정하지 않는다. 지연과 PSR 변동, CPU 별 사용률 셋을 같은 실행에서 받아 적는다. - 「전」과 「후」 두 실행의 부하가 같아야 지연 차이를 pinning 쪽으로 읽을 수 있다. -- 이 호스트에서 지연도 PSR 변동도 CPU 별 사용률도 잰 값이 없어 견줄 값을 이번 실행이 함께 만든다. +- 이 실험에서 latency/throughput, PSR 변동, CPU affinity를 같은 전후 비교에 함께 기록했다. - 이 실행 전에 pinning 을 쓸지 말지를 먼저 정하지 않는다. 잰 값이 없는 상태로 정하면 그 선택이 감수하는 비용을 적을 수 없다. -- 묶는 대상은 vCPU 스레드다. 게스트 안의 Keycloak 파드 배치는 이 질문이 다루지 않는다. +- 묶는 대상은 vCPU 스레드다. 게스트 안의 Keycloak 파드 배치는 이번 비교에서 바꾸지 않는다. -## 선택지 +## 같은 부하를 pinning 전후로 반복했다 ### 1. 같은 부하로 전후 두 실행을 재고 세 항목을 나란히 놓는다 @@ -84,11 +89,6 @@ pinning 없이 Keycloak 부하를 걸어 지연과 PSR 변동과 CPU 별 사용 전후 지연만 재면 실행 하나가 짧아진다. 다만 잘못 건 pinning 도 짧은 구간에서는 지연이 좋아진 것으로 보일 수 있다. 그 경우를 가려내려고 CPU 별 사용률과 친화도를 함께 보기로 했으므로 이 방법은 쓰지 않는다. -## 다음 검증 +## migration은 사라졌지만 지연 개선은 재현되지 않았다 -1. pinning 을 걸지 않은 상태에서 Keycloak 부하를 걸고, 지연과 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 의 PSR 변동, CPU 별 사용률을 남긴다. -2. 같은 실행에서 그 가상 머신에 친화도 설정이 이미 걸려 있는지도 함께 적는다. -3. vCPU 스레드를 논리 CPU 에 묶고 같은 부하를 다시 걸어 같은 세 항목을 남긴다. -4. 두 실행을 나란히 놓고 지연 차이와 CPU 별 사용률의 치우침을 함께 읽는다. - -닫는 조건 : pinning 뒤 지연이 좋아지고 CPU 별 사용률이 특정 CPU 로 몰리지 않으면, pinning 을 쓸지 말지를 Decision 으로 넘긴다. 그 Decision 이 감수할 비용은 잘못 건 pinning 이 특정 CPU 에 작업을 집중시킨다는 것이다. 두 실행에서 지연 차이가 없으면 이 작업에서는 pinning 이 이점을 주지 않는다고 적고 닫는다. +pinning은 vCPU migration을 확실히 제거했지만 동일 Keycloak read-only 부하에서 latency/throughput 개선은 반복 재현되지 않았다. 따라서 현재 실험대에는 pinning을 기본 설정으로 적용하지 않고 unpinned `0-7` affinity를 유지한다. workload나 host CPU 배치가 바뀌면 같은 A/B 방식으로 다시 검증한다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-steal-time-increase-under-two-cpu-bound-vms.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-steal-time-increase-under-two-cpu-bound-vms.md index df6ceeb..7ad91f5 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-steal-time-increase-under-two-cpu-bound-vms.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-steal-time-increase-under-two-cpu-bound-vms.md @@ -7,9 +7,13 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/2d058fb5-01f1-4be8-80bb-0e377868573c/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt source: - final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-7 - final/document.md#13-steal-time @@ -18,70 +22,56 @@ source: # 가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가 -이 호스트에서 게스트의 steal time(`%st`)을 잰 값이 없어 부하 전 기준값부터 남겨야 한다. -논리 코어는 8 이고(§197) 두 게스트에 준 vCPU 는 각각 2 다(§218). 둘을 더해도 코어 수를 넘지 않는다. 그런 구성에서도 두 대를 동시에 CPU-bound 로 만들면 `%st` 가 오르는지는 §27 이 든 네 항목을 부하 전후로 찍어야 갈린다. +2026-09-21 두 worker의 vCPU를 동시에 CPU-bound로 만든 10초 관측 구간에서 **guest steal time은 증가하지 않았다.** `kc-lab-1`과 `kc-lab-2` 모두 부하 중 `vmstat`의 `st`가 전 구간 0%였고, host에는 약 49~50% idle CPU가 남았다. -## 관계 +## 두 worker를 CPU-bound로 만든 결과 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 게스트가 관측하는 steal time 이 호스트에서 무엇 때문에 생기는지를 설명한 기록이다. -- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가** - 같은 부하 실행을 쓴다. 경쟁이 있는지를 묻는 쪽과 그것이 `%st` 로 얼마나 보이는지를 묻는 쪽으로 갈린다. -- **vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가** - 총 vCPU 를 늘린 구성에서 `%st` 가 어떻게 달라지는지가 그쪽 실행에서 다시 나온다. +- 2026-09-21 재검증에서 baseline에서 `kc-lab-1`의 `st`는 대부분 0%, 한 샘플 1%였고 `kc-lab-2`는 0%였다. CPU-bound 구간에서는 두 guest 모두 모든 샘플이 `st=0%`였다. +- 2026-09-21 재검증에서 부하 중 각 worker는 guest `id=0%`로 자기 vCPU를 모두 사용했지만 host는 `gu≈50%`, `id≈49~50%`였다. guest CPU 포화와 host CPU contention은 같은 상태가 아니다. -## 사실 +「Steal Time」에서는 게스트 Linux 에서 top 등의 CPU 지표를 볼 때 st(steal time)를 확인할 수 있다고 적었다. -§13 은 게스트 Linux 에서 top 등의 CPU 지표를 볼 때 st(steal time)를 확인할 수 있다고 적었다. - -§13 이 적은 steal time 은 이런 상황을 가리키는 단서다. +「Steal Time」에 적은 steal time 은 이런 상황을 가리키는 단서다. 게스트 vCPU 에 실행할 작업이 있고, 호스트에서 vCPU 스레드가 CPU 를 필요로 하는데, 다른 작업 때문에 즉시 실행되지 못한다. 높은 steal time 은 가상화 환경에서 호스트 CPU 경쟁이나 CPU 초과 할당을 의심할 수 있는 지표 중 하나다. 다만 그 값 하나로 원인을 확정해서는 안 되고, 호스트 CPU 포화와 실행 대기열, 친화도, 어떤 작업이 돌고 있었는지를 함께 확인해야 한다고 같은 절이 적었다. -§24.4 는 게스트에 실행할 작업이 있는데 하이퍼바이저나 호스트가 그 vCPU 스레드를 즉시 실행시키지 못한 시간을 게스트가 steal time 으로 관찰한다고 적었다. +「Steal Time 증가」에서는 게스트에 실행할 작업이 있는데 하이퍼바이저나 호스트가 그 vCPU 스레드를 즉시 실행시키지 못한 시간을 게스트가 steal time 으로 관찰한다고 적었다. 그 값은 게스트의 top 등에서 %st 로 본다. 같은 절은 높은 steal time 을 호스트 CPU 경쟁 또는 초과 할당을 조사하라는 단서로 두되, 단독으로 원인을 확정하는 지표는 아니라고 적었다. -§24.3 은 경쟁 대상이 QEMU vCPU 스레드만은 아니라고 적었다. +「CPU Contention」에서는 경쟁 대상이 QEMU vCPU 스레드만은 아니라고 적었다. 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 테스트 환경에서는 가상 머신 밖의 호스트 작업도 CPU 경쟁에 포함된다. -§197 은 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이다. +「측정 환경」에서는 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이다. 같은 절은 VM 에 주는 vCPU 가 논리 코어를 나눠 쓰는 것이고 합이 8 을 넘어도 libvirt 는 막지 않는다고 적으면서, 이 실험대는 2 + 2 + 1 = 5 로 잡아 여유를 뒀다고 덧붙였다. -§218 의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. +「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. -§27 의 OQ-7 은 함께 측정할 항목으로 넷을 들었다. +같은 시각에 측정할 항목은 넷이다. Host CPU utilization Host run queue QEMU vCPU thread 각 Guest 의 %st -이 호스트에서 %st 를 실제로 잰 값은 없다. +2026-09-21 baseline과 두-worker CPU-bound 구간에서 `%st`를 직접 측정했다. -## 가정 +## 부하 조건 -두 가상 머신을 동시에 CPU-bound 로 만들면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁하게 된다고 전제한다. -두 게스트의 vCPU 합 4 는 논리 코어 8 보다 적어서 §12 가 그린 초과 할당 상태는 아니다. 그래도 경쟁이 생기는지는 같은 코어를 호스트 쪽 작업이 얼마나 쓰는지에 달려 있어 아직 전제로 둔다. +실험 전에는 두 worker를 동시에 CPU-bound로 만들면 host 경쟁이 나타날 가능성을 열어 두었다. 실제 측정에서는 worker vCPU 합 4가 host logical CPU 8보다 작고 host idle이 약 절반 남아, 이번 조건에서는 그 전제가 성립하지 않았다. -두 게스트에 같은 정도의 부하를 걸 수 있다고 전제한다. -한쪽이 더 세게 걸리면 두 %st 를 나란히 놓고 읽을 수 없다. +실제 재검증에서는 두 worker에 각각 `yes` 2개를 실행해 각 VM의 2 vCPU를 모두 CPU-bound로 만들었다. -부하 전과 부하 중을 각각 한 번씩 찍으면 비교할 수 있다고 전제한다. -값이 흔들리면 한 번씩 찍은 두 값만으로는 증가인지 흔들림인지 갈리지 않는다. +baseline과 부하 구간을 연속 샘플로 남겨 단일 순간값이 아니라 구간의 변화를 비교했다. -## 미지수 +## steal 0%가 답하지 않는 것 -두 가상 머신을 동시에 CPU-bound 로 만들었을 때 각 게스트의 %st 가 부하 전 대비 얼마나 오르는가. +이번 구성과 부하 수준의 steal time 변화는 해소됐다. 두 worker 모두 부하 중 `st=0%`였고 baseline보다 증가하지 않았다. overcommit이나 host-side CPU load를 추가한 조건에서 steal이 언제 나타나는지는 별도 실험이다. -그 증가가 호스트 실행 대기열과 같은 방향으로 움직이는가. +## contention 판정 기준 -부하 구간에 호스트 쪽 작업이 같은 논리 코어를 얼마나 쓰는가. - -## 제약 - -§13 이 steal time 하나로 원인을 확정하지 않는다고 적었으므로 %st 만 재서는 이 물음이 닫히지 않는다. +`%st` 하나만으로 원인을 정하지 않는다. 같은 시각의 호스트 CPU 사용률과 실행 대기열, QEMU vCPU 스레드 사용량을 함께 봐야 한다. 부하 전 기준값을 먼저 남기지 않으면 부하 중 값만으로 증가를 적을 수 없다. @@ -89,16 +79,15 @@ QEMU vCPU thread 부하 구간에 호스트에서 Nginx 같은 다른 작업이 함께 돌면 %st 의 증가분을 두 가상 머신 사이의 경쟁으로만 읽을 수 없다. -§24.3 이 그 목록을 그릴 때 둔 환경은 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 구성이다. §179 는 그 Nginx 를 엣지 게스트로 옮겼고 호스트가 직접 들던 `:443` 에는 지금 리스너가 없다고 적었으므로, 부하 구간에 호스트 쪽에서 무엇이 도는지는 그 목록이 아니라 그때의 호스트에서 받아 적는다. +「CPU Contention」에서는 그 목록을 그릴 때 둔 환경은 호스트에 Nginx 를 직접 설치하고 가상 머신 두 대를 실행하는 구성이다. 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그 Nginx 를 엣지 게스트로 옮겼고 호스트가 직접 들던 `:443` 에는 지금 리스너가 없다고 적었으므로, 부하 구간에 호스트 쪽에서 무엇이 도는지는 그 목록이 아니라 그때의 호스트에서 받아 적는다. -OQ-1 과 이 물음은 같은 부하 실행에서 값을 얻는다. 그래도 한 물음으로 합치지 않았다. -합치면 경쟁이 있었다는 결론과 그것이 %st 로 얼마나 보였다는 결론 가운데 어느 쪽 기준으로 닫혔는지가 남지 않는다. +호스트 경쟁 여부와 게스트의 `%st` 변화는 같은 부하 실행에서 함께 얻을 수 있다. 다만 두 값은 역할이 다르다. 호스트 지표는 경쟁이 실제로 생겼는지를 보여 주고, `%st`는 그 경쟁이 게스트에서 어떻게 보였는지를 보여 준다. -## 선택지 +## baseline과 부하를 비교한 방법 ### 1. 부하 전후로 네 항목을 같은 실행에서 남긴다 -§27 이 든 네 항목을 부하 전에 한 번, 두 가상 머신을 동시에 CPU-bound 로 만든 뒤에 한 번 같은 시각으로 기록한다. +호스트 CPU 사용률, 실행 대기열, QEMU vCPU 스레드 사용량, 게스트 `%st`를 부하 전에 한 번 기록하고 두 VM을 동시에 CPU-bound로 만든 뒤 같은 방법으로 다시 기록한다. %st 가 올랐을 때 호스트 실행 대기열도 함께 올랐는지를 같은 표에서 읽을 수 있다. 실행이 한 번이라 값이 흔들리는 정도는 알 수 없다. 흔들림이 의심되면 부하 구간을 늘려 여러 번 찍는다. @@ -106,17 +95,13 @@ OQ-1 과 이 물음은 같은 부하 실행에서 값을 얻는다. 그래도 ### 2. 제외 — %st 만 부하 전후로 비교한다 찍을 것이 하나뿐이라 실행은 가볍다. -다만 §13 이 함께 확인하라고 든 호스트 CPU 포화와 실행 대기열이 빠져서, %st 가 올라도 그것이 호스트 경쟁 때문인지 게스트 쪽 작업 때문인지 가를 수 없다. +다만 「Steal Time」에서는 함께 확인하라고 든 호스트 CPU 포화와 실행 대기열이 빠져서, %st 가 올라도 그것이 호스트 경쟁 때문인지 게스트 쪽 작업 때문인지 가를 수 없다. ### 3. 제외 — 가상 머신 한 대만 CPU-bound 로 만들어 비교군을 하나 더 만든다 -이 물음이 묻는 것은 두 대를 동시에 부하로 만든 상태이고, 부하 전 값이 이미 비교군이다. +여기서 필요한 비교군은 부하 전 상태다. 한 VM만 부하를 건 별도 구간은 동시 부하 결과가 애매할 때 추가한다. 한 대 부하가 필요해지면 1번 실행을 마친 뒤에 따로 더한다. -## 다음 검증 +## 두 worker를 함께 태워도 steal은 오르지 않았다 -1. 부하 전에 Host CPU utilization 과 run queue, ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 의 QEMU vCPU thread 사용량, 각 Guest 의 top (§14.8) %st 를 기준값으로 남긴다. -2. 가상 머신 두 대를 동시에 CPU-bound 로 만든다. -3. 같은 네 항목을 같은 시각에 다시 기록한다. - -닫는 조건 : 부하 전후의 %st 와 호스트 실행 대기열을 한 표로 놓을 수 있으면 그 표가 Case 가 되고 닫는다. %st 가 부하 전과 다르지 않으면 이 호스트 구성에서는 두 가상 머신 동시 부하가 steal time 으로 나타나는 경쟁을 만들지 않는다고 적는다. 그 결론은 OQ-1 과 함께 닫는다. +현재 8 logical CPU / worker 2+2 vCPU 구성에서는 두 worker를 동시에 CPU-bound로 만들어도 steal time 증가가 관측되지 않았다. run queue 증가만으로 steal 또는 host contention을 대신 판정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throttling-vs-contention.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throttling-vs-contention.md index 81b3451..4ff2620 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throttling-vs-contention.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throttling-vs-contention.md @@ -7,9 +7,14 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/116b806c-b176-401c-9363-1489fffb721c/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt source: - final/document.md#27-문제-영역에서-파생되는-추가-open-question-oq-9 - final/document.md#24-cpu-가상화-계층에서-발생할-수-있는-문제-24-8 @@ -18,24 +23,21 @@ source: # cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가 -이 호스트에서 throttled time 도 steal time 도 잰 값이 없다. 가상 머신 안에서 K3s 를 돌리는 구성이라, 파드가 자기 CPU 상한에 막힌 것과 호스트 CPU 를 제때 못 받은 것이 같은 애플리케이션 지연으로 보일 수 있다. §25 가 두 원인에 갈라 적은 확인 항목이 실제로 갈리는지는 두 원인을 각각 재현해야 안다. +2026-09-21 현재 Keycloak은 CPU request `100m`만 있고 CPU limit은 없으며 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. **두 원인은 실제 지표 조합이 다르게 나타났다.** -## 관계 +## 두 원인을 따로 재현한 결과 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 호스트 CPU 경쟁이 게스트 안에서 어떤 값으로 드러나는지를 이 개념이 설명한다. -- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가** - 그쪽에서 가상화 계층 지표가 움직인다는 답이 나오면, 그 움직임을 cgroup 쪽 제한과 가를 수 있는지는 이 질문이 받는다. - -## 사실 +- 2026-09-21 재검증에서 `keycloak-0`, `keycloak-1`은 CPU request `100m`, CPU limit 없음이다. 두 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`, `throttled_usec=0`이었다. +- 2026-09-21 재검증에서 disposable `cpu-throttle-probe`에 CPU limit `100m`를 적용하자 `cpu.max=10000 100000`, `nr_periods=54`, `nr_throttled=46`, `throttled_usec=4317644`가 나왔다. 약 5초의 CPU-bound 실행에서 cgroup quota가 실제로 throttle을 걸었다. +- 2026-09-21 재검증에서 반대 비교군에서는 `kc-lab-1`의 vCPU 2개를 모두 pCPU0에 live pinning하고 guest 안에서 CPU-bound thread 2개를 실행했다. guest `vmstat`은 반복해서 `%st=50%`를 보였고 host CPU0은 `%guest≈99%`, `%idle≈0%`였다. +- 2026-09-21 재검증에서 같은 host-contention 구간에도 `keycloak-1`의 `cpu.max=max 100000`, `nr_throttled=0`, `throttled_usec=0`은 그대로였다. 즉 steal 증가와 cgroup throttling은 서로 다른 계층에서 독립적으로 관측됐다. +- 2026-09-21 재검증에서 contention 실험 뒤 `kc-lab-1` vCPU affinity를 다시 `0-7`로 복원했고 disposable pod도 삭제했다. - 가상 머신 안에서 K3s 를 돌리면 물리 CPU 와 Keycloak 파드 사이에 호스트·하이퍼바이저, 게스트 Linux, K3s, cgroup CPU limit 이 차례로 놓인다. - 호스트 CPU 에 여유가 있어도 Keycloak 파드는 설정된 CPU 상한 때문에 실행이 제한될 수 있다. - 호스트 CPU 를 받지 못해 생긴 문제와 파드가 자신의 CPU 상한을 넘겨 생긴 문제는 서로 다른 계층에 있다. 앞의 것은 경쟁과 steal time, 스케줄링 쪽이고 뒤의 것은 cgroup 제한 쪽이다. -- cgroup 제한 자체는 KVM 문제가 아니다. - 그래도 가상 머신 안에서 K3s 를 운영하는 지금 실험에서는 두 원인이 같은 애플리케이션 지연으로 관찰될 수 있어 진단 경계에 넣었다. - 개념 문서가 다루기로 한 범위는 CPU 가상화 하나인데, cgroup 제한은 그 범위 밖에서 진단 경계 안으로 들여온 항목이다. +- cgroup 제한 자체는 KVM 문제가 아니다. 그래도 가상 머신 안에서 K3s를 운영하는 지금 환경에서는 cgroup 제한과 호스트 CPU 경쟁이 같은 애플리케이션 지연으로 보일 수 있다. 그래서 두 원인을 함께 비교하되, 각각 다른 계층의 지표로 가른다. - 계층별 진단표가 적은 우선 확인 항목은 이렇게 갈린다. CPU throttling : CPU limit · throttled time CPU contention : 호스트 CPU · 실행 대기열 · CPU 별 사용률 @@ -43,42 +45,37 @@ source: cgroup 쪽은 파드가 CPU 를 더 쓰려 해도 상한에 막힌 것이고, 경쟁 쪽은 실행 가능한 작업이 늘면서 지연이 늘어난 것이다. 갈라 적힌 현상은 각 계층에서 보이는 모습이라, 애플리케이션 지연만 보고 있으면 그 구분이 드러나지 않는다. - 그 표는 지표 하나로 원인을 확정하려고 만든 것이 아니라 어느 계층부터 조사할지 범위를 줄인다. -- §197 은 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. §218 은 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. -- 이 호스트에서 throttled time 도 steal time 도 잰 값이 없다. +- 「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. +- 2026-09-21 재검증에서 cgroup throttling과 host contention을 각각 따로 재현해 `cpu.stat`, guest `%st`, host pCPU 사용률을 직접 비교했다. -## 가정 +## 재현 조건 -- 같은 크기의 Keycloak 지연 증가를 두 원인으로 각각 만들어 낼 수 있다고 보고 비교를 짠다. - 두 재현이 실제로 같은 크기가 되는지는 해 보기 전에 알 수 없다. -- 다른 가상 머신에 CPU 부하를 걸면 호스트 쪽 경쟁이 생긴다고 본다. - 이 호스트에서 두 가상 머신 동시 부하가 경쟁을 만드는지는 아직 관측하지 않았다. -- Keycloak 파드의 cgroup CPU limit 은 실험을 위해 낮췄다가 되돌릴 수 있다고 본다. +- 두 원인은 같은 애플리케이션 지연 크기로 맞추지 않고, 각 계층의 대표 지표가 어떻게 달라지는지를 비교했다. +- cgroup 쪽은 disposable pod에 `100m` limit을 걸어 재현했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning해 의도적으로 경쟁을 만들었다. +- 실험용 pod와 vCPU affinity는 측정 뒤 원상복구했다. - 두 재현 사이에 다른 조건이 바뀌지 않는다는 것을 전제로 두 실행을 견준다. -## 미지수 +## 지표가 갈리는 지점 -- 두 원인을 각각 재현했을 때 throttled time · CPU limit · 게스트 CPU 와 %st, 호스트 CPU 와 실행 대기열이 서로 다른 조합으로 움직이는지. -- 갈린다면 어느 항목이 가장 먼저 갈리는지. -- 지금 Keycloak 파드에 CPU limit 이 걸려 있는지, 걸려 있다면 얼마인지. 개념 문서에 적혀 있지 않다. -- throttled time 을 이 환경에서 어떤 경로로 읽는지. 개념 문서는 확인 항목으로만 적고 실제로 읽는 명령을 적지 않았다. -- 두 원인이 동시에 걸린 구간에서도 지표가 갈리는지. 이번 검증은 하나씩 만든 두 실행만 견준다. +두 원인을 하나씩 만든 실행에서는 지표가 갈리는 것이 확인됐다. cgroup throttling은 `cpu.max`와 `cpu.stat`의 `nr_throttled/throttled_usec`로 직접 보였고, host contention은 cgroup throttle 없이 guest `%st`와 특정 host pCPU 포화로 보였다. -## 제약 +두 원인이 **동시에** 걸린 경우 어떤 지표가 먼저 튀는지는 이번 실행의 범위 밖이다. 또한 두 재현의 애플리케이션 지연 크기를 동일하게 맞추는 실험은 하지 않았다. -- 두 재현이 비슷한 크기의 지연 증가를 만들어야 지표 조합을 견줄 수 있다. +## 한 값만 보고 판정하지 않는다 + +- 두 재현의 목적은 지연량 자체를 맞추는 것이 아니라 **서로 다른 원인이 어떤 계층 지표를 남기는지** 구분하는 것이다. - 지표 하나로 원인을 확정하지 않는다. 게스트 · 호스트 · K3s 세 쪽을 같은 시각에 받아 적는다. - refresh 경쟁 실험은 CPU 자원을 여유 있게 둔 상태에서 먼저 돌리므로 이 재현은 그 실험과 같은 시간에 걸지 않는다. - 두 게스트의 vCPU 합 4 가 논리 코어 8 보다 적어서, 부하 쪽 재현이 경쟁을 만들려면 호스트 쪽 작업까지 같은 코어를 써야 한다. 부하를 걸었는데 경쟁이 나오지 않는 것도 이 재현의 결과로 받는다. -## 선택지 +## throttling과 contention을 만든 방법 ### 1. 두 원인을 따로 재현해 지표 조합을 나란히 놓는다 -Keycloak 파드의 cgroup CPU limit 을 낮춰 한 번, 다른 가상 머신에 CPU 부하를 걸어 한 번, 같은 크기의 지연을 두 번 만든다. -두 실행에서 게스트 · 호스트 · K3s 쪽 항목을 같은 이름으로 받아 적으면 어느 항목이 두 재현에서 다르게 움직이는지 그대로 보인다. +2026-09-21에는 실제 Keycloak 설정을 바꾸지 않았다. cgroup 쪽은 disposable `cpu-throttle-probe`에 `100m` limit을 걸어 quota가 남기는 `cpu.max`·`cpu.stat` 변화를 확인했고, host contention 쪽은 `kc-lab-1`의 두 vCPU를 pCPU0 하나에 live pinning한 뒤 guest CPU-bound 부하를 걸어 `%st`와 host pCPU 포화를 확인했다. -셋 가운데 손이 가장 많이 간다. 부하 쪽 재현은 다른 가상 머신을 함께 써야 하고, cgroup 쪽 재현은 파드 설정을 바꿨다가 되돌려야 한다. +두 실행의 애플리케이션 지연을 같은 크기로 맞추는 것이 목적이 아니라, **각 원인이 어느 계층에 어떤 지표를 남기는지**를 분리하는 것이 목적이다. 실험이 끝난 뒤 disposable pod를 삭제하고 vCPU affinity도 `0-7`로 복원했다. ### 2. 호스트 쪽 항목부터 보고 범위를 줄인다 @@ -92,11 +89,6 @@ Keycloak 파드의 cgroup CPU limit 을 낮춰 한 번, 다른 가상 머신에 throttled time 이 0 이 아니면 cgroup 제한, 0 이면 호스트 경쟁으로 읽는 방법이다. 진단표는 두 행에 각각 두 항목 이상을 적어 두었다. 지표 하나로 원인을 확정하지 않기로 하고 만든 표이므로 이 순서는 쓰지 않는다. -## 다음 검증 +## quota와 steal을 함께 봐야 두 경로를 가를 수 있다 -1. 부하를 걸기 전에 파드의 throttled time 과 CPU limit, 게스트 CPU 와 게스트에서 top 으로 본 %st, 호스트 CPU 와 실행 대기열을 한 번 찍어 기준값으로 둔다. -2. Keycloak 파드의 cgroup CPU limit 을 낮춰 Keycloak 지연을 올리고 같은 다섯 항목을 같은 시각에 받아 적는다. -3. limit 을 되돌린 뒤, 이번에는 다른 가상 머신에 CPU 부하를 걸어 비슷한 크기의 지연을 만들고 같은 다섯 항목을 다시 받아 적는다. -4. 두 실행의 기록을 기준값과 함께 한 표에 나란히 놓는다. - -닫는 조건 : 두 재현에서 지표 조합이 갈리면 그 대조표가 Case 가 되고, 진단표의 두 행을 어떤 순서로 보는지 정하는 근거가 된다. 갈리지 않으면 「이 지표들로는 두 원인이 구분되지 않는다」를 적고, 무엇을 더 봐야 하는지를 새 Question 으로 낸 뒤 이 질문은 닫는다. +진단 순서는 다음처럼 잡을 수 있다: 먼저 pod/container의 `cpu.max`와 `cpu.stat`에서 quota/throttling을 확인하고, 동시에 guest `%st`와 host pCPU 사용률을 본다. **`nr_throttled`가 증가하고 steal이 낮으면 cgroup quota 쪽, quota가 없거나 throttle이 0인데 steal과 host pCPU 포화가 보이면 host/vCPU contention 쪽**으로 조사 범위를 줄인다. 지표 하나만으로 최종 원인을 확정하지는 않는다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throughput-vs-vcpu-count.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throughput-vs-vcpu-count.md index 4f2430c..f842f77 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throughput-vs-vcpu-count.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-throughput-vs-vcpu-count.md @@ -8,6 +8,7 @@ topicName: CPU 가상화 project: virtualization status: 초안 questionStatus: OPEN +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/723d8930-9e82-4552-8376-038a6446ec71/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 source: @@ -18,87 +19,78 @@ source: # vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가 -이 호스트에서 vCPU 수를 바꿔 가며 Keycloak 처리량을 잰 값이 없다. -논리 코어가 8 이라(§197) §27 이 든 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 처리량이 어디서부터 더 오르지 않는지는 세 구성에 같은 부하를 걸어야 갈린다. +이 비교는 아직 수행하지 않았다. 2026-09-21에는 현재 2 vCPU worker 구성에서 CPU-bound·OIDC 부하를 측정했지만, VM을 2·4·8 vCPU로 재정의해 같은 Keycloak 부하를 반복하지는 않았다. 현재 worker/edge가 실제 lab을 구성하고 있고 추가 상태변경 테스트는 마지막 단계로 미뤘으므로 topology 변경 비교는 별도 실험에서 수행한다. -## 관계 +## 현재 호스트와 VM의 CPU 여유 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - vCPU 수가 무엇을 뜻하고 호스트 CPU 가 부족할 때 무엇이 경쟁하는지를 설명한 기록이다. -- **가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가** - 총 vCPU 를 늘린 구성에서 `%st` 가 어떻게 나오는지를 그쪽과 같은 방법으로 읽는다. - -## 사실 - -§11 은 4 vCPU 를 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 가상 CPU 실행 컨텍스트 4개를 제공하는 뜻으로 적었다. +「VM의 4 vCPU는 정확히 무엇을 의미하는가」에서는 4 vCPU 를 게스트 OS 가 최대 4개의 CPU 실행 흐름을 가질 수 있도록 가상 CPU 실행 컨텍스트 4개를 제공하는 뜻으로 적었다. 호스트의 물리 CPU 4개를 가상 머신이 영구적으로 소유한다는 뜻은 아니다. 호스트 CPU 가 부족하면 QEMU vCPU 스레드와 호스트의 다른 작업이 같은 논리 CPU 자원을 두고 경쟁할 수 있다고 같은 절이 덧붙였다. -§24.6 은 특정 가상 머신에 vCPU 를 많이 할당한다고 항상 성능이 좋아지는 것은 아니라고 적었다. +「vCPU 과다 할당」에서는 특정 가상 머신에 vCPU 를 많이 할당한다고 항상 성능이 좋아지는 것은 아니라고 적었다. 게스트 쪽 작업이 실제로 그만큼의 병렬성을 쓰지 못하거나 호스트 전체 CPU 에 비해 지나치게 많은 vCPU 를 할당하면 스케줄링 대상만 늘 수 있다. -§24.6 은 이것을 「vCPU 수가 많다 = 항상 빠르다로 판단하지 않는다」는 한 줄로 못 박았다. +「vCPU 과다 할당」에서는 이것을 「vCPU 수가 많다 = 항상 빠르다로 판단하지 않는다」는 한 줄로 못 박았다. 그래서 실제 작업의 병렬성과 호스트 전체 CPU 를 함께 확인해야 한다고 같은 절이 적었다. -§27 의 OQ-8 은 vCPU 추가가 실제 처리량과 지연에 어떤 영향을 주는지 확인하는 비교 구성으로 2 vCPU / 4 vCPU / 8 vCPU 를 들었다. +비교할 기본 구성은 2 vCPU, 4 vCPU, 8 vCPU 세 가지다. -§197 은 2026-09-10 에 이 호스트의 논리 코어를 8 로 적었다. Core(s) per socket 4 에 Thread(s) per core 2 다. +「측정 환경」에서는 2026-09-10 에 이 호스트의 논리 코어를 8 로 적었다. Core(s) per socket 4 에 Thread(s) per core 2 다. 같은 절은 VM 에 주는 vCPU 가 논리 코어를 나눠 쓰는 것이고 합이 8 을 넘어도 libvirt 는 막지 않는다고 적으면서, 이 실험대는 2 + 2 + 1 = 5 로 잡아 여유를 뒀다고 덧붙였다. 이 호스트에서 vCPU 수를 바꿔 가며 Keycloak 처리량을 잰 값은 없다. -## 가정 +## 비교할 vCPU 조건 세 구성에서 Keycloak 설정과 부하 도구, 부하 크기를 같게 둘 수 있다고 전제한다. vCPU 수만 달라져야 처리량 차이를 vCPU 수 탓으로 읽을 수 있다. Keycloak 작업이 vCPU 를 늘린 만큼 병렬로 쓴다고는 전제하지 않는다. -§24.6 이 든 두 원인 가운데 병렬성 부족 쪽은 이 작업에서 확인하지 않았다. +「vCPU 과다 할당」에서 든 두 원인 가운데 병렬성 부족 쪽은 이 작업에서 확인하지 않았다. 2 · 4 · 8 세 점으로 처리량이 꺾이는 구간을 짚을 수 있다고 전제한다. 상한이 4 와 8 사이에 있으면 세 점만으로는 몇 vCPU 인지 나오지 않는다. -§27 은 그 세 구성을 「예를 들어」로 들었다. 사이 값이 필요해지면 점을 더해도 그 절이 든 비교 구성을 벗어나지 않는다. +2·4·8은 시작점일 뿐이다. 처리량이 꺾이는 구간이 4와 8 사이에 있으면 6 vCPU처럼 중간 값을 추가해도 된다. -## 미지수 +## 아직 모르는 처리량 포화 지점 vCPU 를 2 에서 4, 8 로 올렸을 때 처리량과 지연이 어디서부터 더 좋아지지 않는가. 좋아지지 않는다면 원인이 작업의 병렬성 부족인가 호스트 전체 CPU 부족인가. -8 vCPU 구성을 잴 때 나머지 게스트를 함께 띄우는가. 총 vCPU 가 논리 코어 8 을 넘긴 채로 잰 값인지 아닌지가 §24.6 의 두 원인 가운데 어느 쪽을 보는지를 가른다. +8 vCPU 구성을 잴 때 나머지 게스트를 함께 띄우는가. 총 vCPU 가 논리 코어 8 을 넘긴 채로 잰 값인지 아닌지가 「vCPU 과다 할당」의 두 원인 가운데 어느 쪽을 보는지를 가른다. -## 제약 +## 실험에서 고정할 것 vCPU 수만 바꾸고 Keycloak 설정과 부하는 세 실행에서 고정한다. 논리 코어가 8 이라 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 나머지 게스트를 함께 띄우면 합이 8 을 넘으므로, 세 실행마다 그때 떠 있던 게스트와 총 vCPU 를 함께 적는다. -§186 은 가이드의 실측 줄이 「이 실험대의 호스트는 16 코어 전부에서 지원한다」인데 §178 의 대상 환경은 논리 코어 8 이라고 적고, 어느 쪽이 이 호스트의 값인지는 재지 않았다고 남겼다. 이 기록이 8 을 놓고 짜는 것은 §197 이 2026-09-10 에 그 값을 직접 받아 적었기 때문이다. +「단계 00 — lab host 가상화 준비」의 과거 출력에는 「16 코어 전부」가 남아 있었지만, 현재 호스트는 2026-09-17과 2026-09-21에 다시 확인한 **물리 4코어·8 logical CPU**다. 따라서 이 질문의 2·4·8 vCPU 비교는 8 logical CPU를 현재 truth로 둔다. 16코어 줄은 현재 `test-server`의 값으로 쓰지 않는다. -§24.6 이 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다. +「vCPU 과다 할당」에서 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다. -## 선택지 +## vCPU 수를 늘려 비교하는 방법 ### 1. 2 · 4 · 8 세 구성에 같은 부하를 걸고 처리량과 지연, %st 를 남긴다 -§27 이 든 비교 구성 그대로다. 세 값이 한 표에 놓이면 어느 구간부터 처리량이 더 오르지 않는지를 그 표에서 읽는다. +세 구성을 같은 부하로 실행해 처리량·지연·`%st`를 한 표에 놓는다. 어느 구간부터 처리량 증가가 둔해지는지 그 표에서 읽는다. %st 를 함께 남기므로 처리량이 멈춘 구간에서 호스트가 포화됐는지 아닌지를 가를 수 있다. 가상 머신을 세 번 다시 구성하고 부하를 세 번 걸어야 해서 실행이 가장 무겁다. -### 2. 제외 — 2 와 4 만 재고 8 을 건너뛴다 +### 2. 제외 — 2 와 4 만 재고 더 높은 구성을 건너뛴다 -실행이 둘로 줄지만 §24.6 이 말한 지나치게 많은 vCPU 쪽은 8 구성에서만 나타난다. -2 에서 4 로 오르는 것만 보고 vCPU 를 더 줘도 된다고 적으면 §24.6 이 막으려던 판단을 그대로 하게 된다. +실행이 둘로 줄면 처리량 증가가 어느 지점에서 둔화되는지 볼 범위가 너무 짧다. 과다 할당은 8 vCPU에서만 생기는 현상이 아니고, **동시에 떠 있는 다른 VM과 host workload를 합친 전체 경쟁 상태**에 따라 더 낮은 vCPU 수에서도 나타날 수 있다. 그래서 2·4만 보고 더 줘도 된다고 결론내리지 않고, 더 높은 구성과 그때의 총 vCPU·host CPU 상태를 함께 기록한다. ### 3. 제외 — 호스트 CPU 사용률만 보고 vCPU 수를 정한다 사용률이 낮아도 게스트 쪽 작업이 병렬성을 쓰지 못하면 처리량은 오르지 않는다. -§24.6 이 병렬성과 호스트 전체 CPU 를 함께 확인하라고 적었으므로 처리량을 직접 잰다. +「vCPU 과다 할당」에서는 병렬성과 호스트 전체 CPU 를 함께 확인하라고 적었으므로 처리량을 직접 잰다. -## 다음 검증 +## 다음에는 vCPU 수만 바꿔 throughput 곡선을 본다 1. 가상 머신 구성을 2 vCPU · 4 vCPU · 8 vCPU 로 바꿔 가며 같은 Keycloak 부하를 걸고 처리량과 지연을 각각 기록한다. 2. 세 실행 모두에서 호스트 논리 CPU 수 대비 총 vCPU 를 함께 적는다. -3. 세 실행 모두에서 게스트의 top (§14.8) %st 를 남겨 §24.6 이 말한 병렬성 부족과 호스트 전체 CPU 부족을 갈라 둔다. +3. 세 실행 모두에서 게스트의 top (「Guest의 steal time 확인」) %st 를 남겨 「vCPU 과다 할당」에서 말한 병렬성 부족과 호스트 전체 CPU 부족을 갈라 둔다. -닫는 조건 : 처리량이 더 오르지 않기 시작하는 vCPU 수가 나오면 그 지점을 이 작업의 상한으로 적고 그 세 실행이 Case 가 된다. 세 구성이 모두 같은 방향으로 오르면 이 호스트에서는 상한에 닿지 않았다고 적고 닫는다. 어느 vCPU 수로 운영할지는 그 뒤 Decision 이 정한다. +처리량이 더 오르지 않기 시작하는 지점이 나오면 그 vCPU 수를 현재 부하에서의 상한 후보로 기록한다. 2·4·8 세 구성이 모두 같은 방향으로 오르면 이 범위에서는 상한에 닿지 않은 것이다. 운영 vCPU 수는 지연과 `%st`, 호스트의 총 vCPU 배치까지 함께 보고 정한다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-contention-under-two-vm-load.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-contention-under-two-vm-load.md index a68f26f..5eae6d2 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-contention-under-two-vm-load.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-contention-under-two-vm-load.md @@ -7,9 +7,13 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/eba4a877-276a-4050-9a97-d32614546c71/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt source: - final/document.md#20-이-concept에서-파생되는-open-question-oq-1 - final/document.md#12-cpu-contention과-overcommit @@ -18,35 +22,29 @@ source: # 가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가 -Keycloak 멀티 노드 실험은 물리 호스트 한 대 위의 가상 머신 두 대에서 돌아간다. 두 가상 머신이 동시에 CPU 를 많이 쓰면 QEMU vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁할 수 있다. 그런데 이 호스트에 논리 CPU 가 몇 개인지도, 두 가상 머신에 vCPU 를 몇 개씩 줬는지도 문서에 적혀 있지 않아 경쟁이 생길 조건인지부터 모른다. +2026-09-21 `kc-lab-1`과 `kc-lab-2`의 2 vCPU를 각각 모두 CPU-bound로 만든 뒤 host와 두 guest를 동시에 관측했다. 부하 중 host run queue는 4~6으로 늘었지만 host는 약 49~50% idle이 남았고, 두 guest의 steal time은 계속 0%였다. **현재 8 logical CPU / worker 4 vCPU 구성에서는 이 부하로 host CPU 부족에 의한 vCPU contention이 관측되지 않았다.** -## 관계 +## 두 worker를 동시에 태웠을 때 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - vCPU 스레드가 호스트 Linux 스케줄러를 거쳐 논리 CPU 에 배치되는 경로를 이 개념이 설명한다. -- **가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가** - 같은 부하를 걸고 게스트 쪽 지표만 따로 묻기 때문에, 호스트 쪽 지표까지 한 번에 찍으면 두 질문이 같은 측정으로 닫힌다. 한 물음으로 합칠지는 값을 잰 뒤에야 알 수 있어 지금은 둘로 두고 관계로만 이었다. +- 2026-09-21 재검증에서 baseline host는 대체로 `r=0~1`, `id=92~96%`였고 worker guest `%st`는 0% 중심이었다. 두 worker에 각각 `yes` 2개를 걸자 host는 `r=4~6`, `gu≈50%`, `id≈49~50%`가 됐다. worker 둘은 CPU `id=0%`까지 포화됐지만 `%st=0%`를 유지했다. +- 2026-09-21 재검증에서 부하 중 QEMU `CPU 0/KVM`, `CPU 1/KVM` thread는 baseline의 sleep 위주 상태에서 `Rl` 상태로 관측됐다. host에는 여전히 절반가량 idle CPU가 남았다. -## 사실 +「CPU contention과 overcommit」에서는 호스트에 논리 CPU 가 12개 있고 8 vCPU 짜리 가상 머신 넷을 올린 예를 드는데, 그러면 총 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다. -§12 는 호스트에 논리 CPU 가 12개 있고 8 vCPU 짜리 가상 머신 넷을 올린 예를 드는데, 그러면 총 32 vCPU 가 12개의 논리 CPU 위에서 실행될 수 있다. +모든 가상 머신이 동시에 CPU를 많이 사용하면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁할 수 있다. 이때 게스트 안의 애플리케이션이 느려져도 원인이 애플리케이션 자체가 아니라 호스트 CPU 경쟁일 수 있다. 현재 실험 환경은 물리 호스트 한 대 아래에 가상 머신 두 대가 있고, 두 VM이 각각 K3s 노드와 Keycloak을 돌리는 구조다. -모든 가상 머신이 동시에 CPU 를 많이 사용하면 vCPU 스레드끼리 호스트 CPU 시간을 두고 경쟁한다 : §12 -이런 상황에서는 게스트 안의 애플리케이션이 느려졌더라도 원인이 그 애플리케이션이 아니라 호스트 CPU 경쟁일 수 있다 : §12 - -§16 이 그린 테스트 환경은 Physical Host 아래 Host Nginx 와 가상 머신 두 대이고, VM 1 과 VM 2 가 각각 K3s 노드와 Keycloak 을 돌린다. - -§16 이 결과 해석에서 분리하라고 든 원인 일곱 +결과를 읽을 때는 애플리케이션과 인프라 계층을 섞지 않는다. 현재 lab에서 직접 겹쳐 볼 대상은 다음과 같다. Keycloak refresh/session 동시성 PostgreSQL contention/locking -Redis 상태 관리 K3s resource scheduling VM vCPU scheduling Host CPU saturation -Nginx/LB +Edge Nginx / Traefik 경로 -§20 이 이 물음의 확인 대상으로 든 다섯 +Redis를 사용하는 별도 패턴 실험이라면 Redis 상태 관리도 추가하지만, 현재 Keycloak lab 자체에는 Redis가 배포돼 있지 않다. + +확인할 값은 다섯이다. Host logical CPU 수 각 VM vCPU 수 @@ -54,48 +52,41 @@ QEMU vCPU thread CPU 사용량 Host run queue Guest steal time -이 호스트의 논리 CPU 수 : 문서에 없음 -두 가상 머신의 vCPU 수 : 문서에 없음 +2026-09-21 재검증 기준 호스트 논리 CPU는 8개이고, 두 worker VM의 vCPU는 각각 2개다. -§12 의 12 와 8 과 32 는 경쟁이 어떻게 생기는지 설명하려고 든 예시 숫자이지 이 호스트에서 읽은 값이 아니다. +「CPU contention과 overcommit」의 12 와 8 과 32 는 경쟁이 어떻게 생기는지 설명하려고 든 예시 숫자이지 이 호스트에서 읽은 값이 아니다. -## 가정 +## 부하 조건 -두 가상 머신은 같은 물리 호스트의 CPU 를 나눠 쓴다. §16 이 그린 구조가 지금 실험 환경과 같다고 전제한다. +두 worker VM이 같은 물리 호스트의 CPU를 나눠 쓰는 구성은 2026-09-21 재검증에서 다시 확인했다. -두 가상 머신에 같은 시각에 CPU 부하를 걸 수 있고, 그때 호스트와 두 게스트의 지표를 같은 시각에 기록할 수 있다. +실제 재검증에서는 두 worker에 동시에 CPU-bound 부하를 걸고 host와 guest 지표를 같은 구간에 기록했다. -게스트 Linux 의 top 이 이 환경에서 %st 를 실제로 채워 준다. %st 열이 보여 주는 steal time 은 게스트의 vCPU 에 실행할 작업이 있는데도 다른 작업 때문에 곧바로 실행되지 못한 상황을 가리킨다(§13). 이 열이 비면 게스트 쪽에서는 경쟁의 단서를 못 본다. +게스트 Linux 의 top 이 이 환경에서 %st 를 실제로 채워 준다. %st 열이 보여 주는 steal time 은 게스트의 vCPU 에 실행할 작업이 있는데도 다른 작업 때문에 곧바로 실행되지 못한 상황을 가리킨다(「Steal Time」). 이 열이 비면 게스트 쪽에서는 경쟁의 단서를 못 본다. -호스트 쪽 Nginx 도 같은 물리 CPU 를 쓰는데, 부하 구간의 호스트 CPU 사용량을 전부 QEMU vCPU 스레드 몫으로 읽으면 이 전제가 깨진다. +현재 Nginx는 Edge VM 안에 있지만 host에는 QEMU 외에도 커널 networking·storage 작업과 SSH·관측 프로세스가 같은 물리 CPU를 쓴다. 따라서 부하 구간의 host CPU 사용량을 전부 QEMU vCPU 스레드 몫으로 읽지 않는다. -## 미지수 +## 현재 구성에서 관측되지 않은 것 -이 호스트의 논리 CPU 수. +현재 구성과 이번 부하 수준의 contention 여부는 해소됐다. host는 8 logical CPU이고 두 worker의 vCPU 합은 4다. 동시 CPU-bound 구간에서도 guest steal은 0%였고 host idle이 약 절반 남았다. -두 가상 머신에 준 vCPU 수와 그 합. 그 합이 논리 CPU 수를 넘는지. +더 높은 vCPU overcommit, host-side CPU load, pinning을 추가했을 때의 contention은 이번 질문의 현재 구성과 다른 조건이므로 별도 실험으로 남긴다. -부하를 걸기 전 QEMU vCPU 스레드의 CPU 사용량과 호스트의 실행 대기열(run queue), 그리고 두 게스트의 %st. 부하 전 값이 없으면 부하 중 값만 가지고는 그 값이 움직인 것인지 판정할 수 없다. +## contention으로 판정하는 기준 -두 가상 머신에 동시에 부하를 걸었을 때 그 세 지표가 어떻게 움직이는지. +2026-09-21 baseline과 두-worker CPU-bound 구간을 실제로 측정했다. 이 결론은 현재 8 logical CPU / worker 2+2 vCPU 구성과 20초 synthetic CPU load에 한정한다. -vCPU 합이 논리 CPU 수 이하인데도 %st 가 오르는 구간이 있는지. +steal time 하나만 찍고 경쟁 여부를 판단하지 않는다. 호스트 CPU 사용량과 실행 대기열, QEMU vCPU 스레드 사용량을 같은 구간에서 함께 봐야 게스트의 `%st`가 왜 움직였는지 설명할 수 있다. -## 제약 - -이 호스트에서 잰 값이 하나도 없다. 근거는 개념을 정리한 문서 한 편이고 §12 의 숫자는 예시다. - -§20 이 확인 대상을 다섯으로 잡았으므로 steal time 하나만 찍고 닫을 수 없다. 호스트 쪽 사용량과 실행 대기열도 함께 본다. 이 물음은 닫는 조건이 없다고 보아 한 번 기록에서 뺐다가 되돌렸다. §20 이 이미 적어 둔 확인 대상 다섯이 그대로 닫는 조건이 되기 때문이다. - -§16 은 CPU 가상화가 Keycloak refresh token 경쟁의 원인은 아니라고 못박는다. 이 질문은 원인을 찾으려는 것이 아니라 실험 결과를 어느 계층 쪽으로 읽을지 가르는 데 쓴다. +CPU 가상화 자체가 refresh token 경쟁의 원인은 아니다. 여기서 확인하려는 것은 refresh 실험 중 생긴 지연을 애플리케이션 동시성 문제로 읽어도 되는지, 아니면 호스트 CPU 경쟁을 먼저 의심해야 하는지다. 측정하는 동안 실험 환경 구성은 바꾸지 않는다. pinning 을 걸거나 vCPU 수를 줄이면 지금 구성에서 경쟁이 생기는지를 못 본다. -## 선택지 +## 두 worker를 동시에 태우고 host와 guest를 같이 봤다 ### 1. 호스트 논리 CPU 수와 각 가상 머신의 vCPU 수를 먼저 읽는다 -이 두 값은 부하를 걸지 않고도 지금 읽을 수 있다. 둘만 있으면 vCPU 합이 논리 CPU 수를 넘는지 갈리고, 넘지 않는 구성이라면 §12 가 든 32 대 12 같은 초과 할당 상태는 아니라는 것까지 확정된다. 움직이는 나머지 셋은 그 뒤에 잰다. +호스트 논리 CPU 수와 각 VM의 vCPU 수는 부하 없이도 읽을 수 있다. 둘을 먼저 확인하면 vCPU 합이 논리 CPU 수를 넘는지 즉시 알 수 있다. 합이 더 작다면 적어도 ‘vCPU 총량이 논리 CPU 수를 넘는’ 형태의 초과 할당은 아니다. CPU 사용량과 실행 대기열, steal time은 그다음에 잰다. ### 2. 다섯 지표를 부하 전과 부하 중 두 시점에 찍는다 @@ -103,17 +94,12 @@ vCPU 합이 논리 CPU 수 이하인데도 %st 가 오르는 구간이 있는지 ### 3. 가상 머신 한 대에만 먼저 부하를 걸어 본다 -한 대만 걸었을 때 지표가 어떻게 움직이는지 알아 두면, 두 대를 동시에 걸었을 때 늘어난 값이 vCPU 경쟁 때문인지 그 가상 머신 안의 CPU 포화 때문인지 갈린다. 다만 이 질문은 두 대를 동시에 돌렸을 때를 묻기 때문에 이 측정만으로는 닫히지 않는다. +한 대에만 부하를 걸었을 때의 변화를 먼저 보면 두 대를 동시에 돌렸을 때 늘어난 값이 호스트 경쟁 때문인지 한 VM 내부의 CPU 포화 때문인지 비교하기 쉬워진다. 다만 최종 판정은 두 VM 동시 부하 결과로 한다. ### 4. 제외 — pinning 을 걸어 놓고 잰다 vCPU 스레드를 특정 논리 CPU 에 고정하면 경쟁 구간을 만들기 쉽다. 그러나 지금 구성에서 경쟁이 생기는지를 묻는 질문이라, 구성을 바꾸고 잰 값은 답이 되지 않는다. pinning 은 별도 질문으로 뺀다. -## 다음 검증 +## 두 worker를 함께 태워도 host CPU는 남았다 -1. 호스트 논리 CPU 수와 각 가상 머신의 vCPU 수를 먼저 적는다. §20 이 든 확인 대상 다섯 가운데 부하 없이 읽을 수 있는 둘이다. -2. 부하를 걸기 전에 호스트에서 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 로 QEMU vCPU 스레드의 CPU 사용량을, 호스트 실행 대기열을, 두 게스트에서 top (§14.8) 으로 %st 를 같은 시각에 기록한다. -3. VM 1 과 VM 2 에 동시에 CPU 부하를 건다. -4. 부하 중에 2번의 세 지표를 같은 방법으로 다시 기록한다. - -닫는 조건 : 두 가상 머신의 vCPU 합이 호스트 논리 CPU 이하이고 동시 부하에서도 게스트 %st 와 호스트 실행 대기열이 부하 전과 다르지 않으면, 이 호스트 구성에서는 경쟁이 관측되지 않는다고 적고 닫는다. %st 나 실행 대기열이 움직이면 그 부하 전후 표가 Case 가 되고 이 질문은 그 Case 가 닫는다. vCPU 수를 줄일지 가상 머신 배치를 바꿀지는 그 Case 가 나온 뒤 Decision 으로 넘긴다. +현재 구성에서는 두 worker를 동시에 CPU-bound로 만들어도 host idle이 약 절반 남고 guest `%st`가 0%라 host CPU starvation 형태의 vCPU contention은 관측되지 않았다. `r`이 4~6으로 늘었다는 사실만으로 contention이라고 판정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-thread-migration-without-pinning.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-thread-migration-without-pinning.md index 68f7134..a5fbf6d 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-thread-migration-without-pinning.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vcpu-thread-migration-without-pinning.md @@ -7,9 +7,14 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/cd58d35d-3a93-4682-82b8-b64ce3a8813c/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt source: - final/document.md#20-이-concept에서-파생되는-open-question-oq-5 - final/document.md#5-host-linux-scheduler와-실제-cpu @@ -18,79 +23,63 @@ source: # pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가 -이 호스트에서 `PSR` 을 찍어 본 기록이 없어서, pinning 없이 같은 vCPU 스레드가 논리 CPU 사이를 옮겨 다니는지 아직 모른다. -`PSR` 은 `ps` 가 찍어 주는 값이고 그 스레드가 최근 실행된 논리 CPU 를 가리킨다(§14.7). 이 호스트의 논리 코어는 8 이고 두 게스트의 vCPU 는 각각 2 다(§197 · §218). +2026-09-21 QEMU monitor로 실제 vCPU thread ID를 얻고 `ps -eL`의 `PSR`을 약 3초 동안 반복해서 읽었다. pinning은 없었고 affinity는 모두 `0-7` 전체였다. 같은 TID의 `PSR`이 여러 값으로 바뀌어 **unpinned vCPU thread가 host logical CPU 사이를 실제로 이동하는 것**을 확인했다. -## 관계 +## 실제로 이동한 vCPU thread -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - vCPU 스레드가 호스트 Linux 스케줄러의 스케줄링 대상이라는 설명이 이 물음의 전제다. -- **CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가** - 이동이 실제로 일어나야 pinning 을 걸어 볼 이유가 생긴다. -- **게스트가 유휴 상태일 때 vCPU 스레드는 이 테스트 환경에서 어떻게 보이는가** - 두 물음이 같은 `ps` 출력을 읽으므로 한 번 찍어 둘을 같이 본다. +- 2026-09-21 재검증에서 `kc-lab-1`의 vCPU0 thread `272131`은 짧은 샘플에서 `PSR 7 → 2 → 0 → 4 → 3` 등으로 이동했다. vCPU1과 `kc-lab-2`의 vCPU thread도 여러 pCPU 사이를 이동했다. `virsh vcpupin`과 `taskset -pc` 모두 affinity `0-7`을 확인했다. -## 사실 - -§5 는 QEMU vCPU 스레드도 다른 호스트 스레드와 마찬가지로 Linux 스케줄러가 실행할 논리 CPU 를 정한다고 적었다. +「Host Linux Scheduler와 실제 CPU」에서는 QEMU vCPU 스레드도 다른 호스트 스레드와 마찬가지로 Linux 스케줄러가 실행할 논리 CPU 를 정한다고 적었다. 그래서 같은 vCPU 스레드라도 시간에 따라 서로 다른 논리 CPU 에서 실행될 수 있다. 같은 절은 그 이동을 세 시점으로 그려 두었다. T1 에 CPU7 에서 돌던 vCPU 스레드 0 이 T2 에는 CPU7 을 다른 스레드에게 내주고, T3 에는 CPU3 에서 돈다. CPU pinning 을 적용하면 실행 위치를 특정 논리 CPU 집합으로 제한할 수 있다고 같은 절이 덧붙였다. -§14.7 은 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 들고, PSR 로 스레드가 최근 실행된 논리 CPU 를 관찰할 수 있다고 적었다. +「thread가 실행되는 Host CPU 확인」에서는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 들고, PSR 로 스레드가 최근 실행된 논리 CPU 를 관찰할 수 있다고 적었다. 같은 절은 그 값이 vCPU 가 물리 CPU 에 영구 고정되어 있다는 뜻은 아니라고 못 박고, pinning 을 하지 않았다면 스케줄링에 따라 달라질 수 있다고 덧붙였다. -§20 의 OQ-5 는 PSR 과 스케줄러 추적으로 관찰한다고만 적었을 뿐 관찰한 결과는 남기지 않았다. +2026-09-21에는 실제 vCPU TID를 확인한 뒤 `PSR`을 반복 샘플링해 논리 CPU 사이의 이동을 직접 관찰했다. -§197 은 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이고, 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다. -§218 의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. +「측정 환경」에서는 2026-09-10 에 이 호스트에서 잰 값을 적었다. Core(s) per socket 4 에 Thread(s) per core 2 라 논리 코어가 8 이고, 실험대가 잡은 vCPU 는 2 + 2 + 1 = 5 다. +「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」의 2026-09-03 배치는 kc-lab-1 과 kc-lab-2 에 각각 vCPU 2 를 적었다. -이 호스트에서 PSR 을 실제로 찍은 기록은 SSOT 에 없다. +2026-09-21 raw evidence에 worker vCPU thread의 `PSR` 연속 샘플이 남아 있다. -## 가정 +## 관찰 조건 -두 가상 머신에 pinning 이나 CPU 친화도를 걸지 않았다고 전제하고 이 물음을 세웠다. -실제로 걸었는지는 SSOT 에 적혀 있지 않다. +`virsh vcpupin`과 `taskset -pc`에서 worker vCPU thread의 허용 CPU가 `0-7` 전체인 것을 확인해 별도 pinning이 없다는 점도 함께 검증했다. 일정 간격으로 여러 번 찍으면 이동이 PSR 값의 변화로 잡힌다고 전제한다. 다만 표본과 표본 사이에 다른 논리 CPU 로 갔다가 돌아오면 두 표본은 같은 값으로 나온다. 게스트 부하가 있을 때와 없을 때 호스트 스케줄러가 스레드를 놓는 논리 CPU 가 달라질 수 있다고 전제한다. -§5 는 스케줄러가 실행할 논리 CPU 를 정한다고만 적었지 부하에 따라 무엇이 달라지는지는 적지 않았다. +「Host Linux Scheduler와 실제 CPU」에서는 스케줄러가 실행할 논리 CPU 를 정한다고만 적었지 부하에 따라 무엇이 달라지는지는 적지 않았다. -## 미지수 +## migration과 성능은 다른 질문이다 -이 호스트에서 pinning 없이 같은 vCPU 스레드의 PSR 이 시간에 따라 실제로 바뀌는가. +이 질문의 핵심인 실제 migration 여부와 pinning 유무는 해소됐다. 현재 vCPU thread는 `0-7` 전체에 실행 가능하고 짧은 관측에서도 실제 migration이 보였다. idle과 CPU-bound 상태에서 migration 빈도가 얼마나 달라지는지는 성능 비교 질문으로 분리한다. -바뀐다면 게스트가 유휴일 때와 CPU 부하가 있을 때가 서로 다른가. +## 이 결과의 범위 -현재 두 가상 머신에 친화도가 걸려 있는가. - -스케줄러 추적을 이 호스트에서 쓸 수 있는가. §20 이 관찰 수단으로 들었지만 지원 여부는 확인하지 않았다. - -## 제약 - -이 호스트에서 PSR 을 찍은 값이 없어서, 지금 이동 여부를 적으면 관측이 아니라 추측이 된다. +현재 migration 여부는 추측이 아니라 2026-09-21 `PSR` 연속 샘플로 확인된 값이다. PSR 은 최근 실행된 논리 CPU 하나만 보여 주므로 두 표본 사이에 일어난 이동은 잡히지 않는다. -§20 이 든 관찰 수단은 PSR 과 스케줄러 추적 둘이고, 이 물음은 그 둘 안에서 닫는다. +먼저 `PSR`을 여러 번 찍고, 표본 사이 이동이 의심되거나 값이 해석되지 않을 때만 스케줄러 추적으로 내려간다. -이 물음을 pinning 전후를 비교하는 쪽의 관측 항목으로 넣지 않고 따로 세웠다. 이동이 없으면 그 비교를 걸어 볼 이유가 없어져서 이쪽이 먼저 닫혀야 한다. -그 대신 이동이 성능에 얼마나 걸리는지는 여기서 재지 않는다. +여기서는 이동 자체가 있는지만 본다. 이동이 확인돼도 그것이 성능에 얼마나 영향을 주는지는 pinning 전후 비교에서 따로 측정한다. -## 선택지 +## PSR과 affinity를 읽는 방법 ### 1. ps 출력을 일정 간격으로 여러 번 찍는다 -§14.7 이 든 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 그대로 쓰고 같은 tid 의 PSR 을 시간순으로 늘어놓는다. +「thread가 실행되는 Host CPU 확인」에서 든 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 그대로 쓰고 같은 tid 의 PSR 을 시간순으로 늘어놓는다. 게스트를 건드리지 않고 호스트에서만 찍으면 되고 따로 설치할 도구도 없다. 표본 사이의 이동은 보이지 않으니 몇 초 간격으로 몇 번 찍었는지를 값과 함께 적는다. ### 2. 스케줄러 추적으로 이동 시점을 본다 -§20 이 PSR 과 함께 든 수단이다. 표본 간격에 기대지 않고 스레드가 옮겨 간 시점을 볼 수 있다. +스케줄러 추적은 `PSR` 샘플링보다 무겁지만 표본 사이 이동을 놓치지 않고 실제 이동 시점을 볼 수 있다. 다만 이 호스트에서 추적을 쓸 수 있는지 아직 확인하지 않았고, 호스트에 도구와 권한이 더 필요하다. 1번으로 이동이 이미 보이면 여기까지 가지 않는다. @@ -100,10 +89,6 @@ PSR 은 최근 실행된 논리 CPU 하나만 보여 주므로 두 표본 사이 설정에 pinning 이 없다는 것과 스케줄러가 실제로 스레드를 옮겼다는 것은 다르다. 설정 확인은 따로 두지 않고 1번 실행에서 함께 적는 항목으로 넣는다. -## 다음 검증 +## pinning이 없으면 vCPU thread는 실제로 이동했다 -1. ps -eLo pid,tid,psr,pcpu,comm | grep qemu 를 일정 간격으로 여러 번 찍어 같은 tid 의 PSR 이 바뀌는지 본다. -2. 게스트가 유휴일 때와 CPU 부하가 있을 때를 나눠 각각 찍는다. -3. 같은 실행에서 그 가상 머신에 친화도 설정이 있는지도 함께 적는다. - -닫는 조건 : 관측 구간에서 같은 tid 의 PSR 이 바뀌면 이동한다는 사실을 개념의 확인 사례로 흡수하고 닫는다. 그 이동이 성능에 영향을 주는지는 pinning 전후를 비교하는 OQ-10 이 받는다. PSR 이 고정으로 나오면 친화도 설정을 먼저 확인하고, 설정이 없는데도 고정이면 그 관측이 Case 가 된다. +현재 unpinned vCPU thread의 실제 migration을 관측했다. migration의 성능 영향은 pinning 전후 비교 질문에서 따로 측정한다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-virtualization-layer-saturation-during-refresh.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-virtualization-layer-saturation-during-refresh.md index 3ee42d9..a651ee3 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-virtualization-layer-saturation-during-refresh.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-virtualization-layer-saturation-during-refresh.md @@ -8,6 +8,7 @@ topicName: CPU 가상화 project: virtualization status: 초안 questionStatus: OPEN +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/da3a7b56-5691-4a9f-90c5-3a1a5d0f0013/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 source: @@ -18,110 +19,91 @@ source: # Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가 -§20 이 함께 관찰하라고 든 다섯 지표를 아직 한 번도 같이 찍지 않았다. Keycloak refresh 경쟁 실험은 가상 머신 두 대 위에서 돌기 때문에, 원래 검증하려던 구조 아래에 KVM 계층이 하나 더 붙는다. 실험 구간의 지연을 refresh 경쟁으로 읽어도 되는지는 같은 구간의 호스트 CPU 와 steal time 이 갈라 준다. +이 질문은 아직 실제 refresh 경쟁 조건으로 검증하지 않았다. 2026-09-21 OIDC discovery synthetic load와 KVM/host CPU 지표는 함께 측정했지만, 질문이 요구하는 **동일 refresh token 동시 요청 + Keycloak latency + PostgreSQL 지연** 실험은 수행하지 않았다. 현재 Keycloak lab에는 Redis가 배포돼 있지 않으므로 Redis 지연을 이 질문의 필수 항목으로 두지 않는다. 별도 BFF/Redis 구성을 함께 재는 실험이라면 그때 Redis 지표를 추가한다. OIDC 부하 결과를 refresh 경쟁 실험의 대체 근거로 사용하지 않는다. -## 관계 +## 현재 실험대의 CPU 조건 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 게스트 안의 지연이 가상화 계층까지 내려가는 경로를 이 개념이 설명한다. -- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가** - 경쟁이 생길 수 있는 구성인지를 먼저 묻는다. 그쪽이 닫히면 여기서 기준값을 다시 만들지 않아도 된다. -- **cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가** - §26 이 나눈 여섯 경계 가운데 K3s 와 Virtualization 을 어떻게 가르는지를 따로 묻는다. +초기 설계 문서는 refresh 경로를 `Client → Nginx/Load Balancer → K3s → Keycloak 두 노드 → Session/Token State → PostgreSQL·Redis`처럼 넓게 그렸다. **현재 Keycloak lab의 실제 저장소 구성은 PostgreSQL이고 Redis는 없다.** 따라서 이번 질문은 PostgreSQL까지의 현재 경로를 기준으로 하고, Redis가 들어가는 별도 BFF/session 구조에서는 그때 지표를 추가한다. -## 사실 - -§16 이 그린 원래 검증 대상 구조 - -Client -Nginx / Load Balancer -K3s -Keycloak Node 1 · Keycloak Node 2 -Session / Token State -PostgreSQL · Redis - -테스트 환경에서는 이 구조 아래에 KVM 계층이 추가된다 : §16 -Physical Host 아래에 Host Nginx 와 가상 머신 두 대가 있고 가상 머신마다 K3s 노드와 Keycloak 이 돈다 : §16 - -§16 이 테스트 결과를 해석할 때 분리하라고 든 원인 일곱 +따라서 같은 지연이라도 원인은 한 계층에만 있지 않다. 현재 실험에서 분리해서 볼 대상은 다음 일곱 가지다. Keycloak refresh/session 동시성 PostgreSQL contention/locking -Redis 상태 관리 +Redis 상태 관리 — Redis를 포함한 별도 구조에서만 K3s resource scheduling VM vCPU scheduling Host CPU saturation Nginx/LB -§16 은 KVM CPU 가상화를 이해하는 목적을 이렇게 적었다. +「현재 Keycloak/K3s 실험과의 관계」에서는 KVM CPU 가상화를 이해하는 목적을 이렇게 적었다. Keycloak 멀티 노드 실험에서 발생한 지연이나 실패가 application/storage 문제인지, VM/Host 자원 문제인지 구분할 수 있도록 실험 기반을 이해하기 위해서다. -§26 은 같은 원인들을 여섯 경계로 다시 나눈다. +「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서는 같은 원인들을 여섯 경계로 다시 나눈다. Application / Auth : Refresh Token 경쟁 · Session 상태 경쟁 · Keycloak 내부 처리 -Storage : PostgreSQL lock / latency · Redis latency / consistency +Storage : 현재 lab은 PostgreSQL lock / latency · Redis를 포함한 별도 구조에서는 Redis latency / consistency 추가 K3s : Pod CPU throttling · Pod scheduling/resource limit Guest : Guest CPU saturation Virtualization : vCPU scheduling · Steal time · VM Exit overhead Host : CPU contention · CPU overcommit · Host saturation -§26 은 refresh 경쟁을 검증하는 첫 실험에서 가능하면 CPU 자원을 여유 있게 유지하고, 그 상태에서 같은 세션과 같은 refresh token 에 대한 동시 요청을 만들어 동시성 문제를 먼저 확인하라고 적는다. 트래픽을 늘려 CPU/DB/Redis/K3s 자원 포화를 관찰하는 것은 별도의 부하·스트레스 Case 로 나눈다. +첫 refresh 경쟁 실험은 CPU 자원을 여유 있게 유지한 상태에서 같은 세션과 같은 refresh token에 동시 요청을 보내는 조건으로 잡는다. 트래픽을 늘려 CPU·PostgreSQL·K3s 자원 포화를 보는 부하 실험은 이 실행과 분리한다. Redis가 있는 별도 구조를 시험할 때만 Redis 포화도 같은 방식으로 별도 측정한다. -§13 은 steal time 을 게스트 vCPU 에 실행할 작업이 있는데 다른 작업 때문에 즉시 실행되지 못하는 상황을 가리키는 단서로 적었다. +「Steal Time」에서는 steal time 을 게스트 vCPU 에 실행할 작업이 있는데 다른 작업 때문에 즉시 실행되지 못하는 상황을 가리키는 단서로 적었다. -§20 이 refresh 경쟁 실험 중 동시에 관찰하라고 든 다섯 +현재 Keycloak lab의 refresh 경쟁 실험과 같은 시간축에 놓을 값은 다섯이다. Host CPU Guest CPU steal time Keycloak latency -DB/Redis latency +PostgreSQL latency -§20 은 그 목적이 refresh 경쟁과 호스트 자원 경쟁을 분리하는 것이라고 밝힌다. +이 다섯 값을 함께 보는 이유는 refresh 동시성 문제와 호스트 자원 경쟁을 같은 지연으로 오해하지 않기 위해서다. -§197 은 2026-09-10 에 이 호스트에서 논리 코어 8 과 Mem: 11648 을 받아 적었고, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 실험 구간의 값은 아직 없다. +「측정 환경」에서는 2026-09-10 에 이 호스트에서 논리 코어 8 과 Mem: 11648 을 받아 적었고, 실험대가 잡은 vCPU 를 2 + 2 + 1 = 5 로 적었다. 실험 구간의 값은 아직 없다. -## 가정 +## refresh 실험에서 같이 볼 조건 -refresh 경쟁 실험이 Keycloak latency 와 DB/Redis latency 를 이미 재고 있다고 전제한다. 그 실험이 어떤 값을 어떤 주기로 내는지는 이 근거 문서에 적혀 있지 않다. +refresh 경쟁 실험이 Keycloak latency와 PostgreSQL latency를 함께 기록한다고 전제한다. 다만 원문에는 그 실험이 어떤 값을 어떤 주기로 기록하는지는 적혀 있지 않다. 기준값을 찍는 구간과 실험 구간 사이에 호스트의 다른 작업이 달라지지 않는다. -§211 은 2026-09-03 과 2026-09-10 사이에 호스트 RAM 이 물리 증설되고 게스트가 두 대에서 세 대로 늘었다고 적으면서, 두 값이 어긋나 보이면 「틀린 것이 아니라 다른 날이다」라고 못 박았다. 기준값과 실험 구간은 같은 날 같은 구성에서 받아야 이 전제가 선다. +「이 부의 출처와 범위」에서는 2026-09-03 과 2026-09-10 사이에 호스트 RAM 이 물리 증설되고 게스트가 두 대에서 세 대로 늘었다고 적으면서, 두 값이 어긋나 보이면 「틀린 것이 아니라 다른 날이다」라고 못 박았다. 기준값과 실험 구간은 같은 날 같은 구성에서 받아야 이 전제가 선다. 다섯 지표의 시각을 맞춰 읽을 수 있다고 전제한다. 호스트 쪽과 게스트 쪽 시계가 어긋나면 부하 구간을 겹쳐 놓을 수 없기 때문이다. -§26 이 말한 「CPU 자원을 여유 있게 유지한」 상태를 이 호스트에서 만들 수 있다. +「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서 말한 「CPU 자원을 여유 있게 유지한」 상태를 이 호스트에서 만들 수 있다. -## 미지수 +## 아직 모르는 가상화 계층의 병목 여부 실험을 걸기 전 다섯 지표의 기준값. 실험 구간의 호스트 CPU 와 게스트 CPU, 그리고 각 게스트의 steal time. -같은 구간의 Keycloak latency 와 DB/Redis latency. +같은 구간의 Keycloak latency와 PostgreSQL latency. 가상화 쪽 지표가 얼마나 움직여야 실험 결과를 다르게 읽어야 하는지. 그 문턱을 아직 정하지 않았다. 두 가상 머신이 같은 호스트에 있으므로 한쪽 Keycloak 노드에 몰린 요청이 다른 쪽 게스트의 steal time 을 올리는지. -## 제약 +## 원인 섞임을 막는 기준 -§26 이 첫 실험을 CPU 여유 상태로 못박기 때문에, 이 질문은 실험 조건을 바꾸지 않고 관찰 지표만 덧붙여 답해야 한다. §17.1 이 refresh token 경쟁을 확인하는 데 반드시 호스트 CPU 를 100% 까지 밀 필요는 없다고 적었으므로, 실험을 그대로 두고 관찰만 덧붙이는 것이 §26 의 조건과도 어긋나지 않는다. +첫 refresh 경쟁 실험은 CPU 여유 상태에서 돌린다. 따라서 이 확인 때문에 부하 조건을 바꾸지 않고, 기존 실험에 호스트 CPU·게스트 CPU·steal time 관측만 덧붙인다. 이 호스트에서 그 다섯 지표를 잰 값이 없어 기준값부터 만들어야 한다. 실험 구간의 값만 있으면 그 값이 평소 값인지 실험 때문에 오른 값인지 갈리지 않는다. -§22 의 Claim 12·13 은 이 환경에서 실제로 그러한지를 주장하는 것이라, 재기 전에는 Case 도 Question 도 되지 않는다고 보고 그대로 두었다. 이 물음을 그와 갈라 먼저 올린 것은 아는 것과 모르는 것이 실험 전에도 갈리기 때문이다. +현재 자료만으로는 가상화 계층이 refresh 실험 결과를 흔들지 않았다고 말할 수 없다. 그래서 애플리케이션 동시성 결론과 별개로, 같은 구간의 호스트 CPU와 steal time을 먼저 확인한다. -§16 은 CPU 가상화가 refresh token 경쟁의 원인은 아니라고 적는다. 여기서 「포화되지 않았다」가 나와도 refresh 경쟁 실험의 결론이 바뀌지는 않고, 그 결론을 애플리케이션·저장소 쪽으로 읽어도 되는지만 갈린다. +「현재 Keycloak/K3s 실험과의 관계」에서는 CPU 가상화가 refresh token 경쟁의 원인은 아니라고 적는다. 여기서 「포화되지 않았다」가 나와도 refresh 경쟁 실험의 결론이 바뀌지는 않고, 그 결론을 애플리케이션·저장소 쪽으로 읽어도 되는지만 갈린다. -§20 이 든 다섯 가운데 Keycloak latency 와 DB/Redis latency 는 실험 쪽 도구가 낸다. 가상화 쪽에서 새로 만들 값은 Host CPU · Guest CPU · steal time 셋이다. +Keycloak 지연과 PostgreSQL 지연은 refresh 실험에서 함께 기록하고, 가상화 계층 판정을 위해 호스트 CPU·게스트 CPU·steal time 세 가지를 같은 시간축에 추가한다. -## 선택지 +## 같은 시간축에 놓을 지표 ### 1. 실험을 그대로 두고 관찰만 덧붙인다 -§26 이 첫 실험의 CPU 조건을 정해 두었으므로 실험 자체는 건드리지 않는다. 같은 실험을 돌리면서 호스트 쪽 QEMU vCPU 스레드 사용량과 게스트 쪽 %st 만 함께 기록한다. 이 방법으로는 이번 실험 구간에서 가상화 계층이 움직였는지 하나만 알 수 있다. +「현재 Keycloak 실험에서 CPU 문제를 오판하지 않기 위한 기준」에서는 첫 실험의 CPU 조건을 정해 두었으므로 실험 자체는 건드리지 않는다. 같은 실험을 돌리면서 호스트 쪽 QEMU vCPU 스레드 사용량과 게스트 쪽 %st 만 함께 기록한다. 이 방법으로는 이번 실험 구간에서 가상화 계층이 움직였는지 하나만 알 수 있다. ### 2. 실험 직전 구간을 기준값으로 따로 찍는다 @@ -129,16 +111,16 @@ refresh 경쟁 실험이 Keycloak latency 와 DB/Redis latency 를 이미 재고 ### 3. 여섯 경계 가운데 가상화 쪽 둘만 먼저 잰다 -§26 은 Application / Auth 부터 Host 까지 여섯 경계를 든다. 여섯을 한 번에 분리하려면 경계마다 지표를 붙여야 하는데, 이 질문은 Virtualization 과 Host 두 경계가 실험 결과를 흔들었는지만 묻는다. 나머지 넷은 실험 쪽 기록을 그대로 쓰고 이 둘만 새로 잰다. +여기서는 모든 계층을 새로 측정하지 않는다. 기존 실험이 애플리케이션·스토리지 지표를 이미 남긴다고 보고, 추가로 Virtualization과 Host 두 계층의 값만 붙인다. ### 4. 제외 — CPU 를 일부러 포화시켜 견준다 -포화 구간과 여유 구간을 나란히 놓으면 가상화 계층이 결과를 얼마나 흔드는지 바로 보인다. 그러나 §26 이 첫 refresh 실험을 CPU 여유 상태로 정해 두어서 같은 실험 안에서는 할 수 없다. 별도의 부하·스트레스 Case 로 뺀다. +포화 구간과 여유 구간을 나란히 두면 CPU 자원 경쟁의 영향을 더 직접 볼 수 있다. 다만 첫 refresh 경쟁 실험은 CPU 여유 상태를 유지하는 조건이므로 같은 실행에서 일부러 포화를 만들지 않는다. 자원 포화 자체를 보는 부하 실험은 별도로 진행한다. -## 다음 검증 +## refresh 부하에서는 같은 시간축으로 다시 묶어야 한다 -1. 실험을 걸기 전 §20 이 든 다섯 지표를 한 번 찍어 기준값으로 둔다. -2. refresh 경쟁 실험을 돌리면서 같은 다섯을 같은 시각에 기록한다. 게스트의 steal time 은 top (§14.8), 호스트 쪽 QEMU vCPU 스레드는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (§14.7) 로 본다. -3. Keycloak 과 DB/Redis latency 는 실험이 이미 재는 값을 그대로 쓴다. +1. refresh 요청을 보내기 전에 호스트 CPU, 게스트 CPU, steal time, Keycloak 지연, PostgreSQL 지연을 한 번 찍어 기준값으로 둔다. +2. refresh 경쟁 실험을 돌리면서 같은 다섯을 같은 시각에 기록한다. 게스트의 steal time 은 top (「Guest의 steal time 확인」), 호스트 쪽 QEMU vCPU 스레드는 ps -eLo pid,tid,psr,pcpu,comm | grep qemu (「thread가 실행되는 Host CPU 확인」) 로 본다. +3. Keycloak과 PostgreSQL latency는 같은 refresh 실행에서 기록한 값을 쓴다. Redis가 포함된 별도 구조를 시험할 때만 Redis 지표를 추가한다. -닫는 조건 : 실험 구간의 호스트 CPU 와 steal time 이 기준값과 다르지 않으면, 그 실험 결과를 애플리케이션·저장소 문제로 읽어도 된다고 적고 닫는다. 둘 중 하나라도 움직이면 §26 의 여섯 경계를 분리해 다시 재고, refresh 경쟁 실험을 CPU 여유 상태에서 따로 돌릴지는 Decision 으로 넘긴다. +실험 구간의 호스트 CPU와 steal time이 기준값과 다르지 않다면 적어도 CPU 가상화 계층이 결과를 흔들었다는 근거는 없다. 둘 중 하나라도 크게 움직이면 같은 구간의 K3s throttling, 게스트 CPU, PostgreSQL 지연까지 다시 나눠 보고 refresh 경쟁 결과와 자원 포화 결과를 섞지 않는다. diff --git a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vm-exit-distribution-by-workload.md b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vm-exit-distribution-by-workload.md index 01806d2..1e83ba6 100644 --- a/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vm-exit-distribution-by-workload.md +++ b/docs/virtualization/tech-log-studio/cpu-virtualization/question/question-vm-exit-distribution-by-workload.md @@ -7,9 +7,17 @@ topic: cpu-virtualization topicName: CPU 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/61b7486f-5dab-41df-8f4f-e8fc21d88617/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt source: - final/document.md#20-이-concept에서-파생되는-open-question-oq-4 - final/document.md#8-무엇이-실제로-vm-exit을-발생시키는가 @@ -18,18 +26,18 @@ source: # 실제 작업에서 주로 발생하는 VM Exit 은 무엇인가 -`perf kvm` 이 이 환경에서 열리는지부터 아직 확인하지 않았다. VM Exit 은 게스트를 실행하던 CPU 가 KVM 쪽으로 제어권을 넘기는 전환이지 가상 머신이 꺼지는 것이 아니다(§7.2). §8 이 든 일곱 동작 가운데 무엇이 실제로 Exit 을 내는지는 이 호스트의 VMX 설정과 돌리는 작업이 정한다. +2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p --event vmexit`가 이 호스트에서 동작하는 것을 확인하고, 같은 `kc-lab-1` QEMU를 대상으로 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 비교했다. **workload에 따라 VM Exit 분포가 실제로 달라졌다.** CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer 비중이 크게 늘었고, Keycloak 고부하에서는 baseline보다 EPT_MISCONFIG 비중과 전체 sample 수가 증가했다. -## 관계 +## workload마다 달라진 Exit 분포 -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - VM Entry 와 VM Exit 이 무엇이고 Exit 뒤에 무엇이 처리하는지를 이 개념이 설명한다. -- **Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가** - 같은 측정에서 Keycloak 쪽 분포만 떼어 묻는다. 도구가 열리지 않으면 두 질문이 같은 이유로 닫힌다. +- 2026-09-21 재검증에서 `perf version 7.2.2-1`을 설치했고 `perf kvm stat live`가 `-p `와 `--event vmexit`를 지원했다. `/sys/kernel/tracing/events/kvm` 아래 `kvm_exit`, `kvm_entry` 등 KVM tracepoint도 존재했다. +- 2026-09-21 재검증에서 같은 `kc-lab-1`의 baseline에서 2초 구간 sample은 655/702개였고 `MSR_WRITE` 약 60%, `HLT` 약 32~33%가 중심이었다. +- 2026-09-21 재검증에서 CPU-bound에서는 `HLT`가 보이지 않았고 `EXTERNAL_INTERRUPT` 약 36~39%, `PREEMPTION_TIMER` 약 23~26%, `MSR_WRITE` 약 34~41%로 바뀌었다. +- 2026-09-21 재검증에서 I/O-heavy에서는 `MSR_WRITE` 약 53~55%, `HLT` 약 33~34%가 중심이었고 `EPT_MISCONFIG` 약 1.4~1.6%, `CPUID` 약 2%가 추가로 보였다. +- 2026-09-21 재검증에서 Keycloak 정상 OIDC discovery 10회 구간은 `MSR_WRITE` 약 62%, `HLT` 약 30~32%로 baseline과 유사했다. 요청은 모두 HTTP 200이고 개별 지연은 약 5.7~21.8 ms였다. +- 2026-09-21 재검증에서 같은 노드에 OIDC discovery 1000회, concurrency 20을 걸자 `rc=0`이었고 2초 구간 sample이 987→1211→1339로 늘었다. `EPT_MISCONFIG`은 약 9.9%→18.0%→19.0%까지 나타났다. -## 사실 - -§8 이 든, VM Exit 을 발생시킬 수 있는 동작 +「무엇이 실제로 VM Exit을 발생시키는가」에서 든, VM Exit 을 발생시킬 수 있는 동작 HLT I/O Port 접근 - IN / OUT @@ -39,22 +47,15 @@ MSR 접근 Exception External Interrupt -Intel VMX 에는 VMCS(Virtual Machine Control Structure)가 있고 하이퍼바이저는 VM-Execution Control 등을 통해 어떤 동작을 가로챌지 설정한다 : §8 +Intel VMX에서는 VMCS의 실행 제어 설정에 따라 어떤 동작을 하이퍼바이저가 가로챌지가 달라진다. 그래서 ‘특권 명령이면 전부 VM Exit’이나 ‘root가 실행하면 VM Exit’처럼 단순화해서 볼 수 없다. -§8 은 「특권 명령이면 전부 VM Exit」이나 「root 가 실행하면 VM Exit」 같은 규칙이 맞지 않는다고 적는다. VM Exit 여부는 VMX 설정과 해당 동작의 종류에 따라 결정된다. +Control Register 접근, CPU 예외, MSR 접근도 항상 같은 방식으로 처리되는 것은 아니다. 설정에 따라 게스트가 직접 처리할 수도 있고 KVM이 가로챌 수도 있다. I/O port 접근처럼 사용자 공간의 장치 에뮬레이션이 필요하면 KVM에서 QEMU로 제어가 올라갔다가 다시 `KVM_RUN`으로 돌아오는 경로가 생긴다. -모든 CR(control register) 접근이 항상 VM Exit 을 발생시키지는 않는다 : §8.4 -Page Fault, Breakpoint, Debug Exception 같은 CPU 예외도 Exception Bitmap 등의 설정에 따라 게스트가 직접 처리할 수도 있고 하이퍼바이저가 가로챌 수도 있다 : §8.6 +「KVM Exit 관찰」에서는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다. -CPU 에는 MSR(Model-Specific Register)이 있고 RDMSR 과 WRMSR 로 접근한다. 특정 MSR 접근을 하이퍼바이저가 가로채도록 설정했다면 VM Exit 이 발생할 수 있다 : §8.5 +2026-09-21 재검증 기준 이 호스트는 kernel `7.2.2-arch1-1`, QEMU 11.1.1, Intel i5-1135G7 VT-x이고 `perf version 7.2.2-1`을 사용했다. VM Exit reason 이름과 비율은 이 환경 조건에 종속된 값으로 읽는다. -§8.2 는 I/O port 접근에서 나온 Exit 을 KVM 이 받고, 사용자 공간에서 가상 장치를 흉내 내야 하면 KVM_RUN 이 반환되어 QEMU 가 처리한 뒤 다시 KVM_RUN 을 호출한다고 적는다. - -§14.9 는 환경이 지원하면 perf kvm 으로 KVM 관련 실행 통계를 확인할 수 있다고 하면서 sudo perf kvm stat live 를 예로 든다. 지원되는 명령과 표시되는 Exit 이유는 커널, perf 버전, CPU 아키텍처 및 설정에 따라 다를 수 있다. 그래서 perf kvm --help 를 함께 확인하고, 필요하면 KVM tracepoint 를 이용한 별도 추적도 검토하라고 적는다. - -§197 은 2026-09-10 에 이 호스트에서 커널 7.2.2-arch1-1 과 QEMU emulator version 11.1.1 을 받아 적었다. CPU 는 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 이고 lscpu 의 Virtualization 은 VT-x 다. §14.9 가 표시되는 Exit 이유를 좌우한다고 든 것 가운데 커널과 CPU 아키텍처는 여기서 정해진다. perf 버전은 적혀 있지 않다. - -§20 이 든 비교 후보 다섯 +비교할 작업은 다섯이다. idle CPU-bound workload @@ -62,60 +63,44 @@ I/O-heavy workload Keycloak 정상 요청 Keycloak 부하 테스트 -## 가정 +## workload만 바꾸고 나머지 조건은 고정했다 -다섯 작업을 이 호스트에서 각각 만들 수 있다. Keycloak 정상 요청과 부하 테스트는 이미 돌리는 실험을 그대로 쓴다고 전제한다. +다섯 workload를 같은 `kc-lab-1` QEMU에서 차례로 만들고 `-p `로 해당 프로세스만 필터링했다. `sudo -n`도 사용 가능해 비대화식 측정으로 실행했고, baseline·CPU-bound·I/O-heavy·Keycloak 정상·Keycloak 부하를 같은 도구와 같은 2초 관측 단위로 비교했다. -호스트에서 sudo 로 perf 를 돌릴 수 있다. §204 는 이 호스트의 sudo 가 비밀번호를 요구해 비대화식으로는 읽지 못했다고 적었으므로, 콘솔에 붙어 직접 치는 실행으로 잡는다. +## Exit 분포가 답하지 않는 것 -한 작업을 재는 동안 다른 가상 머신이 내는 Exit 이 결과에 섞이지 않는다고 전제하는데, perf kvm 이 호스트 전체를 보는지 프로세스 하나만 보는지는 확인하지 않았다. +현재 환경에서 `perf kvm stat live` 지원 여부와 다섯 workload의 분포 차이는 해소됐다. 출력에는 `HLT`, `MSR_WRITE`, `MSR_READ`, `EXTERNAL_INTERRUPT`, `PREEMPTION_TIMER`, `CPUID`, `EPT_MISCONFIG`, `PAUSE_INSTRUCTION` 등이 workload에 따라 나타났다. -Exit 이유가 다섯 작업 사이에서 같은 이름으로 표시된다. +남는 것은 더 긴 구간에서 분포가 얼마나 안정되는지와 각 Exit의 실제 end-to-end latency 영향이다. 이번 질문은 **어떤 workload에서 어떤 Exit 분포가 보이는가**까지를 답하며, sample 비중 증가를 곧바로 성능 문제로 판정하지 않는다. -## 미지수 +## 이 호스트에 종속된 값 -이 환경에서 perf kvm 이 어떤 하위 명령을 지원하는지. +2026-09-21 현재 `perf kvm`과 KVM tracepoint가 모두 사용 가능한 것을 확인했다. 이번 분포는 `kc-lab-1` QEMU PID로 필터링해 다른 VM의 Exit을 섞지 않았다. -열린다면 어떤 Exit 이유가 표시되는지. +「무엇이 실제로 VM Exit을 발생시키는가」에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다. -다섯 작업의 Exit 이유 분포가 서로 얼마나 다른지. +「KVM Exit 관찰」에서는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다. -perf kvm 이 열리지 않을 때 KVM tracepoint 로 같은 것을 볼 수 있는지. +Exit 총 횟수만으로는 작업을 비교할 수 없다. I/O port 접근처럼 QEMU까지 올라가는 Exit과 KVM 안에서 끝나는 Exit은 처리 경로가 다르다. 따라서 Exit이 많다는 사실 자체를 장애 판정으로 쓰지 않고 이유와 처리 경로를 함께 본다. -한 작업을 얼마나 오래 재야 분포가 더 흔들리지 않는지. +## 어떻게 측정했나 -## 제약 +### 1. perf kvm 지원 범위를 먼저 확인했다 -이 호스트에서 Exit 분포를 잰 값이 없기 때문에, 분포를 재기 전에 도구가 열리는지부터 확인해야 한다. 열리지 않는 것으로 확인되는 것도 이 물음을 닫는 결과다. - -§8 에 따르면 어떤 동작이 Exit 을 내는지는 VMX 설정이 정하기 때문에, 나온 분포는 이 호스트의 설정에 딸린 값이라 다른 호스트로 옮겨 읽을 수 없다. - -§14.9 는 표시되는 Exit 이유가 커널 · perf 버전 · CPU 아키텍처 및 설정에 따라 다를 수 있다고 적는다. 표의 열 이름도 이 환경에서 나온 그대로 쓴다. - -Exit 총 횟수만으로는 작업을 견줄 수 없다. §8.2 처럼 QEMU 까지 돌아가는 Exit 과 KVM 안에서 끝나는 Exit 은 처리 경로가 다르다. §24.9 도 확인할 때 Exit 횟수만 보지 말라고 적으면서 「VM Exit이 많다 = 장애로 바로 판단하지 않는다」로 닫는다. - -## 선택지 - -### 1. perf kvm --help 로 열리는 하위 명령부터 확인한다 - -§14.9 가 지원 여부는 환경마다 다르다고 적어 두었기 때문에 도구부터 확인한다. 여기서 안 열리면 뒤의 계획이 통째로 바뀐다. +`perf kvm --help`와 실제 실행으로 `stat live`, `-p`, `--event vmexit` 지원 여부를 확인한 뒤 본 측정을 진행했다. ### 2. 열리면 sudo perf kvm stat live 로 다섯 작업을 각각 돌린다 -§20 이 든 다섯을 하나씩 돌리며 Exit 이유 분포를 받아 적는다. 유휴 구간을 먼저 재 두면 나머지 넷에서 늘어난 Exit 이 무엇인지 견줄 수 있다. +다섯 작업을 하나씩 돌리며 Exit 이유 분포를 같은 형식으로 남긴다. 유휴 구간을 먼저 재 두면 나머지 네 작업에서 무엇이 늘었는지 비교하기 쉽다. -### 3. 열리지 않으면 KVM tracepoint 추적을 검토한다 +### 3. KVM tracepoint는 대안으로 남긴다 -§14.9 가 대안으로 든 방법이다. 이쪽도 안 되면 「이 호스트에서는 Exit 분포를 관측할 수 없다」가 이 질문의 답이 된다. +현재는 `perf kvm`이 동작하므로 tracepoint를 직접 수집할 필요가 없었다. 더 세밀한 원인 추적이 필요할 때만 `kvm_exit`/`kvm_entry` tracepoint를 사용한다. ### 4. 제외 — Exit 총 횟수만 세어 작업을 견준다 -숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 §8.2 가 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다. +숫자 하나로 다섯을 늘어놓을 수 있어 간단하다. 그러나 「I/O Port 접근 - IN / OUT」에 적은 대로 Exit 마다 처리 경로가 달라서, 총 횟수는 작업 사이의 차이를 설명하지 못한다. -## 다음 검증 +## workload가 바뀌자 Exit 분포도 바뀌었다 -1. perf kvm --help 로 이 환경이 지원하는 하위 명령을 확인한다. -2. 열리면 sudo perf kvm stat live 로 §20 의 비교 후보 다섯을 각각 돌리며 Exit 이유 분포를 받아 적는다. -3. 열리지 않으면 §14.9 가 말한 KVM tracepoint 추적을 검토하고 그 결과도 기록한다. - -닫는 조건 : 다섯 작업의 Exit 이유 분포를 한 표로 놓을 수 있으면 그 표가 Case 가 되고 닫는다. perf kvm 도 tracepoint 도 이 환경에서 열리지 않으면, 「이 호스트에서는 Exit 분포를 관측할 수 없다」를 그대로 적고 §24.9 의 확인 항목에서 Exit 이유를 빼는 근거로 남긴 뒤 닫는다. +같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak 부하의 VM Exit 분포가 서로 다르게 나타나는 것을 `perf kvm stat live`로 확인했다. 이 분포는 workload fingerprint로 사용할 수 있지만, Exit sample이 많거나 특정 이유의 비중이 높다는 사실만으로 병목이라고 판정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/concept/concept-two-l7-hops-and-the-entry-point-recursion.md b/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/concept/concept-two-l7-hops-and-the-entry-point-recursion.md index 54f9b2d..d32f48a 100644 --- a/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/concept/concept-two-l7-hops-and-the-entry-point-recursion.md +++ b/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/concept/concept-two-l7-hops-and-the-entry-point-recursion.md @@ -6,14 +6,14 @@ topic: lab-entry-path-and-measurement-integrity topicName: 실험대의 진입 경로 project: virtualization status: 게시 전 -basisVersion: 이 실험대의 2026-09-03 배치 · 호스트 nginx 1.30.4 (Arch) · k3s v1.36.4 의 기본 ingress 인 Traefik +basisVersion: 2026-09-21 재검증 배치 · kc-lab-edge nginx 1.22.1 (Debian 12, apt 설치 관측값) · k3s v1.36.4+k3s1 · Traefik assets: - key: two-l7-hops-entry-recursion file: ../../../final/assets/diagrams/two-l7-hops-entry-recursion/two-l7-hops-entry-recursion.svg sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot source: - final/document.md#261-진입점-자체가-죽으면-로드밸런서의-재귀-문제 - - final/document.md#275-호스트-nginx와-traefik은-무엇이-다른가-둘-다-필요한-이유 + - final/document.md#275-엣지-nginx와-traefik은-무엇이-다른가-둘-다-필요한-이유 - final/document.md#257-리버스-프록시와-upstream - final/document.md#258-왜-tls를-끊어서-내용을-보는가 --- @@ -22,22 +22,6 @@ source: 이 실험대의 요청은 HTTP 를 읽는 서버를 두 번 지난다. 바깥의 nginx 가 TLS 를 끊고 어느 노드로 보낼지 정하고, 그 노드의 Traefik 이 어느 파드로 보낼지 정한다. 한쪽만으로는 안 되는 이유가 서로 다르고, 진입점을 이중화하려 하면 「어느 진입점으로 갈지 누가 정하는가」가 새로 생겨 재귀가 끝나지 않는다. -## 관계 - -- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** - 그 결정이 든 근거가 「L7 홉 수는 전후 모두 2홉」인데 왜 2홉인지는 그 기록에 없다. 이 글이 그 앞을 맡는다. -- **신뢰 경계에서는 forwarded 헤더를 덧붙이지 않고 덮어쓴다** - 그 기준이 말하는 경계가 두 홉 가운데 어느 쪽인지를 이 글이 먼저 정한다. -- **공개 터널을 쓰지 않고 tailnet 직결로 둔다 — 홉이 하나 늘면 재려던 계약이 오염된다** - 여기 적은 두 겹에 세 번째를 붙이지 않기로 한 결정이다. -- **엣지 게스트에 nginx 를 세우고 호스트 DNAT 으로 밖에서 들어오는 길을 연다** - 바깥 홉을 실제로 세우는 절차가 거기 있다. -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 이 두 겹 아래에서 패킷이 게스트까지 가는 길을 그 글이 설명한다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 진입 경로가 층으로 나뉘어 있어서 한 칸씩 건너뛰며 칠 수 있다. - -## 본문 @@ -78,7 +62,7 @@ nginx 는 클러스터의 존재를 모르고 파드 IP 가 바뀌는 것도 모 Traefik 만 쓰면 어느 노드로 보낼지를 정할 것이 없다. k3s 에 딸린 servicelb 덕분에 Traefik 이 두 노드의 80 과 443 에 모두 바인딩되지만, 브라우저는 어느 노드로 가야 할지 모르고 그 노드가 내려가면 그 IP 로는 아무도 받지 못한다. Traefik 은 노드 안에서 파드로 나눠 주고, 노드들 사이에서 나눠 주는 일은 클러스터 밖의 무언가가 맡아야 한다. -nginx 만 쓰고 Traefik 을 끄면 Ingress 리소스를 못 쓰게 되고 서비스가 늘거나 파드 IP 가 바뀔 때마다 사람이 파일을 고친다. 그리고 두 경우 모두 운영 구조와 달라진다. 운영이 `host nginx → k3s(Traefik)` 이므로 실험대도 그 2홉을 복제해야 `X-Forwarded-*` 신뢰 경계 결론이 그대로 이전되고, 그것이 둘 다 두는 결정적인 이유다. +nginx만 쓰고 Traefik을 끄면 Ingress 리소스를 못 쓰게 되고 서비스가 늘거나 파드 IP가 바뀔 때마다 사람이 파일을 고친다. 현재 실험대는 `edge nginx → Traefik`의 두 L7 홉을 유지한다. 다만 **2홉이라는 모양이 같아도 forwarded-header 결론이 자동으로 이전되지는 않는다.** 2026-09-21에는 Tailscale MASQUERADE가 edge 앞에서 source를 `192.168.122.1`로 바꾸는 것이 확인됐다. 현재 배치에서는 L4 source rewrite와 Traefik trust 설정을 별도 조건으로 본다. ## ALB 와 NLB 는 같은 곳을 놓고 고르는 두 선택지다 @@ -130,9 +114,9 @@ VRRP 는 가상 IP 하나를 여러 장비가 번갈아 갖게 하는 방식으 ## 이 실험대가 관측한 범위 -바깥의 nginx 는 이 실험대의 단일 장애점이고 물리 머신도 한 대라 그것도 단일 장애점이다. 숨길 이유가 없으므로 알려진 한계로 적어 둔다. +`kc-lab-edge`의 nginx는 이 실험대의 단일 L7 진입점이고, 그 아래 물리 host도 한 대라 전체 실험대는 여전히 단일 물리 장애 도메인이다. 알려진 한계로 둔다. -이 실험대는 진입점을 이중화하지 않는다. 물리 머신이 한 대라 keepalived 를 구성해도 그 머신이 내려가면 끝이고, 검증 대상은 Keycloak 의 세션과 토큰이지 로드밸런서 가용성이 아니다. 다만 Traefik 은 이미 두 노드에 떠 있으므로, 노드 하나를 내리고 바깥 nginx 의 `upstream` 이 어떻게 반응하는지는 그대로 관찰할 수 있다. +이 실험대는 진입점을 이중화하지 않는다. 물리 머신이 한 대라 keepalived를 구성해도 그 머신이 내려가면 끝이고, 검증 대상은 Keycloak의 세션과 토큰이지 로드밸런서 가용성이 아니다. 다만 Traefik은 두 worker에 노출돼 있으므로, worker 한 대를 내리고 **edge nginx의** `upstream`이 어떻게 반응하는지는 관찰할 수 있다. ALB 와 NLB 의 대조는 AWS 의 두 제품을 기준으로 적은 것이고 이 실험대에서 관측한 것이 아니다. VRRP 도 keepalived 의 일반 동작이고 이 실험대에 구성하지 않았다. NLB 에 해당하는 것 역시 이 실험대에 아직 없고, 필요해지면 nginx 의 `stream {}` 블록이 그 일을 맡는다. k3s API 서버를 밖에서 접근하거나 PostgreSQL 과 Redis 를 게스트 밖에서 직접 관찰하거나 Keycloak 의 mTLS 를 실험할 때가 그런 경우다. nginx 는 한 프로세스에서 L7 과 L4 를 함께 수행할 수 있어서, AWS 에서 두 제품으로 나뉘어 있는 것과 다르다. diff --git a/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/decision/decision-no-public-tunnel-because-a-third-hop-pollutes-the-measurement.md b/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/decision/decision-no-public-tunnel-because-a-third-hop-pollutes-the-measurement.md index e6be315..4e94fab 100644 --- a/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/decision/decision-no-public-tunnel-because-a-third-hop-pollutes-the-measurement.md +++ b/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/decision/decision-no-public-tunnel-because-a-third-hop-pollutes-the-measurement.md @@ -19,9 +19,9 @@ source: Cloudflare named tunnel 을 앞에 붙이면 브라우저에서 파드까지가 3홉이 되고, 이 실험대가 재려는 것이 정확히 2홉의 forwarded 헤더 계약이라 측정이 오염된다. 그래서 tailnet 직결로 두고 터널 설정 파일은 채택하지 않은 선택지로 남긴다. -## 근거 +## 왜 공개 터널을 후보에서 뺐나 -§305 가 `deploy/` 아래의 `tunnel/cloudflared-config.yml` 을 두고 채택하지 않았다고 적으면서 기각 이유를 전후 홉 그림으로 남겼다. 기각한 파일을 지우지 않는 방침은 §300 부터 §302 에 따로 있다. 저장소에 있으나 적용되지 않는 설정이 여럿인데, 그것들이 죽은 코드가 아니라 의도적으로 남겨 둔 참조 자산이라고 전체 지도와 함께 적는다. +「`tunnel/` — 채택하지 않은 이유를 남긴 자산」에서는 `deploy/` 아래의 `tunnel/cloudflared-config.yml` 을 두고 채택하지 않았다고 적으면서 기각 이유를 전후 홉 그림으로 남겼다. 기각한 파일을 지우지 않는 방침은 「9층. `deploy/` — 무엇이 살아 있고 무엇이 참조인가」부터 「왜 적용하지 않는 것을 남겨두는가」에 따로 있다. 저장소에 있으나 적용되지 않는 설정이 여럿인데, 그것들이 죽은 코드가 아니라 의도적으로 남겨 둔 참조 자산이라고 전체 지도와 함께 적는다. - **L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀** 이 결정이 지키려는 2홉이 무엇이고 그 둘의 역할이 왜 다른지를 그 글이 설명한다. @@ -32,23 +32,23 @@ Cloudflare named tunnel 을 앞에 붙이면 브라우저에서 파드까지가 - **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** 같은 2홉을 지킨 채 엣지의 위치만 바꾼 결정이라 홉 수를 건드리지 않는다. - **이 실험대의 certbot 은 HTTP-01 로 받고 있는가 DNS-01 로 받고 있는가** - 이 물음은 2026-09-17 `dns-cloudflare` 관측으로 닫혔다. 남은 것은 현재 Cloudflare 자격증명이 실제 재발급에 쓸 수 있는지다. + 2026-09-17에 `dns-cloudflare` 사용을 확인했고, 2026-09-21 renewal dry-run까지 성공해 현재 자격증명으로 DNS-01 갱신 시뮬레이션이 가능한 것도 확인했다. -## 결정문 +## 채택한 진입 경로 공개 터널을 쓰지 않고 tailnet 직결로 둔다. 기각한 설정 파일 `tunnel/cloudflared-config.yml` 은 지우지 않고 채택하지 않은 선택지로 남긴다. 조건이 바뀌어 공개 접근이 필요해지면(예를 들어 다른 회선으로 이전) 그 파일을 그대로 쓴다. -## 판단 이유 +## 2홉을 지켜야 했던 이유 -Cloudflare named tunnel 은 아웃바운드 연결만 쓰므로 포트포워딩 없이 공개 HTTPS 이름을 얻는다. 공유기를 건드릴 수 없는 환경에서는 매력적인 선택지이고, §305 는 그 설정의 함정 둘까지 적어 두었다. `service:` 에 `127.0.0.1` 을 쓰면 cloudflared 컨테이너 자신을 가리키므로 Compose 서비스 DNS 이름을 써야 하고, 마지막 catch-all 이 없으면 오류가 난다. +Cloudflare named tunnel 은 아웃바운드 연결만 쓰므로 포트포워딩 없이 공개 HTTPS 이름을 얻는다. 공유기를 건드릴 수 없는 환경에서는 매력적인 선택지이고, 「`tunnel/` — 채택하지 않은 이유를 남긴 자산」에서는 그 설정의 함정 둘까지 적어 두었다. `service:` 에 `127.0.0.1` 을 쓰면 cloudflared 컨테이너 자신을 가리키므로 Compose 서비스 DNS 이름을 써야 하고, 마지막 catch-all 이 없으면 오류가 난다. 기각 근거는 홉 수다. 터널을 쓰면 브라우저가 Cloudflare 엣지와 nginx 와 Traefik 을 지나 파드에 닿아 3홉이 된다. 지금은 브라우저가 nginx 와 Traefik 만 지나 파드에 닿는 2홉이다. Cloudflare 엣지가 TLS 를 끊고 다시 맺으면서 HTTP 를 읽는 홉이 하나 늘고 `CF-Connecting-IP` 같은 자체 헤더가 섞인다. 이 실험대가 측정하려는 것이 정확히 `nginx → Traefik` 2홉의 forwarded 헤더 계약이므로, 앞에 한 겹이 더 붙으면 측정이 오염된다. 터널이 무엇을 해 주는지가 아니라 그것이 이 실험대의 측정 대상에 무엇을 하는지를 보고 정했다. -## 영향 +## 감수한 비용과 되돌릴 조건 진입 경로가 2홉으로 고정된다. 밖에서 들어오는 요청을 처음 받는 프록시가 하나뿐이라 신뢰 경계가 한 곳이고, forwarded 헤더를 누가 쓰는지가 갈리지 않는다. @@ -56,11 +56,11 @@ Cloudflare named tunnel 은 아웃바운드 연결만 쓰므로 포트포워딩 그 대가가 두 곳에서 청구됐다. 인증서 발급 : HTTP-01 로 받을 수 없어 DNS-01 로 갔다 -재구축 : DNS-01 등록은 확인됐지만 Cloudflare 자격증명 유효성과 dry-run 성공을 확인하기 전에는 `/etc/letsencrypt/` 를 보존한다 +재구축 : DNS-01 설정과 renewal dry-run은 확인됐지만 인증서 lineage·credential 파일·deploy hook을 재구축 절차에 다시 만들 수 있을 때까지 `/etc/letsencrypt/` 를 보존한다 기각한 파일을 지우지 않는 방침에도 근거가 셋 있다. ① 저장소의 목적이 비교다 : 선택지를 나란히 두고 트레이드오프를 적는 것 자체가 산출물이라, 하나만 남기면 왜 이것을 골랐는지를 뒷받침할 근거가 없어진다 ② 죽은 코드가 아니라 테스트되는 코드다 : `scripts/verify-public-tunnel-config.sh` 가 붙어 있어 실행되지 않을 뿐 깨지면 드러난다 ③ 실험대 전용 설정은 `lab/` 아래로 분리했다 : 일반 배포 설정과 섞이지 않는다 -재지 않은 것도 있다. 터널을 붙인 상태와 지금을 같은 방법으로 잰 비교는 이 저장소에 없다. 기각의 근거는 홉 수와 섞이는 헤더이지 두 구성을 재서 견준 값이 아니다. 인증 방식은 2026-09-17 `dns-cloudflare` 로 확인됐다. 다만 같은 후속 원문에서 Cloudflare 토큰 길이는 0자로 측정돼 재발급 가능성까지 확인된 것은 아니다. +재지 않은 것도 있다. 터널을 붙인 상태와 지금을 같은 방법으로 잰 비교는 이 저장소에 없다. 기각의 근거는 홉 수와 추가되는 신뢰 경계이지 두 구성을 벤치마크한 결과가 아니다. 인증 방식은 2026-09-17 `dns-cloudflare`로 확인됐고, 2026-09-21에는 credential 파일이 81 bytes인 상태에서 renewal dry-run도 성공했다. diff --git a/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/reference/reference-overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it.md b/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/reference/reference-overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it.md index 22547d4..5484fb8 100644 --- a/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/reference/reference-overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it.md +++ b/docs/virtualization/tech-log-studio/lab-entry-path-and-measurement-integrity/reference/reference-overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it.md @@ -16,22 +16,9 @@ source: # 신뢰 경계에서는 forwarded 헤더를 덧붙이지 않고 덮어쓴다 -맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For` 를 버리고 자기가 본 주소로 덮어쓴다. nginx 에서는 `$proxy_add_x_forwarded_for` 가 아니라 `$remote_addr` 를 쓴다는 뜻이다. 커널 쪽에도 같은 계약의 절반이 있어서, 경계 앞에서는 출발지 주소를 바꾸지 않는다. +맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For`를 버리고 자기가 **실제로 본 주소**로 덮어쓴다. nginx에서는 `$proxy_add_x_forwarded_for`가 아니라 `$remote_addr`를 쓰는 이유다. 다만 `$remote_addr`가 원본 client IP라는 보장은 네트워크 계층이 제공해야 한다. 현재 실험대에서는 2026-09-21 packet capture로 Tailscale MASQUERADE가 edge 앞에서 source를 `192.168.122.1`로 바꾸는 것을 확인했다. -## 관계 - -- **L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀** - 이 기준이 말하는 경계가 두 홉 가운데 어느 쪽인지를 그 글이 먼저 정한다. -- **엣지 게스트에 nginx 를 세우고 호스트 DNAT 으로 밖에서 들어오는 길을 연다** - 이 기준이 적용되는 설정을 실제로 쓰는 절차다. 헤더 네 줄과 DNAT 규칙이 거기 있다. -- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** - 그 이동으로 경계가 호스트에서 엣지 게스트로 옮겨 갔다. -- **공개 터널을 쓰지 않고 tailnet 직결로 둔다 — 홉이 하나 늘면 재려던 계약이 오염된다** - 경계 앞에 한 겹을 더 세우지 않기로 한 결정이다. 그 결정의 이유가 이 실험대가 재려는 계약이다. -- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다** - 경계 프록시가 아닌 경로를 막는 일이 방화벽의 몫이라는 것을 그 기록이 보여 준다. - -## 목적 +## forwarded 헤더가 신뢰 경계가 되는 이유 `X-Forwarded-For` 는 누구나 보낼 수 있는 평범한 HTTP 헤더다. 값을 믿을 만하게 만드는 것은 헤더 이름이 아니라 그 값을 쓴 주체이고, 쓰는 주체를 하나로 좁히는 것이 이 기준이다. 맨 바깥 프록시가 클라이언트의 값을 이어 붙이면 위조된 값이 사슬 앞에 남고, 그러면 뒤쪽의 어느 것도 그 헤더를 근거로 쓸 수 없다. @@ -39,9 +26,9 @@ source: $remote_addr, not $proxy_add_x_forwarded_for. This is the trust boundary: a client-supplied X-Forwarded-For must be discarded, not extended, or nothing downstream can rely on the value. -§206 은 설정 원본의 주석 59줄을 대조하면서 이 저장소 어디에도 없는 것 둘을 셌고, 이 설명이 그중 하나다. §189 과 §190 은 그 줄을 옮겨 적기만 하고 왜 그 형태여야 하는지는 적지 않았다. +「이 부의 출처와 범위」에서는 설정 원본의 주석 59줄을 대조하면서 이 저장소 어디에도 없는 것 둘을 셌고, 이 설명이 그중 하나다. 「단계 03 — 엣지 nginx 라우팅과 호스트 DNAT」와 「단계 04 — Let's Encrypt 와 인증서 갱신」에서는 그 줄을 옮겨 적기만 하고 왜 그 형태여야 하는지는 적지 않았다. -## 규칙 +## 경계에서는 덧붙이지 않고 덮어쓴다 ### 1. 맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For` 를 버리고 자기가 본 주소로 덮어쓴다 @@ -51,9 +38,11 @@ nginx 에서는 `proxy_set_header X-Forwarded-For $remote_addr;` 이고 `$prox 셋 다 프록시가 뒤쪽 서버에게 원래 클라이언트가 어땠는지 알려 주는 관례적 헤더이고, 클라이언트가 임의로 보낼 수 있다. 하나만 덮어쓰고 나머지를 이어 붙이면, 뒤쪽 서버는 클라이언트가 보낸 값을 그대로 근거로 삼는다. 공격자가 `X-Forwarded-Host` 를 조작해 인증 흐름을 자기 도메인으로 돌릴 수 있는 것도 이 경로다. -### 3. 경계 앞에서는 출발지 주소를 바꾸지 않는다 +### 3. `$remote_addr`를 원본 client IP로 쓰려면 경계 앞 source rewrite가 없어야 한다 -호스트의 DNAT 파일은 DNAT 만 걸고 SNAT 는 걸지 않는다. 파일 자신이 「DNAT only, never SNAT」이라고 적고 그 이유를 바로 뒤에 붙였다. masquerade 를 걸면 출발지가 다시 쓰여 엣지가 모든 클라이언트를 `192.168.122.1` 로 보게 되고, 그러면 이 실험대가 재는 `X-Forwarded-For` 계약이 조용히 무효가 된다. SNAT 없이도 응답이 돌아오는 것은 게스트의 기본 경로가 호스트이기 때문이다. 응답이 호스트를 다시 지나고, conntrack 이 변환을 알아서 되돌린다. 경계 앞에서는 출발지를 바꾸지 않고 경계에서는 클라이언트가 준 값을 버린다는 두 문장이 한 계약이다. +우리 `lab_edge` DNAT 파일은 SNAT를 넣지 않는다. 하지만 2026-09-21 재검증에서 **host 전체 경로는 source-preserving이 아니었다.** `tailscale0`에서는 `100.92.240.34: → 100.83.212.4:443`이던 요청이 edge 쪽 `vnet13/enp1s0`에서는 `192.168.122.1: → 192.168.122.10:443`으로 보였다. host의 Tailscale `ts-postrouting` chain이 fwmark `0x40000` 패킷에 `MASQUERADE`를 적용하고 있었다. + +따라서 **`lab_edge` 테이블에 SNAT가 없다는 사실과 end-to-end source IP 보존은 다른 사실**이다. nginx의 `proxy_set_header X-Forwarded-For $remote_addr`는 여전히 client-supplied 헤더를 버린다는 trust-boundary 원칙에는 맞지만, 현재 `$remote_addr` 자체가 원본 Tailscale client 주소가 아니다. ### 4. 경계가 어디인지는 「그 앞에 우리가 통제하지 않는 것이 있는가」로 가른다 @@ -63,31 +52,32 @@ nginx 에서는 `proxy_set_header X-Forwarded-For $remote_addr;` 이고 `$prox 설정을 처음 쓸 때보다 구성을 바꿀 때 이 기준이 실제로 쓰인다. 이 실험대가 엣지를 호스트에서 게스트로 옮겼을 때 경계도 함께 옮겨 갔다. 공개 터널을 앞에 붙였다면 경계가 Cloudflare 엣지로 한 번 더 옮겨 갔을 것이다. 옮겨 간 뒤에도 옛 경계가 클라이언트의 값을 이어 붙이고 있으면 사슬은 다시 믿을 수 없게 된다. -## 적용 조건 +## 이 규칙이 걸리는 프록시 경계 - 신뢰 경계에 선 맨 바깥 프록시 한 대. 이 실험대에서는 엣지 게스트의 nginx 이고, 클라우드라면 ALB 가 같은 곳에 선다 - 대상 헤더 : `X-Forwarded-For` · `X-Forwarded-Proto` · `X-Forwarded-Host` 셋. 셋 다 관례적 헤더이고 클라이언트가 임의로 보낼 수 있다 - 적용 시점 : 설정을 처음 쓸 때가 아니라 프록시를 한 겹 더 넣거나 옮길 때 - 경계 판정 : 그 프록시 앞에 우리가 통제하지 않는 것이 있을 때 -## 예외 +## 내부 trusted proxy를 따로 보는 경우 경계 안쪽의 두 번째 홉은 반대다. 이 실험대의 Traefik 처럼 신뢰하는 프록시 뒤에 서는 것은 앞이 쓴 값을 이어받아야 하고, 거기서 덮어쓰면 원래 클라이언트 주소가 없어진다. `$proxy_add_x_forwarded_for` 자체가 틀린 값은 아니고, 쓰는 곳이 따로 정해져 있다. 경계에서 쓰면 클라이언트가 위조한 값을 그대로 통과시킨다. -이 실험대는 그 두 번째 홉을 아직 재지 않았다. 저장소에 적힌 forwarded 헤더 계약이 1홉을 가정한 것이라 `nginx → Traefik` 2홉과 어긋나고, Traefik 이 앞이 쓴 값을 덮어쓰는지 신뢰하는지 이어 붙이는지에 따라 결과가 갈린다. 이 실험대가 가장 먼저 실측할 항목이 그것이다. +두 번째 홉도 일부 재봤다. 2026-09-17에는 Traefik 기본 신뢰 설정에서 edge가 쓴 forwarded 정보가 앱까지 그대로 보존되지 않았고, 별도 trust 설정을 적용한 뒤에도 `x-forwarded-for`가 앱에 나타나지 않았다. 2026-09-21에는 trust 설정을 새 클러스터에 다시 적용했지만 echo 앱이 없어 최종 앱 수신 헤더까지는 재측정하지 못했다. 따라서 **현재 원본 client IP 전달은 확인된 기능이 아니라 미해결 조건**이다. -L4 통과 구성에는 적용되지 않는다. NLB 처럼 TCP 를 그대로 흘리면 원본 IP 가 보존되어 헤더가 아예 필요 없다. 그때 원본 주소를 알리는 데 쓰는 것은 PROXY protocol 이라 이 기준의 대상이 아니다. +L4 통과 구성은 HTTP forwarded header와 다른 방식으로 client identity를 전달한다. source IP를 실제로 보존하는 구성도 있고, NAT/LB 특성상 그렇지 않으면 PROXY protocol로 원본 주소를 전달할 수 있다. 따라서 **L4라는 이유만으로 원본 IP 보존을 가정하지 않고 실제 경로를 확인한다.** 경계 앞에 CDN 이나 터널이 있으면 그 공급자의 헤더가 정본이 된다. Cloudflare 라면 `CF-Connecting-IP` 이고, 그때는 그 헤더를 놓고 이 기준을 다시 세운다. 이 기준만으로 신뢰가 완성되지 않는다. 경계 프록시를 거치지 않는 경로로 뒤쪽에 직접 닿을 수 있으면 헤더를 어떻게 쓰든 소용이 없다. 그 경로를 막는 것은 방화벽과 네트워크 배치의 일이고, 이 실험대에서는 게스트가 libvirt NAT 뒤에 있는 것이 그 몫을 한다. -## 예시 +## 이 실험대의 nginx와 Traefik - 경계의 nginx : `proxy_set_header X-Forwarded-For $remote_addr;` - 경계 안쪽 두 번째 홉 : `$proxy_add_x_forwarded_for` 로 앞이 쓴 값을 이어받는다 -- 호스트 커널 : DNAT 만 걸고 masquerade 는 걸지 않는다 -- masquerade 를 걸었을 때 엣지가 보는 클라이언트 주소 : `192.168.122.1` 하나 +- 우리 `lab_edge` 테이블 : DNAT만 걸고 SNAT는 두지 않는다 +- host 전체 경로 : Tailscale `ts-postrouting` MASQUERADE가 실제로 존재한다 +- 2026-09-21 edge에서 관측한 ingress source : `192.168.122.1` - 경계 앞에 Cloudflare 가 있을 때의 정본 헤더 : `CF-Connecting-IP` - 클라이언트가 보낸 값을 이어 붙인 사슬 : 위조된 값이 앞에 남아 뒤쪽에서 근거로 못 쓴다 - L4 통과 구성 : 헤더가 필요 없고 PROXY protocol 을 쓴다 diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/case/case-declared-memory-and-disk-are-ceilings-not-occupancy.md b/docs/virtualization/tech-log-studio/lab-environment-build/case/case-declared-memory-and-disk-are-ceilings-not-occupancy.md index 3aca332..01e4df4 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/case/case-declared-memory-and-disk-are-ceilings-not-occupancy.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/case/case-declared-memory-and-disk-are-ceilings-not-occupancy.md @@ -1,12 +1,15 @@ --- kind: CASE slug: declared-memory-and-disk-are-ceilings-not-occupancy -title: 5120MB 를 줬는데 353MB 를 쓰고 있었다 — 선언한 양과 실제로 드는 양 +title: 메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다 topic: lab-environment-build topicName: 실험대 환경 구성 project: virtualization status: 게시 전 -lastVerifiedOn: 2026-09-10 +lastVerifiedOn: 2026-09-21 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot source: - final/document.md#198-자원-할당과-실사용은-다르다 @@ -17,46 +20,29 @@ source: - final/document.md#211-이-부의-출처와-범위 --- -# 5120MB 를 줬는데 353MB 를 쓰고 있었다 — 선언한 양과 실제로 드는 양 +# 메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다 -k3s 만 올린 상태에서 kc-lab-1 은 5120MB 를 할당받고 353MB 를 쓰고 있었다. k3s 두 노드에 8240MB 를 선언해 실제 점유는 654MB 였고, 디스크는 40GB 를 선언해 2.1GB 를 썼다. 2026-09-10 에 test-server 에서 쟀다. +2026-09-10 기록에는 `kc-lab-1`의 `dommemstat actual-unused` 차이가 353MB, `kc-lab-2`가 301MB로 남아 있고, 두 qcow2 overlay의 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. 당시 문서는 이 값을 ‘실사용/실제 점유’라고 불렀지만 서로 다른 계층의 지표다. `dommemstat` 차이는 host RSS가 아니고, `ls -l` 파일 길이도 host가 실제로 할당한 disk block 양과 같지 않을 수 있다. 2026-09-21 재검증에서는 configured/current memory·guest-visible memory·QEMU RSS와 qcow2 virtual size·disk allocation·file length를 따로 읽어 이 구분을 명확히 했다. -## 관계 - -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 그 물음이 묻는 세 값 가운데 configured 와 게스트 사용량이 여기서 나왔다. 호스트 resident 는 비어 있어서 그 물음은 닫히지 않았다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - 그 물음이 요구하는 세 값 가운데 `qemu-img info` 와 `ls` 가 여기서 나왔고 `du` 는 돌리지 않았다. -- **QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가** - 게스트 안에서 본 실사용과 호스트가 실제로 잡아 둔 양은 다른 수다. 후자를 그 물음이 받는다. -- **qcow2 파일 안 — 매핑표와 클러스터, 그리고 항목이 0 이면 바닥에 다시 묻는다** - 20GB 를 선언한 파일이 1.4GiB 인 까닭을 그 글이 매핑표와 오버레이로 설명한다. -- **실험대를 철거하고 무엇이 남는지 확인한다** - 회수량 3.1GB 를 낸 철거 절차가 그 기록에 있다. -- **실험대를 껐다 켜고 게스트 메모리를 다시 나눈다** - `kc-lab-1` 이 3584M 에서 5120MB 가 된 재배분 절차가 그 기록에 있다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - `dommemstat` 의 `actual`, `free` 의 `available`, `pool-info` 의 `Allocation` 이 셋 다 이름과 다른 것을 센다. - -## 문제 +## 선언한 용량과 실제로 관측하는 값이 같은 지표인지부터 확인해야 했다 제1~4부에는 이 호스트에서 잰 값이 하나도 없다. 제5·6부는 버전과 주소와 명령까지만 적었다. 게스트 세 대에 메모리 8240MB 와 디스크 40GB 를 선언해 두었는데, 그 선언이 11,648MiB 와 226G 짜리 호스트 한 대에서 실제로 얼마를 먹는지는 어디에도 없었다. 「5GB 를 줬으니 5GB 를 쓴다」와 「20GB 두 장이면 40GB 를 쓴다」가 맞는지 모르는 채로 게스트를 더 띄울지 정해야 했다. -## 결론 +## 메모리와 qcow2는 한 숫자로 점유량을 말할 수 없었다 -선언한 양은 상한이고 점유가 아니다. k3s 만 떠 있고 Keycloak 은 아직 안 올린 상태에서 넷을 쟀다. +메모리의 configured/current 값과 qcow2의 virtual size는 **용량을 설명하는 값**이고, host RAM RSS나 host filesystem allocation과는 다른 계층의 지표다. k3s만 떠 있고 Keycloak은 아직 안 올린 상태에서 당시 문서가 여러 값을 한 번에 쟀는데, 지금은 각 값이 무엇을 뜻하는지 분리해 읽는다. -메모리 : `kc-lab-1` 은 할당 5120MB 에 실사용 353MB, `kc-lab-2` 는 할당 3120MB 에 실사용 301MB -메모리 합계 : 8240MB 를 할당했고 실제 점유는 654MB -디스크 : `kc-lab-1.qcow2` 1.4GiB, `kc-lab-2.qcow2` 665MiB, 바닥 `base.qcow2` 는 `virtual size` 3 GiB 에 `disk size` 335MiB -디스크 합계 : 20GB 를 두 장 선언했고 실제로 쓴 것은 2.1GB +메모리 : `kc-lab-1`은 `actual=5120MB`에서 `unused`를 뺀 차이가 353MB, `kc-lab-2`는 `actual=3120MB`에서 같은 방식의 차이가 301MB +메모리 합계 : 당시 두 차이를 더하면 654MB였지만, 이것을 host physical RSS 합계로 읽지는 않는다 +디스크 : `kc-lab-1.qcow2`의 `ls -l` 파일 길이 1.4GiB, `kc-lab-2.qcow2` 665MiB, 바닥 `base.qcow2`는 `virtual size` 3GiB에 `qemu-img info disk size` 335MiB +디스크 합계 : overlay 파일 길이 합은 약 2.1GiB였지만, sparse file의 실제 host allocation 합계라고 단정하지 않는다 철거 : 게스트 셋을 지우자 `df -h /` 가 11G 에서 7.9G 로 내려 3.1GB 가 회수됐다 -`virt-install --memory 4096` 으로 만든 `kc-lab-2` 의 할당이 3120 으로 보인다. `dommemstat` 의 `actual` 은 현재 할당이지 선언한 상한이 아니고, 상한은 `virsh dominfo` 의 `Max memory` 에 있다. 줄어든 까닭은 virtio-balloon 회수로 보이는데, 두 값을 나란히 찍어 보지는 않았다. +2026-09-10에는 `virt-install --memory 4096`으로 만든 `kc-lab-2`의 `dommemstat actual`이 3120MB로 보였다. 당시 current allocation과 선언값이 달랐다는 관측은 맞지만, 원인을 virtio-balloon 회수로 확정할 근거는 없었다. 2026-09-21 재검증에서는 `dominfo`와 `dommemstat`을 나란히 읽었고 configured/current/actual이 모두 4096MiB였다. virtio-balloon 장치는 실제로 존재하지만, 장치 존재와 active inflation은 같은 사실이 아니다. -## 검증 환경 +## 2026-09-10 측정 환경 측정일 : 2026-09-10 호스트 : `test-server`, Arch Linux @@ -70,15 +56,14 @@ libvirt : 12.7.0 게스트 : Debian 12 genericcloud 3대 — 엣지 1대, k3s 2노드 워크로드 : k3s 만 떠 있고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리기 전 -## 재현 조건 +## 메모리와 디스크를 계층별 지표로 나눠 재는 방법 1. k3s 두 노드만 띄우고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리지 않는다. -2. 게스트마다 `virsh dommemstat` 을 돌려 `actual` 과 `unused` 를 읽고, 그 차이를 실사용으로 잡는다. -3. `qemu-img info` 로 `base.qcow2` 의 `virtual size` 와 `disk size` 를 읽고, `ls -l /var/lib/libvirt/images/` 로 오버레이와 시드 파일의 바이트 수를 읽는다. +2. 게스트마다 `virsh dommemstat`을 돌려 `actual`과 `unused`를 읽는다. 두 값의 차이는 **당시 libvirt가 보고한 guest-side memory 지표의 차이**로 기록하고, host QEMU RSS나 물리 RAM 점유량으로 바꾸어 부르지 않는다. +3. `qemu-img info`로 각 qcow2의 `virtual size`와 `disk size`를 읽고, `du`와 `ls -l`을 함께 사용해 host allocation과 file length를 구분한다. historical 2026-09-10 기록에는 overlay의 `ls -l` 값만 남아 있어 그 시점의 VM별 block allocation은 다시 만들 수 없다. 4. 철거하기 전에 `df -h /` 를 읽어 둔다. 5. `virsh destroy` 와 `virsh undefine --remove-all-storage` 로 게스트 셋을 지우고 `df -h /` 를 다시 읽는다. -## 본문 @@ -97,16 +82,16 @@ Mem: 11648 5642 2599 4 3776 6005 `available` 이 6005 로 `free` 2599 보다 훨씬 큰데, `buff/cache` 3776 이 필요해지면 회수되기 때문이다. 게스트를 몇 대 더 띄울 수 있는지는 `free` 가 아니라 `available` 로 읽는다. -## 메모리 — 할당 5120MB 에 실사용 353MB +## 메모리 — 5120MB current에서 `actual-unused` 차이는 353MB였다 -게스트마다 `dommemstat` 의 `actual` 에서 `unused` 를 뺀 값이 실사용이다. +당시 기록은 `dommemstat`의 `actual`에서 `unused`를 뺀 값을 ‘실사용’이라고 불렀다. 지금은 그 표현을 그대로 쓰지 않는다. `actual`은 libvirt가 보는 현재 memory target이고 `unused`는 guest balloon 통계에서 온 값이므로, 그 차이는 **그 시점의 guest memory 상태를 보는 한 지표**이지 host QEMU RSS와 같은 값이 아니다. ```text label="k3s 만 떠 있고 Keycloak 은 아직 안 올린 상태" -kc-lab-1 할당 5120MB 실사용 353MB -kc-lab-2 할당 3120MB 실사용 301MB +kc-lab-1 actual 5120MB actual-unused 차이 353MB +kc-lab-2 actual 3120MB actual-unused 차이 301MB ``` -k3s server 한 대가 353MB 를 쓰니 할당의 7% 다. 둘을 합치면 8240MB 를 할당했고 실제 점유는 654MB 여서, 11,648MiB 짜리 호스트 한 대에서 게스트 세 대가 무리 없이 돈다. +두 VM의 `actual-unused` 차이를 합치면 당시 654MB였다. 이 숫자는 k3s만 올라간 guest memory 상태가 가벼웠다는 참고값으로는 쓸 수 있지만, **호스트가 두 QEMU에 실제로 내준 물리 RAM이 654MB였다는 뜻은 아니다.** 2026-09-21에는 이 계층을 분리해 QEMU RSS를 따로 읽었고 `kc-lab-1≈3.73GiB`, `kc-lab-2≈2.91GiB`가 나왔다. ## `kc-lab-2` 의 할당이 4096 이 아니라 3120 이다 @@ -114,9 +99,9 @@ k3s server 한 대가 353MB 를 쓰니 할당의 7% 다. 둘을 합치면 8240MB `dommemstat` 의 `actual` 은 현재 할당이지 선언한 상한이 아니라서, 상한을 보려면 `virsh dominfo` 의 `Max memory` 를 읽어야 한다. 둘을 같은 값으로 읽으면 「메모리가 왜 줄었지」가 된다. -줄어든 까닭은 virtio-balloon 회수로 보인다. 게스트가 안 쓰는 만큼 balloon 드라이버가 호스트에 돌려주고, 돌려준 만큼 현재 할당이 내려간다. 다만 이 실험대에서 `dommemstat` 의 `actual` 과 `dominfo` 의 `Max memory` 를 나란히 찍어 대조한 기록이 없어서, 3120 이 balloon 회수의 결과라는 것은 관측이 아니라 추론이다. +당시에는 virtio-balloon 회수 가능성을 추론했지만, **3120MB의 직접 원인은 확인되지 않았다.** 2026-09-21에는 세 domain에 virtio-balloon 장치가 있고 worker guest에도 driver가 bind된 것을 확인했지만, `kc-lab-2`의 configured/current/actual은 모두 4096MiB였다. 따라서 과거의 3120MB를 현재도 지속되는 balloon 회수 상태로 설명하지 않는다. -## 디스크 — 40GB 를 선언해 2.1GB +## 디스크 — 20GiB virtual size와 파일 길이는 달랐다 게스트 디스크는 `base.qcow2` 위의 오버레이다. 20GB 짜리를 두 장 만들어도 바닥은 한 벌이고 변경분만 쌓인다. @@ -135,7 +120,7 @@ disk size: 335 MiB -rw------- seed-kc-lab-2.iso 378880 (370 KiB) ``` -바닥은 게스트가 3 GiB 로 보는데 파일은 335MiB 이고, 20GB 로 선언한 오버레이 둘도 실제로는 1.4GiB 와 665MiB 다. 합쳐 40GB 를 선언하고 2.1GB 를 썼다. `kc-lab-1` 이 `kc-lab-2` 의 두 배 이상을 쓰는 것은 k3s server 가 컨트롤 플레인 바이너리와 SQLite 를 들고 있기 때문이다. +바닥 이미지는 virtual size가 3GiB였고 `qemu-img info`의 disk size가 335MiB였다. 두 overlay는 각각 20GiB virtual size로 만들었지만 당시 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. **이 둘의 합 2.1GiB는 파일 길이 합이지 sparse 파일이 host block을 실제로 2.1GiB 할당했다는 측정은 아니다.** host allocation을 말하려면 같은 시점의 `qemu-img info disk size`나 `du`를 따로 읽어야 한다. `kc-lab-1` 쪽 파일이 더 컸다는 관측은 남기되, 그 차이를 컨트롤 플레인과 SQLite 하나로 확정하지 않는다. ## `virsh pool-info` 의 `Allocation` 은 VM 사용량이 아니다 @@ -150,7 +135,7 @@ Allocation: 7.84 GiB Available: 217.46 GiB ``` -`Allocation` 7.84 GiB 는 풀이 얹힌 호스트 루트 파일시스템 전체의 사용량이다. VM 이 얼마를 쓰는지는 위의 `ls -l` 이 말한다. 두 수를 같은 것으로 읽으면 게스트 둘이 7.84 GiB 를 먹은 것이 된다. +`Allocation` 7.84 GiB는 directory storage pool이 놓인 호스트 파일시스템의 사용 상태를 반영하는 풀 단위 값이다. **VM별 실제 block allocation을 말해 주는 값이 아니다.** 반대로 위의 `ls -l`은 VM별 파일 길이를 보여 줄 뿐 sparse qcow2가 host block을 얼마나 실제 할당했는지는 말해 주지 않는다. VM별 host allocation을 비교하려면 `qemu-img info`의 `disk size`나 `du`처럼 그 기준을 직접 읽는 명령을 쓴다. ## 철거 — `df -h /` 가 11G 에서 7.9G 로 @@ -173,11 +158,11 @@ Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed. | `df -h /` | 11G | 7.9G | | `virbr0` | UP | DOWN | -3.1GB 가 회수됐고 내역은 `kc-lab-1` 1.4GB 와 `kc-lab-2` 665MB 와 시드 ISO 3개(각 370KB)다. `base.qcow2` 335MB 는 다음 재구축의 바닥이라 남긴다. 다시 받아도 몇 분이면 된다. +`df -h /` 기준으로 철거 전후 사용량은 11G에서 7.9G로 내려 약 3.1GB 차이가 보였다. 다만 이 3.1GB를 위의 `ls -l` 파일 길이들로 정확히 분해하지 않는다. sparse qcow2의 파일 길이와 실제 block allocation은 다를 수 있고, `df`는 파일시스템 전체 변화를 본 값이기 때문이다. `base.qcow2`는 철거 뒤에도 남아 다음 overlay의 바닥으로 사용됐다. ## 같은 대상의 숫자가 두 벌이다 -이 SSOT 안에는 같은 실험대의 스냅샷이 두 벌 있다. §218 은 2026-09-03 값이고 이 기록은 2026-09-10 값이다. +같은 실험대라도 측정 날짜가 다르면 값이 달라진다. 「실험대 전체 배치」는 2026-09-03 스냅샷이고, 여기서 비교하는 값은 2026-09-10 스냅샷이다. | 무엇 | 2026-09-03 | 2026-09-10 | |---|---|---| @@ -188,16 +173,18 @@ Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed. 그사이에 호스트 RAM 이 8GB 에서 12GB 로 물리 증설됐고 `setmaxmem` 과 `setmem` 으로 게스트 메모리가 재배분됐다. 두 값이 어긋나 보이면 틀린 것이 아니라 다른 날이다. -날짜가 아니라 단위로 갈리는 것도 하나 있다. §198 은 같은 호스트의 RAM 을 `11.6GB` 로도 적는데, 그 표기가 원 가이드에서 온 것이라 고쳐 쓰지 않고 어긋남을 적어 둔다고 스스로 밝힌다. `free -m` 의 `Mem: 11648` 은 MiB 단위이므로 11,648MiB, 약 11.4GiB 다. +날짜가 아니라 단위로 갈리는 것도 하나 있다. 「자원 — 할당과 실사용은 다르다」에서는 같은 호스트의 RAM 을 `11.6GB` 로도 적는데, 그 표기가 원 가이드에서 온 것이라 고쳐 쓰지 않고 어긋남을 적어 둔다고 스스로 밝힌다. `free -m` 의 `Mem: 11648` 은 MiB 단위이므로 11,648MiB, 약 11.4GiB 다. -## 확인하지 못한 것 +## 2026-09-21 재검증에서 추가로 확인한 것 -이 값은 호스트 한 대의 한 시점이다. Keycloak 2 파드와 PostgreSQL 과 Redis 와 Prometheus 가 올라간 뒤의 메모리는 재지 않았다. 원본도 §198 에서 그 시점의 값을 미측정으로 밝힌다. +2026-09-10의 숫자는 historical snapshot으로 유지한다. 2026-09-21에는 더 진행된 현재 실험대에서 같은 계층을 다시 읽었다. -디스크 값과 철거 값은 시점이 서로 다르다. `ls -l` 은 엣지를 만들기 전 k3s 2노드만 있던 때의 것이고, 3.1GB 회수는 엣지까지 세 대가 있던 때의 것이다. `kc-lab-edge` 의 디스크 크기는 따로 재 두지 않았고, 회수 합계에서 역산하면 1GB 안팎이다. +- configured/current memory: `kc-lab-1=5120MiB`, `kc-lab-2=4096MiB`, `kc-lab-edge=1024MiB` +- 같은 시점 QEMU RSS: 약 `3.73GiB / 2.91GiB / 0.84GiB` +- qcow2 virtual/disk size: `kc-lab-1` 20GiB / 약 3.43GiB, `kc-lab-2` 20GiB / 약 2.66GiB, edge 10GiB / 약 345MiB -게스트 안에서 본 실사용과 QEMU 프로세스가 호스트에서 붙잡고 있는 양은 다른 수인데, 뒤엣것은 이 기록이 재지 않았다. +이 값도 시점값이다. 2026-09-10 표를 새 숫자로 덮어쓰지 않고, **환경이 진행되면서 actual usage가 달라졌다는 별도 관측**으로 둔다. -여기 옮긴 출력은 전부 SSOT 본문의 코드 블록에서 왔고, 이 저장소의 `final/evidence/` 에는 그 명령들의 출력 원문이 파일로 없다. 같은 측정을 다시 돌려 `final/evidence/raw/` 에 남기면 그때 원문을 댈 수 있다. +여전히 모르는 것은 2026-09-10의 `kc-lab-2 actual=3120MB`가 정확히 무엇 때문에 만들어졌는지다. 현재 남아 있는 증거만으로는 원인을 특정할 수 없으므로, 그 원인은 확인되지 않은 상태로 남긴다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/case/case-nftables-accept-did-not-stop-the-libvirt-reject.md b/docs/virtualization/tech-log-studio/lab-environment-build/case/case-nftables-accept-did-not-stop-the-libvirt-reject.md index 29dd1fa..649de32 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/case/case-nftables-accept-did-not-stop-the-libvirt-reject.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/case/case-nftables-accept-did-not-stop-the-libvirt-reject.md @@ -20,20 +20,7 @@ source: 밖에서 온 요청은 먼저 돌게 해 둔 forward 체인의 accept 를 지나고도 libvirt 의 guest_input 체인 끝 reject 에서 끊겼다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 그래서 구멍을 libvirt 체인 맨 앞에 넣었다. -## 관계 - -- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** - 그 결정으로 새로 필요해진 libvirt 방화벽 구멍을 이 사건에서 실제로 뚫었다. -- **libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 필요한가** - 여기서 재지 않고 넘긴 미확인 항목을 그 질문이 받는다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 같은 구축에서 나온 문서 결함들을 하나의 규칙으로 정리한 글이다. -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 밖에서 온 패킷이 게스트에 닿기까지의 경로를 그 글이 세우고, 이 사건은 그 경로의 한 구간에서 막혔다. -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - 어느 계층까지 패킷이 보이는지로 의심 구간을 좁히는 절차이고, 여기서는 규칙 카운터가 같은 일을 했다. - -## 문제 +## host에서는 되는데 외부 요청만 즉시 거절됐다 엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴 뒤 밖에서 들어오는 요청만 엣지에 닿지 않았다. @@ -42,16 +29,16 @@ source: 호스트에서 친 요청에는 404 를 돌려줬으니 엣지 nginx 는 게스트 안에서 돌고 있었다. 밖에서 친 요청만 끊겼고, 타임아웃이 아니라 즉시 거절이었다. -## 결론 +## 앞 체인의 accept 뒤에서 libvirt reject가 다시 평가됐다 밖에서 온 패킷을 거절한 것은 libvirt 가 만든 규칙이다. libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 ct state established,related accept 다음의 reject 로 끝낸다. 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 curl 횟수와 정확히 일치해서 범인을 확정했다. DNAT 를 정의한 파일에는 priority filter - 10 을 줘서 먼저 돌게 한 forward 체인이 있는데, 거기 넣은 ct state new accept 가 그 reject 를 막지 못한다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞 체인의 accept 는 그 체인을 통과했다는 뜻이지 평가가 끝났다는 뜻이 아니고, 즉시 종결하는 것은 drop 뿐이다. -해결 : 구멍을 libvirt 체인 맨 앞에 넣는다. insert 가 맨 앞이고 add 가 맨 뒤다. -수명 : libvirt 가 네트워크를 다시 세우면 guest_input 을 새로 쓰면서 그 규칙이 날아간다. 그래서 DNAT 유닛의 ExecStartPost 에 넣는다. +해결 자체는 구멍을 libvirt 체인 맨 앞에 넣는 것이다. `insert` 가 맨 앞이고 `add` 가 맨 뒤다. +수명은 별도 문제다. libvirt 가 `guest_input` 을 다시 쓰면 이 규칙은 휘발된다. 예전에는 DNAT 유닛의 `ExecStartPost` 에 넣어 두면 충분하다고 보았지만, 2026-09-21 worker VM 재구축에서 그 가정이 깨졌다. libvirt 가 체인을 다시 만든 뒤 기존 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 계속 `active` 인데 외부 80/443 두 요청이 둘 다 실패했다. 따라서 `ExecStartPost` 한 번은 재작성 이후 복구 장치가 아니다. -## 검증 환경 +## nftables 백엔드인 test-server 호스트 : test-server, Arch Linux CPU : i5-1135G7, 논리 코어 8 @@ -64,7 +51,7 @@ libvirt firewall_backend : nftables 게스트 : Debian 12 genericcloud 3대 — 엣지 1대(nginx·certbot), k3s 2노드 엣지 게스트 주소 : 192.168.122.10 -## 재현 조건 +## reject 카운터로 끊기는 지점을 찾는 순서 1. 엣지 nginx 를 게스트 192.168.122.10 에 두고, 호스트 커널의 DNAT 로 밖에서 들어온 요청을 그 게스트로 넘긴다. 2. 호스트에서 curl http://192.168.122.10 을 친다. 엣지 nginx 가 404 로 응답한다. @@ -72,7 +59,6 @@ libvirt firewall_backend : nftables 4. libvirt 테이블 ip libvirt_network 의 guest_input 체인을 규칙과 카운터까지 덤프한다. 마지막 reject 규칙의 패킷 수가 3번을 친 횟수와 맞으면 그 규칙이 그 패킷을 끝냈다. 5. guest_input 맨 앞에 구멍을 넣고 3번을 다시 친다. -## 본문 @@ -85,7 +71,7 @@ libvirt firewall_backend : nftables 후: tailnet:443 ─▶ [호스트 커널 DNAT] ─▶ [엣지 nginx(.10)] ─▶ Traefik(.11/.12) ``` -L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널이 하는 L4 전달 한 번뿐이라 `X-Forwarded-*` 계약은 그대로 성립한다. 옮긴 이유도 성능이 아니라 더러워지는 층의 격리였다. nginx 설정과 인증서, certbot, deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. +L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널이 하는 L4 전달 한 번이다. 하지만 2026-09-21 실제 packet capture에서는 Tailscale MASQUERADE 때문에 edge에 도착하기 전에 source가 `192.168.122.1`로 바뀌었다. 따라서 **L7 홉 수가 같다는 이유만으로 `X-Forwarded-*` 계약이 그대로라고 볼 수는 없다.** 옮긴 이유는 성능이 아니라 nginx·인증서·certbot·deploy hook 같은 변경이 잦은 층을 물리 호스트에서 분리하는 것이었다. 그 대가로 일곱 가지가 새로 필요해졌는데 그중 둘은 배포판 차이가 아니라 패킷이 지나는 길이 달라져서 생겼다. 하나는 DNAT(Destination NAT) 다. 들어온 패킷의 도착지 주소를 바꿔 다른 기계로 넘기는 것을 말한다. 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. 다른 하나는 libvirt 방화벽에 구멍을 내는 일이다. 호스트가 게스트에 접속할 때는 OUTPUT 경로라 필터를 안 탔지만, 밖에서 게스트로 들어오는 것은 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. 그 구멍을 뚫는 데서 이 구축이 가장 오래 막혔다. @@ -132,14 +118,18 @@ nft insert rule ip libvirt_network guest_input \ oif virbr0 ip daddr 192.168.122.10 tcp dport '{80,443}' ct state new counter accept ``` -이 규칙은 휘발성이다. libvirt 가 네트워크를 다시 세우면 `guest_input` 을 새로 쓰면서 규칙이 날아가므로, DNAT 유닛의 `ExecStartPost` 에 넣어 네트워크가 다시 설 때마다 같은 규칙이 다시 들어가게 했다. +이 규칙은 휘발성이다. 처음에는 DNAT 유닛의 `ExecStartPost` 에 넣어 두면 재기동 때마다 복구될 것이라고 가정했다. 그 가정은 2026-09-21 재검증에서 틀린 것으로 확인됐다. -그 `ExecStartPost` 줄 앞에는 `-` 를 붙였다. `libvirt_network` 테이블은 가상 네트워크가 올라온 뒤에야 생기므로, 그 전에 유닛이 뜨면 이 줄이 실패한다. `-` 를 붙여 두면 그때도 DNAT 은 그대로 올라가고 구멍만 빠지며, 빠진 구멍은 유닛을 다시 시작해서 넣는다. 그리고 그렇게 걸어 둔 뒤 libvirt 네트워크를 실제로 다시 세워 규칙이 되돌아오는지는 확인하지 않았다. +worker VM 둘을 철거했다 다시 만드는 동안 libvirt 가 `guest_input` 체인을 다시 구성했고, 이미 세 번 누적된 accept 규칙은 모두 `reject` **뒤**에 남았다. 그 상태에서 외부 80·443 연결 두 번이 모두 실패했고 `reject` 카운터가 `0 → 2` 로 증가했다. `lab-edge-dnat.service` 는 여전히 `active` 였다. -## 확인하지 못한 것 +즉 `ExecStartPost` 는 **그 유닛이 시작될 때 한 번** 실행될 뿐, 이후 libvirt 가 자기 체인을 다시 쓰는 사건에는 반응하지 않는다. `-` 접두어도 실패를 무시할 뿐 재삽입을 예약하지 않는다. 현재 방식은 persistence 해결책으로는 실패한 상태다. + +이번 재검증에서는 기존 host firewall/nftables rule을 임의 변경하지 않는 안전 조건 때문에 대체 persistence 방식까지 적용하지 않았다. 따라서 “어떤 이벤트에 묶어 어떻게 idempotent하게 재삽입할 것인가”는 아직 실제로 확인하지 못했다. + +## 아직 다른 환경에서는 확인하지 못했다 이 호스트 한 대에서만 봤다. libvirt 의 `firewall_backend` 가 iptables 인 호스트에서도 같은 구멍이 필요한지는 재지 않았고, 이 호스트는 nftables 백엔드다. -카운터 4 패킷 240 바이트는 위에 옮긴 규칙 덤프에 찍힌 값이다. 그 덤프와 `curl` 출력의 원문은 `final/evidence/` 에 파일로 남기지 않았다. 같은 재현을 다시 돌려 출력을 파일로 남기면 그때 원문을 댈 수 있다. +카운터 4 패킷 240 바이트는 당시 본문에 옮긴 규칙 덤프에 찍힌 값이다. 그때의 전체 ruleset과 `curl` 원문은 별도 raw 파일로 남기지 않았다. 2026-09-21에는 같은 nftables backend에서 `reject` 카운터 증가와 외부 실패를 다시 확인했으므로 현재 동작은 후속 증거가 있지만, 과거 숫자 `4 packets / 240 bytes` 자체는 당시 기록 범위로 읽는다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-a-cloud-image-is-an-installed-disk-and-cloud-init-fills-the-blanks.md b/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-a-cloud-image-is-an-installed-disk-and-cloud-init-fills-the-blanks.md index 9f82dac..9bce3bf 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-a-cloud-image-is-an-installed-disk-and-cloud-init-fills-the-blanks.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-a-cloud-image-is-an-installed-disk-and-cloud-init-fills-the-blanks.md @@ -22,20 +22,6 @@ source: 클라우드 이미지는 배포자가 설치를 한 번 끝내 놓은 디스크 파일이라 게스트를 만들 때 설치 단계가 없다. 대신 hostname 과 SSH 호스트키 같은 고유값을 비워 둔 채 배포하고, cloud-init 이 첫 부팅에 그 빈칸을 채운다. -## 관계 - -- **cloud-init 시드로 게스트 세 대를 만들고 SSH 가 키로 붙게 한다** - 그 절차가 「base 이미지를 받아 오버레이로 게스트 셋을 만든다」로 시작한다. 왜 받기만 하고 설치하지 않는지를 이 글이 댄다. -- **cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다** - 그 원인 넷이 전부 「시드가 안 읽혔다」로 모인다. 시드가 무엇이고 어느 단계에서 읽히는지가 여기 있다. -- **qcow2 파일 안 — 매핑표와 클러스터, 그리고 항목이 0 이면 바닥에 다시 묻는다** - 받은 파일이 어떻게 생겼길래 3 GiB 짜리가 335MiB 인지를 그 글이 연다. -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 받은 바닥 이미지를 다른 호스트로 들고 갈 때 무엇이 따라가는지를 그 글이 가른다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 게스트를 지우고 다시 만드는 비용이 낮다는 것이 이 선택의 근거인데, 그 비용을 실제로 재는 것은 그 물음이다. - -## 본문 @@ -57,7 +43,7 @@ VM 의 디스크는 호스트의 파일 하나다. `kc-lab-1.qcow2` 라는 파 "부팅 가능한 특정 바이트 배열" 상태의 디스크 ``` -설치 과정은 수단이고 목적은 마지막 줄의 상태이며, 그 상태는 파일 하나의 내용으로 남는다. Debian 과 Ubuntu 는 자기 빌드 서버에서 이 설치를 한 번 수행하고 완성된 디스크를 qcow2 파일로 떠서 공개하고, 우리는 그 파일을 내려받아 붙인다. 소스를 직접 컴파일하는 대신 이미 빌드된 바이너리를 받아 쓰는 것과 같아서, 결과물은 같고 시간만 아낀다. +설치 과정은 수단이고 목적은 마지막 줄의 상태이며, 그 상태는 파일 하나의 내용으로 남는다. Debian 과 Ubuntu 는 자기 빌드 서버에서 이 설치를 한 번 수행하고 완성된 디스크를 qcow2 파일로 떠서 공개한다. 이 실험대에서는 그 파일을 내려받아 게스트 디스크의 바닥 이미지로 사용한다. 소스를 직접 컴파일하는 대신 이미 빌드된 바이너리를 받아 쓰는 것과 같아서, 결과물은 같고 시간만 아낀다. ## 그대로 복제하면 식별자가 겹치므로 일부러 비워 둔다 @@ -112,7 +98,7 @@ cloud-init 이 이 빈칸을 첫 부팅에 채우는 장치다. `user-data` 라 | `generic` | 베어메탈 포함. 드라이버가 많아 더 크다 | | `nocloud` | cloud-init 없이 기본 계정이 박혀 있는 변종 | -`genericcloud` 가 가벼운 까닭은 물리 하드웨어 드라이버를 뺐다는 데 있고, 시드를 SATA CD-ROM 으로 붙이면 게스트가 그 장치를 보지 못하는 함정도 같은 이유로 생긴다. `virt-install --cloud-init` 은 시드를 ``, 즉 SATA CD-ROM 으로 붙인다. 그래서 이 조합에서는 게스트가 시드를 아예 장치로 보지 못한다. §237 이 성공 판정을 `virsh domblklist` 의 장치 이름으로 잡아 둔 까닭이 여기 있다 — 시드가 `vdb` 로 보여야 하고, `sda` 로 보이면 게스트가 읽지 못한다. +`genericcloud` 가 가벼운 까닭은 물리 하드웨어 드라이버를 뺐다는 데 있고, 시드를 SATA CD-ROM 으로 붙이면 게스트가 그 장치를 보지 못하는 함정도 같은 이유로 생긴다. `virt-install --cloud-init` 은 시드를 ``, 즉 SATA CD-ROM 으로 붙인다. 그래서 이 조합에서는 게스트가 시드를 아예 장치로 보지 못한다. 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 성공 판정을 `virsh domblklist` 의 장치 이름으로 잡아 둔 까닭이 여기 있다 — 시드가 `vdb` 로 보여야 하고, `sda` 로 보이면 게스트가 읽지 못한다. ## 게스트에게 디스크는 두 장이고, 시드는 OS 가 아니다 @@ -147,7 +133,7 @@ cloud-init 은 `cidata` 레이블을 가진 블록 장치를 찾지 못하면 `user-data` 파일은 `#cloud-config` 로 시작해야 한다. 이 첫 줄이 없으면 cloud-init 이 YAML 로 인식하지 못하고 무시하며, 증상은 「부팅은 됐는데 계정이 없다」로 나타난다. -§236 은 비상 접근 수단을 남기라는 항목 하나를 「실제로 겪은 교훈」이라고 따로 적어 두었다. `ssh_pwauth: false` 에 키 인증만 걸어 둔 상태로 3번이 실패하면 사용자가 생성되지 않아 키도 비밀번호도 없고, 콘솔에 붙어도 로그인할 수 없다. 실패 원인을 적어 둔 `/var/log/cloud-init.log` 를 읽을 방법이 그래서 사라지고, VM 을 지우고 다시 만드는 것 말고 남는 선택지가 없어진다. 콘솔 로그인용 비밀번호를 하나 넣어 두면 그 골목을 피하는데, 콘솔 로그인은 sshd 를 거치지 않으므로 `ssh_pwauth: false` 는 그대로 둔다. +「클라우드 이미지와 cloud-init」에서는 비상 접근 수단을 남기라는 항목 하나를 「실제로 겪은 교훈」이라고 따로 적어 두었다. `ssh_pwauth: false` 에 키 인증만 걸어 둔 상태로 3번이 실패하면 사용자가 생성되지 않아 키도 비밀번호도 없고, 콘솔에 붙어도 로그인할 수 없다. 실패 원인을 적어 둔 `/var/log/cloud-init.log` 를 읽을 방법이 그래서 사라지고, VM 을 지우고 다시 만드는 것 말고 남는 선택지가 없어진다. 콘솔 로그인용 비밀번호를 하나 넣어 두면 그 골목을 피하는데, 콘솔 로그인은 sshd 를 거치지 않으므로 `ssh_pwauth: false` 는 그대로 둔다. ## multipass 가 감춰 주던 것이 이 단계들이다 diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-inside-a-qcow2-file-the-mapping-table-and-its-clusters.md b/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-inside-a-qcow2-file-the-mapping-table-and-its-clusters.md index e0a2868..7ff1f0a 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-inside-a-qcow2-file-the-mapping-table-and-its-clusters.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-inside-a-qcow2-file-the-mapping-table-and-its-clusters.md @@ -24,22 +24,6 @@ source: qcow2 는 raw 에 매핑표 하나를 더한 것이고, 표가 가리키는 값은 호스트 주소가 아니라 파일 안의 몇 번째 바이트다. 매핑 항목이 0 이면 바닥 파일의 같은 위치를 읽는다. 오버레이와 스냅샷과 압축이 전부 그 규칙 위에서 돈다. -## 관계 - -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 그 기록이 「파일을 다른 호스트로 들고 갔을 때 무엇이 따라가나」를 다루면서 L1·L2 표의 안쪽을 기준 밖으로 선언했다. 이 글이 그 안쪽이다. -- **WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가** - 그 물음은 `qemu-img convert` 로 먼저 줄인 뒤 옮기는 편이 변환 시간까지 합쳐도 나은지를 묻는다. 무엇이 줄어드는지가 여기 있다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - `qemu-img info` 와 `du` 와 `ls` 가 왜 다른 수를 내는지를 그 물음이 잰다. -- **설치를 안 했는데 왜 뜨는가 — 클라우드 이미지는 설치가 끝난 디스크이고 cloud-init 이 빈칸을 채운다** - 받아 오는 바닥 이미지가 왜 설치 없이 부팅하는지를 그 글이 대고, 이 글은 그 파일의 안쪽을 연다. -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 게스트의 가상 디스크 아래에 올 수 있는 백엔드 셋을 그 글이 가른다. 여기서는 그중 qcow2 하나만 판다. -- **5120MB 를 줬는데 353MB 를 쓰고 있었다 — 선언한 양과 실제로 드는 양** - 20GB 를 선언한 오버레이가 1.4GiB 로 잡힌 실측이 그 기록에 있다. - -## 본문 diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-what-a-qcow2-file-carries.md b/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-what-a-qcow2-file-carries.md index 8d2403a..eda3092 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-what-a-qcow2-file-carries.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/concept/concept-what-a-qcow2-file-carries.md @@ -15,22 +15,8 @@ source: # qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다 -qcow2 한 장에는 데이터 클러스터와 그것이 파일의 어느 오프셋에 놓였는지 적은 매핑표가 들어 있다. 파일 밖을 가리키는 것은 백킹 파일 경로 하나다. 실행 중인 프로세스와 안 내려간 dirty page, vCPU·RAM·NIC 를 적어 둔 VM 정의 XML 은 없다. 20GB 이미지가 2GB 로 보이는 것도 압축이 아니라 쓴 블록만 있기 때문이다. +qcow2 한 장에는 데이터 클러스터와 그것이 파일의 어느 오프셋에 놓였는지 적은 매핑표가 들어 있다. 이 실험대의 오버레이에서 파일 밖으로 이어지는 핵심 의존성은 백킹 파일 경로다. 실행 중인 프로세스와 안 내려간 dirty page, vCPU·RAM·NIC 를 적어 둔 VM 정의 XML 은 없다. 오버레이의 virtual size가 20GiB인데 host allocation이 몇 GiB에 그치는 주된 이유는 아직 쓰지 않은 영역을 파일에 할당하지 않는 sparse allocation이다. 다만 qcow2 포맷 자체는 압축을 지원하고, 이 실험대의 Debian `base.qcow2`에는 실제 압축 클러스터도 있다. -## 관계 - -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 게스트의 가상 디스크 아래에 qcow2 와 RAW, 호스트 블록 장치 가운데 무엇이 올 수 있는지를 그 글이 가른다. 이 글은 그중 qcow2 갈래 하나만 이식 쪽으로 이어 적는다. -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - 게스트가 쓴 내용이 언제 디스크에 닿는지를 그 글이 설명한다. 아직 내려가지 않은 페이지 캐시가 qcow2 에 없는 이유가 거기에서 나온다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - 이 글은 두 크기가 갈린다는 것까지만 적었다. 이 호스트의 이미지가 실제로 얼마인지는 그 물음이 확정한다. -- **virsh save 의 RAM 덤프 크기와 소요 시간은 할당 메모리에 어떻게 비례하는가** - 실행 상태를 파일로 내보내면 RAM 크기만큼 파일이 더 생긴다고만 적었다. 이 호스트에서 실제로 얼마가 되고 얼마나 걸리는지는 재지 않았다. -- **WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가** - 희소 할당으로 실제 파일이 얼마나 커져 있는지가 그 시간을 정한다. 이 실험대에는 이더넷이 없어 WiFi 로만 옮긴다. - -## 본문 @@ -57,9 +43,9 @@ qcow2 는 가상 디스크 한 장의 블록을 담는 파일이다. 블록의 | `machine-id`, SSH 호스트키 | VM 정의 XML — vCPU·RAM·NIC·machine type·CPU 모델 | | 내부 스냅샷 | UEFI NVRAM, 백킹 파일, 호스트 쪽 구성 | -## 희소 할당이지 압축이 아니다 +## 오버레이가 작은 주된 이유는 희소 할당이다 -20GB 로 만든 이미지의 파일 크기가 2GB 로 보이는 것은 압축 때문이 아니라 쓴 블록만 파일에 존재하기 때문이다. 게스트가 계속 쓰면 파일도 그만큼 커지고, 1TB 를 채우면 1TB 파일이 된다. +이 실험대의 오버레이처럼 압축을 따로 사용하지 않는 qcow2가 virtual size보다 작게 보이는 주된 이유는 쓴 블록만 파일에 할당되기 때문이다. 게스트가 데이터를 계속 쓰면 host allocation도 늘어난다. 반면 Debian 배포본 `base.qcow2`는 sparse allocation에 더해 압축 클러스터도 실제로 관측됐으므로, 모든 qcow2의 크기 차이를 한 원인으로 일반화하지 않는다. 이 실험대에서 그 성질이 눈에 보인 곳은 만드는 쪽이다. 10GB 로 만든 엣지 게스트의 생성 출력에서 `Allocating` 이 `00:00` 에 끝났다 — 오버레이라 10GB 를 실제로 쓰지 않는다. @@ -67,26 +53,26 @@ qcow2 는 가상 디스크 한 장의 블록을 담는 파일이다. 블록의 커지기만 하고 줄지는 않는다. 게스트 안에서 파일을 지워도 클러스터가 이미 할당된 상태이기 때문에 qcow2 파일 크기는 그대로다. 줄이려면 게스트에서 `fstrim` 을 돌리거나(디스크에 `discard='unmap'` 이 있어야 한다) 호스트에서 `qemu-img convert` 로 다시 쓴다. -여기 적은 크기는 전부 qcow2 형식의 성질이고 이 호스트에서 잰 값이 아니다. 20GB 에 2GB 도, 1TiB 당 160MiB 도 그렇다. 이 실험대의 게스트 세 대가 실제로 얼마를 쓰고 있는지는 아직 확인하지 않았다. +20GB에 2GB, 1TiB당 약 160MiB라는 숫자는 qcow2 성질을 설명하기 위한 예시다. 현재 실험대의 실제 값은 따로 확인했다. 2026-09-21 기준 `kc-lab-1`과 `kc-lab-2`의 virtual size는 각각 20GiB이고 host allocation은 약 3.43GiB와 2.66GiB였다. edge는 virtual size 10GiB에 host allocation 약 345MiB였다. 예시 숫자와 현재 측정값을 섞어 쓰지 않는다. ## 실행 상태는 파일에 없다 실행 상태까지 옮기려면 qcow2 복사로는 안 되고, 방법이 둘이다. -`virsh save` 는 게스트를 멈추고 메모리 내용을 파일로 내보낸다. 옮기는 동안 게스트는 내려가 있고, 할당한 RAM 만큼 저장 공간이 더 필요하다. 파일을 복사한 뒤 `restore` 로 다시 살린다. +`virsh save` 는 게스트를 멈추고 실행 상태를 파일로 내보낸다. 옮기는 동안 게스트는 내려가 있고 별도의 save 파일 공간이 필요하다. 그 크기를 configured RAM과 같다고 가정하면 안 된다. 2026-09-21 측정에서도 5120MiB와 4096MiB 상태의 save 파일 크기 차이는 약 111MB에 그쳤다. 파일을 복사한 뒤 `restore` 로 다시 살린다. `virsh migrate --live --copy-storage-all` 은 게스트를 켠 채로 옮긴다. 대신 두 호스트가 동시에 떠서 libvirt 끼리 붙어 있어야 하고, 게스트가 보던 CPU 모델이 옮겨 갈 호스트에서도 성립해야 한다. | 어떻게 옮기나 | 무엇을 요구하나 | |---|---| -| `virsh save` 로 내보내고 복사한 뒤 `restore` | VM 이 멈추고, RAM 크기만큼 파일이 더 생긴다 | +| `virsh save` 로 내보내고 복사한 뒤 `restore` | VM 이 멈추고 별도 save 파일 공간이 필요하다. 크기는 RAM과 1 대 1이라고 가정하지 않는다 | | `virsh migrate --live --copy-storage-all` | 두 호스트의 libvirt 가 붙어야 하고 CPU 모델이 호환돼야 한다 | -두 방법 다 이 호스트에서 돌려 보지 않았다. `virsh save` 의 덤프 크기와 걸리는 시간, WiFi 로 대용량 qcow2 를 옮기는 시간은 둘 다 재지 않았고 각각 열린 질문으로 걸어 두었다. +`virsh save`는 2026-09-21에 실제로 확인했다. current memory 5120MiB 상태에서는 save가 약 8.96초, save 파일이 약 3.33GB였고 restore는 약 2.29초였다. 4096MiB 상태에서는 save가 약 3.97초, 파일이 약 3.22GB, restore가 약 1.98초였다. 메모리를 1GiB 줄였다고 save 파일이 1GiB 줄지는 않았으므로 `RAM 크기만큼 파일이 생긴다`고 단정할 수 없다. qcow2 전송도 edge overlay와 base image를 실제 SSH 경로로 옮겨 해시까지 대조했다. 이때 잰 속도는 WiFi 자체의 순수 대역폭이 아니라 디스크와 SSH 처리까지 포함한 end-to-end 전송 결과로 읽는다. ## 이 글이 다루지 않는 것 -매핑표가 파일 안에서 어떤 구조로 나뉘는지는 이 글에서 다루지 않는다. 이식에 필요한 것은 표에 적히는 값이 파일 안의 오프셋이라는 데까지다. 그 아래를 미룬 것은 이 기록이 아니라 원본 문서다 — 제4부가 스토리지 경로를 세우면서 「qcow2 내부 L1/L2 table, blk-mq tag allocator, NVMe submission/completion queue 같은 세부 구현은 필요 시 별도 문서에서 다룬다」고 적었고, 이 글은 그 경계를 그대로 물려받았다. +매핑표가 파일 안에서 어떤 구조로 나뉘는지는 여기서 다루지 않는다. 이식 관점에서 필요한 것은 매핑표가 파일 내부 오프셋을 가리킨다는 데까지다. qcow2 내부 L1/L2 table, blk-mq tag allocator, NVMe submission/completion queue 같은 세부 구현은 이 경로를 더 깊게 볼 때 별도로 다룬다. 온프렘 이미지를 클라우드로 올리는 절차도 이 글 밖이다. 원본 문서가 그 부분을 코드 관측이 아닌 외부 지식이라고 스스로 표시해 두었고 이 실험대에서 한 번도 해 보지 않아서, 원본 문서에만 두고 이 기록으로 옮기지 않았다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-dns-01-because-the-lab-is-not-on-the-public-internet.md b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-dns-01-because-the-lab-is-not-on-the-public-internet.md index e00891b..fb1768b 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-dns-01-because-the-lab-is-not-on-the-public-internet.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-dns-01-because-the-lab-is-not-on-the-public-internet.md @@ -17,7 +17,7 @@ source: 인증서는 Let's Encrypt 의 DNS-01 로 받는다. HTTP-01 은 80 포트와 공개 A 레코드를 요구하는데 이 실험대의 주소는 공개 인터넷에 없고, certbot 이 DNS 공급자 API 로 나가는 DNS-01 만 성립한다. Cloudflare API 토큰이 엣지 VM 안 평문 파일에 놓이는 비용을 감수한다. -## 근거 +## 왜 HTTP-01이 성립하지 않았나 - **갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초** 이 결정으로 받은 인증서가 갱신 뒤에 실제로 서빙되는지는 이 결정 밖이고 그 기록이 받는다. 발급 방식을 정하는 것과 갱신된 것을 nginx 가 읽게 만드는 것은 다른 일이다. @@ -28,25 +28,25 @@ source: - **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** 04 단계의 확인을 어느 기계에서 치는지가 그 기준에 걸려 있다. 엣지 게스트 안에서 치면 층의 답이 아니라 친 위치의 답이 돌아온다. - **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 이 결정이 남긴 이름 규칙을 가이드가 틀리게 적었고, §182 가 그것을 결함 여섯 중 하나로 셌다. 결함 여섯을 나란히 적은 표는 그 기록에 있다. + 이 결정이 남긴 이름 규칙을 가이드가 틀리게 적었고, 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 그것을 결함 여섯 중 하나로 셌다. 결함 여섯을 나란히 적은 표는 그 기록에 있다. -## 결정문 +## 채택한 인증서 방식 인증서는 Let's Encrypt 의 DNS-01 로 받는다. 엣지 게스트에 certbot 과 python3-certbot-dns-cloudflare 를 깐다. Cloudflare API 토큰은 /etc/letsencrypt/cloudflare.ini 에 600 으로 두고, 발급 대상은 hyeonworks.com 과 그 와일드카드 둘을 -d 로 준다. certbot 과 인증서와 갱신 타이머와 deploy 훅은 전부 엣지 게스트에 두고 물리 호스트에는 아무것도 두지 않는다. -## 판단 이유 +## DNS-01을 고른 이유 두 방식은 검증이 오가는 방향이 반대다. HTTP-01 은 Let's Encrypt 가 우리 서버로 들어오는 인바운드 검증이라 80 포트와 공개 A 레코드가 있어야 한다. DNS-01 은 certbot 이 DNS 공급자 API 로 나가는 아웃바운드 검증이라 공개 인터넷에서 보일 필요가 없다. 이 실험대의 주소는 공개 인터넷에 없으므로 HTTP-01 은 성립하지 않는다. -§190 는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다고 대안 쪽을 먼저 적는다. 이 결정은 더 나은 방식을 고른 것이 아니라 하나만 성립하는 조건에서 그것을 쓴 것이다. 딸려 온 이득이 하나 있는데, DNS-01 은 와일드카드를 받을 수 있어 hyeonworks.com 아래의 이름을 인증서 한 장으로 덮는다. 그 이득은 뒤늦게 챙겼다. 이 실험대는 처음에 와일드카드를 안 쓰고 이름마다 따로 받았고, 네 번째 이름이 없어 다른 실험에서 app2 를 빌려 써야 했다. +「단계 04 — Let's Encrypt 와 인증서 갱신」에서는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다고 대안 쪽을 먼저 적는다. 이 결정은 더 나은 방식을 고른 것이 아니라 하나만 성립하는 조건에서 그것을 쓴 것이다. 딸려 온 이득이 하나 있는데, DNS-01 은 와일드카드를 받을 수 있어 hyeonworks.com 아래의 이름을 인증서 한 장으로 덮는다. 그 이득은 뒤늦게 챙겼다. 이 실험대는 처음에 와일드카드를 안 쓰고 이름마다 따로 받았고, 네 번째 이름이 없어 다른 실험에서 app2 를 빌려 써야 했다. -정한 대로 이미 서 있다. 엣지 게스트에는 certbot 과 python3-certbot-dns-cloudflare 가 깔려 있다. certbot plugins 는 dns-cloudflare 와 standalone 과 webroot 세 줄을 내고, 자격증명 파일은 600 으로 놓여 있다. 밖에서 친 openssl s_client 는 체인 0 부터 3 까지 네 단계와 Verify return code: 0 (ok) 를 냈고, curl 은 404 tls=0 을 냈다. 설정 원본은 §184 가 가리키는 저장소의 deploy/lab/edge/ 에 있고 리비전은 frontmatter 에 적었다. +정한 대로 현재 엣지 게스트에는 `certbot`과 `python3-certbot-dns-cloudflare`가 설치돼 있고 renewal 설정의 authenticator는 `dns-cloudflare`다. 자격증명 파일은 600 권한으로 두며, 2026-09-21에는 파일 크기 81 bytes 상태에서 `certbot renew --dry-run --no-random-sleep-on-renew`가 DNS 전파 대기 뒤 성공했다. 외부 TLS 확인에서도 인증서 체인과 검증 성공을 확인했다. 없는 것도 분명하다. HTTP-01 을 실제로 시도해 실패한 기록은 없다. 그 경로가 막혔다는 근거는 시도가 아니라 주소 대역이고, 100.64.0.0/10 이 CGNAT(Carrier-Grade NAT) 예약 대역이라는 것은 이 실험대가 잰 값이 아니라 규격이다. -## 영향 +## 토큰 · 갱신 · 운영 비용 감수한 비용이 셋이다. @@ -63,10 +63,10 @@ DNS 공급자 의존 : 인증서를 받는 일이 Cloudflare 계정에 묶인다 그래도 토큰이 엣지 안에만 있는 것은 아니다. 원본은 Cloudflare 쪽 서버가 들고 있고 엣지에 놓인 것은 사본이라, 엣지 게스트를 지우는 것으로는 계정 쪽 토큰이 없어지지 않는다. 폐기는 Cloudflare 에서 따로 해야 하는데 가이드는 그것을 적지 않았다. -그 배치가 노린 것이 하나 더 있다. virsh undefine kc-lab-edge 한 줄로 이 계층을 통째로 되돌린다는 것이 가이드가 적은 이유인데, 그것은 게스트를 지우면 같이 없어진다는 말이지 걷어내는 절차가 아니다. 원본 가이드 04 에는 걷어내는 순서도, 지운 뒤에 무엇을 확인하는지도 없고, 이 실험대가 그렇게 지워 본 적도 없다. +Edge 계층을 VM 안에 둔 덕분에 nginx·certbot·인증서 파일을 물리 호스트와 분리할 수 있다. 다만 `virsh undefine kc-lab-edge`는 VM을 제거하는 명령일 뿐 Cloudflare 계정의 토큰이나 외부 DNS 상태까지 되돌려 주지는 않는다. 철거 절차는 로컬 VM 자원과 외부 계정 상태를 나눠 다뤄야 한다. 발급 자체에도 순서가 붙는다. --dry-run 을 먼저 돌리는 것은 Let's Encrypt 의 주당 중복 인증서 5장 한도를 dry-run 이 쓰지 않기 때문이다. dry-run 은 인증서를 저장하지 않으므로 그 직후 certbot certificates 가 No certificates found 를 내는 것이 정상이다. -이 결정 뒤에 lineage 이름을 추측하는 규칙을 두지 않는다. 2026-09-17 현재 실험대에서 `sudo ls /etc/letsencrypt/live/` 와 `certbot certificates` 로 확인한 실제 경로는 `live/auth.hyeonworks.com/` 이다(observed). 브라우저가 보는 유효 호스트명은 SAN 목록이고 lineage 디렉터리 이름과 별개다. 원본 가이드 04 에 남아 있던 `live/hyeonworks.com/` 을 nginx 에 쓰면 `cannot load certificate` 로 막혔고, §182 가 이것을 가이드 결함으로 셌다. 그래서 nginx 에는 이름을 추측해 적지 않고 `certbot certificates` 가 찍은 경로를 그대로 쓴다. 와일드카드는 한 단계만 덮으므로 `a.b.hyeonworks.com` 과 apex `hyeonworks.com` 은 별도 조건으로 본다. +이 결정 뒤에 lineage 이름을 추측하는 규칙을 두지 않는다. 2026-09-17 현재 실험대에서 `sudo ls /etc/letsencrypt/live/` 와 `certbot certificates` 로 확인한 실제 경로는 `live/auth.hyeonworks.com/` 이다. 브라우저가 보는 유효 호스트명은 SAN 목록이고 lineage 디렉터리 이름과 별개다. 원본 가이드 04 에 남아 있던 `live/hyeonworks.com/` 을 nginx 에 쓰면 `cannot load certificate` 로 막혔고, 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 이것을 가이드 결함으로 셌다. 그래서 nginx 에는 이름을 추측해 적지 않고 `certbot certificates` 가 찍은 경로를 그대로 쓴다. 와일드카드는 한 단계만 덮으므로 `a.b.hyeonworks.com` 과 apex `hyeonworks.com` 은 별도 조건으로 본다. -이 결정이 끝내지 못한 것이 하나 있다. 받은 인증서가 갱신 뒤에 실제로 서빙되는지는 발급 방식과 별개이고, 근거로 건 첫 기록이 그것을 받는다. +이 결정이 끝내지 못하는 것은 갱신된 인증서가 nginx에 언제부터 실제로 서빙되는가다. DNS-01 발급·갱신 가능성과 nginx reload/deploy hook의 반영 시간은 서로 다른 문제라 별도 기록에서 다룬다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-edge-nginx-moved-into-a-guest-vm.md b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-edge-nginx-moved-into-a-guest-vm.md index af91ea2..ed8f2fa 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-edge-nginx-moved-into-a-guest-vm.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-edge-nginx-moved-into-a-guest-vm.md @@ -18,50 +18,50 @@ source: 호스트에서 돌던 엣지 nginx 를 게스트 한 대(.10) 안으로 옮기고, 호스트는 커널 DNAT 로 tailnet 의 443 포트를 그 게스트에 넘기기만 한다. 바꾼 이유는 성능이 아니라 자주 갈아엎는 층의 격리다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽에 구멍이 새로 필요해졌다. -## 근거 +## 호스트에 두었을 때 생긴 문제 - **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다** - 이 결정이 새로 요구한 것 가운데 3번을 실제로 치른 기록이다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽의 reject 에 막혔고, §180 은 이곳을 이 구축에서 가장 오래 막힌 곳으로 적었다. + 이 결정이 새로 요구한 것 가운데 3번을 실제로 치른 기록이다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽의 reject 에 막혔고, 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 이곳을 이 구축에서 가장 오래 막힌 곳으로 적었다. - **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** 이 구성을 세운 기반 7단계 가이드를 순서대로 따라가면서 나온 결함 여섯이 그 기준의 근거다. 여섯 중 셋이 여기서 옮긴 nginx 와 인증서를 다룬다. - **libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 필요한가** - §180 이 미확인으로 남긴 것을 받는 물음이다. 아래 3번은 이 호스트의 nftables 백엔드에서만 확인했다. + 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 미확인으로 남긴 것을 받는 물음이다. 아래 3번은 이 호스트의 nftables 백엔드에서만 확인했다. - **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** 커널 DNAT 뒤에 이어지는 게스트 쪽 경로를 그 글이 설명한다. - **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가** - §178 이 적은 대로 이 호스트는 이더넷이 없어 libvirt NAT 를 택했다. 그 물음이 실제 구성을 이 호스트에서 확인한다. + 「이 부의 출처와 범위」에서는 적은 대로 이 호스트는 이더넷이 없어 libvirt NAT 를 택했다. 그 물음이 실제 구성을 이 호스트에서 확인한다. -## 결정문 +## 바꾼 배치 엣지 nginx 를 물리 호스트에서 게스트 VM 으로 옮기고, 호스트는 커널 DNAT 로 tailnet 의 443 포트를 그 게스트에 넘기기만 한다. -§179 이 전후 경로를 나란히 적었다. +「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 전후 경로를 나란히 적었다. 전 : tailnet 의 443 포트에서 호스트 nginx 를 거쳐 게스트 .11/.12 의 Traefik 으로 후 : tailnet 의 443 포트에서 호스트 커널 DNAT 를 거쳐 엣지 nginx(.10) 으로, 거기서 .11/.12 의 Traefik 으로 -## 판단 이유 +## 성능이 아니라 격리를 택한 이유 -바꾼 이유로 §179 이 든 것은 성능이 아니라 더러워지는 층의 격리다. nginx 설정과 인증서와 certbot 과 deploy 훅은 자주 갈아엎는 것들이라 호스트에 있으면 초기화가 불가능하다. 엣지에 장애를 일부러 넣어 보는 실험도 호스트에서 하면 SSH 까지 위험해진다. +바꾼 이유로 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 든 것은 성능이 아니라 더러워지는 층의 격리다. nginx 설정과 인증서와 certbot 과 deploy 훅은 자주 갈아엎는 것들이라 호스트에 있으면 초기화가 불가능하다. 엣지에 장애를 일부러 넣어 보는 실험도 호스트에서 하면 SSH 까지 위험해진다. -성능은 근거가 아니다. L7 홉 수는 전후 모두 2홉이고(observed), 늘어난 것은 커널이 하는 L4 전달 한 번뿐이어서 X-Forwarded-* 계약은 그대로 성립한다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없으므로, 느려지지 않았다는 말은 이 기록이 하지 않는다. +성능은 근거가 아니다. L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널의 L4 전달 한 번이다. 그러나 **홉 수가 같다는 사실만으로 `X-Forwarded-*` 계약이 유지되지는 않았다.** 2026-09-21 packet capture에서 Tailscale ingress의 source가 edge에 도달할 때 `192.168.122.1`로 rewrite되는 것을 확인했다. 전환 전후를 같은 부하로 잰 측정도 없으므로, 이 결정은 성능 향상이나 헤더 보존을 근거로 삼지 않는다. -§178 이 적었듯 이 호스트에는 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT(virbr0) 와 호스트 진입 구조를 택했다. +「이 부의 출처와 범위」에서는 적었듯 이 호스트에는 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT(virbr0) 와 호스트 진입 구조를 택했다. 견준 것은 호스트에 두기와 게스트로 옮기기 둘이다. 브리지와 NAT 는 고른 것이 아니라 이더넷이 없어 하나만 남았다. -## 영향 +## 새로 생긴 네트워크 비용 -감수한 비용을 §179 이 일곱 줄의 표로 적고, 그중 둘을 나머지 다섯과 갈라 놓았다(inferred). 경로가 OUTPUT 에서 FORWARD 로 바뀌면서 생긴 것이 그 둘이다. +감수한 비용은 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」의 일곱 줄 표에 정리돼 있다. 그중 DNAT과 libvirt 방화벽 구멍을 나머지 다섯과 구분한 것은 경로가 OUTPUT에서 FORWARD로 바뀐 구조를 바탕으로 한 판단이며, 별도 실험으로 둘만 분리 측정한 것은 아니다. 경로가 OUTPUT 에서 FORWARD 로 바뀌면서 생긴 것이 그 둘이다. DNAT(2번) : 전에는 호스트가 443 포트를 직접 들었으니 넘길 일이 없었다. 지금은 호스트에 리스너가 아예 없다 libvirt 방화벽에 구멍(3번) : 호스트에서 게스트로 가는 것은 OUTPUT 경로라 필터를 안 탔다. 밖에서 게스트로 들어오는 것은 FORWARD 다 -호스트가 게스트에 접속하는 것과 밖에서 게스트로 들어오는 것은 커널이 보기에 완전히 다른 일이다. 3번을 뚫는 데 이 구축에서 가장 오래 걸렸다. §180 에서 밖에서 친 curl 은 connection refused 로 돌아왔다. libvirt 의 guest_input 체인을 끝내는 reject 규칙의 카운터 4 패킷이 그때 친 curl 횟수와 정확히 일치했다. 구멍이 필요하다는 것을 몰라서 오래 걸린 것은 아니다. DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인과 거기 넣은 ct state new accept 가 이미 있었고, 그것이면 열린다고 보고 세웠다 — iptables 감각으로 쓰면 정확히 여기서 틀린다고 §180 이 적었다. +호스트가 게스트에 접속하는 것과 밖에서 게스트로 들어오는 것은 커널이 보기에 완전히 다른 일이다. 3번을 뚫는 데 이 구축에서 가장 오래 걸렸다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서 밖에서 친 curl 은 connection refused 로 돌아왔다. libvirt 의 guest_input 체인을 끝내는 reject 규칙의 카운터 4 패킷이 그때 친 curl 횟수와 정확히 일치했다. 구멍이 필요하다는 것을 몰라서 오래 걸린 것은 아니다. DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인과 거기 넣은 ct state new accept 가 이미 있었고, 그것이면 열린다고 보고 세웠다 — iptables 감각으로 쓰면 정확히 여기서 틀린다고 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 적었다. 같은 계열의 가드레일이 하나 더 붙는다. -SNAT 금지를 명시(4번) : L4 를 한 번 더 타면서 masquerade 를 붙이고 싶어지는데, 붙이면 엣지가 모든 클라이언트를 192.168.122.1 로 본다 +source rewrite 확인(4번) : `lab_edge` DNAT 테이블에는 SNAT를 넣지 않았지만, 실제 host 전체 netfilter 경로에서는 Tailscale `ts-postrouting`의 MASQUERADE가 적용돼 edge가 client를 `192.168.122.1`로 봤다. 따라서 우리 테이블에 SNAT가 없다는 사실만으로 source IP 보존을 주장하지 않는다. 나머지 넷은 배포판이 달라서 생긴 잡무다. @@ -70,6 +70,6 @@ sites-available 관례(5번) : 호스트는 Arch 라 그 디렉터리가 없어 nginx 버전 차이(6번) : Arch 1.30 vs Debian 12 의 1.22. http2 on; 지시어가 1.25.1 이상이다 certbot 과 인증서와 갱신 훅이 게스트로(7번) : 인증서를 읽는 주체가 nginx 이기 때문이다 -얻은 것은 격리다. 자주 갈아엎는 층이 게스트 한 대 안으로 들어가니 그 게스트를 통째로 다시 세울 수 있고, 엣지에 장애를 넣는 실험이 호스트 SSH 를 건드리지 않는다. 그러면서 L7 홉 수는 2홉 그대로라 뒤쪽 Traefik 이 받는 X-Forwarded-* 계약도 바뀌지 않았다. +얻은 것은 격리다. 자주 갈아엎는 층이 게스트 한 대 안으로 들어가니 그 게스트를 통째로 다시 세울 수 있고, 엣지에 장애를 넣는 실험이 호스트 SSH를 직접 건드리지 않는다. L7 홉 수는 2홉 그대로지만 **뒤쪽 Traefik이 받는 client-address/header 조건은 바뀌었다.** source rewrite와 proxy trust는 별도로 검증해야 한다. -아직 재지 않은 것이 셋 있다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없다. 3번의 구멍은 휘발성이라 libvirt 가 네트워크를 다시 세우면 없어지고, 그래서 DNAT 유닛의 ExecStartPost 에 넣었다. 그 조치가 재기동을 견디는지 실제로 다시 세워 확인한 출력은 없다. libvirt 의 firewall_backend 가 iptables 일 때도 같은 구멍이 필요한지는 §180 이 미확인으로 남겼고, 이 호스트는 nftables 백엔드다. +남은 것은 둘이고, 하나는 2026-09-21 재검증으로 닫혔다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없다. libvirt `guest_input` 구멍을 DNAT 유닛의 `ExecStartPost`에 넣은 방식이 재구성을 견디는지는 이번에 실제로 재 봤고 **견디지 못했다.** worker VM 둘을 재구축하자 libvirt가 체인을 다시 쓰면서 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 `active`인데 외부 80/443이 실패했다. 따라서 현재 persistence 방식은 실패한 구현이고 대체 방식은 아직 실제로 확인하지 않았다. libvirt 의 `firewall_backend` 가 iptables 일 때도 같은 구멍이 필요한지는 여전히 미확인이고, 이 호스트는 nftables 백엔드다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-fix-guest-addresses-with-a-dhcp-reservation.md b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-fix-guest-addresses-with-a-dhcp-reservation.md index c402fed..3a839a9 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-fix-guest-addresses-with-a-dhcp-reservation.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-fix-guest-addresses-with-a-dhcp-reservation.md @@ -20,7 +20,7 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 게스트 IP 를 libvirt 의 DHCP 예약으로 묶고 예약을 넣은 다음에 게스트를 만든다. 주소가 바뀌면 k3s 가 설정 파일과 인증서에 구워 둔 IP 부터 어긋나, 고치는 값이 한 곳이 아니라 재발급이나 재설치가 된다. -## 근거 +## 주소가 바뀌면 곤란한 이유 - **cloud-init 시드로 게스트 세 대를 만들고 SSH 가 키로 붙게 한다** 이 예약을 실제로 넣는 명령이 그 절차에 있고, DHCP 예약이 `virt-install` 보다 먼저여야 한다는 순서도 거기서 지킨다. @@ -35,28 +35,28 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit - **L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀** nginx 가 뒤쪽 노드를 주소로 가리키는 구조를 그 글이 설명한다. 여기서 고정한 주소가 그 upstream 에 적힌다. -## 결정문 +## 고정 방식 게스트의 IP 는 libvirt `default` 네트워크의 DHCP 예약(`ip-dhcp-host`)으로 고정한다. 게스트 안에서 static IP 를 잡지 않고, MAC 은 QEMU/KVM 에 할당된 `52:54:00` 대역을 쓴다. 예약을 먼저 넣고 그다음에 `virt-install` 로 게스트를 만든다. 2026-09-10 에 실제로 돌린 결과가 그렇게 나왔다. `virsh net-update default add ip-dhcp-host ... --live --config` 이 `Updated network default persistent config and live state` 를 냈고, 예약을 먼저 넣고 만든 게스트가 첫 부팅에서 바로 `192.168.122.10` 을 받았다. -## 판단 이유 +## Guest static 대신 DHCP reservation -§247 이 인과 순서를 직접 못박아 두었다. upstream 에 IP 를 박으려고 예약을 거는 것이 아니다. 고정 주소가 필요한 이유가 여럿이고 그것을 충족하는 수단이 DHCP 예약이며, 그렇게 얻은 주소를 upstream 에도 적는 순서다. +「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 인과 순서를 직접 못박아 두었다. upstream 에 IP 를 박으려고 예약을 거는 것이 아니다. 고정 주소가 필요한 이유가 여럿이고 그것을 충족하는 수단이 DHCP 예약이며, 그렇게 얻은 주소를 upstream 에도 적는 순서다. -고정이 필요한 이유를 §247 이 중요도 순으로 넷 든다. +고정이 필요한 이유를 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 중요도 순으로 넷 든다. k3s 가 IP 를 설정 파일과 인증서에 굽는다 : `--node-ip` 와 `--tls-san`, agent 의 `K3S_URL=https://192.168.122.11:6443`, kubeconfig 의 `server:` 필드가 전부 IP 를 담는다. server 노드의 IP 가 바뀌면 agent 가 클러스터에 합류하지 못한다. API 서버 인증서의 SAN 도 어긋나서 재발급이나 재설치가 필요해진다. 되돌리기가 가장 비싼 항목이다 nginx 는 upstream 주소를 기동 시점에 한 번만 해석한다 : 오픈소스판은 `upstream` 블록의 이름을 설정 로드 때 풀고 런타임에 다시 조회하지 않는다. 그래서 뒤쪽 IP 가 바뀌면 reload 전까지 계속 502 다. 다시 조회하게 하려면 `resolver` 와 변수 조합을 쓰거나 상용판이 필요하다 VM 을 반복해서 죽이는 것이 실험 그 자체다 : `virsh destroy` 로 노드 상실을 재현하는데 되살릴 때마다 주소가 달라지면 실험이 성립하지 않는다 장애 주입 규칙이 주소 기반이다 : 「kc-lab-2 로 가는 7800 을 막아라」에서 IP 가 어긋나면 조용히 엉뚱한 것을 막는다. 실패가 드러나지 않아 특히 위험하다 -수단은 셋을 견줬고 §247 이 표로 적었다. 게스트 안에서 static IP 를 설정하면 cloud-init 이 복잡해지고 libvirt 는 그 사실을 모르므로 주소 설정이 두 곳으로 흩어진다. upstream 에 호스트명을 쓰면 libvirt 의 dnsmasq 가 이름을 풀어 주기는 한다. 다만 호스트의 리졸버가 `virbr0` 를 바라봐야 하고, 기동 시 한 번만 해석한다는 둘째 문제는 이 방법으로 없어지지 않는다. +수단은 셋을 견줬고 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 표로 적었다. 게스트 안에서 static IP 를 설정하면 cloud-init 이 복잡해지고 libvirt 는 그 사실을 모르므로 주소 설정이 두 곳으로 흩어진다. upstream 에 호스트명을 쓰면 libvirt 의 dnsmasq 가 이름을 풀어 주기는 한다. 다만 호스트의 리졸버가 `virbr0` 를 바라봐야 하고, 기동 시 한 번만 해석한다는 둘째 문제는 이 방법으로 없어지지 않는다. DHCP 예약을 고른 까닭은 주소 관리가 libvirt 한 곳에 모이기 때문이다. 그 한 곳이 libvirt 가 네트워크마다 하나씩 띄우는 dnsmasq 이고, 예약은 네트워크 정의 XML 의 `` 요소에 들어간다. 게스트는 평범한 DHCP 클라이언트로 두면 되고, 게스트 쪽 설정 파일은 아무것도 손대지 않는다. -## 영향 +## 운영할 때 조심할 점 값이 맞으면 조용히 되고 틀리면 더 조용히 틀린다. 그래서 치른 비용이 셋 다 「오류가 안 나는 실패」다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-no-docker-on-the-lab-host.md b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-no-docker-on-the-lab-host.md index a89c3fc..5127731 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-no-docker-on-the-lab-host.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-no-docker-on-the-lab-host.md @@ -18,7 +18,7 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit Docker 는 워크스테이션에만 두고 lab host 와 게스트에서는 뺀다. 깔면 containerd 가 둘이 되어 `docker build` 한 이미지를 k3s 가 보지 못하고, 증상이 `docker images` 에는 보이는데 파드는 `ErrImageNeverPull` 인 모양으로 나온다. -## 근거 +## Docker를 host에 넣으면 생기는 충돌 - **호스트에 직접 깔지 않고 게스트 VM 두 대로 간다 — 관측자가 실험 대상과 함께 죽으면 안 된다** 같은 축의 결정이다. 호스트를 진입점과 하이퍼바이저로만 남긴다는 그 판단이 컨테이너 런타임 쪽에서 한 번 더 쓰였다. @@ -31,13 +31,13 @@ Docker 는 워크스테이션에만 두고 lab host 와 게스트에서는 뺀 - **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** `docker images` 가 보여 주는 목록이 k3s 의 이미지 목록이 아니라는 것을 그 기준이 일반화한다. -## 결정문 +## 런타임 배치 lab host 와 게스트에는 Docker 를 설치하지 않는다. 이미지 빌드는 워크스테이션에서만 하고, 자체 빌드 이미지는 `docker save` 로 내보내 lab host 를 경유해 게스트의 `k3s ctr images import` 로 밀어 넣는다. -§280 의 설치 위치 표가 그 상태를 적는다. libvirt 와 QEMU 와 nginx 와 certbot 과 `kubectl` 은 lab host 에, k3s 는 게스트에, Docker 는 워크스테이션에만 있다. +「무엇을 어디에 설치하는가」의 설치 위치 표가 그 상태를 적는다. libvirt 와 QEMU 와 nginx 와 certbot 과 `kubectl` 은 lab host 에, k3s 는 게스트에, Docker 는 워크스테이션에만 있다. -## 판단 이유 +## k3s containerd만 쓰는 이유 k3s 는 자체 containerd 를 번들한다. Docker 와 무관하게 이미 완결된 스택이고, 소켓도 이미지 저장 경로도 다르다. @@ -48,7 +48,7 @@ Docker 의 이미지 저장 : `/var/lib/docker/` Docker 를 깔면 containerd 인스턴스가 두 개가 되고, 둘은 서로의 이미지를 알지 못한다. `docker build` 한 것은 `/var/lib/docker/` 로 들어가는데 k3s 는 거기를 보지 않아서, 파드를 만들면 이미지가 없다고 한다. 그래서 증상이 `docker images` 에는 보이는데 파드는 `ErrImageNeverPull` 인 모양으로 나오고, 원인이 눈에 보이지 않아 오래 헤맨다. -충돌은 저장소 말고도 §281 이 넷을 더 든다. +충돌은 저장소 말고도 「Docker를 lab host에 설치하면 안 되는 이유」에서는 넷을 더 든다. cgroup 드라이버 : dockerd 의 기본은 `cgroupfs` 이고 k3s 는 `systemd` 다. 한 노드에서 두 관리자가 cgroup 트리를 다툰다 iptables 와 nftables : Docker 가 `DOCKER` 와 `DOCKER-USER` 체인과 MASQUERADE 규칙을 심는다. flannel 규칙과 순서가 엉키면 파드 트래픽이 Docker 규칙에 걸린다 @@ -59,7 +59,7 @@ iptables 와 nftables : Docker 가 `DOCKER` 와 `DOCKER-USER` 체인과 MASQUERA 대안 하나를 기각했다. `k3s server --docker` 로 Docker 를 런타임으로 지정하는 방법이 과거에 있었지만, 쿠버네티스 1.24 의 dockershim 제거 이후로는 별도 `cri-dockerd` 를 요구하며 권장되지 않는다. 얻는 것이 없다. -## 영향 +## 이미지 반입 방식과 비용 이미지를 넣는 길 셋 가운데 둘째로 좁아졌다. 공개 레지스트리에서 당기는 쪽과 클러스터 안에 레지스트리를 두는 쪽이 나머지 둘이고, 지금은 `ctr images import` 로 반입한다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-two-guest-vms-instead-of-installing-k3s-on-the-host.md b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-two-guest-vms-instead-of-installing-k3s-on-the-host.md index 721ce3e..cea59c9 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-two-guest-vms-instead-of-installing-k3s-on-the-host.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/decision/decision-two-guest-vms-instead-of-installing-k3s-on-the-host.md @@ -18,7 +18,7 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit k3s 를 게스트 VM 두 대에 나눠 깔고 물리 호스트는 진입점과 하이퍼바이저로만 남긴다. 머신이 한 대뿐이라 같은 커널에 두 노드를 올리면 노드 상실 실험이 성립하지 않고, 호스트가 노드를 겸하면 SSH 와 libvirt 와 nginx 가 실험 대상과 같이 내려간다. -## 근거 +## 호스트 직접 설치의 문제 - **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** 같은 논리를 엣지 한 층에 다시 적용한 결정이다. 그쪽은 게스트 구조가 이미 있다고 놓고 엣지가 어디 사는지를 정했고, 이쪽은 게스트 구조를 쓸 것인지를 정했다. @@ -33,15 +33,15 @@ k3s 를 게스트 VM 두 대에 나눠 깔고 물리 호스트는 진입점과 - **실험대를 껐다 켜고 게스트 메모리를 다시 나눈다** 게스트로 갔기 때문에 가능해진 운영이다. `virsh setmaxmem` 으로 메모리를 다시 나누는 일은 호스트에 직접 깔았으면 생기지 않는다. -## 결정문 +## 선택한 VM 배치 -k3s server 를 게스트 `kc-lab-1` 에, agent 를 게스트 `kc-lab-2` 에 깐다. 물리 호스트 `test-server` 에는 nginx 와 libvirt/KVM 만 두고 k3s 를 설치하지 않는다. +k3s server는 게스트 `kc-lab-1`에, agent는 `kc-lab-2`에 둔다. 물리 호스트 `test-server`에는 k3s를 설치하지 않고 libvirt/KVM과 실험대 진입에 필요한 최소 기능만 남긴다. -2026-09-03 에 구축이 끝난 배치가 그 상태다. 게스트 둘이 `virbr0` 뒤에서 `192.168.122.11` 과 `192.168.122.12` 를 쓰고, 호스트에는 nginx 와 libvirt/KVM 만 있다. 나중에 엣지 게스트가 한 대 더 붙어 셋이 되는데, 그것은 엣지를 게스트로 옮긴 결정이 따로 받는다. +2026-09-03 최초 배치에서는 게스트 둘이 `virbr0` 뒤에서 `192.168.122.11`과 `192.168.122.12`를 썼고 nginx는 호스트에 있었다. 이후 `kc-lab-edge`가 추가되면서 nginx도 Edge VM으로 이동했다. 현재도 이 결정의 핵심인 **k3s 노드와 물리 호스트의 커널 분리**는 그대로 유지된다. -## 판단 이유 +## 두 guest로 나눈 이유 -물리 머신이 한 대다. 그 한 대로 무엇을 재려 하는가가 이 판단을 갈랐다. §213 은 「나중에 반드시 다시 묻게 되는 판단이므로 근거를 남긴다」로 시작해 이유 여섯을 중요도 순으로 적는다. +물리 머신이 한 대다. 그 한 대로 무엇을 재려 하는가가 이 판단을 갈랐다. 「왜 호스트에 직접 깔지 않고 VM 2대인가」에서는 「나중에 반드시 다시 묻게 되는 판단이므로 근거를 남긴다」로 시작해 이유 여섯을 중요도 순으로 적는다. 독립 커널이 둘 필요하다 : 같은 커널에 k3s server 와 agent 를 올리면 노드가 이름뿐이라 노드 간 방화벽·파티션·노드 상실 실험이 성립하지 않는다 파괴 실험 후 복원 : VM 은 qcow2 오버레이를 지우면 몇 초 만에 초기 상태로 돌아가고, 호스트는 재설치 말고 되돌릴 방법이 없다 @@ -50,21 +50,21 @@ k3s server 를 게스트 `kc-lab-1` 에, agent 를 게스트 `kc-lab-2` 에 깐 운영 배포판과 일치 : 호스트는 Arch 인데 운영 k3s 가 다른 배포판이면 커널과 systemd 차이가 잡음이 된다. 게스트를 운영과 같게 맞추면 그 잡음이 사라진다 netem 격리 : 커널이 분리되어 지연 주입이 게스트 안에 갇힌다. 호스트에서 걸면 SSH 까지 느려진다 -견준 쪽은 호스트에 단일 노드 k3s 를 직접 까는 것이다. §213 은 그것을 정직한 반대편으로 직접 적었다 — 계약 검증(2홉 헤더, 쿠키/origin)만 볼 거라면 호스트 직접 설치로 충분하고 그게 더 빠르다. VM 경로가 필요해지는 것은 클러스터와 장애 실험부터다. +견준 쪽은 호스트에 단일 노드 k3s 를 직접 까는 것이다. 「왜 호스트에 직접 깔지 않고 VM 2대인가」에서는 그것을 정직한 반대편으로 직접 적었다 — 계약 검증(2홉 헤더, 쿠키/origin)만 볼 거라면 호스트 직접 설치로 충분하고 그게 더 빠르다. VM 경로가 필요해지는 것은 클러스터와 장애 실험부터다. 절충안도 하나 검토하고 채택하지 않았다. 호스트를 노드 1로 쓰고 VM 을 노드 2로 두는 방법이다. 게스트 운영체제 하나(약 350MB)와 설치 수고를 아끼는 대신 관측자 분리와 호스트 오염 방지를 포기하게 된다. 7.4Gi 예산에서 그 350MB 보다 관측자 분리가 더 값지다고 판단했다. -## 영향 +## 구축 비용과 얻은 격리 실험 범위를 넓히는 대가로 구축 시간과 게스트 운영체제 몫의 메모리를 치렀다. 호스트에 단일 노드로 깔았으면 하루 안에 끝났을 구축이 게스트 생성과 cloud-init 과 k3s 설치로 나뉘었고, 게스트마다 커널과 systemd 가 따로 돌아 그만큼의 메모리를 쓴다. -얻은 것은 되돌릴 수 있는 실험대다. 노드를 죽여도 `virsh start` 로 되살아나고, 게스트를 통째로 지워도 `base.qcow2` 위에 오버레이를 다시 얹으면 몇 초 만에 초기 상태가 된다. 호스트의 인증서와 DNS 와 진입 설정은 그동안 한 번도 건드려지지 않는다. +얻은 것은 되돌릴 수 있는 실험대다. 노드를 죽여도 `virsh start`로 되살릴 수 있고, 게스트를 통째로 지워도 `base.qcow2` 위에 오버레이를 다시 만들어 복구할 수 있다. 2026-09-21에는 worker 두 대를 실제로 `destroy → undefine --remove-all-storage`한 뒤 cloud-init·k3s·Keycloak까지 다시 구축해 이 경로를 확인했다. 같은 구분이 클러스터 안에서 한 번 더 나온다. k3s server 와 agent 는 죽였을 때가 다르다. kc-lab-1(server) 를 죽이면 : `kubectl` 이 안 되고 DNS 와 인그레스도 사라진다 kc-lab-2(agent) 를 죽이면 : 그 노드의 워크로드만 사라지고 클러스터 제어는 살아 있다 -그래서 노드 상실 실험은 agent 를 죽이는 것이고, server 를 죽이는 것은 노드 상실이 아니라 컨트롤 플레인 상실이다. §313 은 이 사실을 모르고 「keycloak 하나만 있는 노드를 죽이자」고 계획했다가 실제 배치를 조회한 뒤 정정했다고 적는다. 노드가 둘뿐이라 관측과 실험을 완전히 갈라놓을 수는 없으므로 §330 이 규칙으로 못박았다 — 관측 스택은 server 쪽에 두고 죽이지 않으며, 장애 주입은 agent 쪽에만 건다. `nodeSelector` 로 배치를 고정해야 그 규칙이 재현된다. +그래서 노드 상실 실험은 agent 를 죽이는 것이고, server 를 죽이는 것은 노드 상실이 아니라 컨트롤 플레인 상실이다. 「k3s server와 agent — 죽였을 때가 다르다」에서는 이 사실을 모르고 「keycloak 하나만 있는 노드를 죽이자」고 계획했다가 실제 배치를 조회한 뒤 정정했다고 적는다. 노드가 둘뿐이라 관측과 실험을 완전히 갈라놓을 수는 없으므로 「관측 시스템의 장애 도메인」에서는 규칙으로 못박았다 — 관측 스택은 server 쪽에 두고 죽이지 않으며, 장애 주입은 agent 쪽에만 건다. `nodeSelector` 로 배치를 고정해야 그 규칙이 재현된다. 확인하지 않은 것이 하나 있다. 호스트 직접 설치와 게스트 두 대를 같은 실험으로 견준 측정은 이 저장소에 없다. 여섯 이유는 무엇이 성립하고 무엇이 성립하지 않는가에 대한 판단이고, 어느 쪽이 얼마나 느린지는 재지 않았다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-guest-input-hole-under-the-iptables-backend.md b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-guest-input-hole-under-the-iptables-backend.md index 63d11f4..1d29afc 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-guest-input-hole-under-the-iptables-backend.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-guest-input-hole-under-the-iptables-backend.md @@ -7,6 +7,7 @@ topicName: 실험대 환경 구성 project: virtualization status: 게시 전 questionStatus: OPEN +lastVerifiedOn: 2026-09-21 sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot source: - final/document.md#183-이-부에서-파생될-open-question-oq-1 @@ -15,22 +16,11 @@ source: # libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 필요한가 -libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 필요한지는 재지 않았다. nftables 백엔드에서는 그 체인의 reject 가 밖에서 온 요청을 connection refused 로 끊었고, forward 체인의 accept 도 막지 못했다. 백엔드만 바꿔 재면 닫힌다. +nftables 백엔드에서는 libvirt의 `guest_input` 체인 끝 `reject`가 외부 요청을 `connection refused`로 끊는 것을 2026-09-21에도 다시 재현했다. 다만 `firewall_backend=iptables` 비교는 아직 수행하지 않았다. 전역 libvirt firewall backend를 바꾸고 네트워크를 다시 세우면 현재 edge 진입점까지 끊길 수 있어, 기존 서비스가 함께 있는 이 host에서는 백엔드를 임의 전환하지 않았다. -## 관계 +## 현재 nftables backend에서 확인된 것 -- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다** - 그 기록이 nftables 백엔드에서 증상과 원인과 해결을 닫았고, 이 물음은 거기서 미확인으로 표시된 한 줄을 받는다. -- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** - 그 결정이 감수한 일곱 가지 중 3번이 libvirt 방화벽에 구멍을 뚫는 일이라, 이 물음의 답이 그 비용의 적용 범위를 정한다. -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 밖에서 들어온 패킷이 게스트까지 가는 경로를 그 기록이 설명한다. -- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가** - 밖에서 게스트로 들어오는 경로가 FORWARD 를 타는지가 그 모드에서 갈린다. - -## 사실 - -- 제3부가 그린 게스트 패킷 경로 위에서 이 구축이 가장 오래 막힌 지점이 여기라고 §180 이 적었다. +- 실제 구축에서 외부 요청이 가장 오래 막힌 지점은 libvirt가 만든 `guest_input` 체인이었다. - 호스트에서 curl http://192.168.122.10 을 치면 엣지 nginx 가 404 로 응답했다. - 밖에서 curl http://100.83.212.4 을 치면 connection refused 가 왔다. 드롭이면 기다리다 죽으니, 타임아웃이 아니라 즉시 거절이라는 점이 단서였다. - libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 reject 로 끝낸다. 그 앞에는 established,related 를 accept 하는 규칙이 있다. @@ -38,36 +28,36 @@ libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 - DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인이 있고 거기에 ct state new accept 를 넣어 두었다. 그런데도 패킷은 뒤 체인에서 거절됐다. - nftables 는 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가한다. 앞 체인의 accept 는 이 체인은 통과라는 뜻이고, 평가를 즉시 끝내는 것은 drop 이다. iptables 감각으로 쓰면 정확히 여기서 틀린다. - 구멍은 libvirt 체인 맨 앞에 뚫었다. insert 가 맨 앞이고 add 가 맨 뒤다. -- 그 규칙은 휘발성이다. libvirt 가 네트워크를 다시 세우면 guest_input 을 새로 쓰면서 날아가므로 DNAT 유닛의 ExecStartPost 에 넣었다. -- 이 호스트는 nftables 백엔드다. firewall_backend 가 iptables 일 때도 같은지는 재지 않았다고 §180 이 미확인으로 표시했다. +- 그 규칙은 휘발성이다. 처음에는 DNAT 유닛의 `ExecStartPost`로 다시 넣는 방식을 썼다. 그러나 2026-09-21 worker 재구축에서 libvirt가 `guest_input`을 다시 구성한 뒤 기존 accept 규칙들이 `reject` 뒤로 밀렸고 외부 80/443이 다시 실패했다. 따라서 `ExecStartPost` 한 번은 persistence 해법으로 충분하지 않다는 것까지 확인됐다. +- 이 호스트는 nftables 백엔드다. firewall_backend 가 iptables 일 때도 같은지는 재지 않았다고 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 미확인으로 표시했다. -## 가정 +## iptables backend에서 비교할 조건 - 백엔드를 iptables 로 바꿔도 libvirt 가 밖에서 게스트로 들어오는 경로에 자기 규칙을 만든다고 본다. 확인한 것은 nftables 백엔드 하나뿐이라, 규칙을 쓰는 도구만 달라지고 libvirt 가 그 경로를 거른다는 것 자체는 같다고 전제한다. - 엣지 게스트와 DNAT 구성은 그대로 두고 백엔드만 바꾼다고 본다. 둘을 같이 바꾸면 결과가 어느 쪽 때문인지 가려지지 않는다. -- §178 이 적은 test-server 한 대에서 잰다고 전제한다. 다른 배포판이나 다른 libvirt 버전에서 같은 결과가 나오는지는 이 물음이 묻지 않는다. -- 밖에서 치는 경로는 전과 같다고 본다. §180 의 측정이 밖에서 100.83.212.4 로 친 요청이었으므로 같은 주소를 같은 방법으로 친다. +- 「이 부의 출처와 범위」에 적은 test-server 한 대에서 잰다고 전제한다. 다른 배포판이나 다른 libvirt 버전에서 같은 결과가 나오는지는 이 물음이 묻지 않는다. +- 밖에서 치는 경로는 전과 같다고 본다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」의 측정이 밖에서 100.83.212.4 로 친 요청이었으므로 같은 주소를 같은 방법으로 친다. -## 미지수 +## 아직 모르는 backend 차이 - firewall_backend 를 iptables 로 둔 호스트에서 밖에서 게스트로 가는 FORWARD 경로를 무엇이 끝내는지. - 그때 forward 체인의 ct state new accept 가 실제로 먹는지, 아니면 거기서도 libvirt 쪽 규칙에 구멍을 따로 뚫어야 하는지. - 구멍이 필요하다면 그 방법이 nftables 에서 쓴 insert 맨 앞 규칙과 어떻게 다른지, 그리고 그 규칙도 네트워크를 다시 세우면 날아가는지. -## 제약 +## 환경별로 달라지는 범위 -- 잴 수 있는 호스트가 한 대다. §178 이 적은 test-server 는 Arch Linux, i5-1135G7 논리 코어 8, RAM 11,648MiB, QEMU 11.1.1 · libvirt 12.7.0 이다. +- 잴 수 있는 호스트가 한 대다. 「이 부의 출처와 범위」에 적은 test-server 는 Arch Linux, i5-1135G7 논리 코어 8, RAM 11,648MiB, QEMU 11.1.1 · libvirt 12.7.0 이다. - 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT(virbr0) + 호스트 진입 구조를 택했다. 밖에서 들어온 패킷이 FORWARD 를 타는 것이 그 구성 때문이라, 네트워크 모드가 달라지면 이 물음이 묻는 상황도 달라진다. - 백엔드를 바꾸려면 libvirt 네트워크를 다시 세워야 하고, 그때 guest_input 에 뚫어 둔 구멍이 날아간다. 엣지 게스트가 밖에서 들어오는 요청을 받는 진입점이므로 되돌릴 절차를 먼저 준비한다. -- 이 물음에 쓸 측정 원문이 아직 없다. §180 의 curl 출력도 규칙 덤프도 final/evidence/ 에 없어서, 카운터 4 패킷 240 바이트의 근거는 SSOT 본문에 옮겨 적힌 덤프뿐이다. +- iptables backend 비교 원문은 아직 없다. nftables backend의 과거 `4 packets / 240 bytes` 수치는 당시 본문에 옮긴 덤프에만 남아 있고, 2026-09-21에는 같은 backend에서 외부 요청 실패와 `reject` 카운터 증가를 다시 확인했다. 두 시점의 숫자를 하나의 실행처럼 합치지 않는다. -## 선택지 +## 어떻게 비교할까 ### 1. 구멍을 뺀 채 백엔드만 iptables 로 바꾸고 밖에서 한 번 친다 -§183 이 적은 그대로다. 백엔드를 바꾸면서 libvirt 네트워크를 다시 세우면 guest_input 의 구멍은 어차피 날아가기 때문에, 구멍 없는 상태가 저절로 만들어진다. 그 상태에서 밖에서 엣지로 curl 을 치고 응답인지 connection refused 인지, 그리고 거기까지 걸린 시간을 적는다. 같은 시각에 libvirt 가 만든 규칙을 그대로 덤프해 어느 규칙이 패킷을 끝내는지 본다. 규칙마다 카운터가 붙어 있으면 그 값이 친 횟수와 맞는지도 함께 읽는다. nftables 에서 범인을 지목한 것이 그 카운터였다. +백엔드를 바꾸면서 libvirt 네트워크를 다시 세우면 현재 `guest_input`에 넣은 허용 규칙은 사라지므로, 별도 구멍이 없는 상태에서 비교를 시작할 수 있다. 그 상태에서 밖에서 엣지로 curl 을 치고 응답인지 connection refused 인지, 그리고 거기까지 걸린 시간을 적는다. 같은 시각에 libvirt 가 만든 규칙을 그대로 덤프해 어느 규칙이 패킷을 끝내는지 본다. 규칙마다 카운터가 붙어 있으면 그 값이 친 횟수와 맞는지도 함께 읽는다. nftables 에서 범인을 지목한 것이 그 카운터였다. -§180 이 적은 그 forward 체인은 지금 DNAT 파일에 없다. §189 가 싣는 파일에 남은 체인은 prerouting 하나이고, accept 는 유닛의 ExecStartPost 가 libvirt 체인 안에 넣는다. 그래서 아래 셋 가운데 마지막을 재려면 그 체인을 먼저 되돌려 놓아야 한다. +「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에 적은 그 forward 체인은 지금 DNAT 파일에 없다. 「단계 03 — 엣지 nginx 라우팅과 호스트 DNAT」에서는 싣는 파일에 남은 체인은 prerouting 하나이고, accept 는 유닛의 ExecStartPost 가 libvirt 체인 안에 넣는다. 그래서 아래 셋 가운데 마지막을 재려면 그 체인을 먼저 되돌려 놓아야 한다. 읽어 낼 것은 셋이다. @@ -81,14 +71,14 @@ forward 체인의 accept : 먹었는가 먹지 않았는가 ### 3. libvirt 가 iptables 백엔드에서 만드는 규칙을 문서로 읽어 견준다 — 제외 -호스트를 건드리지 않아도 되지만 답이 나오지 않는다. §180 에서도 규칙 목록이 아니라 카운터가 범인을 지목했으니, 우선순위가 다른 base 체인 둘이 한 훅에 붙었을 때 어느 쪽이 패킷을 끝내는지는 이 구성에서 돌려 봐야 나온다. +호스트를 건드리지 않아도 되지만 답이 나오지 않는다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서도 규칙 목록이 아니라 카운터가 범인을 지목했으니, 우선순위가 다른 base 체인 둘이 한 훅에 붙었을 때 어느 쪽이 패킷을 끝내는지는 이 구성에서 돌려 봐야 나온다. -## 다음 검증 +## 다음 확인 1. libvirt 의 firewall_backend 를 iptables 로 두고 네트워크를 다시 세운다. 이때 guest_input 에 뚫어 둔 구멍이 날아가므로 구멍 없는 상태에서 시작한다. 2. 밖에서 엣지로 curl 을 치고 결과가 응답인지 connection refused 인지, 그리고 거기까지 걸린 시간을 적는다. 3. 같은 시각에 libvirt 가 만든 규칙을 그대로 덤프해 어느 규칙이 패킷을 끝내는지와 그 카운터가 친 횟수와 맞는지를 본다. -4. 출력 원문은 final/evidence/raw/ 에 남기고, 그 실행의 명령과 cwd 와 실행 시각과 종료 코드는 meta/ 에 적는다. -5. 백엔드를 nftables 로 되돌리고 DNAT 유닛의 ExecStartPost 가 구멍을 다시 뚫는지 확인한다. +4. 출력 원문과 함께 실행한 명령, 작업 디렉터리, 실행 시각, 종료 코드를 기록한다. backend 전환 전후의 ruleset과 외부 요청 결과를 한 실행 단위로 묶어야 나중에 비교할 수 있다. +5. 백엔드를 nftables 로 되돌린 뒤 현재 외부 경로가 원래 상태로 복구됐는지 직접 확인한다. `ExecStartPost`는 libvirt의 이후 체인 재작성까지 보장하지 못하므로, 유닛 `active`만 보지 않고 `guest_input`에서 edge용 `accept`가 `reject`보다 앞에 있는지와 외부 80/443 응답을 함께 본다. -닫는 조건 : 백엔드를 iptables 로 둔 상태에서 밖에서 친 요청이 응답을 받으면 그 백엔드에서는 구멍이 필요 없다고 적고 닫는다. 여전히 거절되면 어느 규칙이 끝냈는지와 그때의 구멍 방법을 「호스트 안에서는 404, 밖에서는 connection refused」 기록의 해결 절에 행으로 더한 뒤 닫는다. 어느 쪽이든 그 결과가 엣지를 게스트로 옮기며 감수한 비용 3번의 적용 범위를 정한다. 지금 그 비용은 nftables 백엔드에서만 확인했다. +`iptables` 백엔드에서 별도 허용 규칙 없이 외부 요청이 응답을 받으면 현재의 `guest_input` 구멍은 nftables 백엔드에 한정된 조치로 본다. 여전히 거절되면 패킷을 끝낸 규칙과 필요한 허용 방법을 함께 남긴다. 지금 확인된 범위는 nftables 백엔드뿐이다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-is-this-lab-issuing-certificates-with-http-01-or-dns-01.md b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-is-this-lab-issuing-certificates-with-http-01-or-dns-01.md index ea2d0bf..1a9d004 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-is-this-lab-issuing-certificates-with-http-01-or-dns-01.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-is-this-lab-issuing-certificates-with-http-01-or-dns-01.md @@ -18,24 +18,9 @@ source: # 이 실험대의 certbot 은 HTTP-01 로 받고 있는가 DNS-01 로 받고 있는가 -2026-09-17 renewal 설정을 직접 읽으면서 답이 나왔다. `authenticator = dns-cloudflare` 였다. 따라서 이 실험대의 certbot은 DNS-01로 등록되어 있다(observed). 이전에 HTTP-01과 DNS-01 중 어느 쪽인지 열어 둔 상태는 닫는다. +2026-09-17 renewal 설정에서 `authenticator = dns-cloudflare`를 직접 확인했다. 이 실험대의 certbot은 DNS-01로 등록돼 있다. 2026-09-21 재검증에서는 credential 파일이 81 bytes였고 `certbot renew --dry-run --no-random-sleep-on-renew`도 성공해, 현재 자격증명으로 DNS-01 갱신 시뮬레이션이 동작하는 것까지 확인됐다. -## 관계 - -- 인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다 - 이 결정이 설계 의도만 적은 것이 아니라 현재 실험대의 등록 상태와도 일치한다는 것이 확인됐다. -- DNS-01 으로 와일드카드 인증서를 받고 갱신이 서빙까지 닿게 한다 - renewal 설정의 `authenticator`와 자격증명 경로를 실제 출력으로 확인한 Setup이다. -- 실험대를 철거하고 무엇이 남는지 확인한다 - 검증 방식은 닫혔지만 현재 Cloudflare 자격증명이 재발급에 쓸 수 있는지는 별도 확인이 필요해 인증서 보존 판단에는 그 조건이 남는다. -- 갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초 - 이 질문은 발급·갱신 방식만 닫는다. 갱신된 파일을 nginx가 다시 읽는 문제는 그 Case의 범위다. -- 공개 터널을 쓰지 않고 tailnet 직결로 둔다 — 홉이 하나 늘면 재려던 계약이 오염된다 - 공개 인터넷에서 HTTP-01이 성립하지 않는 조건은 그대로다. -- 가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가 - 7단계 중 04의 인증 방식 판정은 닫혔다. 재발급 자격증명과 dry-run 성공 여부는 별도 검증으로 남긴다. - -## 사실 +## 현재 certbot 설정 2026-09-17 `sudo sh -c` 안에서 `/etc/letsencrypt/renewal/*.conf`를 읽었다. 후속 원문에는 다음 세 줄이 남아 있다. @@ -45,35 +30,29 @@ source: 일반 셸에서 `sudo grep ... /etc/letsencrypt/renewal/*.conf`로 친 첫 시도는 zsh가 글로브를 sudo보다 먼저 펼치면서 `no matches found`로 실패했다. 그래서 `sudo sh -c` 안에서 글로브를 펼쳤다. -같은 후속 원문에서 Cloudflare 자격증명 파일의 토큰 길이는 `0자`로 측정됐고 토큰 검증은 `Invalid request headers`로 실패했다. 따라서 DNS-01 등록 여부는 확인됐지만 현재 자격증명이 유효하다고 확인된 것은 아니다. +2026-09-17에는 Cloudflare 자격증명 파일의 토큰 길이가 `0자`였고 토큰 검증도 `Invalid request headers`로 실패했다. 이 상태는 2026-09-21 재검증에서 바뀌었다. 당시 credential 파일은 81 bytes였고 dry-run은 DNS 전파 대기 30초 뒤 `all simulated renewals succeeded`로 끝났다. `auth.hyeonworks.com`은 tailnet 주소 `100.83.212.4`로 풀리고, 이 주소는 공개 인터넷에서 라우팅되지 않는 `100.64.0.0/10` 안이다. 이 조건 때문에 HTTP-01을 현재 진입 경로에 그대로 적용할 수 없다는 판단도 바뀌지 않는다. -2026-09-17 현재 lineage는 `/etc/letsencrypt/live/auth.hyeonworks.com/`이었다. `/etc/letsencrypt/live/hyeonworks.com/`은 원본 가이드에 남은 known-wrong 경로였고, 그대로 `nginx -t`를 실행하면 certificate file not found로 실패했다. +2026-09-17 현재 lineage는 `/etc/letsencrypt/live/auth.hyeonworks.com/`이었다. `/etc/letsencrypt/live/hyeonworks.com/`은 원본 가이드에 남은 잘못된 경로였고, 그대로 `nginx -t`를 실행하면 certificate file not found로 실패했다. -## 가정 +## challenge 방식을 판정하는 기준 renewal 설정이 2026-09-17 관측 뒤에 수동으로 변경되지 않았다고 전제한다. 이후 설정을 바꾸면 이 기록의 “현재” 범위도 그 시점까지만 유효하다. -## 미지수 +## 이미 해소된 challenge 방식 -이 질문의 핵심 미지수였던 `authenticator`는 해소됐다. +HTTP-01인지 DNS-01인지에 대한 미지수는 해소됐다. 2026-09-21 dry-run도 성공했으므로 현재 credential로 갱신 시뮬레이션이 가능한지도 확인됐다. -남은 미지수는 다른 판단에 속한다. +남아 있는 것은 토큰 권한이 필요한 zone과 DNS 편집 범위로 최소화돼 있는지 같은 자격증명 관리 문제다. 이것은 ACME challenge 방식에 대한 질문과는 별개다. -- `/etc/letsencrypt/cloudflare.ini`에 유효한 토큰을 다시 넣었는가. -- 그 토큰의 권한이 필요한 zone과 DNS 편집 범위로 좁혀져 있는가. -- 현재 `certbot renew --dry-run`이 성공하는가. - -이 셋은 DNS-01인지 HTTP-01인지를 다시 여는 근거가 아니다. 재발급·갱신 가능성을 확인하는 후속 조건이다. - -## 제약 +## 이 결과가 말하지 않는 것 비밀 값은 증거에 남기지 않는다. 자격증명은 길이·존재 여부와 API 검증 결과까지만 기록한다. `sudo`가 필요한 디렉터리의 글로브는 일반 사용자 셸에서 먼저 펼치지 않는다. 이 실험대에서는 그 방식이 실제로 실패했다. -## 선택지 +## certbot 설정과 dry-run을 같이 확인했다 ### 1. DNS-01 — 현재 관측과 일치 @@ -83,10 +62,8 @@ renewal 설정이 `dns-cloudflare`를 직접 가리킨다. 이 질문의 답이 원본 가이드 04에는 `--webroot` 경로가 남아 있었지만, 현재 renewal 설정이 그것을 사용한다는 증거는 없다. historical document branch로만 남긴다. -## 다음 검증 +## 현재 실험대는 DNS-01로 갱신한다 -이 Question은 RESOLVED다. `authenticator`를 다시 읽는 것은 질문을 닫기 위한 검증이 아니라 설정 변경 감시다. +이후에는 renewal 설정이 바뀌었는지와 정기 갱신이 계속 성공하는지만 운영 확인 대상으로 본다. -재발급 가능성을 확인하려면 유효한 Cloudflare 자격증명을 준비한 뒤 `sudo certbot renew --dry-run`을 별도 검증한다. 그 결과가 실패하더라도 이 Question을 다시 `OPEN`으로 돌리지 않는다. 실패 원인은 자격증명·DNS 권한·ACME 경로 쪽의 새 문제로 분리한다. - -닫는 조건 : 2026-09-17 raw evidence에서 `authenticator = dns-cloudflare`가 직접 관측되어 충족됐다. +2026-09-17에는 `authenticator = dns-cloudflare`를 직접 확인했고, 2026-09-21에는 credential 81 bytes와 dry-run 성공을 다시 확인했다. 이후 갱신이 실패하더라도 challenge 방식 자체가 바뀐 것이 아니라면 이 질문을 다시 열지 않고 자격증명·DNS 권한·ACME 경로 문제로 분리한다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-qcow2-transfer-time-over-wifi.md b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-qcow2-transfer-time-over-wifi.md index f78419c..7c80c09 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-qcow2-transfer-time-over-wifi.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-qcow2-transfer-time-over-wifi.md @@ -6,8 +6,11 @@ topic: lab-environment-build topicName: 실험대 환경 구성 project: virtualization status: 게시 전 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/111-qcow2-wifi-transfer-edge.txt source: - final/document.md#183-이-부에서-파생될-open-question-oq-3 - final/document.md#181-qcow2-가-담는-것과-담지-않는-것 @@ -16,58 +19,50 @@ source: # WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가 -이 호스트의 qcow2 한 장을 WiFi 로 다른 기계에 옮기는 데 몇 시간이 걸리는지 아직 재지 않았다. 이더넷이 없어 쓸 수 있는 링크가 그 WiFi 하나뿐이고, 파일이 몇 바이트인지도 SSOT 에 없다. 크기를 먼저 확정하고 한 번 옮겨 시간을 잰다. +2026-09-21 `test-server`의 기본 LAN 경로가 `wlo1` Wi‑Fi임을 확인한 뒤 `kc-lab-edge`를 정상 종료하고 overlay qcow2를 workmachine으로 끝까지 전송했다. overlay는 460,914,688 bytes(약 439.6 MiB)였고 15.216초, 평균 28.89 MiB/s가 나왔다. edge를 즉시 다시 시작한 뒤 공통 `base.qcow2` 338,952,192 bytes도 전송했다. 두 파일을 합친 실제 image set은 762.8 MiB였고 순수 전송 시간 합계는 26.906초, 평균 28.35 MiB/s였다. source/destination SHA-256도 두 파일 모두 일치했다. -## 관계 +## 실제 Wi-Fi 전송 결과 -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 옮길 대상이 무엇이고 파일 크기가 왜 가상 크기와 다른지를 그 기록이 설명한다. -- **virsh save 의 RAM 덤프 크기와 소요 시간은 할당 메모리에 어떻게 비례하는가** - 같은 이동의 다른 절반이라, 실행 상태까지 옮기려면 그 물음이 재는 파일도 함께 건너간다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - 옮길 바이트 수를 그 물음이 먼저 확정한다. qemu-img info 와 du 의 같은 출력을 둘이 함께 쓴다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 옮기는 것이 현실적이지 않으면 이 실험대는 문서로만 복원되고, 그 기준을 지키는 일이 선택에서 전제로 바뀐다. -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 옮길 파일이 어떤 백엔드 형식인지를 그 기록이 가른다. +- 2026-09-21 재검증에서 host route는 `192.168.0.0/24 dev wlo1`, default route도 `wlo1`이었다. 즉 workmachine↔test-server LAN 전송은 이 host의 Wi‑Fi 인터페이스를 사용했다. +- 2026-09-21 재검증에서 `kc-lab-edge.qcow2`는 VM을 `shut off`한 상태에서 file length 460,914,688 bytes, virtual size 10 GiB, qcow2 backing file `/var/lib/libvirt/images/base.qcow2`였다. 전송은 15.216초, 평균 28.887 MiB/s였다. +- 2026-09-21 재검증에서 공통 `base.qcow2`는 338,952,192 bytes였고 11.689초, 평균 27.654 MiB/s였다. overlay+base 합계는 799,866,880 bytes(762.812 MiB), 전송 시간 합계 26.906초, 평균 28.352 MiB/s였다. +- 2026-09-21 재검증에서 overlay와 base 모두 source/destination SHA-256이 일치했다. edge는 overlay 복사 직후 재기동했고 6초 내 SSH가 다시 열렸다. 최종 외부 OIDC discovery 요청도 HTTP 200이었다. -## 사실 - -- §178 은 이 호스트에 이더넷 없이 WiFi 만 있다고 적었다. 브리지를 못 쓰고 libvirt NAT(virbr0) + 호스트 진입 구조를 택한 것도 같은 제약 때문이다. -- §181 은 qcow2 가 희소 할당이지 압축이 아니라고 적었다. 20GB 이미지가 2GB 인 것은 쓴 블록만 파일에 존재하기 때문이고, 1TB 를 채우면 1TB 파일이 된다. +- 「이 부의 출처와 범위」에서는 이 호스트에 이더넷 없이 WiFi 만 있다고 적었다. 브리지를 못 쓰고 libvirt NAT(virbr0) + 호스트 진입 구조를 택한 것도 같은 제약 때문이다. +- qcow2가 virtual size보다 작게 보이는 이유를 하나로 일반화하지 않는다. 이 실험대의 overlay는 주로 sparse allocation 때문에 실제 파일 할당량이 작지만, 공통 Debian `base.qcow2`에는 2026-09-21 확인 기준 압축 클러스터도 존재한다. 따라서 overlay 크기 차이와 배포본 base 이미지의 압축 상태를 구분해 읽는다. - 메타데이터 오버헤드는 클러스터 64KiB · L2 항목 8B 기준 0.02% 미만이다. 1TiB 당 약 160MiB 다. - 게스트에서 지워도 파일은 줄지 않는다. 클러스터가 이미 할당된 상태라, 줄이려면 fstrim(디스크에 discard='unmap' 이 있어야 한다)이나 qemu-img convert 를 돌려야 한다. -- 복사하면 따라오는 것과 따라오지 않는 것을 §181 이 갈라 적었다. 실행 중인 프로세스와 페이지 캐시가 따라오지 않는 쪽이고, 파일 밖을 가리키는 것은 헤더에 절대경로로 적히는 백킹 파일 경로 하나다. -- §178 이 적은 이 실험대의 게스트는 Debian 12 genericcloud 3대다. 엣지 1대와 k3s 2노드다. -- 이 호스트의 이미지가 몇 바이트인지는 SSOT 어디에도 없다. 제4부에서 형식과 세 크기를 묻는 물음이 아직 열려 있다. +- 복사하면 따라오는 것과 따라오지 않는 것을 「qcow2 가 담는 것과 담지 않는 것」에서는 갈라 적었다. 실행 중인 프로세스와 페이지 캐시가 따라오지 않는 쪽이고, 파일 밖을 가리키는 것은 헤더에 절대경로로 적히는 백킹 파일 경로 하나다. +- 「이 부의 출처와 범위」에 적은 이 실험대의 게스트는 Debian 12 genericcloud 3대다. 엣지 1대와 k3s 2노드다. +- 2026-09-21 `qemu-img info --force-share`, `du`, `ls`로 현재 image 크기를 확인했고, edge overlay와 공통 base를 실제 전송 대상으로 사용했다. -## 가정 +## Wi-Fi 전송은 같은 image set으로 끝까지 재었다 -- 게스트를 멈춘 상태에서 옮긴다고 본다. 돌고 있는 채로 복사하면 파일이 바뀌는 중에 읽게 되고, 그렇게 옮긴 이미지를 쓸 수 있는지는 이 물음이 다루지 않는다. -- 받는 쪽 기계와 디스크가 병목이 아니라고 전제한다. 그래야 잰 시간이 WiFi 링크의 값이 된다. 그렇지 않으면 어디가 느린지부터 갈라야 한다. -- 링크 상태가 재는 동안 크게 바뀌지 않는다고 본다. WiFi 는 시간대에 따라 값이 흔들리므로 시작 시각과 종료 시각과 평균 전송률을 함께 적는다. -- 손대지 않으면 파일은 커지기만 한다고 전제한다. §181 이 적었듯 게스트에서 지워도 클러스터는 할당된 채라 파일이 줄지 않아서, 지금 재는 시간을 앞으로의 하한으로 읽는다. +- 실제 측정에서는 `kc-lab-edge`를 정상 종료한 뒤 overlay를 전송했고, 복사 뒤 즉시 다시 기동했다. 실행 중인 qcow2를 그대로 복사하는 방식은 이 질문의 범위에서 제외한다. +- 측정값은 workmachine까지의 실제 end-to-end 파일 전송 시간이다. Wi‑Fi만의 순수 링크 대역폭이라고 단정하지 않고 source/destination disk와 SSH 전송 오버헤드가 포함된 실사용 경로의 값으로 읽는다. +- Wi‑Fi 상태는 시간에 따라 달라질 수 있으므로 이번 26.906초/28.35MiB/s를 장기 고정값으로 일반화하지 않는다. 이 값은 2026-09-21 한 번의 실제 전송 조건에 대한 관측이다. +- 손대지 않으면 파일은 커지기만 한다고 전제한다. 「qcow2 가 담는 것과 담지 않는 것」에서는 적었듯 게스트에서 지워도 클러스터는 할당된 채라 파일이 줄지 않아서, 지금 재는 시간을 앞으로의 하한으로 읽는다. -## 미지수 +## 현재 크기에서 해소된 것 -- 이 호스트의 qcow2 파일이 실제로 몇 바이트인지. -- 그 파일을 이 WiFi 링크로 다른 기계에 옮기는 데 몇 분 또는 몇 시간이 걸리는지. -- qemu-img convert 로 먼저 줄인 뒤 옮기는 편이 변환 시간까지 합쳐도 전체 시간을 줄이는지. +현재 edge image set의 실제 크기와 workmachine으로의 Wi‑Fi 전송 시간은 해소됐다. 현재 크기에서는 ‘몇 시간’이 아니라 약 27초의 순수 전송 시간이었다. -## 제약 +`qemu-img convert`로 compact한 사본을 만든 뒤 변환 시간까지 포함했을 때 더 빨라지는지는 아직 비교하지 않았다. 이는 전송 시간 자체가 아니라 사전 compact 최적화의 효용을 묻는 후속 실험으로 분리한다. + +## 이 수치를 일반화하지 않는 이유 - 링크가 WiFi 하나다. 이더넷이 없으므로 더 빠른 경로를 골라 견줄 수 없고, 잰 값이 이 호스트에서 낼 수 있는 값이다. - 파일 크기를 확정하기 전에는 시간을 해석할 수 없다. 가상 크기와 실제 점유를 따로 적는 것이 먼저다. - 게스트를 멈추는 동안 그 게스트가 하던 일도 멈춘다. 엣지를 고르면 밖에서 들어오는 요청이 끊기므로 대상과 시간대를 그에 맞춰 정한다. -- 한 번의 실측으로 닫는다. 반복해서 분포를 보는 것은 이 물음이 묻는 범위 밖이다. +- 여기서는 장시간 전송의 대표값 하나를 확보하는 것이 목적이다. 반복 측정으로 분포를 만드는 성능 시험까지는 포함하지 않는다. -## 선택지 +## 어떻게 옮겼나 ### 1. 크기를 먼저 확정하고 그 파일 한 장을 한 번 옮긴다 qemu-img info 와 du 로 가상 크기와 실제 점유를 따로 적는다. 제4부에서 형식과 세 크기를 묻는 물음이 같은 출력을 쓰기 때문에 한 번만 돌려 두 물음이 나눠 쓴다. 그다음 게스트를 멈춘 상태에서 그 파일을 다른 기계로 복사하고 시작 시각과 종료 시각과 평균 전송률을 적는다. -옮기는 것이 파일 한 장이 아니다. §187 이 적은 이 실험대의 게스트 디스크 셋은 전부 base.qcow2 위의 오버레이라, 오버레이만 건너가면 헤더에 절대경로로 적힌 그 base 를 받는 쪽에도 같은 경로로 두어야 한다. +옮기는 것이 파일 한 장이 아니다. 「단계 01 — 게스트 세 대」에 적은 이 실험대의 게스트 디스크 셋은 전부 base.qcow2 위의 오버레이라, 오버레이만 건너가면 헤더에 절대경로로 적힌 그 base 를 받는 쪽에도 같은 경로로 두어야 한다. 적어 두는 값은 네 가지다. @@ -82,14 +77,8 @@ qemu-img info 와 du 로 가상 크기와 실제 점유를 따로 적는다. 제 ### 3. 전송률만 재고 파일 크기로 나눠 시간을 계산한다 — 제외 -큰 파일을 실제로 밀어 넣지 않아도 숫자가 나오지만, 계산한 시간은 잰 시간이 아니다. WiFi 는 오래 이어지는 전송에서 값이 흔들리고 옮기는 동안 디스크 읽기도 함께 걸린다. §183 이 물은 것은 현실적으로 몇 시간인가이므로 한 번은 끝까지 옮긴다. +큰 파일을 실제로 전송하지 않아도 추정 시간은 만들 수 있지만 그 값은 실측이 아니다. WiFi는 장시간 전송에서 속도가 흔들릴 수 있고 디스크 읽기 비용도 함께 들어간다. 실제 복구·이동 시간을 판단하려면 한 번은 파일을 끝까지 옮긴다. -## 다음 검증 +## 762.8 MiB 전송은 26.906초였다 -1. 옮길 이미지 경로마다 qemu-img info 와 du 를 돌려 가상 크기와 실제 점유를 따로 적는다. 제4부에서 형식과 세 크기를 묻는 물음이 같은 출력을 쓴다. -2. 그 게스트를 멈추고 파일 한 장을 다른 기계로 복사한다. 시작 시각과 종료 시각과 평균 전송률을 적는다. -3. qemu-img convert 로 사본을 줄이고 걸린 시간과 줄어든 크기를 적는다. -4. 줄인 사본을 같은 방법으로 한 번 더 옮기고, 변환 시간까지 합친 총 시간을 2번과 견준다. -5. 출력 원문을 final/evidence/raw/ 에 남기고 meta/ 에 명령과 cwd 와 실행 시각과 종료 코드를 적는다. - -닫는 조건 : 파일 크기와 전송 시간이 한 번의 실측으로 나오면 닫는다. 그 시간이 이 실험대를 다른 기계로 옮기거나 백업하는 것이 현실적인 절차인지, 아니면 기반 7단계 가이드를 다시 도는 재구축이 더 빠른지를 가른다. 재구축이 더 빠르다고 나오면 「단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다」가 요구하는 검증이 선택이 아니라 전제가 된다. 옮길 수 없는 실험대는 문서로만 복원된다. +현재 edge VM의 overlay+base image set 762.8 MiB를 Wi‑Fi 경로로 workmachine에 끝까지 전송했고 순수 전송 시간 26.906초, 평균 28.35 MiB/s를 측정했으며 SHA-256까지 일치했다. 현재 크기에서는 전송이 재구축보다 ‘수 시간’ 걸리는 병목은 아니다. 이미지가 수십·수백 GiB로 커졌을 때는 같은 링크의 장시간 처리량이 달라질 수 있으므로 이 수치를 선형 외삽해 운영 기준으로 고정하지 않는다. `qemu-img convert` 선행 compact의 효용은 별도 최적화 실험으로 남긴다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-virsh-save-ram-dump-size-and-time.md b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-virsh-save-ram-dump-size-and-time.md index 46d9e58..30453df 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/question/question-virsh-save-ram-dump-size-and-time.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/question/question-virsh-save-ram-dump-size-and-time.md @@ -6,8 +6,12 @@ topic: lab-environment-build topicName: 실험대 환경 구성 project: virtualization status: 게시 전 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/111-virsh-save-5g.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/112-virsh-save-4g.txt source: - final/document.md#183-이-부에서-파생될-open-question-oq-2 - final/document.md#181-qcow2-가-담는-것과-담지-않는-것 @@ -16,60 +20,52 @@ source: # virsh save 의 RAM 덤프 크기와 소요 시간은 할당 메모리에 어떻게 비례하는가 -virsh save 가 만드는 RAM 덤프가 몇 바이트이고 save 와 restore 가 각각 몇 초 걸리는지 이 호스트에서 재지 않았다. §181 은 RAM 크기만큼 파일이 더 생긴다고만 적었다. 이 물음은 그 크기가 할당한 RAM 과 게스트가 실제로 쓰던 양 중 무엇에 가까운지를 가른다. +2026-09-21 `kc-lab-1`에서 current memory를 5120 MiB와 4096 MiB 두 값으로 두고 `virsh save → restore`를 실제로 반복했다. **save 파일은 ‘RAM 크기만큼’ 그대로 생기지 않았다.** 5120 MiB 상태에서는 약 3.33 GB, 4096 MiB 상태에서는 약 3.22 GB였고, 1 GiB의 current-memory 차이가 save 파일 크기에 1 GiB로 그대로 반영되지 않았다. -## 관계 +## 5120MiB와 4096MiB 비교 결과 -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 실행 상태가 왜 qcow2 에 없는지와 virsh save 가 그것을 어떻게 대신하는지를 그 기록이 설명한다. 이 물음이 재는 수치가 그 설명에서 비어 있는 한 줄을 채운다. -- **WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가** - 같은 이동을 두고 재는 값이 다르다. 저쪽은 다른 기계로 가는 파일 전송 시간이고, 이쪽은 같은 호스트에 새로 생기는 메모리 덤프의 크기와 시간이다. -- **balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가** - §183 이 대조군으로 쓰라고 적은 실사용값을 그 물음이 잰다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 덤프 크기를 견줄 설정값과 resident 값을 그 물음이 가상 머신마다 적는다. -- **virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식** - 할당한 양과 게스트가 실제로 쓰는 양이 갈리는 구조를 그 기록이 설명한다. +- 2026-09-21 재검증에서 `kc-lab-1` current memory 5120 MiB에서 `virsh save`는 8.956592초, save file은 `3,333,557,094 bytes`(`du 3.2G`), `virsh restore`는 2.286119초였다. restore 뒤 k3s service가 active이고 node가 `Ready`로 돌아온 것을 확인했다. +- 2026-09-21 재검증에서 current memory를 `4096 MiB --live`로 낮춘 두 번째 실행에서 save는 3.966730초, save file은 `3,222,304,048 bytes`(`du 3.1G`), restore는 1.978473초였다. restore된 VM은 4096 MiB current memory를 유지했고, 이후 5120 MiB로 live 복원했다. +- 2026-09-21 재검증에서 두 save file 크기 차이는 약 111 MB였다. current memory를 1 GiB 줄였다고 상태 파일이 1 GiB 줄지 않았다. 따라서 기존의 ‘RAM 크기만큼 파일이 더 생긴다’는 표현은 현재 환경에서 정확하지 않다. +- save/restore 시간은 이 호스트에서 수행한 두 실행의 단일 관측값이다. 첫 실행이 약 9초, 두 번째가 약 4초였다고 해서 메모리 크기에 선형 비례한다고 일반화하지 않는다. +- 2026-09-21 재검증에서 두 실험의 save file은 확인 뒤 삭제했고 `kc-lab-1`은 `Used memory=5242880 KiB`, vCPU affinity `0-7`, k3s `Ready` 상태로 복원됐다. -## 사실 - -- §181 은 qcow2 를 통째로 옮겨도 실행 중인 프로세스(PID · FD · 소켓 · JVM 힙)와 페이지 캐시와 아직 내려가지 않은 dirty page 는 따라오지 않는다고 적었다. VM 정의 XML(vCPU · RAM · NIC · machine type · CPU 모델)도 파일 밖에 있다. -- §181 이 적은 실행 상태를 옮기는 길은 둘이다. +- 「qcow2 가 담는 것과 담지 않는 것」에서는 qcow2 를 통째로 옮겨도 실행 중인 프로세스(PID · FD · 소켓 · JVM 힙)와 페이지 캐시와 아직 내려가지 않은 dirty page 는 따라오지 않는다고 적었다. VM 정의 XML(vCPU · RAM · NIC · machine type · CPU 모델)도 파일 밖에 있다. +- 「qcow2 가 담는 것과 담지 않는 것」에 적은 실행 상태를 옮기는 길은 둘이다. virsh save 로 내보내고 복사한 뒤 restore : VM 이 멈추고 RAM 크기만큼 파일이 더 생긴다 virsh migrate --live --copy-storage-all : 두 호스트 libvirt 가 붙고 CPU 모델이 호환돼야 한다 -- §181 은 파일이 더 생긴다고만 적고 몇 바이트인지도 몇 초 걸리는지도 대지 않았다. -- §178 이 적은 이 실험대는 test-server 한 대다. Arch Linux, i5-1135G7 논리 코어 8, RAM 11,648MiB, QEMU 11.1.1 · libvirt 12.7.0 이고 게스트는 Debian 12 genericcloud 3대다. 그중 1대가 엣지이고 나머지 둘이 k3s 노드다. -- 게스트에 준 RAM 과 게스트가 실제로 쓰는 양은 갈린다. 그 구조를 제2부가 ballooning 으로 설명했고, 이 호스트에서 그 값을 잰 기록은 없다. -- §183 은 이 물음을 미측정으로 적으면서 「제2부의 balloon 실사용값과 대조하면 재미있는 대조군이 된다」고 덧붙였다. 두 물음을 하나로 합치지 않고 이어 둔 근거가 그 한 줄이다. +- 「qcow2 가 담는 것과 담지 않는 것」에서는 파일이 더 생긴다고만 적고 몇 바이트인지도 몇 초 걸리는지도 대지 않았다. +- 「이 부의 출처와 범위」에 적은 이 실험대는 test-server 한 대다. Arch Linux, i5-1135G7 논리 코어 8, RAM 11,648MiB, QEMU 11.1.1 · libvirt 12.7.0 이고 게스트는 Debian 12 genericcloud 3대다. 그중 1대가 엣지이고 나머지 둘이 k3s 노드다. +- 게스트에 설정한 RAM과 현재 할당량, 실제 사용량은 서로 다를 수 있다. 2026-09-21에는 worker VM의 configured/current memory와 virtio-balloon 장치 존재, 4096→3584→4096MiB live target 왕복까지 별도 검증했다. +- 이번 save 실험에서는 current memory를 5120MiB와 4096MiB로 명시적으로 바꿔 두 점을 비교했다. save file 크기가 current memory와 1:1로 움직이지 않는다는 것까지만 결론낸다. -## 가정 +## save/restore 조건 -- virsh save 가 만드는 파일이 한 장이라고 본다. §181 은 파일이 더 생긴다고만 적고 개수를 말하지 않았다. -- 저장하는 동안 호스트의 다른 부하가 크게 바뀌지 않는다고 전제한다. 소요 시간을 재는 것이라 같은 조건에서 두 번 이상 돌린다. +- virsh save 가 만드는 파일이 한 장이라고 본다. 「qcow2 가 담는 것과 담지 않는 것」에서는 파일이 더 생긴다고만 적고 개수를 말하지 않았다. +- 두 실행은 같은 VM과 같은 host에서 수행했지만 반복 횟수가 한 번씩뿐이므로 시간 차이를 메모리 크기의 함수로 일반화하지 않는다. - 할당 RAM 을 바꾼 뒤에도 게스트가 같은 일을 하고 있다고 본다. 하는 일이 함께 바뀌면 덤프 크기가 할당량 때문에 달라진 것인지 부하 때문인지 가려지지 않는다. - restore 가 성공한다고 전제한다. 실패하면 재는 것이 소요 시간이 아니라 실패 원인으로 바뀐다. -## 미지수 +## 두 점으로 알 수 있는 범위 -- 게스트 한 대를 virsh save 했을 때 생기는 파일이 실제로 몇 바이트인지. -- 그 크기가 할당한 RAM 과 같은지, 아니면 게스트가 실제로 쓰던 양에 가까운지. -- save 와 restore 가 각각 몇 초 걸리는지. -- 할당 RAM 을 바꾸면 그 셋이 어떻게 움직이는지. +두 current-memory 값에서 save file 크기와 save/restore 시간을 실제로 확인했다. 다만 두 점만으로 파일 크기나 시간의 함수 형태를 추정하지 않는다. 특히 `dommemstat unused/available`, guest `free`, QEMU resident page 상태, save image 압축/encoding이 각각 얼마나 파일 크기에 기여하는지는 이번 질문에서 분리하지 않았다. -## 제약 +따라서 해소된 사실은 **save file이 current RAM 크기와 1:1로 같지 않다**는 것과 이 호스트의 두 실제 중단/복구 관측값이다. + +## 시간을 일반화하지 않는 이유 - 호스트 RAM 이 11,648MiB 다. 할당 RAM 을 크게 올려 가며 재는 데 한계가 있고, 덤프 파일이 놓일 디스크 공간도 같은 호스트에서 나온다. -- virsh save 는 VM 을 멈춘다. 멈추지 않는 이동은 이 물음의 대상이 아니고, §181 이 적은 다른 길인 virsh migrate 는 호스트 둘을 요구한다. 이 실험대는 한 대다. +- virsh save 는 VM 을 멈춘다. 멈추지 않는 이동은 이 물음의 대상이 아니고, 「qcow2 가 담는 것과 담지 않는 것」에 적은 다른 길인 virsh migrate 는 호스트 둘을 요구한다. 이 실험대는 한 대다. - 엣지 게스트에는 nginx 와 certbot 이 올라가 있어 멈추면 밖에서 들어오는 요청이 끊긴다. 재는 대상은 k3s 노드 쪽에서 고른다. - 이 물음은 크기와 시간까지만 본다. 그 시간이 실험대를 옮기는 절차로 쓸 만한지는 파일 전송 시간을 재는 물음과 함께 놓아야 갈린다. -## 선택지 +## 어떻게 측정했나 ### 1. 할당 RAM 을 둘 이상 두고 같은 게스트에 save 와 restore 를 돌린다 -§183 이 물은 것을 그대로 재는 방법이다. 게스트 하나를 골라 지금 할당으로 한 번, 할당을 바꿔 한 번 더 돌린다. 매번 생긴 파일의 크기와 각 단계의 소요 시간을 적고, 같은 시각에 balloon 쪽 실사용값을 찍어 둔다. 두 점이 있어야 덤프 크기가 할당량 쪽인지 실사용량 쪽인지 갈린다. +게스트 하나를 골라 현재 할당량에서 한 번, 할당량을 바꾼 뒤 한 번 더 `save`와 `restore`를 실행한다. 매번 생긴 파일의 크기와 각 단계의 소요 시간을 적고, 같은 시각에 balloon 쪽 실사용값을 찍어 둔다. 두 점이 있어야 덤프 크기가 할당량 쪽인지 실사용량 쪽인지 갈린다. -그 대조군이 지금 나오는지는 따로 열려 있다. 제2부는 §83 의 OQ-8 로 virtio-balloon 이 이 가상 머신들에 구성되어 있는가부터 묻고 있어서, balloon 쪽 값을 찍으려면 그 확인이 먼저다. +virtio-balloon 장치와 live target 변경은 이미 확인됐다. 다만 이번 save 비교는 balloon의 host-side reclaim 효율을 재려는 실험이 아니라 current memory 두 값에서 상태 파일 크기와 중단/복구 시간을 비교하는 데 초점을 뒀다. 한 번 돌릴 때마다 아래 넷을 적는다. @@ -84,14 +80,8 @@ restore 소요 시간 : 몇 초인가 ### 3. 게스트 안에서 메모리를 채워 놓고 잰다 — 제외 -실사용량을 올려 두면 두 값이 확실히 벌어지기 때문에 가르기 쉬워진다. 다만 그렇게 재면 게스트가 하는 일이 평소와 달라지기 때문에, 이 실험대를 실제로 멈췄다 세우는 데 드는 시간과는 다른 값이 나온다. 부하를 준 상태의 측정은 이 물음이 닫힌 뒤에 따로 둔다. +실사용량을 올려 두면 두 값이 확실히 벌어지기 때문에 가르기 쉬워진다. 다만 그렇게 재면 게스트가 하는 일이 평소와 달라지기 때문에, 이 실험대를 실제로 멈췄다 세우는 데 드는 시간과는 다른 값이 나온다. 부하를 인위적으로 높인 상태의 측정은 기본 상태의 크기와 시간이 나온 뒤 별도로 진행한다. -## 다음 검증 +## save 파일은 할당 RAM과 같은 크기로 생기지 않았다 -1. 재는 대상 게스트를 고르고 그 시점의 할당 RAM 과 balloon 쪽 실사용값을 먼저 적는다. -2. virsh save 를 돌리고 걸린 시간과 생긴 파일의 크기를 적는다. -3. restore 를 돌리고 걸린 시간을 적는다. 게스트가 원래 하던 일을 그대로 이어 가는지도 본다. -4. 같은 게스트의 할당 RAM 을 바꿔 1번부터 다시 돌린다. 두 번 이상 반복한다. -5. 찍은 출력은 final/evidence/raw/ 에 원문 그대로 남기고, meta/ 에 명령과 cwd 와 실행 시각과 종료 코드를 적는다. - -닫는 조건 : 할당 RAM 두 값 이상에서 덤프 크기와 소요 시간이 나오고, 그것이 할당량과 실사용량 중 어느 쪽으로 움직이는지 말할 수 있으면 닫는다. 값이 나오면 이 실험대를 멈췄다 다시 세우는 데 드는 시간이 정해지고, 「RAM 크기만큼 파일이 더 생긴다」고만 적힌 qcow2 개념 기록에 이 호스트의 실제 수치가 들어간다. 덤프가 실사용량 쪽으로 움직인다고 나오면 제2부의 balloon 기록이 반대 방향의 근거를 하나 얻는다. +5120 MiB와 4096 MiB current-memory 두 점에서 save file과 save/restore를 실제 측정했고, ‘RAM 크기만큼 상태 파일이 생긴다’는 기존 설명이 현재 환경에서 맞지 않음을 확인했다. 더 정밀한 scaling curve가 필요하면 3개 이상의 메모리 값에서 여러 번 반복하되, 그 결과는 성능 측정으로 별도 기록한다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-a-config-file-does-not-mean-the-same-thing-on-two-distros.md b/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-a-config-file-does-not-mean-the-same-thing-on-two-distros.md index 5536aa3..bec7aa0 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-a-config-file-does-not-mean-the-same-thing-on-two-distros.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-a-config-file-does-not-mean-the-same-thing-on-two-distros.md @@ -22,26 +22,13 @@ source: 설정 파일을 배포판이 다른 기계로 옮기기 전에 셋을 본다. 그 지시어가 대상의 판올림에 있는가, 패키지가 기본으로 켜 둔 것과 충돌하지 않는가, 그 배포판이 그 관례를 갖고 있는가. 이 실험대의 함정 셋이 전부 여기 걸렸다. -## 관계 - -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 그 기준은 순서와 위치를 보고 이 기준은 대상 기계를 본다. 그 기록이 자기 예외 절에서 배포판 차이를 이쪽으로 넘긴다. -- **엣지 게스트에 nginx 를 세우고 호스트 DNAT 으로 밖에서 들어오는 길을 연다** - Arch 호스트에서 쓰던 nginx 설정이 Debian 12 게스트로 건너가는 절차가 그 기록에 있다. -- **cloud-init 시드로 게스트 세 대를 만들고 SSH 가 키로 붙게 한다** - 부트 시점 설정이 게스트 판올림의 검사기를 통과해야 하는 대목이 그 절차 안에 있다. -- **cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다** - 원인이 옮긴 파일 안에 없을 때 증상이 어떻게 보이는지를 그 기록이 보여 준다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 증상이 난 층부터 좁혀 오는 절차이고, 이 기준은 그 층에 닿은 뒤 파일을 의심할지 기계를 의심할지를 가른다. - -## 목적 +## 같은 파일명이 같은 기능을 뜻하지 않는 이유 이 기준이 막는 것은 원인이 파일 안에 없는 두 증상이다. 하나는 설정 전체가 뜨지 않는 것이고, 다른 하나는 파일을 제자리에 놓았는데 아무 일도 일어나지 않는 것이다. 둘 다 파일을 아무리 읽어도 나오지 않는다. -§203 이 실측으로 드러난 함정 셋을 적었는데 셋 다 배포판 차이였다. 이 실험대는 호스트가 Arch(nginx 1.30.4)이고 엣지 게스트가 Debian 12(nginx 1.22.1)라 같은 설정이 두 판올림 사이를 오갔다. +「실측으로 드러난 함정 셋」에서는 실측으로 드러난 함정 셋을 적었는데 셋 다 배포판 차이였다. 이 실험대는 호스트가 Arch(nginx 1.30.4)이고 엣지 게스트가 Debian 12(nginx 1.22.1)라 같은 설정이 두 판올림 사이를 오갔다. -## 규칙 +## 옮기기 전에 세 가지를 확인한다 ### 1. 그 지시어가 대상의 판올림에 있는가 @@ -63,17 +50,17 @@ Arch 는 `/etc/nginx/nginx.conf` 한 파일이 전부이고 include 줄도 없 2번과 3번은 같은 관례의 양면이다. 한쪽은 있어서 충돌하고 한쪽은 없어서 손으로 넣어야 한다. -## 적용 조건 +## 배포판이 바뀔 때마다 적용한다 한 기계에서 쓰던 설정 파일을 다른 배포판이나 다른 판올림의 기계로 옮기는 모든 곳에 적용한다. 이 실험대에서는 호스트 Arch 와 게스트 Debian 12 사이, 그리고 운영과 실험대 사이다. 특히 자주 걸리는 것 : 데몬 설정(nginx · systemd 유닛)과 부트 시점 설정(cloud-init) -이 기준은 파일을 옮길 때 한 번 도는 검사이지 막히는 것마다 꺼내 드는 설명이 아니다. §212 가 적었듯 낯선 것의 대부분은 배포판 때문이 아니다. 클라우드가 대신 해 주던 일(KVM · libvirt · cloud-init · DHCP 예약)과 이미 누가 해 두었던 일(nginx upstream · certbot · k3s 설치)이 대부분이고, 진짜 배포판 고유는 얼마 되지 않는다 — 이 실험대에서는 `conf.d` include 부재, 롤링 업그레이드, `libvirtd.socket`, 패키지명이다. +이 기준은 파일을 옮길 때 한 번 도는 검사이지 막히는 것마다 꺼내 드는 설명이 아니다. 「"이건 Arch라서 하는 건가?"에 대한 답」에서는 적었듯 낯선 것의 대부분은 배포판 때문이 아니다. 클라우드가 대신 해 주던 일(KVM · libvirt · cloud-init · DHCP 예약)과 이미 누가 해 두었던 일(nginx upstream · certbot · k3s 설치)이 대부분이고, 진짜 배포판 고유는 얼마 되지 않는다 — 이 실험대에서는 `conf.d` include 부재, 롤링 업그레이드, `libvirtd.socket`, 패키지명이다. 같은 구성을 Ubuntu 에서 해도 가상화와 네트워크 층은 명령 이름만 조금 바뀐다. -## 예외 +## 경로가 같아도 구현이 다른 경우 같은 계열 안에서도 판올림이 다르면 1번이 그대로 걸린다. Debian 과 Ubuntu 는 `apt` 와 `dpkg` 와 systemd 와 디렉터리 구조가 같은 계열인데 패키지 판올림이 달라서다. @@ -85,7 +72,7 @@ Arch 는 `/etc/nginx/nginx.conf` 한 파일이 전부이고 include 줄도 없 배포판 차이가 아닌 것을 이 기준으로 설명하지 않는다. SELinux 와 AppArmor 가 Arch 에 기본 활성이 아닌 것은 이 기준이 잡는 종류이지만, RHEL 계열에서 k3s 에 정책 패키지가 필요한 것은 옮긴 설정의 문제가 아니라 그 배포판의 보안 모듈 문제다. -## 예시 +## nginx 설정에서 드러난 차이 `http2 on;` 을 쓴 설정을 Debian 12 의 nginx 1.22.1 로 옮기자 `unknown directive "http2"` 로 설정 검사가 실패했다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-verify-a-build-guide-in-execution-order.md b/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-verify-a-build-guide-in-execution-order.md index 1de4cab..01fac38 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-verify-a-build-guide-in-execution-order.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/reference/reference-verify-a-build-guide-in-execution-order.md @@ -16,24 +16,15 @@ source: 구축 가이드는 1단계의 환경에서 시작해 실행 순서로 검증한다. 단계마다 그 시점에 리소스가 이미 있는지와 그 명령을 어느 기계에서 치는지를 따로 본다. 기반 7단계 가이드를 순서대로 따라가자 결함 여섯이 나왔고, 틀린 명령은 하나도 없었다. -## 관계 +## 문장이 맞아도 순서가 틀릴 수 있다 -- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** - 이 기준이 검증하라는 가이드가 그 결정을 실제로 실행한 문서다. 결함 여섯 가운데 셋은 그 이동이 새로 요구한 일곱 가지와 같은 것을 다루는데, nginx 설치와 nginx 버전 차이와 인증서 경로다. -- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다** - 같은 connection refused 라도 04 단계의 결함은 명령을 칠 셸이 틀려서 났고, 그 기록의 거절은 libvirt 방화벽이 냈다. 어느 셸에서 쳤는지로 좁힌 뒤에도 안 풀리는 막힘을 그 기록이 받는다. -- **WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가** - 그 물음의 답이 이 검증을 선택으로 둘지 전제로 둘지를 가른다. 파일을 옮기는 것보다 가이드를 다시 도는 편이 빠르다고 나오면, 이 실험대는 문서로만 복원된다. - -## 목적 - -이 기준이 막는 것은 각 줄이 참인데 순서대로는 못 따라가는 문서다. §182 이 든 여섯 결함에서 틀린 명령은 하나도 없었고 전부 실제로 돌았던 것이다. 다만 구축이 끝난 뒤의 환경에서 확인한 출력이 앞 단계에 적혀 있었다. §178 은 이 여섯이 실린 부의 범위를 구축에서 실제로 막힌 지점으로만 그었고, 막히지 않은 단계는 가이드에 있으니 여기서 반복하지 않는다고 적었다. 그래서 여섯은 가이드를 검토해 골라낸 것이 아니라, 그 단계까지 실제로 따라가다 막혀서 드러났다. +이 기준이 막는 것은 각 줄이 참인데 순서대로는 못 따라가는 문서다. 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 든 여섯 결함에서 틀린 명령은 하나도 없었고 전부 실제로 돌았던 것이다. 다만 구축이 끝난 뒤의 환경에서 확인한 출력이 앞 단계에 적혀 있었다. 「이 부의 출처와 범위」에서는 이 여섯이 실린 부의 범위를 구축에서 실제로 막힌 지점으로만 그었고, 막히지 않은 단계는 가이드에 있으니 여기서 반복하지 않는다고 적었다. 그래서 여섯은 가이드를 검토해 골라낸 것이 아니라, 그 단계까지 실제로 따라가다 막혀서 드러났다. 03 단계에서 /etc/nginx: No such file or directory 가 난 것은 설정 블록이 틀려서가 아니라 그 시점에 nginx 가 아직 깔려 있지 않아서다. 둘 중 어느 쪽인지는 문서를 읽어서는 알 수 없고 실제로 돌려 봐야 드러난다. -§182 은 검사할 것도 시점과 셸 둘로 갈라 적었다. 하나로 뭉뚱그리면 막힌 단계에서 무엇을 고쳐야 하는지가 안 나오기 때문이다. +「이 구축에서 드러난 문서 결함의 공통 원인」에서는 검사할 것도 시점과 셸 둘로 갈라 적었다. 하나로 뭉뚱그리면 막힌 단계에서 무엇을 고쳐야 하는지가 안 나오기 때문이다. -## 규칙 +## 실행 순서대로 검증한다 ### 1. 검증 순서를 문서 작성 순서가 아니라 실행 순서에 맞춘다 @@ -49,32 +40,32 @@ source: 04 단계의 확인 명령이 여기서 깨졌다. 게스트에는 Tailscale 이 없기 때문에 엣지 VM 안에서 tailnet 주소를 치면 connection refused 가 돌아온다. 명령 자체는 맞고 칠 위치가 틀렸다. -§178 의 구성에서 호스트는 Arch Linux 이고 게스트는 Debian 12 genericcloud 세 대다. 문서가 주체를 적지 않으면 읽는 사람은 직전 단계에서 쓰던 셸에 그대로 친다. +「이 부의 출처와 범위」의 구성에서 호스트는 Arch Linux 이고 게스트는 Debian 12 genericcloud 세 대다. 문서가 주체를 적지 않으면 읽는 사람은 직전 단계에서 쓰던 셸에 그대로 친다. ### 4. 나중 시점의 환경에서 확인한 명령과 출력을 앞 단계로 옮겨 적지 않는다 -§182 이 여섯의 공통 원인으로 든 것이 이 하나다. 구축이 끝난 환경에서는 리소스가 전부 서 있고 저장소도 제 기계에 있으니 어떤 확인 명령이든 돈다. 그 출력을 앞 단계에 붙이면 문서의 각 줄은 참이 되고, 순서대로 따라가는 사람만 막힌다. 그래서 이 결함은 문서를 검토해서는 안 나오고 실행해야 나온다. §182 은 결함 여섯에는 observed 를, 이 공통 원인 하나에는 inferred 를 붙였다. 여섯은 따라가다 본 것이고, 그것을 한 원인으로 묶은 것은 여섯을 놓고 내린 판단이다. +「이 구축에서 드러난 문서 결함의 공통 원인」에서는 여섯의 공통 원인으로 든 것이 이 하나다. 구축이 끝난 환경에서는 리소스가 전부 서 있고 저장소도 제 기계에 있으니 어떤 확인 명령이든 돈다. 그 출력을 앞 단계에 붙이면 문서의 각 줄은 참이 되고, 순서대로 따라가는 사람만 막힌다. 그래서 이 결함은 문서를 검토해서는 안 나오고 실행해야 나온다. 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 여섯 결함과 그 결함을 묶은 해석을 구분했다. 여섯 결함은 실제 구축 순서에서 직접 확인했고, 하나의 공통 원인으로 묶은 부분은 그 사례들을 놓고 내린 판단이다. -## 적용 조건 +## 단계별 Setup에 적용하는 기준 - 사람이 한 단계씩 따라 실행하도록 쓴 구축·운영 문서 - 앞 단계의 결과 위에 뒤 단계가 서는 문서. 기반 7단계 가이드가 그런 문서다 - 명령을 칠 기계가 둘 이상인 문서. 호스트와 게스트가 갈리면 어느 셸에서 치는지를 따로 본다 - 단계가 하나 끼어들거나 대상 환경이 바뀐 뒤 -## 예외 +## 읽기 검토로 대체할 수 없는 부분 -이 기준이 잡는 것은 순서와 위치이고 명령의 정확성은 아니다. §182 이 적었듯 개별 명령은 전부 실제로 돌았던 것이라, 이 검사를 통과해도 오타나 잘못된 플래그나 낡은 옵션은 그대로 지나간다. 04 단계의 인증서 경로가 그런 경우다. 2026-09-17 실제 lineage 는 `live/auth.hyeonworks.com/` 이었는데 원본 가이드에는 `live/hyeonworks.com/` 이라고 적혀 있었다. 단계 순서를 맞춰도 그 known-wrong 경로는 그대로 실패한다. +이 기준이 잡는 것은 순서와 위치이고 명령의 정확성은 아니다. 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 적었듯 개별 명령은 전부 실제로 돌았던 것이라, 이 검사를 통과해도 오타나 잘못된 플래그나 낡은 옵션은 그대로 지나간다. 04 단계의 인증서 경로가 그런 경우다. 2026-09-17 실제 lineage 는 `live/auth.hyeonworks.com/` 이었는데 원본 가이드에는 `live/hyeonworks.com/` 이라고 적혀 있었다. 단계 순서를 맞춰도 그 잘못된 경로는 그대로 실패한다. 배포판 차이도 이 두 검사로는 안 잡힌다. 03 단계의 설정 블록에 있던 http2 on; 은 Debian 12 의 nginx 1.22 에서 unknown directive 가 됐다. 순서를 맞춰도 같은 오류가 나므로 대상 배포판에서 실제로 돌려야 드러난다. 한 번 통과한 문서가 계속 통과하지도 않는다. 단계가 하나 끼어들거나 환경이 바뀌면 같은 검사를 다시 돌린다. -이 저장소에는 이 기준으로 가이드를 고친 뒤 처음부터 다시 따라가 본 기록이 없다. 규칙은 결함 여섯의 공통 원인에서 나왔고, 규칙이 결함을 막아 냈다는 관측은 아직 얻지 못했다. +2026-09-21에는 worker VM을 실제로 철거한 뒤 cloud-init → k3s → Keycloak → observability → power cycle까지 다시 올려 보는 구간 검증을 했다. 다만 빈 host에서 00단계부터 edge·인증서까지 포함해 전체 가이드를 처음부터 끝까지 다시 실행한 기록은 아직 없다. 따라서 이 기준이 전체 clean rebuild를 보장한다고 쓰지는 않는다. -다시 따라가 보지 않은 데는 까닭이 있다. §184 는 가이드 자신도 읽기 전용 확인만 실제로 돌려 출력을 실었고 만드는 명령은 구축할 때 친 것을 그대로 옮겼다고 적었다. VM 을 다시 만들거나 k3s 를 다시 깔면 지금 돌고 있는 실험대가 없어지기 때문이다. 그래서 단계마다의 생성 명령은 「그때 이렇게 쳤다」까지이고, 지금 다시 쳐도 같은 상태가 되는지는 확인되지 않았다. +다시 따라가 보지 않은 데는 까닭이 있다. 「이 부의 출처와 범위」에서는 가이드 자신도 읽기 전용 확인만 실제로 돌려 출력을 실었고 만드는 명령은 구축할 때 친 것을 그대로 옮겼다고 적었다. VM 을 다시 만들거나 k3s 를 다시 깔면 지금 돌고 있는 실험대가 없어지기 때문이다. 그래서 단계마다의 생성 명령은 「그때 이렇게 쳤다」까지이고, 지금 다시 쳐도 같은 상태가 되는지는 확인되지 않았다. -## 예시 +## 이번 구축에서 실제로 막힌 지점 - 03 단계 : nginx 설치 단계가 없어 /etc/nginx: No such file or directory - 03 단계 : 설정 블록이 http2 on; 이라 Debian 12 의 nginx 1.22 에서 unknown directive @@ -82,4 +73,5 @@ source: - 00·03·05·06 단계 : 저장소가 lab host 에 있다고 가정해 cp: cannot stat 'deploy/...' - 05 단계 : 그 단계에 없는 리소스를 -l app=bff 로 조회. BFF 는 한참 뒤에 뜬다 - 04 단계 : 확인 명령을 칠 위치가 틀렸다. 엣지 VM 안에서 tailnet 주소를 치면 connection refused -- 고친 뒤 처음부터 다시 따라가 본 기록 : x +- 2026-09-21 재구축 : worker teardown/recreate부터 observability·power cycle까지 확인 +- 빈 host에서 00단계부터 전체 재구축 : 아직 확인하지 않음 diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-create-three-guests-with-cloud-init.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-create-three-guests-with-cloud-init.md index 8f3a496..6e3176b 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-create-three-guests-with-cloud-init.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-create-three-guests-with-cloud-init.md @@ -9,11 +9,11 @@ project: virtualization status: 게시 전 studio: "https://hyeonworks.com/studio/documents/f972ca27-7e18-41c1-9494-59cc6f676ae2/edit" pinnedVersions: - - name: libvirt (observed; 이 Setup이 설치 버전을 고정하지 않음) + - name: libvirt (실제 환경에서 확인; 이 Setup이 설치 버전을 고정하지 않음) version: 12.7.0 - name: Debian GNU/Linux version: 12 (bookworm) - - name: cloud-init (observed; bookworm/latest 이미지라 exact version 미고정) + - name: cloud-init (실제 환경에서 확인; bookworm/latest 이미지라 정확한 버전 미고정) version: 22.4.2 source: - final/document.md#187-단계-01-게스트-세-대 @@ -26,26 +26,10 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit Debian 12 클라우드 이미지 한 장 위에 오버레이로 게스트 셋을 만드는 절차다. 운영체제를 설치하지 않고 첫 부팅의 cloud-init 이 사용자와 SSH 키와 호스트명을 채운다. 끝나면 세 게스트가 192.168.122.10 부터 .12 까지를 받는다. -## 관계 - -- **lab host 에 가상화 패키지를 깔고 virsh 가 sudo 없이 돌게 만든다** - 앞 단계다. 여기 나오는 `virt-install` 과 `virsh net-update` 가 거기서 고정한 `qemu:///system` 과 `default` 네트워크 위에서 돈다. -- **cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다** - 이 절차에서 SSH 가 안 붙을 때 원인 넷을 가르는 방법을 그 기록이 받는다. 여기에는 세우는 순서만 있다. -- **k3s server 와 agent 를 게스트 두 대에 깔고 lab host 에서 kubectl 로 본다** - 다음 단계이고, 여기서 고정한 192.168.122.11 과 192.168.122.12 를 그대로 쓴다. -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 게스트 디스크를 base 이미지 위의 오버레이로 만들 수 있는 근거를 그 글이 설명한다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - DHCP 예약이 게스트 생성보다 먼저여야 하는 까닭이 그 기준이 말하는 순서 문제다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 게스트마다 배정한 메모리를 여기서 정하므로 그 물음이 실제 점유량과 견줄 설정 값이 이 기록에서 나온다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 명령은 lab host를 중심으로 실행한다 기본은 `[lab host]` 다. 예외가 둘이다. @@ -59,7 +43,7 @@ Debian 12 클라우드 이미지 한 장 위에 오버레이로 게스트 셋을 편집기를 여는 곳은 둘이다. 게스트마다의 `#cloud-config` 파일과 그 짝인 meta-data 파일이고, 나머지는 조회와 생성이라 CLI 를 그대로 쓴다. -## 이 단계가 세우는 것 +## 세 게스트의 역할과 주소를 먼저 정한다 가이드 01 의 「이 단계가 끝나면」은 한 줄이다. @@ -73,11 +57,11 @@ Debian 12 클라우드 이미지 한 장 위에 오버레이로 게스트 셋을 세 대를 세우는 까닭은 이 실험대의 질문 전부가 「인스턴스가 둘 이상이고 요청이 어느 쪽으로 갈지 모른다」를 전제하기 때문이다. 한 대면 세션 공유도 분단도 노드 상실도 실험이 되지 않는다. 엣지를 따로 둔 까닭은 그 결정을 담은 기록이 갖는다. -## 전제와 되돌리기 +## 기존 VM과 디스크를 건드리기 전에 확인한다 전제는 한 줄이다 — 앞 단계가 끝나 `virsh list` 가 `sudo` 없이 돈다. -**되돌리는 절차는 원본 가이드 01 에 없다**(unknown). 다만 01 이 만드는 것이 무엇인지는 단계 03 이 지나가며 한 줄로 적어 두었다. +**되돌리는 절차는 원본 가이드 01 에 없다**. 다만 01 이 만드는 것이 무엇인지는 단계 03 이 지나가며 한 줄로 적어 두었다. ```bash label="[lab host] 03 이 엣지를 왜 VM 으로 두는지 설명하며 적어 둔 한 줄" virsh undefine kc-lab-edge --remove-all-storage @@ -85,11 +69,11 @@ virsh undefine kc-lab-edge --remove-all-storage 그 줄은 엣지를 VM 으로 두는 까닭을 설명하면서 나오고, 세 게스트를 걷어내는 절차로 적어 둔 것이 아니다. DHCP 예약 세 줄과 풀에 올린 시드 볼륨 세 개를 어떻게 지우는지는 가이드 어디에도 없고 이 실험대도 지워 본 적이 없다. 그래서 이 절차는 되돌리기를 갖지 않는다. -## 세우기 전에 먼저 본다 +## libvirt 연결과 default 네트워크부터 확인한다 -**가이드 01 에는 바꾸기 전 상태를 보는 단계가 없다.** 아래 세 줄은 앞 단계의 확인을 그대로 다시 치는 것이고, 01 이 요구하는 전제가 그 셋이다(inferred). +**가이드 01 에는 바꾸기 전 상태를 보는 단계가 없다.** 아래 세 줄은 앞 단계의 확인을 그대로 다시 치는 것이고, 01 이 요구하는 전제가 그 셋이다. -**무엇을 확인하는가** — 앞 단계가 남긴 세 값이 지금 셸에서도 그대로인지. +앞 단계가 남긴 세 값이 지금 셸에서도 그대로인지. ```bash label="[lab host] 연결 URI · 네트워크 · 도메인 목록을 차례로 본다" virsh uri @@ -97,11 +81,11 @@ virsh net-list --all virsh list --all ``` -**어디를 봐야 하는가** — `qemu:///system` 인가, `default` 가 `active` 인가, 그리고 `virsh list --all` 이 `sudo` 없이 통과하는가. 세 게스트를 아직 안 만들었으면 마지막 표는 비어 있다. +`qemu:///system` 인가, `default` 가 `active` 인가, 그리고 `virsh list --all` 이 `sudo` 없이 통과하는가. 세 게스트를 아직 안 만들었으면 마지막 표는 비어 있다. -**이 결과가 의미하는 것** — 이 셋 가운데 하나라도 어긋난 채로 `virt-install` 을 치면 증상이 「VM 이 목록에 없다」나 「IP 를 못 받는다」로 나타나고, 원인은 이 단계가 아니라 앞 단계에 있다. 어긋난 값을 만든 곳으로 돌아간다 — 연결 URI 와 네트워크와 그룹이 각각 다른 번호다. +이 셋 가운데 하나라도 어긋난 채로 `virt-install` 을 치면 증상이 「VM 이 목록에 없다」나 「IP 를 못 받는다」로 나타나고, 원인은 이 단계가 아니라 앞 단계에 있다. 어긋난 값을 만든 곳으로 돌아간다 — 연결 URI 와 네트워크와 그룹이 각각 다른 번호다. -## 실행 절차 +## cloud-init 시드와 오버레이로 세 VM을 만든다 ### 1. base 이미지를 받는다 @@ -117,11 +101,11 @@ https://cloud.debian.org/images/cloud/bookworm/latest/debian-12-genericcloud-amd qemu-img info /var/lib/libvirt/images/base.qcow2 ``` -**예상 결과** — 세 줄을 본다. `file format:` 이 `qcow2` 인가, `virtual size:` 가 `disk size:` 보다 훨씬 큰가, `backing file:` 줄이 없는가. 가운데 것은 qcow2 가 희소 파일이라 그렇게 나오는 쪽이 정상이다. +정상이면 세 줄을 본다. `file format:` 이 `qcow2` 인가, `virtual size:` 가 `disk size:` 보다 훨씬 큰가, `backing file:` 줄이 없는가. 가운데 것은 qcow2 가 희소 파일이라 그렇게 나오는 쪽이 정상이다. -**왜 필요한가** — 게스트 셋의 디스크가 전부 이 파일 위의 오버레이라, base 뒤에 또 무엇이 붙어 있으면 사슬이 한 겹 더 생긴다. base 는 아무것도 뒤에 두지 않는다. +게스트 셋의 디스크가 전부 이 파일 위의 오버레이라, base 뒤에 또 무엇이 붙어 있으면 사슬이 한 겹 더 생긴다. base 는 아무것도 뒤에 두지 않는다. -**문제가 생기면** — 받다 끊기면 오류 페이지를 저장해서 `file format:` 이 `raw` 로 읽힌다. 형식이 틀린 채로 진행하면 증상이 `virt-install` 이 아니라 게스트가 부팅을 못 하는 것으로 나타나 원인을 찾기 어려워진다. 지우고 다시 받는다. +실패하면 받다 끊기면 오류 페이지를 저장해서 `file format:` 이 `raw` 로 읽힌다. 형식이 틀린 채로 진행하면 증상이 `virt-install` 이 아니라 게스트가 부팅을 못 하는 것으로 나타나 원인을 찾기 어려워진다. 지우고 다시 받는다. ### 2. cloud-init 파일에 넣을 값 셋을 모은다 @@ -145,19 +129,19 @@ cat ~/.ssh/id_ed25519.pub openssl rand -base64 18 ``` -**예상 결과** — `ssh-ed25519 ...` 로 시작하는 줄 둘과 base64 한 줄이 화면에 나온다. 셋 다 다음 단계에서 붙여 넣으므로 창을 닫지 않는다. +정상이면 `ssh-ed25519 ...` 로 시작하는 줄 둘과 base64 한 줄이 화면에 나온다. 셋 다 다음 단계에서 붙여 넣으므로 창을 닫지 않는다. -**왜 필요한가** — 자리표시자를 문서에 남기지 않고 값을 찾는 명령을 함께 둔다. ④ 의 비밀번호는 cloud-init 의 `plain_text_passwd` 로 들어가고, 키가 안 들어갔을 때 게스트로 들어가는 유일한 통로가 된다. 이 문서에는 그 값을 싣지 않는다. +자리표시자를 문서에 남기지 않고 값을 찾는 명령을 함께 둔다. ④ 의 비밀번호는 cloud-init 의 `plain_text_passwd` 로 들어가고, 키가 안 들어갔을 때 게스트로 들어가는 유일한 통로가 된다. 이 문서에는 그 값을 싣지 않는다. -**①②를 나눠 둔 까닭** — 이 실험대는 `[ -f ~/.ssh/id_ed25519.pub ] || ssh-keygen …` 한 줄로 쳤다(observed). 그 형태는 「있으면 두고 없으면 만든다」를 단축 평가에 접어 넣어서, 배울 것보다 `[ -f … ]` 와 `||` 를 먼저 읽게 만든다. 나눠 두면 키가 이미 있는지가 ① 의 출력에 그대로 보이고, 만드는 명령은 그때만 친다. 이 나눈 형태는 이 실험대에서 치지 않았다(unknown). +**①②를 나눠 둔 까닭** — 이 실험대는 `[ -f ~/.ssh/id_ed25519.pub ] || ssh-keygen …` 한 줄로 쳤다. 그 형태는 「있으면 두고 없으면 만든다」를 단축 평가에 접어 넣어서, 배울 것보다 `[ -f … ]` 와 `||` 를 먼저 읽게 만든다. 나눠 두면 키가 이미 있는지가 ① 의 출력에 그대로 보이고, 만드는 명령은 그때만 친다. 이 나눈 형태는 이 실험대에서 치지 않았다. -**문제가 생기면** — ③ 만 워크스테이션에서 친다. lab host 에서 두 번 쳐서 같은 키를 두 줄 넣으면 워크스테이션에서는 게스트에 못 붙는다. +실패하면 ③ 만 워크스테이션에서 친다. lab host 에서 두 번 쳐서 같은 키를 두 줄 넣으면 워크스테이션에서는 게스트에 못 붙는다. ### 3. 게스트마다 cloud-init 파일을 쓴다 **목적** — 게스트가 첫 부팅에서 읽을 `#cloud-config` 를 게스트 이름별로 하나씩 만든다. -원본 가이드에서 이 단계가 비어 있다(unknown). 템플릿으로 `deploy/lab/cloud-init/kc-lab.yaml.example` 을 걸어 두고 곧바로 자리표시자를 바꾸는 치환 명령으로 넘어가는데, 그 파일을 게스트 이름으로 복사하거나 새로 만드는 명령이 원본에도 없다. 템플릿 원문도 반입되지 않아 대조하지 못했다. 그래서 아래는 원본 본문이 실은 내용을 파일로 옮겨 적었다. +원본 가이드에서 이 단계가 비어 있다. 템플릿으로 `deploy/lab/cloud-init/kc-lab.yaml.example` 을 걸어 두고 곧바로 자리표시자를 바꾸는 치환 명령으로 넘어가는데, 그 파일을 게스트 이름으로 복사하거나 새로 만드는 명령이 원본에도 없다. 템플릿 원문도 반입되지 않아 대조하지 못했다. 그래서 아래는 원본 본문이 실은 내용을 파일로 옮겨 적었다. ```bash label="[lab host] ① 게스트 이름으로 파일을 연다" nano kc-lab-1.yaml @@ -189,9 +173,9 @@ packages: [curl, nftables] ③ 다른 게스트는 `hostname` 과 `fqdn` 두 줄만 `kc-lab-2` 와 `kc-lab-edge` 로 바꿔 같은 방법으로 만든다. -**예상 결과** — lab host 의 현재 디렉터리에 `kc-lab-1.yaml` 과 `kc-lab-2.yaml` 과 `kc-lab-edge.yaml` 셋이 생긴다. +정상이면 lab host 의 현재 디렉터리에 `kc-lab-1.yaml` 과 `kc-lab-2.yaml` 과 `kc-lab-edge.yaml` 셋이 생긴다. -**왜 필요한가** — 세 가지가 의도적이다. +세 가지가 의도적이다. | 무엇 | 왜 | |---|---| @@ -201,7 +185,7 @@ packages: [curl, nftables] 들여쓰기에는 공백만 쓴다. YAML 은 탭을 금지하고, cloud-init 은 파싱에 실패해도 아무 오류를 남기지 않아 증상이 「SSH 가 안 붙는다」 하나로만 나타난다. 편집기로 여는 까닭도 여기에 있다 — 배울 것이 `hostname:` 과 `users:` 와 `packages:` 인데 치환 명령의 구분자와 명령 치환을 먼저 읽어야 하면 시선이 그쪽으로 간다. -이 실험대는 값 셋을 한 번에 치환했다(observed). +이 실험대는 값 셋을 한 번에 치환했다. ```bash label="[lab host] 이 실험대가 실제로 친 형태" sed -i \ @@ -211,7 +195,7 @@ sed -i \ kc-lab-1.yaml ``` -**문제가 생기면** — `sudo:` 줄은 4번이 적은 대로 문자열 형태로 고쳐 쓴다. 그대로 두면 부팅은 되고 스키마 검사만 거절한다. +실패하면 `sudo:` 줄은 4번이 적은 대로 문자열 형태로 고쳐 쓴다. 그대로 두면 부팅은 되고 스키마 검사만 거절한다. ### 4. cloud-init 파일을 검사한다 @@ -225,9 +209,9 @@ grep -c '__' kc-lab-1.yaml grep -c 'ssh-ed25519\|ssh-rsa' kc-lab-1.yaml ``` -**예상 결과** — `0` 과 `2`. 첫 줄이 `0` 이 아니면 `__LAB_HOST_KEY__` 같은 문자열이 남아 있고, 둘째 줄이 `2` 가 아니면 키 하나가 안 들어갔다. 두 숫자가 맞아야 시드를 만든다. +정상이면 `0` 과 `2`. 첫 줄이 `0` 이 아니면 `__LAB_HOST_KEY__` 같은 문자열이 남아 있고, 둘째 줄이 `2` 가 아니면 키 하나가 안 들어갔다. 두 숫자가 맞아야 시드를 만든다. -첫 파일에서는 여기까지다. cloud-config 스키마까지 보는 검증기는 `cloud-init schema` 인데, 2026-09-17 이 실험대에서 관측한 게스트의 cloud-init 은 `22.4.2` 였다. 하지만 base URL이 `bookworm/latest` 이므로 다음 다운로드도 같은 cloud-init 버전이라는 계약은 없다. 첫 파일을 쓰는 시점에는 게스트가 아직 없다. lab host 에 cloud-init 이 깔려 있는지는 원본 가이드에 적혀 있지 않고 재지도 않았으며(unknown), `yamllint` 은 이 실험대에 없다. 게스트가 한 대라도 뜬 뒤에는 둘째 파일부터 그 검증기로 본다. 파일을 보내고, 들어가고, 검사하고, 지운다. +첫 파일에서는 여기까지다. cloud-config 스키마까지 보는 검증기는 `cloud-init schema` 인데, 2026-09-17 이 실험대에서 관측한 게스트의 cloud-init 은 `22.4.2` 였다. 하지만 base URL이 `bookworm/latest` 이므로 다음 다운로드도 같은 cloud-init 버전이라는 계약은 없다. 첫 파일을 쓰는 시점에는 게스트가 아직 없다. lab host 에 cloud-init 이 깔려 있는지는 원본 가이드에 적혀 있지 않고 재지도 않았으며, `yamllint` 은 이 실험대에 없다. 게스트가 한 대라도 뜬 뒤에는 둘째 파일부터 그 검증기로 본다. 파일을 보내고, 들어가고, 검사하고, 지운다. ```bash label="[lab host] ③ 검사할 파일을 게스트로 보낸다" scp kc-lab-2.yaml donghyeon@192.168.122.11:~/ @@ -253,7 +237,7 @@ rm ~/kc-lab-2.yaml exit ``` -**예상 결과** — 통과하면 한 줄이다(observed). +**실제 확인한 결과** — 통과하면 한 줄이 나온다. ```text Valid cloud-config: /home/donghyeon/kc-lab-edge.yaml @@ -261,18 +245,18 @@ Valid cloud-config: /home/donghyeon/kc-lab-edge.yaml 통과하면 유효하다는 한 줄만 나오고, 아니면 `Invalid cloud-config` 아래에 어느 키가 왜 틀렸는지가 나열된다. `deprecated` 경고와 `error` 는 다르다 — 경고는 지금 동작한다. -**왜 필요한가** — YAML 로 파싱되는 것과 cloud-config 로 유효한 것은 다르다. 키 이름 오타(`user` 와 `users`)는 앞의 두 `grep` 도, YAML 파서도 그냥 통과한다. 오류가 나면 그 키는 조용히 무시되고, `users` 를 `user` 로 잘못 쓰면 계정이 안 생기며, 증상은 역시 「SSH 가 안 붙는다」 하나로만 나타난다. +YAML 로 파싱되는 것과 cloud-config 로 유효한 것은 다르다. 키 이름 오타(`user` 와 `users`)는 앞의 두 `grep` 도, YAML 파서도 그냥 통과한다. 오류가 나면 그 키는 조용히 무시되고, `users` 를 `user` 로 잘못 쓰면 계정이 안 생기며, 증상은 역시 「SSH 가 안 붙는다」 하나로만 나타난다. 이 파일에는 콘솔 비밀번호가 평문으로 들어 있다. `/tmp` 가 아니라 자기 홈에 `600` 으로 두고 검사가 끝나면 바로 지운다. `scp` 가 만드는 동안에는 파일이 잠깐 기본 권한으로 놓이므로 ⑤ 를 바로 뒤에 둔다. -이 실험대는 접속과 리다이렉션과 권한 설정을 두 줄에 몰아넣었다(observed). +이 실험대는 접속과 리다이렉션과 권한 설정을 두 줄에 몰아넣었다. ```bash label="[lab host] [reference] 이 실험대가 실제로 친 형태" ssh donghyeon@192.168.122.11 'umask 077; cat > ~/kc-lab-2.yaml' < kc-lab-2.yaml ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-lab-2.yaml' ``` -명령 수가 둘에서 다섯으로 늘고 행동 하나가 명령 하나가 된다. `umask 077` 이 `chmod 600` 으로 바뀌는 것 하나가 다르다. 이 다섯 줄 형태는 이 실험대에서 치지 않았다(unknown). +명령 수가 둘에서 다섯으로 늘고 행동 하나가 명령 하나가 된다. `umask 077` 이 `chmod 600` 으로 바뀌는 것 하나가 다르다. 이 다섯 줄 형태는 이 실험대에서 치지 않았다. :::warning @@ -290,7 +274,7 @@ Error: Cloud config schema errors: users.0: {'name': 'donghyeon', 'groups': ['sudo'], 'shell': '/bin/bash', ...} is not valid under any of the given schemas ``` -**문제가 생기면** — 검사기는 어느 키가 문제인지 안 알려 준다. `users.0` 전체를 통째로 찍고 어느 스키마에도 안 맞는다고만 하므로 키를 하나씩 바꿔 가며 좁혀야 한다. 게다가 리스트 형태도 부팅은 된다 — `kc-lab-1` 과 `kc-lab-2` 가 그 상태로 NOPASSWD sudo 가 멀쩡히 돌고 있다. 검사기만 거부하므로 「검사는 실패했는데 왜 되지」로 읽히기 쉽다. +실패하면 검사기는 어느 키가 문제인지 안 알려 준다. `users.0` 전체를 통째로 찍고 어느 스키마에도 안 맞는다고만 하므로 키를 하나씩 바꿔 가며 좁혀야 한다. 게다가 리스트 형태도 부팅은 된다 — `kc-lab-1` 과 `kc-lab-2` 가 그 상태로 NOPASSWD sudo 가 멀쩡히 돌고 있다. 검사기만 거부하므로 「검사는 실패했는데 왜 되지」로 읽히기 쉽다. ### 5. 시드 ISO 를 만들어 풀에 올린다 @@ -323,11 +307,11 @@ virsh vol-info --pool default seed-kc-lab-1.iso stat -c%s seed-kc-lab-1.iso ``` -**예상 결과** — `default` 풀에 `seed-kc-lab-1.iso` 가 잡히고 `Capacity` 가 방금 만든 로컬 파일 크기와 같다. +정상이면 `default` 풀에 `seed-kc-lab-1.iso` 가 잡히고 `Capacity` 가 방금 만든 로컬 파일 크기와 같다. -**왜 필요한가** — 시드는 `cidata` 라벨이 붙고 안에 `user-data` 와 `meta-data` 라는 정확한 이름의 파일이 있는 볼륨이어야 한다. `vol-create-as` 는 빈 볼륨을 만들 뿐이고 내용은 `vol-upload` 가 채운다. 뒤엣것을 빠뜨리면 목록에는 이름이 보이는데 안이 0 으로 채워져 있고, cloud-init 은 `cidata` 라벨을 못 찾아 조용히 끝난다 — 증상은 또 「SSH 가 안 붙는다」다. `instance-id` 를 매번 다른 값으로 두는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이고, id 가 같으면 user-data 를 고쳐도 반영되지 않는다. +시드는 `cidata` 라벨이 붙고 안에 `user-data` 와 `meta-data` 라는 정확한 이름의 파일이 있는 볼륨이어야 한다. `vol-create-as` 는 빈 볼륨을 만들 뿐이고 내용은 `vol-upload` 가 채운다. 뒤엣것을 빠뜨리면 목록에는 이름이 보이는데 안이 0 으로 채워져 있고, cloud-init 은 `cidata` 라벨을 못 찾아 조용히 끝난다 — 증상은 또 「SSH 가 안 붙는다」다. `instance-id` 를 매번 다른 값으로 두는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이고, id 가 같으면 user-data 를 고쳐도 반영되지 않는다. -이 실험대는 meta-data 를 명령으로 만들었다(observed). +이 실험대는 meta-data 를 명령으로 만들었다. ```bash label="[lab host] 이 실험대가 실제로 친 형태" printf 'instance-id: kc-lab-1-%s\nlocal-hostname: kc-lab-1\n' "$(date +%s)" > meta-kc-lab-1 @@ -335,7 +319,7 @@ printf 'instance-id: kc-lab-1-%s\nlocal-hostname: kc-lab-1\n' "$(date +%s)" > me 배울 것이 `instance-id:` 와 `local-hostname:` 두 키인데 그 형태는 서식 문자와 명령 치환을 먼저 읽게 만든다. 나머지 네 줄은 시드를 굽고 볼륨을 올리는 일이 명령 자체의 목적이라 그대로 둔다. -**문제가 생기면** — 게스트가 뜨고도 호스트명이 `localhost` 면 ④ 의 뒷줄을 빠뜨렸는지 본다. +실패하면 게스트가 뜨고도 호스트명이 `localhost` 면 ④ 의 뒷줄을 빠뜨렸는지 본다. ### 6. DHCP 예약을 먼저 넣는다 @@ -369,7 +353,7 @@ virsh net-update default add ip-dhcp-host \ virsh net-dumpxml default | grep -E "host mac|range start" ``` -**예상 결과** — 넣을 때 한 줄이 나오고(observed), 확인하면 네 줄이 나온다(observed). +정상이면 넣을 때 한 줄이 나오고, 확인하면 네 줄이 나온다. ```text Updated network default persistent config and live state @@ -384,16 +368,16 @@ Updated network default persistent config and live state `persistent config` 와 `live state` 두 마디가 다 나와야 `--live --config` 가 제대로 먹었다. `` 세 줄은 MAC 끝 두 자리와 IP 끝 숫자가 짝이 맞는지 본다. `` 줄은 예약이 아니라 동적 대역이라, 예약한 주소가 그 안에 들어 있어도 상관없다. -**왜 필요한가** — 아직 게스트가 없어도 예약은 들어간다. 예약은 「이 MAC 이 나타나면 이 IP 를 줘라」이지 「지금 있는 게스트에게 줘라」가 아니다. MAC 은 7번의 `virt-install --network mac=` 에 쓸 값을 여기서 미리 정한다. `--live` 만 주면 재부팅에 사라지고 `--config` 만 주면 지금 반영되지 않는다. +아직 게스트가 없어도 예약은 들어간다. 예약은 「이 MAC 이 나타나면 이 IP 를 줘라」이지 「지금 있는 게스트에게 줘라」가 아니다. MAC 은 7번의 `virt-install --network mac=` 에 쓸 값을 여기서 미리 정한다. `--live` 만 주면 재부팅에 사라지고 `--config` 만 주면 지금 반영되지 않는다. -이미 있는 예약을 또 넣으면 이렇게 거부된다(observed). 오류처럼 보이지만 이미 들어가 있다는 뜻이라 그냥 넘어가면 된다. +2026-09-17 실제로 이미 있는 예약을 다시 넣었을 때는 이렇게 거부됐다. 오류처럼 보이지만 이미 들어가 있다는 뜻이라 그냥 넘어가면 된다. ```text error: Requested operation is not valid: there is an existing dhcp host entry in network 'default' that matches "" ``` -**문제가 생기면** — 확인은 `` 로 한다. `ip-dhcp-host` 는 `net-update` 의 섹션 이름이라 XML 안에 그 문자열이 없고, 그것으로 `grep` 하면 예약이 멀쩡히 들어가 있어도 아무것도 안 나온다. 세 줄을 셸 반복문으로 돌리지도 않는다 — zsh 는 따옴표 없는 변수를 단어로 나누지 않아서 `XML error: Cannot use host name ''` 로 끝난다. 값을 그대로 세 번 치는 쪽이 안전하다. 재부팅 뒤에도 남는지는 비활성 정의를 따로 본다. +실패하면 확인은 `` 로 한다. `ip-dhcp-host` 는 `net-update` 의 섹션 이름이라 XML 안에 그 문자열이 없고, 그것으로 `grep` 하면 예약이 멀쩡히 들어가 있어도 아무것도 안 나온다. 세 줄을 셸 반복문으로 돌리지도 않는다 — zsh 는 따옴표 없는 변수를 단어로 나누지 않아서 `XML error: Cannot use host name ''` 로 끝난다. 값을 그대로 세 번 치는 쪽이 안전하다. 재부팅 뒤에도 남는지는 비활성 정의를 따로 본다. ```bash label="[lab host] 재부팅 뒤에도 남는 정의를 본다" virsh net-dumpxml --inactive default @@ -429,7 +413,7 @@ virt-install --name kc-lab-edge --memory 1024 --vcpus 1 \ MAC 은 6번에서 예약한 값을 한 글자도 다르지 않게 쓴다. -**예상 결과** — 엣지 생성 출력이다(observed). +정상이면 엣지 생성 출력이다. ```text Starting install... @@ -440,7 +424,7 @@ Domain creation completed. `Domain creation completed.` 한 줄을 본다. 그 위 `Allocating` 이 `00:00` 으로 즉시 끝나는 쪽이 정상이다 — 오버레이라 10GB 를 실제로 쓰지 않는다. -**왜 필요한가** — `virt-install` 은 VM 을 만드는 것 자체가 목적인 명령이라 옵션이 길어도 이 형태로 둔다. 여기서 준 값이 곧 게스트의 정체다 — 이름, 메모리, vCPU, 오버레이 디스크, 시드 볼륨, 예약해 둔 MAC. `--disk size=20,backing_store=...` 는 복사가 아니라 오버레이라, base 를 읽기 전용으로 두고 변경분만 새 파일에 쌓으므로 20GB 짜리를 둘 만들어도 실제 디스크는 몇백 MB 만 쓴다. +`virt-install` 은 VM 을 만드는 것 자체가 목적인 명령이라 옵션이 길어도 이 형태로 둔다. 여기서 준 값이 곧 게스트의 정체다 — 이름, 메모리, vCPU, 오버레이 디스크, 시드 볼륨, 예약해 둔 MAC. `--disk size=20,backing_store=...` 는 복사가 아니라 오버레이라, base 를 읽기 전용으로 두고 변경분만 새 파일에 쌓으므로 20GB 짜리를 둘 만들어도 실제 디스크는 몇백 MB 만 쓴다. :::warning @@ -448,9 +432,9 @@ Domain creation completed. ::: -**문제가 생기면** — `XML error: Cannot use host name ''` 이 나오면 6번의 예약이 빈 이름으로 들어간 것이니 그 세 줄을 값 그대로 다시 친다. +실패하면 `XML error: Cannot use host name ''` 이 나오면 6번의 예약이 빈 이름으로 들어간 것이니 그 세 줄을 값 그대로 다시 친다. -## 구성 값 +## 이 실험대에서 사용한 VM 사양과 주소 게스트 셋의 배치다. 디스크는 전부 base 이미지 위의 오버레이이고 복사가 아니다. @@ -471,26 +455,26 @@ Domain creation completed. | cloud-init 패키지 | `[curl, nftables]` | | 스키마 검사기 | 2026-09-17 관측: cloud-init `22.4.2` · `bookworm/latest` 사용으로 재다운로드 버전은 미고정 | -메모리는 처음 만들 때 세 대 다 3584MB 였고, 실험을 늘리며 5120 과 4096 으로 재배분했다(observed). 세 게스트의 배정 합은 5120+4096+1024 = 10,240MB 이고, 호스트 RAM 은 11,648MiB 다. 배정 합이 더 작아서 배정률은 10240/11648 = 87.9% 이고, 배정하지 않고 남은 것이 1,408MiB 다. 그래서 이 배치는 「Guest configured memory 총량이 Host physical RAM보다 크다」는 Memory Overcommit 에 해당하지 않는다. +메모리는 처음 만들 때 세 대 다 3584MB 였고, 실험을 늘리면서 실제로 5120MB 와 4096MB 로 재배분했다. 세 게스트의 배정 합은 5120+4096+1024 = 10,240MB 이고, 호스트 RAM 은 11,648MiB 다. 배정 합이 더 작아서 배정률은 10240/11648 = 87.9% 이고, 배정하지 않고 남은 것이 1,408MiB 다. 그래서 이 배치는 「Guest configured memory 총량이 Host physical RAM보다 크다」는 Memory Overcommit 에 해당하지 않는다. 호스트 RAM 11,648MiB 는 2026-09-10 에 이 호스트에서 `free -m | head -2` 로 받은 `Mem:` 행의 `total` 이다. `free -m` 은 MiB 로 찍으므로, 자기 호스트에서 이 배치를 다시 잡을 때도 같은 명령으로 재고 MiB 로 읽는다. -표의 메모리 칸은 `virt-install --memory` 에 준 값, 곧 선언한 상한이다. 뒤에 `virsh dommemstat` 으로 보면 `kc-lab-2` 가 4096 이 아니라 3120 으로 나오는데 virtio-balloon 이 회수해 간 것으로 보인다. `dommemstat` 의 `actual` 은 현재 할당이지 선언한 상한이 아니고, 상한은 `virsh dominfo` 의 `Max memory` 에 있다 — 이 실험대는 그 둘을 나란히 찍어 보지 않았다. 둘을 헷갈리면 「메모리가 왜 줄었지」가 된다. +표의 메모리 칸은 `virt-install --memory`에 준 값이다. 2026-09-10의 historical snapshot에서는 `kc-lab-2`의 `dommemstat actual`이 3120MB로 나왔지만, 그 원인은 당시 확인되지 않았다. 2026-09-21에는 `dominfo`와 `dommemstat`을 나란히 읽어 configured/current/actual이 모두 4096MiB인 것을 확인했다. virtio-balloon 장치는 실제로 존재하지만 **장치 존재만으로 과거 3120MB의 원인을 balloon이라고 귀속하지 않는다.** vCPU 합은 2 + 2 + 1 = 5 이고 이 호스트의 논리 코어는 8 이다. libvirt 는 vCPU 합이 논리 코어 수를 넘어도 막지 않으므로, 더 크게 잡아도 `virt-install` 은 통과한다. 여유를 둘지는 이 표에서 정한다. -## 끝났는지 판정한다 +## 세 VM이 뜨고 SSH가 키로 붙는지 확인한다 ### 확인 ① 세 게스트가 떴고 cloud-init 이 제 일을 했는가 -**무엇을 확인하는가** — 도메인 셋이 돌고 있는지, 그리고 게스트 안이 시드대로 채워졌는지. +도메인 셋이 돌고 있는지, 그리고 게스트 안이 시드대로 채워졌는지. ```bash label="[lab host] 도메인 목록과 게스트 안을 함께 본다" virsh list --all ssh donghyeon@192.168.122.11 'hostname; cat /etc/os-release | head -1' ``` -**실측**(observed) +**실측** ```text Id Name State @@ -503,19 +487,19 @@ kc-lab-1 PRETTY_NAME="Debian GNU/Linux 12 (bookworm)" ``` -**어디를 봐야 하는가** — 세 가지다. State 가 세 대 다 `running` 인가(`shut off` 면 아직 안 뜬 것이고 Id 칸이 `-` 로 비어 있다), SSH 가 비밀번호를 묻지 않고 통과했는가, `hostname` 이 `kc-lab-1` 인가 `localhost` 인가. +세 가지다. State 가 세 대 다 `running` 인가(`shut off` 면 아직 안 뜬 것이고 Id 칸이 `-` 로 비어 있다), SSH 가 비밀번호를 묻지 않고 통과했는가, `hostname` 이 `kc-lab-1` 인가 `localhost` 인가. -**이 결과가 의미하는 것** — 이 세 줄이 cloud-init 성공의 판정 기준 전부다. 호스트명이 바뀌었다는 것은 시드가 읽혔다는 뜻이고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다는 뜻이다. `localhost` 가 나오면 SSH 설정을 고치지 말고 시드부터 의심한다. Id 번호가 2 보다 큰 것에는 아무 뜻도 없다 — 만들고 지운 이력이 그렇게 남는다. +이 세 줄이 cloud-init 성공의 판정 기준 전부다. 호스트명이 바뀌었다는 것은 시드가 읽혔다는 뜻이고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다는 뜻이다. `localhost` 가 나오면 SSH 설정을 고치지 말고 시드부터 의심한다. Id 번호가 2 보다 큰 것에는 아무 뜻도 없다 — 만들고 지운 이력이 그렇게 남는다. ### 확인 ② 엣지가 예약한 IP 를 받았고 cloud-init 이 끝났는가 -**무엇을 확인하는가** — DHCP 예약이 실제로 먹었는지, 그리고 초기화가 아직 도는 중인지 끝났는지. +DHCP 예약이 실제로 먹었는지, 그리고 초기화가 아직 도는 중인지 끝났는지. ```bash label="[lab host] 호스트명 · 주소 · cloud-init 상태를 한 번에 본다" ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status' ``` -**실측**(observed) +**실측** ```text kc-lab-edge @@ -523,9 +507,9 @@ enp1s0 UP 192.168.122.10/24 metric 100 status: done ``` -**어디를 봐야 하는가** — 세 줄이다. 호스트명이 `kc-lab-edge` 인가, 주소가 예약한 `.10` 인가, `cloud-init status` 가 `done` 인가. +세 줄이다. 호스트명이 `kc-lab-edge` 인가, 주소가 예약한 `.10` 인가, `cloud-init status` 가 `done` 인가. -**이 결과가 의미하는 것** — `running` 이면 아직 패키지를 받는 중이니 기다린다. 이 실험대에서는 약 50초 걸렸다(observed). `error` 면 어느 모듈이 실패했는지 길게 본다. +`running` 이면 아직 패키지를 받는 중이니 기다린다. 이 실험대에서는 약 50초 걸렸다. `error` 면 어느 모듈이 실패했는지 길게 본다. ```bash label="[lab host] 어느 모듈이 실패했는지 길게 본다" ssh kc-lab-edge 'cloud-init status --long' @@ -533,7 +517,7 @@ ssh kc-lab-edge 'cloud-init status --long' ### 확인 ③ 게스트에 못 들어갈 때는 화면을 직접 뜬다 -**무엇을 확인하는가** — SSH 가 막힌 원인이 시드 쪽인지 그 뒤인지. +SSH 가 막힌 원인이 시드 쪽인지 그 뒤인지. ```bash label="[lab host] 게스트 화면을 파일로 받는다" virsh screenshot kc-lab-1 /tmp/kc1.ppm @@ -541,9 +525,9 @@ virsh screenshot kc-lab-1 /tmp/kc1.ppm 확장자와 무관하게 PNG 로 저장된다. -**어디를 봐야 하는가** — 이미지를 열어 로그인 프롬프트 앞의 호스트명 한 낱말만 본다. `localhost login:` 인가 `kc-lab-1 login:` 인가. +이미지를 열어 로그인 프롬프트 앞의 호스트명 한 낱말만 본다. `localhost login:` 인가 `kc-lab-1 login:` 인가. -**이 결과가 의미하는 것** — `localhost` 면 cloud-init 이 아예 안 돌았다. 시드를 못 찾았거나(7번의 `bus=virtio`) YAML 파싱에 실패한 것(3번)이므로 SSH 쪽은 볼 필요가 없다. `kc-lab-1` 이면 cloud-init 은 돌았고 그 안의 사용자·키 단계에서 틀린 것이라, 콘솔로 들어가 게스트 안의 로그를 본다. +`localhost` 면 cloud-init 이 아예 안 돌았다. 시드를 못 찾았거나(7번의 `bus=virtio`) YAML 파싱에 실패한 것(3번)이므로 SSH 쪽은 볼 필요가 없다. `kc-lab-1` 이면 cloud-init 은 돌았고 그 안의 사용자·키 단계에서 틀린 것이라, 콘솔로 들어가 게스트 안의 로그를 본다. ```bash label="[lab host] 콘솔로 들어간다. 빠져나오려면 Ctrl+]" virsh console kc-lab-1 @@ -556,7 +540,7 @@ sudo journalctl -u cloud-init -n 50 콘솔 로그인에 쓰는 비밀번호가 2번 ④ 로 만든 값이다. 이 한 장과 이 두 줄이 「SSH 가 안 되는 이유」를 절반으로 줄인다. -## 통과 조건을 한 번에 다시 본다 +## 세 게스트 생성 확인표 | 무엇 | 명령 | 통과 | |---|---|---| @@ -566,7 +550,7 @@ sudo journalctl -u cloud-init -n 50 | 도메인 | `virsh list --all` | 세 대 다 `running` | | 게스트 안 | `ssh kc-lab-edge 'hostname; cloud-init status'` | `kc-lab-edge` · `status: done` | -## 막히면 +## VM은 떴는데 SSH가 안 붙을 때 | 증상 | 원인 | 확인 | |---|---|---| @@ -581,13 +565,13 @@ sudo journalctl -u cloud-init -n 50 SSH 가 안 붙는 증상 넷을 갈라 보는 방법은 이 표보다 자세한 기록이 따로 있다. -## 무엇이 관측이고 무엇이 아닌가 +## 이 절차에서 실제로 확인한 범위 -- (observed) 게스트 세 대의 IP·MAC·vCPU·메모리, `Debian GNU/Linux 12 (bookworm)`, `cloud-init status: done`, cloud-init 대기 약 50초, 스키마 검사기의 거부 문구, `Valid cloud-config` 한 줄, 예약을 넣을 때와 다시 넣을 때의 문구, `virt-install` 의 네 줄 출력. -- (observed) 메모리는 처음 만들 때 3584MB 였고 실험을 늘리며 5120 과 4096 으로 재배분했다. 세 게스트의 배정 합 10,240MB 는 호스트 RAM 11,648MiB 보다 작고, 배정하지 않고 남은 것이 1,408MiB 다. 「Guest configured memory 총량이 Host physical RAM보다 크다」는 Memory Overcommit 에 해당하지 않는 배치다. -- (unknown) `kc-lab-1.yaml` 을 템플릿에서 어떻게 만드는지가 원본에도 없다. `kc-lab.yaml.example` 이 반입되지 않아 대조하지 못했다. -- (observed) 2026-09-17 에 확인 ①·②·③ 을 그대로 쳤고 셋 다 위에 실은 대로 나왔다. 세 도메인이 `running`, `192.168.122.11` 의 `hostname` 이 `kc-lab-1` 이고 `PRETTY_NAME` 이 Debian 12, 엣지가 `192.168.122.10/24` 와 `status: done`, `virsh screenshot` 이 `.ppm` 이름으로 저장하면서 `with type of image/png` 라고 답하고 `file` 도 PNG 라고 읽는다. `virsh list` 의 Id 는 `13`·`15`·`16` 이고 줄 순서도 위와 다른데, 본문이 적은 대로 그 번호에는 뜻이 없다. -- (observed) **cloud-init 의 `packages` 에 certbot 은 없다.** 2026-09-17 에 갈렸다. 뜬 게스트가 실제로 받은 user-data 를 열어 보니 `packages: [curl, nftables]` 한 줄이고, 저장소 템플릿에는 `nginx` · `certbot` · `python3-certbot-dns-cloudflare` 셋이 **주석으로 막혀** 있다. 넷 중 `curl` 과 `nftables` 만 산다. 04 의 표에 `kc-lab-edge` 가 `nginx · certbot` 으로 적힌 것은 그 게스트가 **끝나면 맡을 역할**이지 cloud-init 이 깔아 준 것이 아니다 — nginx 는 03 의 1번이, certbot 은 04 의 1번이 직접 깐다. +- 게스트 세 대의 IP·MAC·vCPU·메모리, `Debian GNU/Linux 12 (bookworm)`, `cloud-init status: done`, cloud-init 대기 약 50초, 스키마 검사기의 거부 문구, `Valid cloud-config` 한 줄, 예약을 넣을 때와 다시 넣을 때의 문구, `virt-install` 의 네 줄 출력. +- 실제 배치는 처음 만들 때 3584MB 였고, 실험을 늘리면서 5120MB 와 4096MB 로 재배분했다. 세 게스트의 배정 합 10,240MB 는 호스트 RAM 11,648MiB 보다 작고, 배정하지 않고 남은 것이 1,408MiB 다. 「Guest configured memory 총량이 Host physical RAM보다 크다」는 Memory Overcommit 에 해당하지 않는 배치다. +- `kc-lab-1.yaml` 을 템플릿에서 어떻게 만드는지가 원본에도 없다. `kc-lab.yaml.example` 이 반입되지 않아 대조하지 못했다. +- 2026-09-17 에 확인 ①·②·③ 을 그대로 쳤고 셋 다 위에 실은 대로 나왔다. 세 도메인이 `running`, `192.168.122.11` 의 `hostname` 이 `kc-lab-1` 이고 `PRETTY_NAME` 이 Debian 12, 엣지가 `192.168.122.10/24` 와 `status: done`, `virsh screenshot` 이 `.ppm` 이름으로 저장하면서 `with type of image/png` 라고 답하고 `file` 도 PNG 라고 읽는다. `virsh list` 의 Id 는 `13`·`15`·`16` 이고 줄 순서도 위와 다른데, 본문이 적은 대로 그 번호에는 뜻이 없다. +- **cloud-init 의 `packages` 에 certbot 은 없다.** 2026-09-17 에 갈렸다. 뜬 게스트가 실제로 받은 user-data 를 열어 보니 `packages: [curl, nftables]` 한 줄이고, 저장소 템플릿에는 `nginx` · `certbot` · `python3-certbot-dns-cloudflare` 셋이 **주석으로 막혀** 있다. 넷 중 `curl` 과 `nftables` 만 산다. 04 의 표에 `kc-lab-edge` 가 `nginx · certbot` 으로 적힌 것은 그 게스트가 **끝나면 맡을 역할**이지 cloud-init 이 깔아 준 것이 아니다 — nginx 는 03 의 1번이, certbot 은 04 의 1번이 직접 깐다. ```bash label="[kc-lab-edge] 실제로 받은 user-data 를 연다" sudo grep -n "packages" /var/lib/cloud/instance/user-data.txt @@ -597,7 +581,7 @@ sudo grep -n "packages" /var/lib/cloud/instance/user-data.txt 19:packages: [curl, nftables] ``` -- (observed) `virsh vol-info` · `net-dumpxml --inactive` · `cloud-init status --long` 은 2026-09-17 에 쳤다. 볼륨 일곱의 용량과 실제 할당은 이렇다 — **선언한 크기와 디스크가 실제로 먹는 양이 크게 다르다.** 오버레이라 쓴 만큼만 먹는다. +- `virsh vol-info` · `net-dumpxml --inactive` · `cloud-init status --long` 은 2026-09-17 에 쳤다. 볼륨 일곱의 용량과 실제 할당은 이렇다 — **선언한 크기와 디스크가 실제로 먹는 양이 크게 다르다.** 오버레이라 쓴 만큼만 먹는다. ```text base.qcow2 Capacity=3.00 GiB Allocation=323.25 MiB @@ -609,7 +593,7 @@ seed-kc-lab-{1,2,edge}.iso Capacity=370.00 KiB Allocation=372.00 KiB `net-dumpxml default --inactive` 는 `virbr0` 과 동적 대역 한 줄과 예약 세 줄을 낸다 — `--inactive` 를 붙여도 예약이 그대로 보이는 것이 `--config` 로 넣었다는 증거다. -- (observed) `cloud-init status --long` 의 마지막 줄이 이 문서의 7번을 그대로 뒷받침한다. +- 2026-09-17의 `cloud-init status --long` 마지막 줄은 이 문서의 7번 설명과 일치했다. ```text status: done @@ -621,9 +605,9 @@ DataSourceNoCloud [seed=/dev/vdb][dsmode=net] `seed=/dev/vdb` 가 핵심이다. 시드를 `--cloud-init` 으로 붙였다면 SATA CD-ROM(`sr0`)이 됐을 텐데, `bus=virtio` 로 디스크로 붙였기 때문에 `vdb` 로 잡혔고 cloud-init 이 거기서 데이터소스를 찾았다. 7번이 적은 이유가 이 한 줄로 확인된다. -- (unknown) 파일을 옮겨 검사하는 다섯 줄 형태와 `virsh console` 은 가이드가 적어 둔 명령이고 이 실험대가 캡처한 출력이 없다. `virsh console` 은 대화형이라 비대화식으로 밟지 않았다. -- (unknown) 편집기로 `kc-lab-1.yaml` 과 `meta-kc-lab-1` 을 여는 형태도 이 실험대가 치지 않았다. 이 실험대는 치환 명령과 서식 출력으로 만들었고, 같은 상태에 닿는지는 다시 재지 않았다. -- (unknown) 원본 가이드에 되돌리는 절차가 없다. 단계 03 이 지나가며 적은 한 줄 말고는 게스트와 시드 볼륨과 DHCP 예약을 걷어내는 순서가 어디에도 없다. -- (inferred) `virt-install` 세 줄은 구축할 때 친 것을 옮겼고 재실행으로 검증되지 않았다. +- 파일을 옮겨 검사하는 다섯 줄 형태와 `virsh console` 은 가이드가 적어 둔 명령이고 이 실험대가 캡처한 출력이 없다. `virsh console` 은 대화형이라 비대화식으로 밟지 않았다. +- 편집기로 `kc-lab-1.yaml` 과 `meta-kc-lab-1` 을 여는 형태도 이 실험대가 치지 않았다. 이 실험대는 치환 명령과 서식 출력으로 만들었고, 같은 상태에 닿는지는 다시 재지 않았다. +- 원본 가이드에 되돌리는 절차가 없다. 단계 03 이 지나가며 적은 한 줄 말고는 게스트와 시드 볼륨과 DHCP 예약을 걷어내는 순서가 어디에도 없다. +- 2026-09-21에는 `kc-lab-1`과 `kc-lab-2`를 실제로 철거한 뒤 이 절차의 cloud-init·qcow2 overlay·DHCP 예약·`virt-install` 경로로 다시 만들었고, 두 worker가 Debian 12로 부팅해 SSH와 cloud-init을 통과한 뒤 k3s 클러스터에 다시 합류하는 것까지 확인했다. 따라서 **worker 두 대의 재생성 경로는 재검증됐다.** `kc-lab-edge` 전체 삭제·재생성은 실제 TLS 종단점과 인증서를 보존하기 위해 이번 재검증에서 수행하지 않았으므로, 세 VM 전체를 한 번에 비운 뒤 다시 만드는 경로까지 확인됐다고 쓰지는 않는다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-edge-nginx-and-host-dnat.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-edge-nginx-and-host-dnat.md index 5740453..d33d771 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-edge-nginx-and-host-dnat.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-edge-nginx-and-host-dnat.md @@ -9,7 +9,7 @@ project: virtualization status: 게시 전 studio: "https://hyeonworks.com/studio/documents/74a7bacf-e5d8-4129-926a-c8cf5cacb8c9/edit" pinnedVersions: - - name: nginx (엣지 게스트, observed; apt 설치 버전 미고정) + - name: nginx (엣지 게스트에서 확인; apt 설치 버전 미고정) version: 1.22.1 - name: Debian GNU/Linux version: 12 (bookworm) @@ -27,28 +27,10 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 엣지 게스트에 nginx 를 깔아 80 을 받게 하고 물리 호스트에 nftables DNAT 파일과 그것을 걸어 주는 systemd 유닛을 두는 절차다. 끝나면 밖에서 온 요청이 호스트를 지나 엣지 nginx 로, 거기서 Traefik 으로 닿는다. TLS 는 아직 없다. -## 관계 - -- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리** - 이 절차가 실행하는 결정이고, 왜 옮겼는지와 무엇을 감수했는지는 그 기록이 갖는다. -- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다** - 유닛의 `ExecStartPost` 가 뚫는 구멍이 왜 필요한지를 그 사건이 끝까지 따라간다. -- **k3s server 와 agent 를 게스트 두 대에 깔고 lab host 에서 kubectl 로 본다** - 앞 단계이고, 거기서 확인한 INTERNAL-IP 두 개가 여기서 upstream 주소가 된다. -- **DNS-01 으로 와일드카드 인증서를 받고 갱신이 서빙까지 닿게 한다** - 다음 단계이고, 여기서 `http` 로 둔 `X-Forwarded-Proto` 가 거기서 `https` 로 바뀐다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - ① 의 `404` 를 성공으로 읽는 근거가 그 기준이다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 세우는 명령이 왜 재실행으로 검증되지 않은 채 남았는지를 그 기준이 가른다. -- **libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 구멍이 필요한가** - 이 절차의 유닛이 뚫는 구멍이 다른 백엔드에서도 필요한지는 아직 재지 않았다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## host와 edge guest에서 치는 명령을 구분한다 이 단계는 기계 둘을 오간다. @@ -64,7 +46,7 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 여는 파일은 넷이다 — nginx 라우팅 설정, nftables DNAT 파일, systemd 유닛, CoreDNS 매니페스트. 셋 다 사람이 내용을 읽고 고쳐야 하는 파일이라 편집기로 연다. `nano` 는 저장이 `Ctrl+O` 다음 `Enter`, 나가기가 `Ctrl+X` 다. 설치와 링크와 문법 검사와 reload 는 운영자가 그대로 치는 명령을 쓴다. -## 이 단계가 세우는 것 +## host DNAT과 edge Nginx가 맡는 경계를 정한다 가이드 03 의 「이 단계가 끝나면」은 두 줄이다. @@ -96,11 +78,11 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 이 2홉이 운영 구조와 같다는 것이 이 배치의 핵심이고, 동시에 헤더 실험이 성립하는 근거가 된다. 1홉을 가정하고 쓴 계약이 2홉에서도 유효한지를 재려면 두 겹이 있어야 한다. -## 전제와 되돌리기 +## 방화벽과 기존 NAT 규칙을 바꾸기 전에 확인한다 전제는 두 줄이다 — 앞 단계가 끝나 두 노드가 `Ready` 이고, 게스트 세 대가 떠 있다. 그리고 엣지에 nginx 는 아직 없다. cloud-init 이 까는 것은 `curl` 과 `nftables` 뿐이라 1번에서 직접 깐다. -**되돌리기가 적힌 것은 가이드 7편 가운데 이 편뿐이다.** 세우는 절차가 아니라 걷어낼 때만 본다. +**가이드 7편 가운데 이 편만 되돌리기 절차를 명시한다.** 세우는 절차가 아니라 걷어낼 때만 본다. | 무엇을 | 어디서 | 명령 | |---|---|---| @@ -110,11 +92,11 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit | 엣지 라우팅을 끈다 | `[kc-lab-edge]` | `sudo rm /etc/nginx/sites-enabled/keycloak-lab && sudo nginx -t && sudo systemctl reload nginx` | | 클러스터 안에 더한 이름을 걷어낸다 | `[lab host]` | `kubectl -n kube-system delete configmap coredns-custom` 하고 `kubectl -n kube-system delete pod -l k8s-app=kube-dns` | -`sites-available` 의 원본은 남으므로 `ln -sf` 로 다시 걸면 복구된다. **앞 네 줄이 가이드 원문 그대로이고, 마지막 줄은 이 기록이 더한 것이다** — CoreDNS 매니페스트를 이 기록이 처음 넣었는데 걷어내는 명령이 빠져 있었다. 다섯 줄 어느 것도 실제로 쳐서 걷어내 본 기록은 없다(unknown). 마지막 줄을 치면 클러스터 안에서 `auth.hyeonworks.com` 이 다시 안 풀리므로, 그 이름에 의존하는 실험을 끝낸 뒤에 친다. +`sites-available` 의 원본은 남으므로 `ln -sf` 로 다시 걸면 복구된다. **앞 네 줄은 가이드 원문 그대로이고, 마지막 줄은 이 기록에서 추가했다.** CoreDNS 매니페스트를 이 기록이 처음 넣었는데 걷어내는 명령이 빠져 있었다. 다섯 줄 어느 것도 실제로 쳐서 걷어내 본 기록은 없다. 마지막 줄을 치면 클러스터 안에서 `auth.hyeonworks.com` 이 다시 안 풀리므로, 그 이름에 의존하는 실험을 끝낸 뒤에 친다. **`.nft` 파일 맨 위의 `delete` 는 이것과 다르다.** 그 두 줄은 파일을 적용할 때마다 자동으로 도는 재적용 안전장치이고, 위 표의 삭제 명령은 사람이 끄는 버튼이다. -## 세우기 전에 먼저 본다 +## 현재 주소와 포트 점유 상태부터 확인한다 엣지 게스트에는 lab host 에서 들어간다. 여기부터 4번 앞까지가 게스트 셸이다. @@ -122,22 +104,22 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit ssh kc-lab-edge ``` -**무엇을 확인하는가** — 엣지에 nginx 가 이미 깔려 있는지. +엣지에 nginx 가 이미 깔려 있는지. ```bash label="[kc-lab-edge] 패키지가 만드는 디렉터리를 본다" ls /etc/nginx/ ``` -**어디를 봐야 하는가** — `No such file or directory` 가 나오면 미설치다. 2026-09-11 에 새로 만든 `kc-lab-edge` 에서는 이렇게 나왔다(observed). +`No such file or directory` 가 나오면 미설치다. 2026-09-11 에 새로 만든 `kc-lab-edge` 에서는 이렇게 나왔다. ```text donghyeon@kc-lab-edge:~$ cd /etc/nginx/ -bash: cd: /etc/nginx/: No such file or directory ``` -**이 결과가 의미하는 것** — `/etc/nginx` 디렉터리는 패키지가 만든다. 그것이 없다는 것은 경로를 잘못 짚었다는 뜻이 아니라 설치가 안 됐다는 뜻이다. 앞 단계의 cloud-init 목록에 nginx 가 없으므로 1번에서 깐다. +`/etc/nginx` 디렉터리는 패키지가 만든다. 그것이 없다는 것은 경로를 잘못 짚었다는 뜻이 아니라 설치가 안 됐다는 뜻이다. 앞 단계의 cloud-init 목록에 nginx 가 없으므로 1번에서 깐다. -**여기에 `which nginx` 를 쓰지 않는다.** 깔려 있을 때도 똑같이 아무것도 안 찍힌다 — 2026-09-17 에 nginx 가 돌고 있는 엣지에서 직접 쳐서 확인했다(observed). +**여기에 `which nginx` 를 쓰지 않는다.** 깔려 있을 때도 똑같이 아무것도 안 찍힌다 — 2026-09-17 에 nginx 가 돌고 있는 엣지에서 직접 쳐서 확인했다. ```text which nginx -> (아무것도 안 찍고 exit 1) @@ -147,7 +129,7 @@ sudo nginx -v -> nginx version: nginx/1.22.1 실행 파일은 `/usr/sbin/nginx` 인데 데비안의 일반 사용자 `PATH` 에 `/usr/sbin` 이 없다. 그래서 이 명령의 빈손은 「안 깔렸다」가 아니라 「이 PATH 에서는 안 보인다」이고, **깔린 경우와 안 깔린 경우의 출력이 같아 판정에 쓸 수 없다.** 판 번호를 볼 때도 `nginx -v` 가 아니라 `sudo nginx -v` 다. -## 실행 절차 +## host DNAT과 edge Nginx를 차례로 연결한다 ### 1. 엣지에 nginx 를 깔고 기본 사이트를 끈다 @@ -170,11 +152,11 @@ ls -l /etc/nginx/sites-enabled/ sudo rm /etc/nginx/sites-enabled/default ``` -**예상 결과** — `Active:` 줄이 `active (running)` 이고 `ls` 결과에 `sites-available` 과 `sites-enabled` 가 둘 다 있다. ③ 에 `default` 한 줄이 보이고 ④ 뒤에는 목록이 빈다. +정상이면 `Active:` 줄이 `active (running)` 이고 `ls` 결과에 `sites-available` 과 `sites-enabled` 가 둘 다 있다. ③ 에 `default` 한 줄이 보이고 ④ 뒤에는 목록이 빈다. -**왜 필요한가** — Debian 계열은 설치와 동시에 기동까지 하므로 이 시점에 nginx 는 이미 80 을 잡고 있고, 그것을 잡은 것이 `sites-enabled/default` 다. 2번에서 쓸 설정도 `listen 80 default_server` 라 그대로 두면 겹치고, 안 지우면 3번의 `nginx -t` 가 `a duplicate default server for 0.0.0.0:80` 으로 막는다. ③ 의 화살표를 보면 `default -> ../sites-available/default` 처럼 심볼릭 링크라, 지우는 것은 링크뿐이고 원본은 그대로 있다. +Debian 계열은 설치와 동시에 기동까지 하므로 이 시점에 nginx 는 이미 80 을 잡고 있고, 그것을 잡은 것이 `sites-enabled/default` 다. 2번에서 쓸 설정도 `listen 80 default_server` 라 그대로 두면 겹치고, 안 지우면 3번의 `nginx -t` 가 `a duplicate default server for 0.0.0.0:80` 으로 막는다. ③ 의 화살표를 보면 `default -> ../sites-available/default` 처럼 심볼릭 링크라, 지우는 것은 링크뿐이고 원본은 그대로 있다. -**문제가 생기면** — `nginx -t` 가 `duplicate default server` 를 내면 ④ 를 건너뛴 것이다. Arch 호스트에는 이 구조가 아예 없다 — `sites-available` 과 `sites-enabled` 는 Debian 패키징 관례이고 Arch 의 nginx 는 `nginx.conf` 에 직접 쓰거나 `conf.d/` 를 쓴다. 이 실험대는 운영과 맞추려고 Debian 게스트를 엣지로 두었으므로 여기서는 Debian 관례가 그대로 통한다. +`nginx -t`가 `duplicate default server`를 내면 ④를 건너뛴 상태다. Arch 호스트에는 이 구조가 아예 없다 — `sites-available` 과 `sites-enabled` 는 Debian 패키징 관례이고 Arch 의 nginx 는 `nginx.conf` 에 직접 쓰거나 `conf.d/` 를 쓴다. 이 실험대는 운영과 맞추려고 Debian 게스트를 엣지로 두었으므로 여기서는 Debian 관례가 그대로 통한다. ### 2. 라우팅 설정을 쓴다 @@ -214,9 +196,9 @@ server { ls /etc/nginx/sites-available/ ``` -**예상 결과** — ③ 의 목록에 `keycloak-lab` 이 보인다. nginx 는 아직 이 파일을 읽지 않고, 읽게 만드는 것이 3번이다. +정상이면 ③ 의 목록에 `keycloak-lab` 이 보인다. nginx 는 아직 이 파일을 읽지 않고, 읽게 만드는 것이 3번이다. -**왜 필요한가** — 이 단계에서는 80 만 세운다. 인증서가 없는데 `ssl_certificate` 줄을 미리 써 두면 설정 전체가 실패해서 80 블록까지 안 뜬다 — nginx 는 그 파일을 나중이 아니라 기동과 reload 시점에 읽는다. `X-Forwarded-Proto` 가 `http` 인 것도 지금이 그렇기 때문이고, 다음 단계에서 `https` 로 바뀐다. 실제로 80 으로 들어오는데 `https` 라고 적으면 Keycloak 이 리다이렉트 주소를 `https://` 로 만들고 로그인 도중에 끊긴다. upstream 이 둘인 것은 두 노드 모두 Traefik 이 뜨기 때문이고, nginx 는 기본 라운드로빈으로 번갈아 보내다가 한쪽이 죽으면 자동으로 뺀다. +이 단계에서는 80 만 세운다. 인증서가 없는데 `ssl_certificate` 줄을 미리 써 두면 설정 전체가 실패해서 80 블록까지 안 뜬다 — nginx 는 그 파일을 나중이 아니라 기동과 reload 시점에 읽는다. `X-Forwarded-Proto` 가 `http` 인 것도 지금이 그렇기 때문이고, 다음 단계에서 `https` 로 바뀐다. 실제로 80 으로 들어오는데 `https` 라고 적으면 Keycloak 이 리다이렉트 주소를 `https://` 로 만들고 로그인 도중에 끊긴다. upstream 이 둘인 것은 두 노드 모두 Traefik 이 뜨기 때문이고, nginx 는 기본 라운드로빈으로 번갈아 보내다가 한쪽이 죽으면 자동으로 뺀다. :::warning @@ -224,7 +206,7 @@ ls /etc/nginx/sites-available/ ::: -**문제가 생기면** — 어디다 썼는지는 이렇게 찾는다. +실패하면 어디다 썼는지는 이렇게 찾는다. ```bash label="[kc-lab-edge] 파일을 어디에 썼는지 찾는다" sudo find /etc/nginx -name 'keycloak*' @@ -250,7 +232,7 @@ sudo nginx -t && sudo systemctl reload nginx systemctl status nginx --no-pager | head -20 ``` -**예상 결과** — 2026-09-11 의 엣지에서는 `[warn]` 한 줄이 앞에 붙어 세 줄이었다(observed). +정상이면 2026-09-11 의 엣지에서는 `[warn]` 한 줄이 앞에 붙어 세 줄이었다. ```text nginx: [warn] could not build optimal types_hash, you should increase either @@ -259,7 +241,7 @@ nginx: configuration file /etc/nginx/nginx.conf syntax is ok nginx: configuration file /etc/nginx/nginx.conf test is successful ``` -**그 `[warn]` 이 늘 나오지는 않는다.** 2026-09-17 에 같은 Debian 12 · 같은 `nginx/1.22.1` 엣지를 새로 세우고 세 번 쳤더니 한 번도 안 나왔다(observed). 두 줄뿐이었다. +**그 `[warn]` 이 늘 나오지는 않는다.** 2026-09-17 에 같은 Debian 12 · 같은 `nginx/1.22.1` 엣지를 새로 세우고 세 번 쳤더니 한 번도 안 나왔다. 두 줄뿐이었다. ```text nginx: the configuration file /etc/nginx/nginx.conf syntax is ok @@ -268,9 +250,9 @@ nginx: configuration file /etc/nginx/nginx.conf test is successful **판정은 `syntax is ok` 와 `test is successful` 두 마디로만 한다.** `[warn]` 줄은 나오면 무시하고 안 나오면 없는 대로 둔다 — 없다고 설정이 덜 읽힌 것이 아니다. 통과했으면 `&&` 뒤의 reload 가 이어서 돌고 `systemctl reload` 는 아무 말 없이 끝난다. -**왜 필요한가** — `&&` 로 이은 것은 문법이 깨진 설정으로 reload 하지 않으려는 것이다. 실패면 `[emerg]` 줄에 파일과 줄 번호가 찍히고 reload 는 아예 안 돌아, 지금 돌고 있는 nginx 는 옛 설정 그대로 멀쩡하다. 경고와 오류를 여기서 갈라 두면 다음 단계에서 같은 `types_hash` 경고를 실패로 오독하지 않는다. ④ 의 프로세스 트리에서 워커 줄의 PID 를 눈에 담아 둔다 — reload 는 마스터를 그대로 두고 워커만 갈아 끼우므로, 전후로 워커 PID 가 바뀌면 새 설정이 적용된 것이다. 다음 단계에서 인증서 갱신이 서빙까지 닿았는지를 똑같은 방법으로 판정한다. +`&&` 로 이은 것은 문법이 깨진 설정으로 reload 하지 않으려는 것이다. 실패면 `[emerg]` 줄에 파일과 줄 번호가 찍히고 reload 는 아예 안 돌아, 지금 돌고 있는 nginx 는 옛 설정 그대로 멀쩡하다. 경고와 오류를 여기서 갈라 두면 다음 단계에서 같은 `types_hash` 경고를 실패로 오독하지 않는다. ④ 의 프로세스 트리에서 워커 줄의 PID 를 눈에 담아 둔다 — reload 는 마스터를 그대로 두고 워커만 갈아 끼우므로, 전후로 워커 PID 가 바뀌면 새 설정이 적용된 것이다. 다음 단계에서 인증서 갱신이 서빙까지 닿았는지를 똑같은 방법으로 판정한다. -**문제가 생기면** — `unknown directive "http2"` 가 나오면 nginx 판 번호를 본다. Debian 12 는 1.22 이고 그 지시어는 1.25.1 부터다. `systemctl reload` 가 실패하면 reload 말고 `sudo nginx -t` 를 먼저 친다. +실패하면 `unknown directive "http2"` 가 나오면 nginx 판 번호를 본다. Debian 12 는 1.22 이고 그 지시어는 1.25.1 부터다. `systemctl reload` 가 실패하면 reload 말고 `sudo nginx -t` 를 먼저 친다. ### 4. 호스트에 DNAT 파일을 쓴다 @@ -305,9 +287,9 @@ table ip lab_edge { } ``` -**예상 결과** — 파일만 생긴다. 이 파일은 5번의 유닛이 읽을 때 비로소 커널에 들어간다. +정상이면 파일만 생긴다. 이 파일은 5번의 유닛이 읽을 때 비로소 커널에 들어간다. -**왜 필요한가** — 디렉터리가 없으면 `nano` 가 저장할 곳을 못 찾으므로 ① 을 먼저 친다. `table ip lab_edge` 와 `delete table ip lab_edge` 두 줄이 파일 맨 앞에 있는 것은 없는 테이블을 지우면 에러가 나기 때문이다. 한 번 만들고 지우면 같은 파일을 몇 번 적용해도 안전해진다. tailnet 주소 `100.83.212.4` 의 80 과 443 을 받는 것은 여전히 물리 호스트이고, 그 트래픽을 엣지로 넘기는 일이 물리 호스트가 실험대를 위해 하는 일의 전부다 — 이 규칙 하나와 게스트를 만들 때 넣은 DHCP 예약 세 줄이고, 둘 다 한 번 쓰고 다시 안 건드린다. +디렉터리가 없으면 `nano` 가 저장할 곳을 못 찾으므로 ① 을 먼저 친다. `table ip lab_edge` 와 `delete table ip lab_edge` 두 줄이 파일 맨 앞에 있는 것은 없는 테이블을 지우면 에러가 나기 때문이다. 한 번 만들고 지우면 같은 파일을 몇 번 적용해도 안전해진다. tailnet 주소 `100.83.212.4` 의 80 과 443 을 받는 것은 여전히 물리 호스트이고, 그 트래픽을 엣지로 넘기는 일이 물리 호스트가 실험대를 위해 하는 일의 전부다 — 이 규칙 하나와 게스트를 만들 때 넣은 DHCP 예약 세 줄이고, 둘 다 한 번 쓰고 다시 안 건드린다. `prerouting` 체인 뒤에 빈 줄이 하나 남아 있다. 처음 쓴 파일에는 거기에 `priority filter - 10` 으로 먼저 도는 `forward` 체인이 있었고 `ct state new accept` 를 넣어 두었는데, 밖에서 오는 요청은 그래도 통과하지 못했다. 앞 체인의 `accept` 는 「이 체인은 통과」라는 뜻이지 「평가 끝」이 아니라서, 같은 훅에 붙은 뒤 체인이 그대로 `reject` 한다. 그래서 그 체인을 지웠고, 구멍은 5번에서 libvirt 체인 안에 뚫는다. @@ -317,7 +299,7 @@ table ip lab_edge { ::: -**문제가 생기면** — 80 은 되는데 HTTPS 만 안 되면 포트 숫자부터 본다. +실패하면 80 은 되는데 HTTPS 만 안 되면 포트 숫자부터 본다. ```bash label="[lab host] 포트 숫자를 눈으로 확인한다" grep dport /etc/nftables.d/lab-edge-dnat.nft @@ -325,7 +307,7 @@ grep dport /etc/nftables.d/lab-edge-dnat.nft ### 5. 호스트에 systemd 유닛을 쓰고 켠다 -**목적** — 부팅할 때마다 DNAT 파일을 적용하고, libvirt 의 `reject` 앞에 구멍을 뚫는다. +**목적** — DNAT 테이블을 부팅할 때 적용한다. 아래 `ExecStartPost` 는 과거에 libvirt `guest_input`의 `reject` 앞에 구멍을 함께 넣기 위해 사용한 형태다. 하지만 2026-09-21 재검증에서 libvirt가 나중에 체인을 다시 구성하면 이 규칙이 `reject` 뒤로 밀릴 수 있음이 확인됐다. 따라서 이 줄은 현재 동작을 설명하는 임시 구성이지, 검증이 끝난 persistence 해법이 아니다. 대체 방식은 아직 확인하지 않았다. ```bash label="[lab host] ① 유닛 파일을 연다. 경로를 system 까지 끝까지 친다" sudo nano /etc/systemd/system/lab-edge-dnat.service @@ -361,16 +343,18 @@ sudo systemctl daemon-reload sudo systemctl enable --now lab-edge-dnat.service ``` -**예상 결과** — ③ 에서 두 줄이 다 나와야 한다. 한 줄이라도 `No such file` 이면 다음 명령은 무조건 실패한다. `enable --now` 가 심볼릭 링크를 만들고 유닛을 한 번 돌리는데, `Type=oneshot` 과 `RemainAfterExit=yes` 라 프로세스는 안 남고 상태만 `active` 로 남는다. +정상이면 ③ 에서 두 줄이 다 나와야 한다. 한 줄이라도 `No such file` 이면 다음 명령은 무조건 실패한다. `enable --now` 가 심볼릭 링크를 만들고 유닛을 한 번 돌리는데, `Type=oneshot` 과 `RemainAfterExit=yes` 라 프로세스는 안 남고 상태만 `active` 로 남는다. -**왜 필요한가** — 규칙의 알맹이는 두 줄이고 둘이 사는 곳이 다르다. +규칙의 알맹이는 두 줄이고 둘이 사는 곳이 다르다. | 하는 일 | 어디에 | |---|---| | tailnet 으로 들어온 80 과 443 을 `192.168.122.10` 으로 넘긴다 | 우리 테이블 `lab_edge` (`.nft` 파일) | | 그 주소로 가는 새 연결을 통과시킨다 | libvirt 테이블 `libvirt_network` 의 `guest_input` 체인 (유닛의 `ExecStartPost`) | -libvirt 는 게스트 대역으로 새로 들어오는 연결을 거절한다. 자기 테이블의 `guest_input` 체인이 `established,related` 만 받고 나머지를 `reject` 로 끝내기 때문인데, 우리 테이블에 아무리 먼저 `accept` 를 놔도 소용이 없다. 그래서 구멍은 libvirt 체인 맨 앞에 뚫고, `insert` 가 맨 앞에 넣는다는 점이 핵심이다 — `add` 는 맨 뒤라 `reject` 뒤가 되어 의미가 없다. 이 규칙은 libvirt 가 네트워크를 다시 세우면(호스트 재부팅, `virsh net-start`, libvirtd 재시작) 날아가므로 유닛에 붙여 둔다. +libvirt 는 게스트 대역으로 새로 들어오는 연결을 거절한다. 자기 테이블의 `guest_input` 체인이 `established,related` 만 받고 나머지를 `reject` 로 끝내기 때문인데, 우리 테이블에 아무리 먼저 `accept` 를 놔도 소용이 없다. 그래서 처음에는 구멍을 libvirt 체인 맨 앞에 `insert` 하고, 유닛의 `ExecStartPost` 로 다시 넣는 방식을 썼다. `add` 로 맨 뒤에 붙이면 `reject` 뒤라 의미가 없기 때문이다. + +문제는 이 방식이 **유닛이 시작되는 순간에만** 규칙을 넣는다는 점이다. 2026-09-21 worker 재구축에서는 유닛이 계속 `active` 인 동안 libvirt가 `guest_input`을 다시 만들었고, 기존 accept 규칙이 `reject` 뒤로 밀렸다. 따라서 `ExecStartPost`를 persistence 해법으로 보지 않는다. 아래 명령은 현재 장애를 복구하거나 동작을 확인하는 임시 수단으로만 읽는다. `ExecStartPost` 앞의 `-` 는 그 명령이 실패해도 유닛을 실패로 보지 않는다는 뜻이다. `libvirt_network` 테이블은 가상 네트워크가 떠 있어야 존재하는데 부팅 순서에 따라 이 유닛이 먼저 돌 수 있고, `-` 가 없으면 구멍이 안 들어가면서 DNAT 까지 같이 안 실린다. `-` 를 두고 감수한 것이 그 반대쪽이다 — DNAT 만 실리고 구멍이 빠진 상태에서도 유닛은 `active` 이고 아무 오류도 안 남는다. 그래서 `systemctl is-active` 가 `active` 라는 것은 DNAT 이 실렸다는 뜻이지 구멍이 뚫렸다는 뜻이 아니고, 그 상태는 호스트 안에서는 되는데 밖에서만 안 되는 형태로 아래 확인 ③ 에서야 드러난다. 이 실험대가 그 상태를 일부러 만들어 확인해 보지는 않았다. @@ -384,36 +368,39 @@ sudo nft insert rule ip libvirt_network guest_input oif virbr0 ip daddr 192.168. sudo nft -a list chain ip libvirt_network guest_input ``` -```bash label="[lab host] 날아갔으면 유닛을 다시 돌려 넣는다" +```bash label="[lab host] 현재 규칙을 임시로 다시 넣어 확인할 때" sudo systemctl restart lab-edge-dnat.service ``` +이 재시작으로 현재 체인 맨 앞에 규칙이 다시 들어갈 수는 있지만, 이후 libvirt가 체인을 다시 쓰는 사건까지 자동으로 따라가지는 않는다. + ```bash label="[lab host] 우리 테이블이 들어갔는지 본다" sudo nft list table ip lab_edge ``` -마지막 명령에서는 세 가지를 본다. `dnat to 192.168.122.10` 한 줄이 있는가, 포트가 `80, 443` 인가, 그리고 `masquerade` 나 `snat` 이 없는가. +마지막 명령에서는 세 가지를 본다. `dnat to 192.168.122.10` 한 줄이 있는가, 포트가 `80, 443` 인가, 그리고 **우리 `lab_edge` 테이블 안에는** `masquerade` 나 `snat` 이 없는가. :::warning -SNAT 을 걸지 않는다. 게스트의 기본 게이트웨이가 호스트라 응답은 어차피 여기로 돌아오고 conntrack 이 되돌린다. masquerade 를 붙이면 출발지가 덮여서 엣지가 모든 클라이언트를 `192.168.122.1` 로 보게 되고, 이 실험대가 재고 있는 `X-Forwarded-For` 계약이 통째로 무의미해진다. +`lab_edge`에 SNAT를 넣지 않는 것은 맞지만, **그 사실만으로 원본 client IP가 보존된다고 판정하지 않는다.** 2026-09-21 재검증에서는 Tailscale의 `ts-postrouting` MASQUERADE가 전달 패킷의 source를 바꿔 edge가 `192.168.122.1`을 봤다. source IP가 실험 조건이면 `lab_edge`뿐 아니라 host 전체 NAT 규칙과 edge access log를 확인한다. ::: -**문제가 생기면** — `Unit lab-edge-dnat.service does not exist` 가 되풀이되면 두 곳을 본다. 경로를 `/etc/systemd/` 까지만 쳤는지, 그리고 `daemon-reload` 를 했는지. `nano` 는 없는 파일이면 말없이 새로 만들고, systemd 는 한 단계 위를 유닛 디렉터리로 읽지 않는다. 중괄호에 따옴표를 빼면 셸이 `80 443` 두 낱말로 펼쳐 `Error: syntax error, unexpected ct` 가 나는데, 규칙은 안 들어갔고 에러만 보고 넘기기 쉽다. +실패하면 `Unit lab-edge-dnat.service does not exist` 가 되풀이되면 두 곳을 본다. 경로를 `/etc/systemd/` 까지만 쳤는지, 그리고 `daemon-reload` 를 했는지. `nano` 는 없는 파일이면 말없이 새로 만들고, systemd 는 한 단계 위를 유닛 디렉터리로 읽지 않는다. 중괄호에 따옴표를 빼면 셸이 `80 443` 두 낱말로 펼쳐 `Error: syntax error, unexpected ct` 가 나는데, 규칙은 안 들어갔고 에러만 보고 넘기기 쉽다. -## 구성 값 +## 이 실험대의 주소·포트·upstream | 무엇 | 값 | |---|---| | nginx (엣지) | Debian 12 의 `nginx/1.22.1` | | upstream | `192.168.122.11:80` · `192.168.122.12:80` — 기본 라운드로빈 | | DNAT | `iifname "tailscale0" tcp dport { 80, 443 } dnat to 192.168.122.10` | -| libvirt 구멍 | 유닛의 `ExecStartPost` 가 `guest_input` 맨 앞에 `insert` | +| libvirt 구멍 | 유닛의 `ExecStartPost` 가 `guest_input`에 `insert`. **2026-09-21에는 libvirt가 체인을 다시 만든 뒤 이 규칙이 reject 뒤로 밀려 외부 경로가 다시 끊겼다** | +| source rewrite | `lab_edge` 자체에는 SNAT 없음. 그러나 현재 host의 Tailscale `ts-postrouting` MASQUERADE 때문에 edge에서 source가 `192.168.122.1`로 관측됨 | PREROUTING nat 은 라우팅 결정보다 먼저 도므로 이 규칙이 호스트 자신의 443 소켓보다 우선한다. 그래서 물리 호스트에 nginx 가 아직 떠 있어도 트래픽은 엣지로 가고, 전환이 원자적이며 되돌리기도 한 줄이 된다. -## 끝났는지 판정한다 +## 외부 요청이 edge를 거쳐 Keycloak까지 가는지 확인한다 한 번에 밖에서 치지 말고 가까운 층부터 본다. 네 명령이 각각 다른 층을 건너뛰므로 어디서 끊겼는지가 바로 나온다. @@ -430,15 +417,15 @@ PREROUTING nat 은 라우팅 결정보다 먼저 도므로 이 규칙이 호스 ### 확인 ① Traefik 이 듣고 있나 -**무엇을 확인하는가** — 게스트의 80 을 누가 듣고 있는지. nginx 를 건너뛴다. +게스트의 80 을 누가 듣고 있는지. nginx 를 건너뛴다. ```bash label="[lab host] ① nginx 를 건너뛰고 Traefik 에 직접" curl -I http://192.168.122.11 ``` -**어디를 봐야 하는가** — 첫 줄의 상태 줄 하나, 그리고 그 앞에 아무 오류도 없이 헤더가 나왔다는 사실. `curl: (7) Failed to connect` 이면 응답 자체가 없는 것이라 상태 코드를 볼 일도 없다. +첫 줄의 상태 줄 하나, 그리고 그 앞에 아무 오류도 없이 헤더가 나왔다는 사실. `curl: (7) Failed to connect` 이면 응답 자체가 없는 것이라 상태 코드를 볼 일도 없다. -**이 결과가 의미하는 것** — `404` 가 성공 신호다. 게스트의 80 을 Traefik 이 듣고 있고, 요청을 받아 「매칭되는 Ingress 규칙이 없다」고 답했다. `502` 면 Traefik 은 떴는데 그 뒤 백엔드가 없는 것이고, 연결 거부나 타임아웃이면 앞 단계로 돌아간다. +`404` 가 성공 신호다. 게스트의 80 을 Traefik 이 듣고 있고, 요청을 받아 「매칭되는 Ingress 규칙이 없다」고 답했다. `502` 면 Traefik 은 떴는데 그 뒤 백엔드가 없는 것이고, 연결 거부나 타임아웃이면 앞 단계로 돌아간다. 두 노드가 같은지 볼 때는 값만 뽑는 형태가 낫다. @@ -447,17 +434,17 @@ curl -s -o /dev/null -w '%{http_code}\n' http://192.168.122.11 curl -s -o /dev/null -w '%{http_code}\n' http://192.168.122.12 ``` -`.11` 에서 잰 값이 `404` 였다(observed). 둘이 같으면 nginx 가 어느 쪽으로 보내도 같은 결과가 나온다. 한쪽만 다르면 upstream 둘 중 하나가 죽은 것이고, 그 상태에서는 요청의 절반만 실패해서 「가끔 안 된다」로 보인다. +`.11` 에서 잰 값이 `404` 였다. 둘이 같으면 nginx 가 어느 쪽으로 보내도 같은 결과가 나온다. 한쪽만 다르면 upstream 둘 중 하나가 죽은 것이고, 그 상태에서는 요청의 절반만 실패해서 「가끔 안 된다」로 보인다. ### 확인 ② 엣지 nginx 가 직접 응답하나 -**무엇을 확인하는가** — 엣지 안의 설정과 기동이 맞는지. DNAT 을 건너뛴다. +엣지 안의 설정과 기동이 맞는지. DNAT 을 건너뛴다. ```bash label="[lab host] ② DNAT 을 건너뛰고 엣지 nginx 에 직접" curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' http://192.168.122.10 ``` -**어디를 봐야 하는가** — 엣지가 답을 하는가. **이 단계에서 나오는 코드는 `404` 다.** 2026-09-17 에 이 절을 그대로 따라 엣지를 세우고 재 보니 이렇게 나왔다(observed). +엣지가 답을 하는가. **이 단계에서 나오는 코드는 `404` 다.** 2026-09-17 에 이 절을 그대로 따라 엣지를 세우고 재 보니 이렇게 나왔다. ```text HTTP/1.1 404 Not Found @@ -470,19 +457,19 @@ Content-Length: 19 404 page not found ``` -**이 결과가 의미하는 것** — `Server:` 가 `nginx/1.22.1` 이고 본문이 Traefik 의 `404 page not found` 라는 것이 엣지가 받아서 Traefik 으로 넘겼다는 증거다. **이 층의 통과 기준은 코드값이 아니라 「`curl: (7)` 없이 응답이 온다」와 `Server: nginx` 두 가지다.** 여기서 막히면 문제는 엣지 안이다. 통과하는데 아래 ③ 이 안 되면 문제는 DNAT 이다. 이 한 층을 끼워 두면 그 둘을 헷갈리지 않는다. +`Server:` 가 `nginx/1.22.1` 이고 본문이 Traefik 의 `404 page not found` 라는 것이 엣지가 받아서 Traefik 으로 넘겼다는 증거다. **이 층의 통과 기준은 코드값이 아니라 「`curl: (7)` 없이 응답이 온다」와 `Server: nginx` 두 가지다.** 여기서 막히면 문제는 엣지 안이다. 통과하는데 아래 ③ 이 안 되면 문제는 DNAT 이다. 이 한 층을 끼워 두면 그 둘을 헷갈리지 않는다. ### 확인 ③ 밖에서, 즉 DNAT 을 거쳐 닿나 -**무엇을 확인하는가** — DNS 와 DNAT 과 80 리스너가 전부 살아 있는지. +DNS 와 DNAT 과 80 리스너가 전부 살아 있는지. ```bash label="[워크스테이션] ③ 밖에서 도메인으로" curl -I http://auth.hyeonworks.com ``` -**어디를 봐야 하는가** — 상태 줄과 `Location:` 헤더 한 줄. `Location` 이 `https://` 로 시작하고 원래 호스트명을 그대로 들고 있는가. 설정에 `$host` 대신 이름을 박아 두면 여기서 엉뚱한 호스트가 나온다. +상태 줄과 `Location:` 헤더 한 줄. `Location` 이 `https://` 로 시작하고 원래 호스트명을 그대로 들고 있는가. 설정에 `$host` 대신 이름을 박아 두면 여기서 엉뚱한 호스트가 나온다. -**이 결과가 의미하는 것** — `301` 이 나왔다는 것은 바깥 요청이 DNAT 을 거쳐 엣지 nginx 까지 닿았다는 뜻이다. ① 은 Traefik 에 직접, ② 는 엣지에 직접 친 것이라 DNAT 을 안 거쳤다. 응답이 아예 없으면 nginx 가 안 떴거나 80 이 막혔다. 값을 반복해서 잴 때의 형태와 이 실험대의 실측은 이렇다(observed). +`301` 이 나왔다는 것은 바깥 요청이 DNAT 을 거쳐 엣지 nginx 까지 닿았다는 뜻이다. ① 은 Traefik 에 직접, ② 는 엣지에 직접 친 것이라 DNAT 을 안 거쳤다. 응답이 아예 없으면 nginx 가 안 떴거나 80 이 막혔다. 값을 반복해서 잴 때의 형태와 이 실험대의 실측은 이렇다. ```bash label="[워크스테이션] 반복해서 잴 때의 형태" curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' http://auth.hyeonworks.com @@ -492,7 +479,7 @@ curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' http://auth.hyeonworks. 301 https://auth.hyeonworks.com/ ``` -**그 `301` 은 다음 단계 이후의 값이다.** 여기까지만 했을 때 나오는 것은 `302` 이고 보내는 곳도 다르다. 2026-09-17 에 밖에서 재 보니 이랬다(observed). +**그 `301` 은 다음 단계 이후의 값이다.** 여기까지만 했을 때 나오는 것은 `302` 이고 보내는 곳도 다르다. 2026-09-17 에 밖에서 재 보니 이랬다. ```text 302 https://auth.hyeonworks.com/admin/ @@ -502,7 +489,7 @@ curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' http://auth.hyeonworks. `Location` 이 `https://` 인 것도 엣지가 아니라 Keycloak 이 정한다 — `KC_HOSTNAME=https://auth.hyeonworks.com` 과 `KC_HOSTNAME_STRICT=true` 가 그렇게 시킨다. **요청이 `http` 로 들어와도 Keycloak 은 자기가 아는 주소로 답한다.** -**같은 엣지에 어떻게 치느냐가 코드를 가른다**(2026-09-17, observed). 이 표를 먼저 보고 층 ②③ 을 읽는다. +**같은 엣지라도 어디에서 요청하느냐에 따라 응답 코드가 달라졌다.** 2026-09-17에 세 경로를 직접 비교했다. 이 표를 먼저 보고 층 ②③ 을 읽는다. | 어떻게 치나 | 코드 | |---|---| @@ -513,17 +500,17 @@ curl -s -o /dev/null -w '%{http_code} %{redirect_url}\n' http://auth.hyeonworks. 마지막 줄이 중요하다 — **TLS 를 얹기 전에도 `/realms/master` 는 `200` 이다.** 층 ④ 의 `200` 은 「TLS 가 섰다」가 아니라 「끝까지 이어졌다」를 재는 값이고, `https` 로 그 값을 받는 것이 04 의 몫이다. -밖에서 닿지 않을 때의 모양도 적어 둔다. 2026-09-17 에 구멍을 뚫기 전에는 이랬다(observed). +밖에서 닿지 않을 때의 모양도 적어 둔다. 2026-09-17 에 구멍을 뚫기 전에는 이랬다. ```text curl: (7) Failed to connect to auth.hyeonworks.com port 80 after 54 ms ``` -같은 시각에 호스트 안에서 친 `http://192.168.122.10` 은 `404` 로 답했다. 아래 「막히면」 표의 마지막 줄이 가리키는 상태 그대로였고, 원인도 거기 적힌 대로였다 — **그 호스트에 깔려 있던 유닛에 `ExecStartPost` 줄이 없었다.** 아래 「배포된 것과 적어 둔 것이 다르다」를 본다. 그 줄을 넣자 같은 `curl` 이 `302` 를 받았다(observed). +같은 시각에 호스트 안에서 친 `http://192.168.122.10` 은 `404` 로 답했다. 아래 「막히면」 표의 마지막 줄이 가리키는 상태 그대로였고, 원인도 거기 적힌 대로였다 — **그 호스트에 깔려 있던 유닛에 `ExecStartPost` 줄이 없었다.** 아래 「배포된 것과 적어 둔 것이 다르다」를 본다. 그 줄을 넣자 같은 `curl` 이 `302` 를 받았다. ### 확인 ④ 끝까지 닿나 -**무엇을 확인하는가** — nginx 에서 Traefik 을 지나 파드까지 2홉이 다 이어졌는지. +nginx 에서 Traefik 을 지나 파드까지 2홉이 다 이어졌는지. ```bash label="[워크스테이션] ④ TLS 를 얹은 다음 단계에서 통과한다" curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master @@ -533,9 +520,9 @@ curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/mast 200 ``` -**어디를 봐야 하는가** — 코드 한 칸. 여기서만 값을 뽑는 형태를 바로 쓰는 까닭은, 이 `200` 이 다음 두 단계에서 매번 같은 명령으로 다시 잴 기준값이기 때문이다. +코드 한 칸. 여기서만 값을 뽑는 형태를 바로 쓰는 까닭은, 이 `200` 이 다음 두 단계에서 매번 같은 명령으로 다시 잴 기준값이기 때문이다. -**이 결과가 의미하는 것** — `502` 는 nginx 는 살아 있는데 upstream 을 못 잡은 것이고, `curl: (60)` 같은 인증서 오류는 아직 다음 단계를 안 했다는 뜻이다. 여기까지는 TLS 가 없으므로 ④ 는 다음 단계에서 통과한다. 처음 보는 오류라 헤더가 필요하면 읽는 형태로 바꾼다. +`502` 는 nginx 는 살아 있는데 upstream 을 못 잡은 것이고, `curl: (60)` 같은 인증서 오류는 아직 다음 단계를 안 했다는 뜻이다. 여기까지는 TLS 가 없으므로 ④ 는 다음 단계에서 통과한다. 처음 보는 오류라 헤더가 필요하면 읽는 형태로 바꾼다. ```bash label="[워크스테이션] 처음 보는 오류는 헤더까지 읽는다" curl -I https://auth.hyeonworks.com/realms/master @@ -543,16 +530,16 @@ curl -I https://auth.hyeonworks.com/realms/master ### 확인 ⑤ 로그에 무엇이 남았나 -**무엇을 확인하는가** — nginx 가 어느 upstream 에서 무엇으로 실패했는지. +nginx 가 어느 upstream 에서 무엇으로 실패했는지. ```bash label="[kc-lab-edge] 최근 에러만 · 지금 벌어지는 것" journalctl -u nginx -p err -n 5 # 최근 에러만 journalctl -u nginx -f # 지금 벌어지는 것 ``` -**어디를 봐야 하는가** — 각 줄의 괄호 안 errno 와 그 뒤의 upstream 주소, 그리고 타임스탬프. 방금 친 요청 시각과 안 맞으면 지금 보고 있는 것은 옛 사고다. +각 줄의 괄호 안 errno 와 그 뒤의 upstream 주소, 그리고 타임스탬프. 방금 친 요청 시각과 안 맞으면 지금 보고 있는 것은 옛 사고다. -**이 결과가 의미하는 것** — `-p err` 로 걸러도 아무것도 안 나오면 nginx 는 정상이고 문제는 더 위에 있다. 둘째 명령은 띄워 놓은 채로 다른 창에서 요청을 치는 용도이고, 끝내려면 Ctrl+C 를 누른다. upstream 이 둘이라 한쪽이 죽으면 nginx 가 자동으로 빼는데, 그 동작이 세 줄로 남는다(observed). +`-p err` 로 걸러도 아무것도 안 나오면 nginx 는 정상이고 문제는 더 위에 있다. 둘째 명령은 띄워 놓은 채로 다른 창에서 요청을 치는 용도이고, 끝내려면 Ctrl+C 를 누른다. upstream 이 둘이라 한쪽이 죽으면 nginx 가 자동으로 빼는데, 2026-09-17에는 그 동작이 아래 세 줄로 남았다. ```text connect() failed (113: No route to host) ← 호스트에 못 닿는다 @@ -560,7 +547,7 @@ connect() failed (111: Connection refused) ← 포트에 아무도 없다 no live upstreams ← 둘 다 죽었다고 판단 ``` -113 과 111 은 대응이 다르다 — 113 은 네트워크고 111 은 프로세스다. 노드를 잃었을 때 이 세 줄이 1분 안에 순서대로 나왔다(observed). +113 과 111 은 대응이 다르다 — 113 은 네트워크고 111 은 프로세스다. 노드를 잃었을 때 이 세 줄이 1분 안에 순서대로 나왔다. :::note @@ -576,14 +563,16 @@ grep oauth2/callback /var/log/nginx/access.log | tail -1 grep oauth2/callback /var/log/nginx/access.log | tail -1 | wc -c ``` -## 통과 조건을 한 번에 다시 본다 +## ingress 경로 확인표 | 무엇 | 명령 | 통과 | |---|---|---| | nginx 문법 | `sudo nginx -t` | `syntax is ok` · `test is successful` | | 링크 | `ls -l /etc/nginx/sites-enabled/` | `keycloak-lab` 이 있고 `default` 가 없다 | -| 유닛 | `systemctl is-active lab-edge-dnat.service` | `active` | -| 우리 테이블 | `sudo nft list table ip lab_edge` | `dnat to 192.168.122.10` · 포트 `80, 443` · SNAT 없음 | +| 유닛 | `systemctl is-active lab-edge-dnat.service` | `active` — 이것만으로 `guest_input` 구멍까지 정상이라는 뜻은 아니다 | +| libvirt 체인 | `sudo nft -a list chain ip libvirt_network guest_input` | edge용 `accept`가 `reject`보다 앞에 있는지 직접 확인 | +| 우리 테이블 | `sudo nft list table ip lab_edge` | `dnat to 192.168.122.10` · 포트 `80, 443` · **이 테이블 안에는** SNAT 없음 | +| host 전체 source rewrite | `sudo nft list ruleset` | 출력에서 `masquerade`·`snat` 규칙을 찾는다. 현재 환경에는 Tailscale `ts-postrouting` MASQUERADE가 존재하므로 원본 IP 보존을 별도 판정 | | 층 ① | `curl -I http://192.168.122.11` | `404` | | 층 ② | `curl -sS -D - -o /dev/null http://192.168.122.10` | `404` · `Server: nginx/1.22.1` | | 층 ③ | `curl -I http://auth.hyeonworks.com` | `302` · `Location` 이 `https://auth.hyeonworks.com/admin/` | @@ -591,7 +580,7 @@ grep oauth2/callback /var/log/nginx/access.log | tail -1 | wc -c 층 ④ 를 `https` 로 받는 것은 다음 단계가 인증서를 얹은 뒤다. **층 ③ 의 `301` 도 그때 나온다** — 여기서는 `302` 가 통과이고, 그 둘을 내는 주체가 다르다(위 표). -## 막히면 +## 외부에서는 되는데 내부에서 안 되거나 그 반대일 때 | 증상 | 어디서 끊겼나 | 확인 | |---|---|---| @@ -612,7 +601,7 @@ grep oauth2/callback /var/log/nginx/access.log | tail -1 | wc -c ## 배포된 것과 적어 둔 것이 다르다 -2026-09-17 에 이 절차를 따라 실험대를 다시 세우다 호스트의 두 파일을 열어 봤더니 **위에 실은 내용과 달랐다**(observed). 저장소 원본을 고친 뒤 호스트에 다시 배포하지 않았다 — 파일 시각이 그렇게 말한다. +2026-09-17 에 이 절차를 따라 실험대를 다시 세우다 호스트의 두 파일을 열어 봤더니 **위에 실은 내용과 달랐다**. 저장소 원본을 고친 뒤 호스트에 다시 배포하지 않았다 — 파일 시각이 그렇게 말한다. | 파일 | 호스트에 깔린 것 (`11:00` · `10:52`) | 저장소 원본과 위 본문 (`13:30`) | |---|---|---| @@ -630,7 +619,7 @@ grep -c ExecStartPost /etc/systemd/system/lab-edge-dnat.service `0` 과 `1` 이 나와야 맞다. 반대로 나오면 고치기 전 판이 깔려 있는 것이고, 다시 써서 `sudo systemctl daemon-reload && sudo systemctl restart lab-edge-dnat.service` 로 올린다. -**2026-09-17 늦게 그 `sudo` 가 열려 셋을 마저 봤다**(observed). 결론은 **절반만 고쳐져 있다**이다. +**2026-09-17 늦게 그 `sudo` 가 열려 셋을 마저 봤다**. 결론은 **절반만 고쳐져 있다**이다. ```text label="위 대조 두 줄의 실제 값" grep -c 'chain forward' /etc/nftables.d/lab-edge-dnat.nft → 1 (0 이어야 한다) @@ -651,13 +640,27 @@ oif "virbr0" counter packets 5 bytes 300 reject oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept ``` -**구멍이 하나가 아니라 셋이다.** `ExecStartPost` 가 `nft insert` 로 맨 앞에 끼워 넣기 때문에, 유닛을 다시 시작할 때마다 같은 규칙이 한 줄씩 늘어난다. **이 명령은 여러 번 쳐도 안전한 형태가 아니다.** 기능은 멀쩡하다 — 맨 앞 하나가 통과시키고 나머지는 카운터가 안 오르거나(둘째 줄 `0`) 아예 닿지 않는다(다섯째 줄은 `reject` 뒤라 새 패킷이 거기까지 못 간다). +**구멍이 하나가 아니라 셋이다.** `ExecStartPost` 가 `nft insert` 를 실행할 때마다 같은 규칙이 하나씩 더 생겼다. 이 명령은 재실행 안전하지 않다. -`reject` 줄의 카운터는 `5` 다. 구멍이 들어가기 전에 막힌 것들이고, 들어간 뒤로는 안 오른다. 맨 앞 줄이 `44` 를 세고 있는 것이 지금 밖에서 오는 요청이 그 규칙으로 통과한다는 뜻이다. +2026-09-21에 worker VM 둘을 철거했다 다시 만드는 과정에서 더 큰 문제가 실제로 재현됐다. libvirt 가 `guest_input` 체인을 다시 구성하면서 세 accept 규칙이 `reject` 뒤로 밀렸다. + +```text label="2026-09-21 worker 재구축 뒤 guest_input" +oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related ... accept +oif "virbr0" counter packets 0 bytes 0 reject +oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ... accept +oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ... accept +oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ... accept +``` + +그 상태에서 외부에서 80 과 443 을 한 번씩 연결하자 둘 다 `curl: (7)` 로 실패했고, `reject` 카운터가 `0 → 2` 로 늘었다. 엣지 자체와 두 Traefik 주소는 host 안에서 응답했으므로 실패 지점은 이 체인이다. + +따라서 이전의 「중복 규칙이어도 맨 앞 하나가 통과시켜 기능은 멀쩡하다」는 결론은 현재 사실이 아니다. **`ExecStartPost` 로 service 시작 시 한 번 삽입하는 방식은 libvirt 가 나중에 firewall 체인을 다시 쓸 때 복구되지 않는다.** 유닛이 `active` 여도 외부 경로는 끊길 수 있다. + +이 재검증에서는 기존 host firewall 을 임의 변경하지 않는 안전 조건 때문에 새 규칙 설계까지 적용하지 않았다. 현재 방식의 대체안은 아직 실제로 확인하지 않았다. ## 클러스터 안에서도 공개 이름에 못 닿는다 — 이 문서에 없던 또 한 단계 -랩 호스트만의 일이 아니다. **파드 안에서도 같은 이름이 같은 이유로 막힌다**(2026-09-17, observed). 이름은 호스트의 tailnet 주소로 풀리는데 그 포트를 듣는 것이 없다. +랩 호스트만의 일이 아니다. **파드 안에서도 같은 이름이 같은 이유로 막혔다.** 2026-09-17에 파드 안에서 직접 확인했다. 이름은 호스트의 tailnet 주소로 풀리는데 그 포트를 듣는 것이 없다. ```bash label="[lab host] ① 파드 안에서 이름을 풀고 포트를 두드린다" kubectl -n keycloak-lab exec keycloak-0 -- sh -c "getent hosts auth.hyeonworks.com" @@ -667,11 +670,11 @@ kubectl -n keycloak-lab exec keycloak-0 -- sh -c "getent hosts auth.hyeonworks.c 100.83.212.4 auth.hyeonworks.com ``` -같은 파드에서 `100.83.212.4` 의 80 과 443 을 두드리면 둘 다 닫혀 있고, 엣지 게스트의 `192.168.122.10:80` 은 열려 있다. 길은 있는데 **이름이 그 길을 안 가리킨다.** 클러스터 DNS 어디에도 그 매핑이 없다 — CoreDNS 의 `NodeHosts` 에는 노드 둘뿐이고 노드의 `/etc/hosts` 에도 없다(observed). +같은 파드에서 `100.83.212.4` 의 80 과 443 을 두드리면 둘 다 닫혀 있고, 엣지 게스트의 `192.168.122.10:80` 은 열려 있다. 길은 있는데 **이름이 그 길을 안 가리킨다.** 2026-09-17에 CoreDNS 의 `NodeHosts` 와 노드의 `/etc/hosts` 를 확인했지만 그 매핑은 없었다. `NodeHosts` 에는 노드 둘만 들어 있었다. 여기서 걸리는 것은 토큰을 검증하는 앱이다. 토큰을 받는 쪽은 클러스터 안 주소를 따로 갖고 있어서 안 걸리는데, 검증하는 쪽은 공개 이름 하나만 갖고 있어서 걸린다. -**고치는 한 단계는 CoreDNS 에 서버 블록을 하나 더 주는 것이다.** +**CoreDNS에 서버 블록을 하나 더 추가해 내부 이름 해석을 edge로 보낸다.** ```bash label="[lab host] ② 매니페스트 파일을 연다" nano coredns-custom.yaml @@ -701,7 +704,7 @@ kubectl apply -f coredns-custom.yaml kubectl -n kube-system delete pod -l k8s-app=kube-dns --wait=false ``` -이 실험대는 같은 매니페스트를 `kubectl apply -f - <<'YAML'` 힙독으로 흘려 넣었다(observed). 힙독은 ConfigMap 을 명령 안에 묻어 버려서, 서버 블록을 한 줄 고치려면 같은 힙독을 처음부터 다시 친다. 파일로 두면 열어 보고 고쳐서 ④ 를 다시 치면 된다. 이 나눈 형태는 이 실험대에서 치지 않았다(unknown). +이 실험대는 같은 매니페스트를 `kubectl apply -f - <<'YAML'` 힙독으로 흘려 넣었다. 힙독은 ConfigMap 을 명령 안에 묻어 버려서, 서버 블록을 한 줄 고치려면 같은 힙독을 처음부터 다시 친다. 파일로 두면 열어 보고 고쳐서 ④ 를 다시 치면 된다. 이 나눈 형태는 이 실험대에서 치지 않았다. **파일 이름이 `.server` 인 것이 핵심이다.** k3s 는 `*.override` 를 기본 서버 블록 안에 끼워 넣는데, 그 블록은 이미 `hosts /etc/coredns/NodeHosts` 로 `hosts` 를 한 번 쓰고 있다. `.override` 에 `hosts` 를 또 쓰면 CoreDNS 가 안 뜬다. @@ -728,7 +731,7 @@ kubectl -n keycloak-lab exec keycloak-0 -- sh -c "getent hosts auth.hyeonworks.c ## 이 단계를 밟고 나면 랩 호스트에서 공개 URL 을 못 친다 -nginx 가 호스트에 있던 동안에는 호스트에서 `curl https://auth.hyeonworks.com` 이 그냥 됐다. 이 단계가 nginx 를 엣지 게스트로 옮기면서 그것이 끊긴다. 2026-09-17 에 재 보니 80 도 443 도 안 열린다(observed). +nginx 가 호스트에 있던 동안에는 호스트에서 `curl https://auth.hyeonworks.com` 이 그냥 됐다. 이 단계가 nginx 를 엣지 게스트로 옮기면서 그것이 끊긴다. 2026-09-17 에 재 보니 80 도 443 도 안 열린다. ```bash label="[lab host] ① 문서에 적힌 대로 쳐 본다" curl -s -m 10 -o /dev/null -w "%{http_code}\n" https://auth.hyeonworks.com/realms/keycloak-patterns/protocol/openid-connect/certs @@ -759,11 +762,11 @@ curl -s -m 10 --resolve auth.hyeonworks.com:80:192.168.122.10 \ http://auth.hyeonworks.com/realms/keycloak-patterns/protocol/openid-connect/certs ``` -이 형태는 응답을 받는다(observed). 다만 DNAT 을 안 거치므로 **층 ③ 을 재는 것이 아니다.** 층 ② 를 도메인 이름으로 재는 것이고, 4번과 5번이 제대로 들어갔는지는 여전히 밖에서 쳐야 갈린다. +2026-09-17 실제 실행에서는 이 형태로 응답을 받았다. 다만 DNAT 을 안 거치므로 **층 ③ 을 재는 것이 아니다.** 층 ② 를 도메인 이름으로 재는 것이고, 4번과 5번이 제대로 들어갔는지는 여전히 밖에서 쳐야 갈린다. ## `X-Forwarded-For` 계약은 지금 성립하지 않는다 -4번에서 SNAT 을 안 거는 이유로 「masquerade 를 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 보게 된다」고 적었다. 2026-09-17 에 밖에서 한 번 치고 엣지의 로그를 열었더니 **이미 그 상태였다**(observed). +4번에서 SNAT 을 안 거는 이유로 「masquerade 를 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 보게 된다」고 적었다. 2026-09-17 에 밖에서 한 번 치고 엣지의 로그를 열었더니 **이미 그 상태였다**. ```bash label="[dev] ① 밖에서 친다" curl -s -o /dev/null http://app1.hyeonworks.com/api/echo @@ -777,7 +780,7 @@ sudo tail -3 /var/log/nginx/access.log 192.168.122.1 - - [17/Sep/2026:07:10:45 +0000] "GET /api/echo HTTP/1.1" 200 617 "-" "curl/8.5.0" ``` -`lab_edge` 테이블에는 `masquerade` 도 `snat` 도 없다. 4번이 싣는 파일 그대로다. 그런데도 출발지가 덮여 있으므로 덮는 것은 이 테이블이 아니다. **덮는 것은 Tailscale 이다**(2026-09-17, observed). 호스트의 규칙을 전부 읽어서 갈랐다. +`lab_edge` 테이블에는 `masquerade` 도 `snat` 도 없다. 4번이 싣는 파일 그대로다. 그런데도 출발지가 덮여 있으므로 덮는 것은 이 테이블이 아니다. **덮는 것은 Tailscale 이었다.** 2026-09-17에 호스트의 규칙을 전부 읽어 이 테이블이 아닌 것을 확인한 뒤 경로를 좁혔다. 호스트의 규칙을 전부 읽어서 갈랐다. ```bash label="[lab host] 누가 덮는지 규칙에서 찾는다" sudo nft list ruleset | grep -nE 'masquerade|snat' @@ -813,30 +816,32 @@ curl -s http://app1.hyeonworks.com/api/echo | `remoteAddr` | `10.42.0.1` | `192.168.122.1` | | `x-forwarded-for` | 없다 | 없다 | -빠진 한 단계는 아래 두 줄이다. 저장소에 파일이 있는데 **이 실험대의 setup 아홉 편 어디에도 이 명령이 없었다**(observed). +빠진 한 단계는 아래 두 줄이다. 저장소에 파일이 있는데 **이 실험대의 setup 아홉 편 어디에도 이 명령이 없었다**. ```bash label="[lab host] ② Traefik 에 신뢰 목록을 준다" kubectl apply -f deploy/lab/k8s/traefik-forwarded-headers.yaml kubectl -n kube-system rollout status deploy/traefik --timeout=180s ``` -목록에는 파드 대역 `10.42.0.0/16` 하나만 담는다. Traefik 의 Service 가 `externalTrafficPolicy: Cluster` 라 svclb 가 출발지를 덮고, 그래서 Traefik 에 닿는 주소는 엣지가 아니라 파드 대역에서 온다. 노드·호스트 대역을 같이 넣어 봤지만 위 표의 값이 하나도 안 바뀌었다 — 나타날 수 없는 대역이라 넣어도 소용이 없다(observed). +목록에는 파드 대역 `10.42.0.0/16` 하나만 담는다. Traefik 의 Service 가 `externalTrafficPolicy: Cluster` 라 svclb 가 출발지를 덮고, 그래서 Traefik 에 닿는 주소는 엣지가 아니라 파드 대역에서 온다. 2026-09-17에는 노드·호스트 대역을 함께 넣어 봤지만 위 표의 값이 하나도 바뀌지 않았다. 이 실행에서는 그 대역이 실제 출발지로 나타나지 않았다. -`x-forwarded-for` 는 이 단계를 밟아도 앱까지 안 온다(observed). **왜 사라지는지는 안 가렸다**(unknown). 앞 절과 합치면 이 실험대에서는 그 헤더로 클라이언트를 가릴 수 없다. 두 번 재서 두 번 다 없었다. +`x-forwarded-for` 는 이 단계를 밟아도 앱까지 안 온다. **왜 사라지는지는 안 가렸다**. 앞 절과 합치면 이 실험대에서는 그 헤더로 클라이언트를 가릴 수 없다. 두 번 재서 두 번 다 없었다. -## 무엇이 관측이고 무엇이 아닌가 +## 현재 ingress 경로에서 실제로 확인한 범위 -- (observed) 2026-09-11 새로 만든 엣지에서 `/etc/nginx` 가 없던 것, `nginx -t` 출력 세 줄, 다 끝난 실험대에서 잰 층별 확인 ①~④ 의 코드, `301 https://auth.hyeonworks.com/`, upstream 실패 errno 세 줄, access 로그 3492자. -- (observed) 2026-09-17 에 이 절차를 따라 엣지를 다시 세우고 잰 것 — `nginx -t` 가 두 줄인 것, `which nginx` 가 깔린 상태에서도 빈손인 것, 층 ① 이 `.11`·`.12` 둘 다 `404` 인 것, 층 ② 가 `404` · `Server: nginx/1.22.1` 인 것, 층 ③ 이 `curl: (7)` 인 것, 호스트의 두 파일이 위 본문과 다른 것. -- (observed) 2026-09-17 에 밖에서 친 요청이 엣지 access 로그에 `192.168.122.1` 로 적힌 것, 이 한 단계를 밟기 전 앱이 받은 `x-real-ip` 가 `10.42.0.1` 이고 밟은 뒤 `192.168.122.1` 인 것, 두 상태 모두 `x-forwarded-for` 가 없는 것, setup 아홉 편에 `traefik-forwarded-headers.yaml` 을 거는 명령이 없는 것. -- (observed) 엣지에 닿기 전에 출발지를 덮는 것은 **Tailscale** 이다. `ts-forward` 가 표식 `0x40000` 을 찍고 `ts-postrouting` 이 그 표식에 `MASQUERADE` 를 걸며 `NoSNAT` 이 `false` 다. 호스트에 깔린 두 파일의 실제 상태(`.nft` 는 옛 판, 유닛은 새 판)와 `guest_input` 의 중복 규칙 셋도 같이 봤다. -- (unknown) `x-forwarded-for` 가 어디서 사라지는지는 아직 안 가렸다. Traefik 에 신뢰 목록을 주기 전과 뒤 둘 다 앱까지 안 오는 것만 쟀다. -- (observed) 위에 실은 `.nft` 와 유닛의 내용은 저장소 원본과 같다. 다만 **호스트에 실제로 깔려 있는 두 파일은 그것이 아니다** — 「배포된 것과 적어 둔 것이 다르다」를 본다. -- (inferred) 이 이동으로 L7 홉 수가 2홉 그대로라는 판정이 이 배치의 전제다. 늘어난 것은 커널이 하는 L4 전달 한 번뿐이라 홉 수 자체는 맞다. 다만 **홉 수가 그대로여도 `X-Forwarded-*` 계약은 성립하지 않았다** — 위 두 절에서 실제로 재 보니 클라이언트 주소가 엣지에 닿기 전에 덮이고, Traefik 이 신뢰 목록 없이 한 번 더 덮었다. -- (unknown) `curl -I http://192.168.122.11` 의 전체 출력은 캡처해 두지 않았다. 가이드도 봐야 할 줄만 적었다. -- (unknown) `systemctl status nginx` 두 번과 `ls -l /etc/nginx/sites-enabled/`, 파일 찾기, 체인 조회, `journalctl -u nginx`, access 로그 두 줄은 가이드가 적어 둔 명령이고 출력이 남아 있지 않다. -- (unknown) libvirt 의 `firewall_backend` 가 iptables 일 때도 `guest_input` 구멍이 필요한지는 재지 않았다. 이 호스트는 nftables 백엔드다. -- (unknown) 되돌리기 네 줄은 가이드 원문 그대로이고, 그 네 줄을 실제로 쳐서 걷어내 본 기록이 없다. -- (unknown) 세우는 명령은 구축할 때 친 것을 옮긴 것이라 다시 쳐서 같은 상태가 되는지는 확인되지 않았다. +- 2026-09-11 새로 만든 엣지에서 `/etc/nginx` 가 없던 것, `nginx -t` 출력 세 줄, 다 끝난 실험대에서 잰 층별 확인 ①~④ 의 코드, `301 https://auth.hyeonworks.com/`, upstream 실패 errno 세 줄, access 로그 3492자. +- 2026-09-17 에 이 절차를 따라 엣지를 다시 세우고 잰 것 — `nginx -t` 가 두 줄인 것, `which nginx` 가 깔린 상태에서도 빈손인 것, 층 ① 이 `.11`·`.12` 둘 다 `404` 인 것, 층 ② 가 `404` · `Server: nginx/1.22.1` 인 것, 층 ③ 이 `curl: (7)` 인 것, 호스트의 두 파일이 위 본문과 다른 것. +- 2026-09-17 에 밖에서 친 요청이 엣지 access 로그에 `192.168.122.1` 로 적힌 것, 이 한 단계를 밟기 전 앱이 받은 `x-real-ip` 가 `10.42.0.1` 이고 밟은 뒤 `192.168.122.1` 인 것, 두 상태 모두 `x-forwarded-for` 가 없는 것, setup 아홉 편에 `traefik-forwarded-headers.yaml` 을 거는 명령이 없던 것. +- 2026-09-21 재검증에서 새 k3s 클러스터에는 `coredns-custom`이 없었고 Keycloak 파드에서 `auth.hyeonworks.com`이 `100.83.212.4`로 풀렸다. 문서의 `.server` ConfigMap을 적용하고 CoreDNS를 재기동하자 `192.168.122.10`으로 바뀌었고, 파드에서 HTTP는 edge nginx의 `301`, HTTPS `/realms/master`는 `200`을 반환했다. +- 2026-09-21 재검증에서 `traefik-forwarded-headers.yaml`을 적용하자 `HelmChartConfig/traefik` generation 1이 생성되고 Traefik Deployment가 generation 2로 갱신되며 새 ReplicaSet `traefik-5d6fcf895`가 Ready가 됐다. 현재 클러스터에는 echo 앱이 없어 앱이 최종 수신한 `x-real-ip`/`x-forwarded-for` 값까지는 이번 실행에서 다시 재지 못했다. 이 항목은 아직 미확인이다. +- 엣지에 닿기 전에 출발지를 덮는 것은 **Tailscale** 이다. `ts-forward` 가 표식 `0x40000` 을 찍고 `ts-postrouting` 이 그 표식에 `MASQUERADE` 를 걸며 `NoSNAT` 이 `false` 다. 호스트에 깔린 두 파일의 실제 상태(`.nft` 는 옛 판, 유닛은 새 판)와 `guest_input` 의 중복 규칙 셋도 같이 봤다. +- `x-forwarded-for` 가 어디서 사라지는지는 아직 안 가렸다. Traefik 에 신뢰 목록을 주기 전과 뒤 둘 다 앱까지 안 오는 것만 쟀다. +- 위에 실은 `.nft`와 유닛의 내용은 저장소 원본 기준이다. **2026-09-17에는 host 배포본 둘이 달랐고, 2026-09-21 재검증 시점에는 `.nft`는 옛 판, unit은 새 판이었다.** 날짜별 상태를 섞지 않는다. +- 이 이동으로 L7 홉 수가 2홉 그대로라는 판정이 이 배치의 전제다. 늘어난 것은 커널이 하는 L4 전달 한 번뿐이라 홉 수 자체는 맞다. 다만 **홉 수가 그대로여도 `X-Forwarded-*` 계약은 성립하지 않았다** — 위 두 절에서 실제로 재 보니 클라이언트 주소가 엣지에 닿기 전에 덮이고, Traefik 이 신뢰 목록 없이 한 번 더 덮었다. +- `curl -I http://192.168.122.11` 의 전체 출력은 캡처해 두지 않았다. 가이드도 봐야 할 줄만 적었다. +- `systemctl status nginx` 두 번과 `ls -l /etc/nginx/sites-enabled/`, 파일 찾기, 체인 조회, `journalctl -u nginx`, access 로그 두 줄은 가이드가 적어 둔 명령이고 출력이 남아 있지 않다. +- libvirt 의 `firewall_backend` 가 iptables 일 때도 `guest_input` 구멍이 필요한지는 재지 않았다. 이 호스트는 nftables 백엔드다. +- 되돌리기 네 줄은 가이드 원문 그대로이고, 그 네 줄을 실제로 쳐서 걷어내 본 기록이 없다. +- 2026-09-21에는 worker 두 대를 실제 철거한 뒤 cloud-init → k3s → Keycloak/observability → power-cycle 복구까지 다시 수행했다. 다만 물리 host·edge VM·certificate 계층까지 비운 **완전한 00~06 재구축**은 아직 수행하지 않았다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-install-k3s-server-and-agent.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-install-k3s-server-and-agent.md index 7fd09ef..3fd00f0 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-install-k3s-server-and-agent.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-install-k3s-server-and-agent.md @@ -27,26 +27,10 @@ evidence: `kc-lab-1` 에 k3s server 를 `kc-lab-2` 에 agent 를 깔고 lab host 에서 `kubectl get nodes` 로 두 노드를 보는 절차다. 설치 명령은 각각 한 줄이고, kubeconfig 를 가져오는 것과 토큰을 옮기는 것이 그 앞뒤를 채운다. -## 관계 - -- **cloud-init 시드로 게스트 세 대를 만들고 SSH 가 키로 붙게 한다** - 이 절차가 전제하는 앞 단계이고, 거기서 고정한 192.168.122.11 과 192.168.122.12 를 그대로 쓴다. -- **빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다** - 토큰 길이를 재는 확인이 막으려는 실패를 그 기록이 처음부터 끝까지 따라간다. -- **엣지 게스트에 nginx 를 세우고 호스트 DNAT 으로 밖에서 들어오는 길을 연다** - 다음 단계이고, 여기서 확인한 INTERNAL-IP 두 개가 거기서 nginx upstream 이 된다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - agent 에서 kubectl 이 거절되는 것을 어느 층의 신호로 읽어야 하는지 그 기준이 정한다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 설치 명령 두 줄이 왜 재실행으로 검증되지 않은 채 남았는지를 그 기준이 가른다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 이 절차를 다시 쳐서 같은 클러스터가 서는지는 아직 재지 않았다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## lab host와 두 worker에서 치는 명령을 구분한다 기본은 `[lab host]` 다. 게스트에 로그인해서 치지 않는다. @@ -63,7 +47,7 @@ evidence: 편집기를 여는 곳은 둘이다. 2번에서 kubeconfig 의 `server:` 줄 하나를 고치고, 4번에서 agent 유닛의 토큰 경로 한 줄을 고친다. -## 이 단계가 세우는 것 +## kc-lab-1은 server, kc-lab-2는 agent로 붙인다 가이드 02 의 「이 단계가 끝나면」은 두 줄이다. @@ -89,11 +73,11 @@ k3s 가 따로 설치하지 않아도 딸려 오는 것이 다섯이다. 뒤 단 | flannel | 파드 네트워크 (VXLAN) | | kube-router | NetworkPolicy 집행 | -## 전제와 되돌리기 +## 재설치 전에 토큰과 기존 k3s 상태를 확인한다 전제는 한 줄이다 — 앞 단계가 끝나 lab host 에서 두 게스트에 SSH 가 붙는다. -**되돌리는 절차는 원본 가이드 02 에 없다**(unknown). k3s 설치 스크립트는 `k3s-uninstall.sh` 와 `k3s-agent-uninstall.sh` 를 함께 깔지만 가이드가 그 이름을 한 번도 적지 않았고 이 실험대도 부른 적이 없다. 가이드가 재설치를 말하는 곳은 두 군데인데 둘 다 되돌리는 명령이 아니라 뒤처리를 적어 두었다. +**되돌리는 절차는 원본 가이드 02 에 없다**. k3s 설치 스크립트는 `k3s-uninstall.sh` 와 `k3s-agent-uninstall.sh` 를 함께 깔지만 가이드가 그 이름을 한 번도 적지 않았고 이 실험대도 부른 적이 없다. 가이드가 재설치를 말하는 곳은 두 군데인데 둘 다 되돌리는 명령이 아니라 뒤처리를 적어 두었다. | 어디서 | 무엇을 적었나 | |---|---| @@ -102,22 +86,22 @@ k3s 가 따로 설치하지 않아도 딸려 오는 것이 다섯이다. 뒤 단 CA(Certificate Authority)는 인증서에 서명해 주는 쪽을 말한다. k3s 를 다시 깔면 그것이 바뀌므로 lab host 의 kubeconfig 도 같이 못 쓰게 된다. 걷어내는 명령은 여기에 적지 않는다. -## 세우기 전에 먼저 본다 +## 두 VM의 SSH·주소·시간부터 확인한다 -**가이드 02 에도 바꾸기 전 상태를 보는 단계가 없다.** 앞 단계가 남긴 확인을 그대로 다시 치는 것이 이 단계의 전제다(inferred). +**가이드 02 에도 바꾸기 전 상태를 보는 단계가 없다.** 앞 단계가 남긴 확인을 그대로 다시 치는 것이 이 단계의 전제다. -**무엇을 확인하는가** — 두 게스트가 돌고 있는지, 그리고 SSH 가 대화 없이 통과하는지. +두 게스트가 돌고 있는지, 그리고 SSH 가 대화 없이 통과하는지. ```bash label="[lab host] 도메인 상태와 게스트 접속을 함께 본다" virsh list --all ssh donghyeon@192.168.122.11 'hostname; cat /etc/os-release | head -1' ``` -**어디를 봐야 하는가** — 두 게스트가 `running` 인가, 그리고 SSH 가 비밀번호를 묻지 않고 호스트명을 찍는가. +두 게스트가 `running` 인가, 그리고 SSH 가 비밀번호를 묻지 않고 호스트명을 찍는가. -**이 결과가 의미하는 것** — `ssh kc-lab-2` 가 비밀번호를 물으면 3번의 토큰 전달과 4번의 설치가 전부 대화식으로 멈춘다. 여기서 걸러야 설치 도중에 멈추지 않는다. +`ssh kc-lab-2` 가 비밀번호를 물으면 3번의 토큰 전달과 4번의 설치가 전부 대화식으로 멈춘다. 여기서 걸러야 설치 도중에 멈추지 않는다. -## 실행 절차 +## server를 설치하고 agent를 join시킨다 ### 1. server 를 깐다 @@ -131,11 +115,11 @@ ssh kc-lab-1 "curl -sfL https://get.k3s.io | sudo env INSTALL_K3S_VERSION=v1.36. ssh kc-lab-1 'sudo systemctl is-active k3s; sudo kubectl get nodes' ``` -**예상 결과** — 유닛이 `active` 이고 `get nodes` 에 `kc-lab-1` 한 줄이 `Ready` 로 있다. 설치 직후 30초 남짓은 `NotReady` 이거나 아예 목록이 비어 있는 쪽이 정상이다 — 파드 네트워크가 아직 안 올라온 시간이라 한 번 더 친다. +정상이면 유닛이 `active` 이고 `get nodes` 에 `kc-lab-1` 한 줄이 `Ready` 로 있다. 설치 직후 30초 남짓은 `NotReady` 이거나 아예 목록이 비어 있는 쪽이 정상이다 — 파드 네트워크가 아직 안 올라온 시간이라 한 번 더 친다. -**왜 필요한가** — `--node-ip` 를 준다. 게스트에 인터페이스가 여럿이면 k3s 가 엉뚱한 것을 고를 수 있고, 그러면 두 노드가 서로를 다른 주소로 알게 된다. 이때 Traefik 과 servicelb, local-path, flannel, kube-router 도 함께 선다. 이 가이드에서 `kubectl` 을 게스트 쪽에서 돌리는 일은 ② 한 번으로 끝난다. lab host 에는 아직 kubeconfig 가 없기 때문이고, 그것을 두는 일이 바로 2번이다. +`--node-ip` 를 준다. 게스트에 인터페이스가 여럿이면 k3s 가 엉뚱한 것을 고를 수 있고, 그러면 두 노드가 서로를 다른 주소로 알게 된다. 이때 Traefik 과 servicelb, local-path, flannel, kube-router 도 함께 선다. 이 가이드에서 `kubectl` 을 게스트 쪽에서 돌리는 일은 ② 한 번으로 끝난다. lab host 에는 아직 kubeconfig 가 없기 때문이고, 그것을 두는 일이 바로 2번이다. -**문제가 생기면** — 설치 출력만으로 판정하지 않는다. 유닛이 `active` 인데 `get nodes` 가 접속 오류를 내면 API 서버가 아직 기동 중이다. 유닛이 `activating` 에서 안 넘어가거나 `failed` 면 설치 자체가 실패한 것이니 로그를 본다. +실패하면 설치 출력만으로 판정하지 않는다. 유닛이 `active` 인데 `get nodes` 가 접속 오류를 내면 API 서버가 아직 기동 중이다. 유닛이 `activating` 에서 안 넘어가거나 `failed` 면 설치 자체가 실패한 것이니 로그를 본다. ```bash label="[lab host] server 설치가 실패했을 때 로그를 본다" ssh kc-lab-1 'sudo journalctl -u k3s -n 50 --no-pager' @@ -174,7 +158,7 @@ grep server: ~/.kube/config kubectl get nodes ``` -**예상 결과**(observed) +**실제 확인한 결과** ```text server: https://192.168.122.11:6443 @@ -184,7 +168,7 @@ kc-lab-1 Ready control-plane 47m v1.36.4+k3s1 아직 노드가 한 줄뿐인 쪽이 정상이다. agent 는 4번에서 붙인다. -**왜 필요한가** — 세 줄이 다 필요하고 빠뜨렸을 때 깨지는 곳이 다르다. +세 줄이 다 필요하고 빠뜨렸을 때 깨지는 곳이 다르다. | 줄 | 빠뜨리면 | |---|---| @@ -198,16 +182,16 @@ kc-lab-1 Ready control-plane 47m v1.36.4+k3s1 ssh kc-lab-1 'sudo openssl x509 -in /var/lib/rancher/k3s/server/tls/serving-kube-apiserver.crt -noout -ext subjectAltName' ``` -이 실험대는 ②와 ④를 치환 한 줄로 이어 붙였다(observed). +이 실험대는 ②와 ④를 치환 한 줄로 이어 붙였다. ```bash label="[lab host] 이 실험대가 실제로 친 형태" ssh kc-lab-1 'sudo cat /etc/rancher/k3s/k3s.yaml' \ | sed 's|127.0.0.1|192.168.122.11|' > ~/.kube/config ``` -치환은 바꾼 줄도 나머지 줄도 보여 주지 않는다. kubeconfig 는 클러스터를 볼 때마다 다시 열게 되는 파일이라 한 번은 전체를 보는 편이 낫고, 나눈 형태는 이 실험대에서 치지 않았다(unknown). +치환은 바꾼 줄도 나머지 줄도 보여 주지 않는다. kubeconfig 는 클러스터를 볼 때마다 다시 열게 되는 파일이라 한 번은 전체를 보는 편이 낫고, 나눈 형태는 이 실험대에서 치지 않았다. -**문제가 생기면** — lab host 에서 `connection refused` 가 나면 ⑤ 의 `grep` 부터 친다. `127.0.0.1` 이 그대로 보이면 ④ 에서 저장이 안 됐다. `x509` 오류는 파일 안의 CA 와 서버가 지금 쓰는 CA 가 어긋난 것이라, k3s 를 다시 깔았다면 이 복사도 다시 한다. +실패하면 lab host 에서 `connection refused` 가 나면 ⑤ 의 `grep` 부터 친다. `127.0.0.1` 이 그대로 보이면 ④ 에서 저장이 안 됐다. `x509` 오류는 파일 안의 CA 와 서버가 지금 쓰는 CA 가 어긋난 것이라, k3s 를 다시 깔았다면 이 복사도 다시 한다. ### 3. 토큰을 파일로 꺼내 길이만 본다 @@ -221,17 +205,17 @@ ssh kc-lab-1 'sudo cat /var/lib/rancher/k3s/server/node-token' > node-token wc -c node-token ``` -**예상 결과** — 세 자리 수와 파일 이름 한 줄. 이 실험대가 변수에 담아 잰 토큰은 108자였다(observed). `K10<해시>::server:<비밀번호>` 형식이라 k3s 판올림에 따라 자릿수가 달라진다. 확인할 것은 값이 아니라 `0` 이 아니라는 사실이다. +정상이면 세 자리 수와 파일 이름 한 줄. 이 실험대가 변수에 담아 잰 토큰은 108자였다. `K10<해시>::server:<비밀번호>` 형식이라 k3s 판올림에 따라 자릿수가 달라진다. 값 자체는 출력하지 않고 파일 크기가 `0`이 아닌지만 확인한다. -**왜 필요한가** — 값을 화면에 찍지 않는 것은 터미널 스크롤백과 셸 히스토리에 그대로 남기 때문이다. 그리고 이 한 줄이 4번의 조용한 실패를 여기서 끊는다. 게스트 안에서 토큰을 꺼내려 하면 `Host key verification failed.` 로 끝나는데, 셸은 그것을 오류로 알려 주지 않고 빈 값을 넘긴다. +값을 화면에 찍지 않는 것은 터미널 스크롤백과 셸 히스토리에 그대로 남기 때문이다. 그리고 이 확인이 4번으로 빈 파일을 넘기는 실수를 여기서 끊는다. 현재 절차는 토큰을 셸 변수에 담지 않고 파일로 저장하므로, 예전처럼 셸이 바뀌어 변수가 사라지는 문제는 없다. 원격 `ssh`가 실패했다면 리다이렉션으로 빈 파일이 생길 수 있으므로 길이와 파일 존재를 함께 확인한다. -**문제가 생기면** — `wc -c` 가 `0` 을 내면 원인이 셋 가운데 하나다. +실패하면 `wc -c` 가 `0` 을 내면 원인이 셋 가운데 하나다. | `0` 인 까닭 | 확인 | |---|---| | 게스트 안에서 쳤다 — 가장 흔하다 | 프롬프트가 `kc-lab-1` 이면 `exit` 로 lab host 로 나온다 | | server 가 아직 안 떠서 파일이 없다 | 아래 한 줄로 파일 유무부터 본다 | -| 다른 창에서 쳤다 | 같은 셸에서 ① 부터 다시 친다 | +| 현재 디렉터리가 달라 `node-token` 파일을 못 찾는다 | `pwd` 와 `ls -l node-token` 으로 파일 위치부터 확인한다 | ```bash label="[lab host] 토큰 파일이 있기는 한지 본다" ssh kc-lab-1 'sudo ls -l /var/lib/rancher/k3s/server/node-token' @@ -291,7 +275,7 @@ rm ~/node-token :::warning -**⑥부터 ⑨ 까지를 건너뛰고 `rm ~/node-token` 만 치면 이 노드는 다시 못 뜬다.** 설치 스크립트가 `--token-file` 에 준 경로를 유닛의 `ExecStart` 에 그대로 굽기 때문에, 파일이 사라지면 agent 가 영원히 그 파일을 기다린다. 2026-09-17 에 A-4 를 돌려 노드 전원을 뽑았다 다시 켜면서 그대로 겪었다(observed) — VM 은 떴는데 노드가 `NotReady` 에서 안 돌아왔다. +**⑥부터 ⑨ 까지를 건너뛰고 `rm ~/node-token` 만 치면 이 노드는 다시 못 뜬다.** 설치 스크립트가 `--token-file` 에 준 경로를 유닛의 `ExecStart` 에 그대로 굽기 때문에, 파일이 사라지면 agent 가 영원히 그 파일을 기다린다. 2026-09-17 에 A-4 를 돌려 노드 전원을 뽑았다 다시 켜면서 그대로 겪었다 — VM 은 떴는데 노드가 `NotReady` 에서 안 돌아왔다. ::: @@ -300,7 +284,7 @@ k3s[522]: level=info msg="Waiting for file \"/home/donghyeon/node-token\" to be k3s-agent.service: Scheduled restart job, restart counter is at 1. ``` -토큰을 `/etc/rancher/node-token` 으로 옮기고 유닛을 그쪽으로 돌린 뒤 홈의 사본을 지우자, agent 를 완전히 세웠다 다시 켜도 `active` 였고 노드도 `Ready` 로 돌아왔다(observed). +2026-09-17에는 토큰을 `/etc/rancher/node-token` 으로 옮기고 유닛을 그쪽으로 돌린 뒤 홈의 사본을 지웠다. agent 를 완전히 세웠다 다시 켠 뒤에도 `active` 였고 노드도 `Ready` 로 돌아왔다. ```text -rw------- 1 root root 109 /etc/rancher/node-token @@ -312,13 +296,13 @@ k3s-agent.service: Scheduled restart job, restart counter is at 1. exit ``` -**예상 결과** — 설치가 끝나면 `k3s-agent.service` 가 그 노드에 서고, lab host 의 `kubectl get nodes` 에 `kc-lab-2` 가 한 줄 더 붙는다. +정상이면 설치가 끝나면 `k3s-agent.service` 가 그 노드에 서고, lab host 의 `kubectl get nodes` 에 `kc-lab-2` 가 한 줄 더 붙는다. -**⑦ 을 편집기로 여는 까닭** — 이 실험대는 `sudo sed -i "s|$HOME/node-token|/etc/rancher/node-token|" /etc/systemd/system/k3s-agent.service` 로 고쳤다(observed). `sed -i` 는 패턴이 안 맞아도 조용히 성공하고, 이 패턴에는 `$HOME` 이 들어 있어 설치할 때와 다른 계정으로 치면 아무 줄도 안 바뀐 채 ⑨ 가 이어서 돈다. 그러면 지금 떠 있는 노드는 멀쩡해 보이고 다음 재부팅에서야 `Waiting for file` 로 멎는다. 유닛을 열면 고칠 줄이 눈에 보이고, 고쳤는지도 저장하기 전에 눈으로 본다. 이 편집기 형태는 이 실험대에서 치지 않았다(unknown). +**⑦ 을 편집기로 여는 까닭** — 이 실험대는 `sudo sed -i "s|$HOME/node-token|/etc/rancher/node-token|" /etc/systemd/system/k3s-agent.service` 로 고쳤다. `sed -i` 는 패턴이 안 맞아도 조용히 성공하고, 이 패턴에는 `$HOME` 이 들어 있어 설치할 때와 다른 계정으로 치면 아무 줄도 안 바뀐 채 ⑨ 가 이어서 돈다. 그러면 지금 떠 있는 노드는 멀쩡해 보이고 다음 재부팅에서야 `Waiting for file` 로 멎는다. 유닛을 열면 고칠 줄이 눈에 보이고, 고쳤는지도 저장하기 전에 눈으로 본다. 이 편집기 형태는 이 실험대에서 치지 않았다. -**왜 필요한가** — 설치 스크립트는 `sudo` 아래 root 로 도니 홈의 `600` 파일도 읽는다. `--token` 대신 `--token-file` 을 쓰면 토큰이 명령줄에 안 들어가므로 프로세스 목록과 셸 히스토리에 남지 않고, 토큰을 꺼낸 셸과 같은 셸에서 쳐야 한다는 제약도 없어진다. +설치 스크립트는 `sudo` 아래 root 로 도니 홈의 `600` 파일도 읽는다. `--token` 대신 `--token-file` 을 쓰면 토큰이 명령줄에 안 들어가므로 프로세스 목록과 셸 히스토리에 남지 않고, 토큰을 꺼낸 셸과 같은 셸에서 쳐야 한다는 제약도 없어진다. -이 실험대는 두 줄로 했다(observed). 아래는 당시 실행을 보존한 historical/reference block이고, 따라 하는 절차는 위 ①~⑪처럼 검증과 삭제를 분리한다. +이 실험대는 두 줄로 했다. 아래는 당시 실행을 보존한 historical/reference block이고, 따라 하는 절차는 위 ①~⑪처럼 검증과 삭제를 분리한다. ```bash label="[lab host] [reference] 이 실험대가 실제로 친 형태" ssh kc-lab-1 'sudo cat /var/lib/rancher/k3s/server/node-token' \ @@ -328,9 +312,9 @@ ssh kc-lab-2 "curl -sfL https://get.k3s.io | sudo sh -s - agent \ --node-ip 192.168.122.12; rm -f /tmp/token" ``` -두 줄 안에 원격 셸 둘과 `sudo` 둘, 파이프 하나, 설치 스크립트 하나, 마지막 삭제 하나가 겹쳐 있다. 실패했을 때 어느 쪽이 실패했는지 갈리지 않아 위에서는 ① 부터 ⑪ 까지로 나눴다. 토큰이 `/tmp/token` 대신 자기 홈에 놓이고 `sudo tee` 대신 `scp` 와 `chmod 600` 이 그 파일을 만드는 것도 그래서 달라진다. 이 나눈 형태는 이 실험대에서 치지 않았다(unknown). +두 줄 안에 원격 셸 둘과 `sudo` 둘, 파이프 하나, 설치 스크립트 하나, 마지막 삭제 하나가 겹쳐 있다. 실패했을 때 어느 쪽이 실패했는지 갈리지 않아 위에서는 ① 부터 ⑪ 까지로 나눴다. 토큰이 `/tmp/token` 대신 자기 홈에 놓이고 `sudo tee` 대신 `scp` 와 `chmod 600` 이 그 파일을 만드는 것도 그래서 달라진다. 이 나눈 형태는 이 실험대에서 치지 않았다. -**문제가 생기면** — agent 설치는 성공했는데 노드가 안 보이면 로그에 `--token is required` 가 있는지 본다. 토큰이 빈 값이었으면 설치 스크립트는 내려받기와 유닛 생성과 활성화까지 다 성공으로 찍고 끝나고, 유닛은 `Restart=always` 라 5초마다 조용히 재시도한다. +실패하면 agent 설치는 성공했는데 노드가 안 보이면 로그에 `--token is required` 가 있는지 본다. 토큰이 빈 값이었으면 설치 스크립트는 내려받기와 유닛 생성과 활성화까지 다 성공으로 찍고 끝나고, 유닛은 `Restart=always` 라 5초마다 조용히 재시도한다. ```bash label="[lab host] agent 가 왜 못 붙었는지 본다" ssh kc-lab-2 'sudo journalctl -u k3s-agent -n 30 --no-pager' @@ -365,21 +349,21 @@ grep server: ~/.kube/kc-lab.yaml kubectl get nodes ``` -**예상 결과** — `server:` 가 `https://127.0.0.1:6443` 이고, `get nodes` 가 4번과 같은 두 줄을 낸다. 터널 창을 닫으면 바로 멎는다. +정상이면 `server:` 가 `https://127.0.0.1:6443` 이고, `get nodes` 가 4번과 같은 두 줄을 낸다. 터널 창을 닫으면 바로 멎는다. -**왜 필요한가** — 여기서는 주소를 고치지 않는다. k3s 원본이 이미 `https://127.0.0.1:6443` 이고 터널 덕에 워크스테이션에서는 그 주소가 맞다. 2번에서 고쳤던 것은 lab host 에서 볼 때 `127.0.0.1` 이 lab host 자신을 가리키기 때문이었다. 같은 파일이라도 어느 기계에서 읽느냐에 따라 맞는 주소가 다르다. +여기서는 주소를 고치지 않는다. k3s 원본이 이미 `https://127.0.0.1:6443` 이고 터널 덕에 워크스테이션에서는 그 주소가 맞다. 2번에서 고쳤던 것은 lab host 에서 볼 때 `127.0.0.1` 이 lab host 자신을 가리키기 때문이었다. 같은 파일이라도 어느 기계에서 읽느냐에 따라 맞는 주소가 다르다. -이 실험대는 ②와 ③을 `ssh` 두 겹으로 겹쳐 한 줄에 넣었다(observed). +이 실험대는 ②와 ③을 `ssh` 두 겹으로 겹쳐 한 줄에 넣었다. ```bash label="[워크스테이션] 이 실험대가 실제로 친 형태" ssh test-server "ssh kc-lab-1 'sudo cat /etc/rancher/k3s/k3s.yaml'" > ~/.kube/kc-lab.yaml ``` -따옴표가 두 겹이라 어느 기계에서 어느 명령이 도는지가 한 줄에 묻힌다. 기계마다 한 명령이 되게 나눈 형태는 이 실험대에서 치지 않았다(unknown). +따옴표가 두 겹이라 어느 기계에서 어느 명령이 도는지가 한 줄에 묻힌다. 기계마다 한 명령이 되게 나눈 형태는 이 실험대에서 치지 않았다. -**문제가 생기면** — 타임아웃이면 ① 의 터널 창이 닫힌 것이고, `connection refused` 면 터널은 살아 있는데 반대편 API 서버가 죽은 것이다. 터널이 닫히면 `kubectl` 이 통째로 멎어 터널 상태와 클러스터 상태가 섞인다. 노드를 죽이고 살리는 실험은 lab host 에서 치는 편이 낫다. +실패하면 타임아웃이면 ① 의 터널 창이 닫힌 것이고, `connection refused` 면 터널은 살아 있는데 반대편 API 서버가 죽은 것이다. 터널이 닫히면 `kubectl` 이 통째로 멎어 터널 상태와 클러스터 상태가 섞인다. 노드를 죽이고 살리는 실험은 lab host 에서 치는 편이 낫다. -## 구성 값 +## kubeconfig와 systemd unit의 위치 kubeconfig 사본이 사는 곳은 둘이고, 같은 파일인데 주소가 다르다. @@ -397,17 +381,17 @@ kubeconfig 사본이 사는 곳은 둘이고, 같은 파일인데 주소가 다 뒤의 실험에서 노드를 멈출 때 칠 이름이 이것이다. `systemctl stop k3s` 를 agent 노드에서 치면 아무 일도 일어나지 않고, 「주입했는데 증상이 없다」로 읽히게 된다. server 노드를 잃으면 `kubectl` 자체가 불통이 되고, agent 를 잃으면 `kubectl` 은 되지만 그 위의 워크로드가 사라진다. -## 끝났는지 판정한다 +## 두 노드가 Ready이고 지정한 IP를 쓰는지 확인한다 ### 확인 ① 두 노드가 우리가 준 주소로 서 있는가 -**무엇을 확인하는가** — agent 가 클러스터에 들어왔는지, 그리고 제 주소로 들어왔는지. +agent 가 클러스터에 들어왔는지, 그리고 제 주소로 들어왔는지. ```bash label="[lab host] 마지막 열까지 본다" kubectl get nodes -o wide ``` -**실측**(observed) +**실측** ```text NAME STATUS ROLES AGE VERSION INTERNAL-IP @@ -415,40 +399,40 @@ kc-lab-1 Ready control-plane 47m v1.36.4+k3s1 192.168.122.11 kc-lab-2 Ready 21m v1.36.4+k3s1 192.168.122.12 ``` -**어디를 봐야 하는가** — `-o wide` 를 주는 까닭이 마지막 열이다. INTERNAL-IP 두 개가 1번과 4번에서 `--node-ip` 로 준 값과 같은가. 그다음이 STATUS 두 줄 `Ready`, 그다음이 ROLES 열이다. `` 은 오류가 아니라 역할 라벨이 없다는 뜻이고, agent 는 원래 그렇다. +`-o wide` 를 주는 까닭이 마지막 열이다. INTERNAL-IP 두 개가 1번과 4번에서 `--node-ip` 로 준 값과 같은가. 그다음이 STATUS 두 줄 `Ready`, 그다음이 ROLES 열이다. `` 은 오류가 아니라 역할 라벨이 없다는 뜻이고, agent 는 원래 그렇다. -**이 결과가 의미하는 것** — 두 줄이 `Ready` 이고 IP 가 맞으면 이 단계는 끝났다. IP 가 다른 대역으로 잡혀 있으면 지금은 아무 증상이 없다가 다음 단계의 nginx upstream 과 노드 상실 실험에서 어긋난다. 그때 고치는 것보다 지금 재설치가 싸다. `kc-lab-2` 가 아예 안 보이면 join 이 실패한 것이니 agent 로그를 본다. +두 줄이 `Ready` 이고 IP 가 맞으면 이 단계는 끝났다. IP 가 다른 대역으로 잡혀 있으면 지금은 아무 증상이 없다가 다음 단계의 nginx upstream 과 노드 상실 실험에서 어긋난다. 그때 고치는 것보다 지금 재설치가 싸다. `kc-lab-2` 가 아예 안 보이면 join 이 실패한 것이니 agent 로그를 본다. ### 확인 ② 우리가 준 주소가 유닛에 그렇게 적혔는가 -**무엇을 확인하는가** — 설치 스크립트에 준 옵션이 유닛 파일에 굳었는지. +설치 스크립트에 준 옵션이 유닛 파일에 굳었는지. ```bash label="[lab host] 유닛 파일의 ExecStart 를 본다" ssh kc-lab-1 'systemctl cat k3s | grep -A3 ExecStart=' ssh kc-lab-2 'systemctl cat k3s-agent | grep -A4 ExecStart=' ``` -**실측**(observed) +**실측** ```text ExecStart=/usr/local/bin/k3s server '--node-ip' '192.168.122.11' ExecStart=/usr/local/bin/k3s agent '--node-ip' '192.168.122.12' ``` -**어디를 봐야 하는가** — `ExecStart=` 줄의 부분명령(`server` 인가 `agent` 인가)과 그 뒤의 인자. +`ExecStart=` 줄의 부분명령(`server` 인가 `agent` 인가)과 그 뒤의 인자. -**이 결과가 의미하는 것** — 확인 ① 은 k3s 가 보고한 주소이고 이 두 줄은 우리가 준 주소다. 둘이 다르면 옵션이 안 먹었다. 유닛 이름을 틀리면 `No files found` 가 나오는데, 그것 자체가 「이 노드는 agent 다」라는 답이 된다. +확인 ① 은 k3s 가 보고한 주소이고 이 두 줄은 우리가 준 주소다. 둘이 다르면 옵션이 안 먹었다. 유닛 이름을 틀리면 `No files found` 가 나오는데, 그것 자체가 「이 노드는 agent 다」라는 답이 된다. ### 확인 ③ k3s 가 딸려 오게 한 것이 다 떴는가 -**무엇을 확인하는가** — 우리가 안 깔았는데 이미 돌고 있는 것과 기본 저장소가 무엇인지. +우리가 안 깔았는데 이미 돌고 있는 것과 기본 저장소가 무엇인지. ```bash label="[lab host] 전 네임스페이스의 파드와 StorageClass 를 본다" kubectl get pods -A kubectl get storageclass ``` -**실측**(observed) +**실측** ```text NAMESPACE NAME READY STATUS RESTARTS AGE @@ -465,21 +449,21 @@ NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE local-path (default) rancher.io/local-path Delete WaitForFirstConsumer false 49m ``` -**어디를 봐야 하는가** — `kube-system` 줄들의 STATUS 다. `Running` 과 `Completed` 가 섞여 있는 쪽이 정상이고, 일회성 잡은 `Completed` 로 남는다. `svclb-traefik-` 로 시작하는 줄이 둘인 것도 봐 둔다. StorageClass 에서는 이름 뒤의 `(default)` 표시가 어디 붙어 있는가. +`kube-system` 줄들의 STATUS 다. `Running` 과 `Completed` 가 섞여 있는 쪽이 정상이고, 일회성 잡은 `Completed` 로 남는다. `svclb-traefik-` 로 시작하는 줄이 둘인 것도 봐 둔다. StorageClass 에서는 이름 뒤의 `(default)` 표시가 어디 붙어 있는가. -**이 결과가 의미하는 것** — `svclb-traefik-` 두 줄은 DaemonSet 이 노드마다 하나씩 뜬 것이라, 4번의 join 이 실제로 먹었다는 또 하나의 증거가 된다. `local-path` 에 `(default)` 가 붙어 있으면 다음 단계의 PVC 는 StorageClass 를 안 적어도 그것으로 만들어진다. `Pending` 이나 `CrashLoopBackOff` 가 섞여 있으면 그 파드부터 `describe` 로 본다. +`svclb-traefik-` 두 줄은 DaemonSet 이 노드마다 하나씩 뜬 것이라, 4번의 join 이 실제로 먹었다는 또 하나의 증거가 된다. `local-path` 에 `(default)` 가 붙어 있으면 다음 단계의 PVC 는 StorageClass 를 안 적어도 그것으로 만들어진다. `Pending` 이나 `CrashLoopBackOff` 가 섞여 있으면 그 파드부터 `describe` 로 본다. ### 확인 ④ agent 노드에서 kubectl 이 거절되는 것은 정상이다 -**무엇을 확인하는가** — agent 노드에서 `kubectl` 을 쳤을 때 나오는 거절이 어느 층의 신호인지. +agent 노드에서 `kubectl` 을 쳤을 때 나오는 거절이 어느 층의 신호인지. ```text Get "http://localhost:8080/api?timeout=32s": dial tcp [::1]:8080: connect: connection refused ``` -**어디를 봐야 하는가** — 주소 한 칸이다. `localhost:8080` 인가 다른 주소인가. +주소 한 칸이다. `localhost:8080` 인가 다른 주소인가. -**이 결과가 의미하는 것** — 명령 자체는 있다. 설치 스크립트가 `/usr/local/bin/kubectl -> k3s` 심볼릭 링크를 만든다. 없는 것은 붙을 곳을 알려 주는 kubeconfig 이고, 넷 다 못 찾으면 kubectl 은 오류를 내지 않고 하드코딩된 기본값으로 넘어간다. +명령 자체는 있다. 설치 스크립트가 `/usr/local/bin/kubectl -> k3s` 심볼릭 링크를 만든다. 없는 것은 붙을 곳을 알려 주는 kubeconfig 이고, 넷 다 못 찾으면 kubectl 은 오류를 내지 않고 하드코딩된 기본값으로 넘어간다. | 어디를 찾나 | kc-lab-1 | kc-lab-2 | |---|---|---| @@ -487,7 +471,7 @@ Get "http://localhost:8080/api?timeout=32s": dial tcp [::1]:8080: connect: conne | `~/.kube/config` | 없음 | 없음 | | `/etc/rancher/k3s/k3s.yaml` | 있음 | 없음 | -`http://localhost:8080` 은 쿠버네티스 1.20 이전 API 서버가 평문으로 열던 레거시 포트인데 지금은 아무도 열지 않는다(external). 이 주소는 어디에도 적혀 있지 않으므로, 그것이 보이면 네트워크 문제가 아니라 설정을 하나도 못 찾았다는 뜻이다. 방화벽이나 k3s 를 의심하기 전에 kubeconfig 부터 본다. +`http://localhost:8080` 은 쿠버네티스 1.20 이전 API 서버가 평문으로 열던 레거시 포트다. 이 설명은 이 실험대에서 따로 재현한 값이 아니라 쿠버네티스의 과거 동작을 기준으로 한다. 이 주소는 어디에도 적혀 있지 않으므로, 그것이 보이면 네트워크 문제가 아니라 설정을 하나도 못 찾았다는 뜻이다. 방화벽이나 k3s 를 의심하기 전에 kubeconfig 부터 본다. :::warning @@ -501,9 +485,9 @@ agent 가 원래 가진 신원은 급이 다르다. subject=O = system:nodes, CN = system:node:kc-lab-2 ``` -이 신원은 Node authorizer 와 NodeRestriction admission 이 자기 노드에 배정된 객체만 다루도록 제한하고(external), 그 자격증명은 kubelet 전용 경로(`/var/lib/rancher/k3s/agent/`)에 있어 kubectl 이 읽지도 않는다. 그래서 실패가 권한 없음이 아니라 설정 없음으로 나타난다. +Node authorizer 와 NodeRestriction admission 은 이 신원이 자기 노드에 배정된 객체만 다루도록 제한한다. 이 부분은 쿠버네티스의 권한 모델에 따른 설명이다. 그 자격증명은 kubelet 전용 경로(`/var/lib/rancher/k3s/agent/`)에 있어 kubectl 이 읽지도 않는다. 그래서 실패가 권한 없음이 아니라 설정 없음으로 나타난다. -## 통과 조건을 한 번에 다시 본다 +## k3s 두 노드 확인표 | 무엇 | 명령 | 통과 | |---|---|---| @@ -514,11 +498,11 @@ subject=O = system:nodes, CN = system:node:kc-lab-2 | 딸려 온 것 | `kubectl get pods -A` | `svclb-traefik-` 로 시작하는 줄이 둘 | | 기본 저장소 | `kubectl get storageclass` | `local-path (default)` | -## 막히면 +## agent가 join하지 못하거나 재부팅 뒤 안 돌아올 때 | 증상 | 원인 | 확인 | |---|---|---| -| `wc -c node-token` 이 `0` | 게스트 안에서 쳤거나, 셸이 바뀌었다 | 프롬프트가 `kc-lab-1` 이 아닌지. 3번 표 | +| `wc -c node-token` 이 `0` | server에서 토큰을 읽는 원격 명령이 실패해 빈 파일이 생겼다 | `ls -l node-token` 과 `ssh kc-lab-1 'sudo ls -l /var/lib/rancher/k3s/server/node-token'` | | agent 설치는 성공했는데 노드가 안 보임 | 토큰이 빈 값으로 넘어갔다 | `journalctl -u k3s-agent` 에 `--token is required` | | agent 가 `NotReady` | 토큰이나 주소 오타 | `ssh kc-lab-2 'sudo journalctl -u k3s-agent -n 30 --no-pager'` | | 노드 IP 가 예상과 다름 | `--node-ip` 없이 설치 | `kubectl get nodes -o wide` | @@ -529,15 +513,15 @@ subject=O = system:nodes, CN = system:node:kc-lab-2 | `x509` 오류 | k3s 재설치로 CA 가 바뀌었다 | 2번의 복사를 다시 한다 | | 파드가 한 노드에만 몰림 | 스케줄러 판단 | `topologySpreadConstraints` 로 강제 | -## 무엇이 관측이고 무엇이 아닌가 +## 이 k3s 구성에서 실제로 확인한 범위 -- (observed) 2026-09-17 당시 stable installer가 선택한 `v1.36.4+k3s1`, 두 노드 `Ready`, INTERNAL-IP 두 개, 토큰 길이, `ExecStart` 두 줄, agent 의 `localhost:8080` 오류와 인증서 subject. 위 canonical 설치 명령은 재실행 때도 같은 k3s를 받도록 `INSTALL_K3S_VERSION=v1.36.4+k3s1`을 명시한다. -- (observed) `kube-system` 에 뜬 파드 여덟 줄과 `local-path (default)` StorageClass. `svclb-traefik-` 두 줄이 DaemonSet 이 두 노드에 다 떴다는 증거가 된다. -- (external) 쿠버네티스 1.20 이전의 평문 8080, Node authorizer 와 NodeRestriction 의 동작은 이 실험대에서 잰 값이 아니다. -- (unknown) 3번과 4번의 나눈 형태는 이 실험대에서 치지 않았다. 이 실험대가 친 것은 원격 셸 둘을 파이프로 이은 두 줄이고, 나눈 형태로 같은 클러스터가 서는지는 다시 재지 않았다. -- (unknown) 2번의 ②④ 도 이 실험대에서 치지 않았다. 이 실험대가 친 것은 치환 한 줄이고, 받아 놓고 편집기로 고친 kubeconfig 로 같은 클러스터가 보이는지는 다시 재지 않았다. -- (unknown) 5번의 ②③도 이 실험대에서 치지 않았다. 이 실험대가 친 것은 원격 셸을 두 겹으로 겹친 한 줄이다. -- (observed) 인증서 SAN 조회와 두 `journalctl` 을 2026-09-17 에 쳤다. **SAN 에 두 주소가 다 들어 있다** — `127.0.0.1` 과 `192.168.122.11` 이라, kubeconfig 의 주소를 어느 쪽으로 고쳐도 검증이 통과한다. +- 2026-09-17 당시 stable installer가 선택한 `v1.36.4+k3s1`, 두 노드 `Ready`, INTERNAL-IP 두 개, 토큰 길이, `ExecStart` 두 줄, agent 의 `localhost:8080` 오류와 인증서 subject. 위 canonical 설치 명령은 재실행 때도 같은 k3s를 받도록 `INSTALL_K3S_VERSION=v1.36.4+k3s1`을 명시한다. +- 2026-09-17 실제 출력에서는 `kube-system` 파드 여덟 줄과 `local-path (default)` StorageClass 를 확인했다. `svclb-traefik-` 두 줄이 DaemonSet 이 두 노드에 모두 뜬 상태를 보여 줬다. +- 쿠버네티스 1.20 이전의 평문 8080과 Node authorizer·NodeRestriction 동작은 이 실험대에서 재현한 값이 아니라 쿠버네티스 쪽 동작을 설명한 것이다. +- 3번과 4번의 나눈 형태는 이 실험대에서 치지 않았다. 이 실험대가 친 것은 원격 셸 둘을 파이프로 이은 두 줄이고, 나눈 형태로 같은 클러스터가 서는지는 다시 재지 않았다. +- 2026-09-22 재검증에서 worker를 다시 만든 뒤 lab host의 기존 `~/.kube/config`는 옛 CA를 들고 있어 plain `kubectl get nodes`가 `x509: certificate signed by unknown authority`로 실패했다. 2번 절차대로 현재 `kc-lab-1:/etc/rancher/k3s/k3s.yaml`을 다시 받아 `server:`를 `https://192.168.122.11:6443`으로 고친 뒤, 환경변수 없이 `kubectl get nodes -o wide`에서 두 노드 `Ready`를 확인했다. 기존 config는 `~/.kube/config.before-virtualization-revalidation-*`로 보존했다. 증거는 `final/evidence/raw/2026-09-21-test-server-revalidation/125-host-default-kubeconfig-refresh.txt`다. +- 5번의 ②③도 이 실험대에서 치지 않았다. 이 실험대가 친 것은 원격 셸을 두 겹으로 겹친 한 줄이다. +- 인증서 SAN 조회와 두 `journalctl` 을 2026-09-17 에 쳤다. **SAN 에 두 주소가 다 들어 있다** — `127.0.0.1` 과 `192.168.122.11` 이라, kubeconfig 의 주소를 어느 쪽으로 고쳐도 검증이 통과한다. ```text label="SAN 실측" X509v3 Subject Alternative Name: @@ -549,14 +533,14 @@ X509v3 Subject Alternative Name: `192.168.122.11` 이 두 번 나오는데 중복이고 동작에는 영향이 없다. `10.43.0.1` 은 클러스터 안에서 API 서버를 부르는 Service 주소다. -- (observed) **`journalctl -u k3s-agent` 는 정상일 때도 `E` 로 시작하는 줄이 가득하다.** 이것을 모르면 「막혔을 때 여기를 보라」는 안내대로 열었다가 멀쩡한 노드를 고장으로 읽는다. 같은 순간 `kubectl get nodes` 는 둘 다 `Ready` 였다. +- 2026-09-17에는 **`journalctl -u k3s-agent` 가 정상 상태에서도 `E` 로 시작하는 줄을 많이 냈다.** 이것을 모르면 「막혔을 때 여기를 보라」는 안내대로 로그를 열었다가 멀쩡한 노드를 고장으로 읽을 수 있다. 같은 순간 `kubectl get nodes` 는 둘 다 `Ready` 였다. ```text label="Ready 인 agent 의 로그" E0917 07:42:16.919786 conn.go:353] "Error on socket receive" err="read tcp 127.0.0.1:10250->127.0.0.1:55428: use of closed network connection" ``` `kubectl exec` 나 `logs` 로 연결했다가 끊을 때마다 한 줄씩 남는다. **봐야 할 것은 `E` 인지가 아니라 문구다** — 토큰이나 주소가 틀렸으면 `failed to get CA certs` 나 `401 Unauthorized` 가 나온다. -- (unknown) 원본 가이드에 되돌리는 절차가 없다. `k3s-uninstall.sh` 라는 이름이 가이드에 한 번도 안 나오고 이 실험대도 부른 적이 없다. -- (unknown) 설치 명령 두 줄은 재실행으로 검증되지 않았다. 토큰 108자도 k3s 판올림에 따라 달라진다. +- 원본 가이드에 되돌리는 절차가 없다. `k3s-uninstall.sh` 라는 이름이 가이드에 한 번도 안 나오고 이 실험대도 부른 적이 없다. +- 2026-09-21 worker 재구축에서는 k3s server와 agent 설치 경로를 다시 실행해 두 노드가 `Ready`로 돌아오는 것까지 확인했다. 다만 이 검증은 기존 lab host 위에서 worker VM을 다시 만든 구간 재구축이고, 빈 물리 host에서 단계 00부터 전체 가이드를 다시 실행한 것은 아니다. 과거 토큰 108자는 시점값이라 판올림이나 재설치 뒤에도 같은 길이라고 가정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-keycloak-two-nodes-and-postgres-on-k3s.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-keycloak-two-nodes-and-postgres-on-k3s.md index 68ca12d..134e381 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-keycloak-two-nodes-and-postgres-on-k3s.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-keycloak-two-nodes-and-postgres-on-k3s.md @@ -23,24 +23,10 @@ source: 매니페스트 한 장을 `apply` 해 네임스페이스 `keycloak-lab` 에 Keycloak 두 대와 PostgreSQL 하나를 세우는 절차다. 세우는 명령은 두 줄이고, 나머지는 그 둘이 하나의 클러스터로 묶였는지 확인하는 명령이다. -## 관계 - -- **k3s server 와 agent 를 게스트 두 대에 깔고 lab host 에서 kubectl 로 본다** - 여기 적힌 `kubectl` 이 도는 클러스터를 그 단계가 세운다. INTERNAL-IP 가 어긋난 채로 왔으면 여기서 Endpoints 가 한 줄만 나온다. -- **Prometheus 와 Grafana 를 올려 클러스터 안을 밖에서 본다** - 클러스터 크기를 지표로 묻는 확인 명령이 그 스택을 전제한다. 아직 없으면 임시 파드를 띄워 같은 값을 받는다. -- **DNS-01 으로 와일드카드 인증서를 받고 갱신이 서빙까지 닿게 한다** - 밖에서 도메인으로 `200` 을 받는 마지막 확인이 그 단계가 올린 443 을 지난다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - `kubectl get all` 이 이름과 달리 전부를 세지 않고, 로그와 테이블과 지표가 각각 다른 시점을 말한다. 그 구분이 이 단계의 판정을 셋으로 가른다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 밖에서 502 가 나올 때 Ingress 에서 Service 로, Service 에서 Endpoints 로 되짚는 순서가 그 기준에서 나온다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 배포 명령은 lab host의 kubectl에서 실행한다 이 단계는 앞의 셋보다 단순하다. 전부 `[lab host]` 에서 치고, 저장소 루트에서 친다. 마지막 로그인 확인만 브라우저다. @@ -55,9 +41,11 @@ source: 이 단계에는 손으로 쓰는 파일이 없다. 세우는 것이 전부 매니페스트 한 장에 들어 있고, 그 원문은 저장소의 `deploy/lab/k8s/keycloak-cluster.yaml` 이다. -**공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다. +**랩 호스트와 클러스터 내부의 이름 해석을 같은 것으로 보지 않는다.** 랩 호스트에서 `auth.hyeonworks.com`을 풀면 자신의 tailnet 주소 `100.83.212.4`가 나오고, host가 스스로 낸 패킷은 `iifname "tailscale0"` DNAT 규칙을 타지 않으므로 이름 그대로 `curl`하면 실패할 수 있다. 그래서 lab host의 외부 경로 확인에는 `--resolve <이름>:443:192.168.122.10`으로 edge를 직접 짚는다. -## 이 단계가 세우는 것 +클러스터 내부는 앞 단계에서 CoreDNS의 `hyeonworks.com.server`를 적용했다면 다르다. 2026-09-21 재검증에서는 적용 전 Keycloak 파드가 `auth.hyeonworks.com → 100.83.212.4`로 풀었고, 적용 뒤에는 `192.168.122.10`으로 바뀌었다. 따라서 현재 절차를 순서대로 밟았다면 파드 내부에서는 공개 이름이 edge를 가리켜야 한다. tailnet에 붙은 다른 기계에서는 DNS 이름 그대로 외부 진입 경로를 확인한다. + +## PostgreSQL 하나와 Keycloak 두 인스턴스를 올린다 가이드 05 의 「이 단계가 끝나면」은 두 줄이다. @@ -78,22 +66,22 @@ source: | 클러스터링 | JGroups — 디스커버리 테이블 `jgroups_ping`, 메시지 포트 7800 | | 관리 포트 | `9000` — `/metrics` 가 거기 있다 | -**이미지 태그는 매니페스트가 갖는다.** 가이드 05 는 그것을 적지 않았지만 2026-09-17 에 `keycloak-pattern` @ `9465582b` 의 `deploy/lab/k8s/keycloak-cluster.yaml` 을 열어 읽었다(observed). +**이미지 태그는 매니페스트가 갖는다.** 가이드 05 는 그것을 적지 않았지만 2026-09-17 에 `keycloak-pattern` @ `9465582b` 의 `deploy/lab/k8s/keycloak-cluster.yaml` 을 열어 읽었다. ```text image: postgres:16-alpine image: quay.io/keycloak/keycloak:26.7.0 ``` -파드 자원 한도와 프로브 설정과 `persistent-user-sessions` 설정값은 아직 이 기록으로 옮기지 않았다(unknown). +파드 자원 한도와 프로브 설정과 `persistent-user-sessions` 설정값은 아직 이 기록으로 옮기지 않았다. -## 전제와 되돌리기 +## PVC와 기존 namespace를 바꾸기 전에 확인한다 전제는 한 줄이다 — 앞 단계까지 끝나 `https` 가 열린다. -**되돌리는 절차는 원본 가이드 05 에 없다**(unknown). `kubectl delete -f` 도, 지우는 순서도 적혀 있지 않다. 이 단계가 클러스터에 남기는 것은 `keycloak-lab` 네임스페이스와 그 안의 전부이고, 그중 PVC 는 성격이 다르다 — StorageClass 가 `local-path` 라 데이터가 파드가 스케줄된 그 노드의 디스크에 놓인다. 네임스페이스를 지울 때 그 디렉터리가 어떻게 되는지는 가이드가 적지 않았고 이 실험대도 확인하지 않았다. +**되돌리는 절차는 원본 가이드 05 에 없다**. `kubectl delete -f` 도, 지우는 순서도 적혀 있지 않다. 이 단계가 클러스터에 남기는 것은 `keycloak-lab` 네임스페이스와 그 안의 전부이고, 그중 PVC 는 성격이 다르다 — StorageClass 가 `local-path` 라 데이터가 파드가 스케줄된 그 노드의 디스크에 놓인다. 네임스페이스를 지울 때 그 디렉터리가 어떻게 되는지는 가이드가 적지 않았고 이 실험대도 확인하지 않았다. -## 세우기 전에 먼저 본다 +## 두 노드와 기본 StorageClass가 준비됐는지 확인한다 두 확인은 아무것도 바꾸지 않는다. 하나는 명령이 파일을 찾을 수 있는 곳인지 보고, 하나는 이 이름이 아직 Keycloak 이 아님을 확인한다. @@ -104,9 +92,9 @@ cd ~/workspace/keycloak-pattern ls deploy/lab/k8s/ ``` -**어디를 봐야 하는가** — `keycloak-cluster.yaml` 과 `observability.yaml` 이 보이는가. +`keycloak-cluster.yaml` 과 `observability.yaml` 이 보이는가. -**이 결과가 의미하는 것** — 보이면 아래 `kubectl apply -f deploy/...` 가 파일을 찾는다. 안 보이면 첫 단계의 저장소 받기로 돌아간다 — 한 번 세웠다 철거한 뒤에는 VM 과 디스크만 지워지고 저장소는 각자 관리라 이 디렉터리가 없는 상태가 흔하다. +보이면 아래 `kubectl apply -f deploy/...` 가 파일을 찾는다. 안 보이면 첫 단계의 저장소 받기로 돌아간다 — 한 번 세웠다 철거한 뒤에는 VM 과 디스크만 지워지고 저장소는 각자 관리라 이 디렉터리가 없는 상태가 흔하다. ### 확인 ② 이 이름이 아직 Keycloak 이 아니다 @@ -115,9 +103,9 @@ curl -s -o /dev/null -w '%{http_code} tls=%{ssl_verify_result}\n' --resolve auth https://auth.hyeonworks.com/ ``` -**어디를 봐야 하는가** — 앞 단계에서 잰 `404 tls=0` 이 그대로인가. **앞의 코드를 같이 본다.** +앞 단계에서 잰 `404 tls=0` 이 그대로인가. **앞의 코드를 같이 본다.** -**`tls=0` 만 보면 안 된다.** 연결이 아예 안 됐을 때도 `tls=0` 이 나온다 — `%{ssl_verify_result}` 는 TLS 검증까지 갔을 때만 뜻이 있고 못 갔으면 초기값 `0` 이 그대로 찍힌다. 2026-09-17 에 앞 단계를 건너뛴 상태에서 재 보니 이렇게 나왔다(observed). +**`tls=0` 만 보면 안 된다.** 연결이 아예 안 됐을 때도 `tls=0` 이 나온다 — `%{ssl_verify_result}` 는 TLS 검증까지 갔을 때만 뜻이 있고 못 갔으면 초기값 `0` 이 그대로 찍힌다. 2026-09-17 에 앞 단계를 건너뛴 상태에서 재 보니 이렇게 나왔다. ```text 000 tls=0 @@ -125,9 +113,9 @@ curl -s -o /dev/null -w '%{http_code} tls=%{ssl_verify_result}\n' --resolve auth `000` 은 응답이 없었다는 뜻이다. **판정은 코드가 `404` 인 것과 `tls=0` 이 같이 나오는 것으로 한다.** -**이 결과가 의미하는 것** — 가이드가 그 값 옆에 한 줄을 적어 두었다 — 앞의 `404` 는 이 단계 이후에 `200` 으로 바뀐다. 지금 재 두면 아래의 `200` 이 이 단계가 만든 변화인지가 분명해진다. +가이드가 그 값 옆에 한 줄을 적어 두었다 — 앞의 `404` 는 이 단계 이후에 `200` 으로 바뀐다. 지금 재 두면 아래의 `200` 이 이 단계가 만든 변화인지가 분명해진다. -## 실행 절차 +## PostgreSQL과 Keycloak을 순서대로 배포한다 ### 1. 매니페스트 한 장을 적용한다 @@ -141,11 +129,11 @@ cd ~/workspace/keycloak-pattern kubectl apply -f deploy/lab/k8s/keycloak-cluster.yaml ``` -**예상 결과** — 만든 객체가 줄마다 찍힌다. 파드가 서는 것은 그다음이라 이 출력만으로 끝났다고 판정하지 않는다. +정상이면 만든 객체가 줄마다 찍힌다. 파드가 서는 것은 그다음이라 이 출력만으로 끝났다고 판정하지 않는다. -**왜 필요한가** — 네임스페이스를 따로 만들지 않는다. 매니페스트 첫 문서가 `kind: Namespace` 라 `apply` 가 같이 만들고, `kubectl create namespace` 를 먼저 치면 두 번째 실행부터 `AlreadyExists` 로 막힌다. +네임스페이스를 따로 만들지 않는다. 매니페스트 첫 문서가 `kind: Namespace` 라 `apply` 가 같이 만들고, `kubectl create namespace` 를 먼저 치면 두 번째 실행부터 `AlreadyExists` 로 막힌다. -**문제가 생기면** — 적용 자체가 거절되면 클러스터가 서 있는지부터 본다. 앞 단계의 `kubectl get nodes` 가 두 줄을 내는지가 전제다. `error: the path ... does not exist` 면 저장소 루트가 아닌 곳에서 쳤다. +실패하면 적용 자체가 거절되면 클러스터가 서 있는지부터 본다. 앞 단계의 `kubectl get nodes` 가 두 줄을 내는지가 전제다. `error: the path ... does not exist` 면 저장소 루트가 아닌 곳에서 쳤다. ### 2. 두 파드가 다 설 때까지 기다린다 @@ -155,7 +143,7 @@ kubectl apply -f deploy/lab/k8s/keycloak-cluster.yaml kubectl -n keycloak-lab rollout status statefulset/keycloak --timeout=300s ``` -**예상 결과** — 2026-09-17 에 갓 세운 클러스터에서 잰 것이다(observed). +정상이면 2026-09-17 에 갓 세운 클러스터에서 잰 것이다. ```text Waiting for 2 pods to be ready... @@ -165,11 +153,11 @@ partitioned roll out complete: 2 new pods have been updated... 마지막 한 줄에서 `complete` 라는 낱말과 파드 개수 `2` 를 본다. 그 줄이 나올 때까지 명령이 안 끝나고 멈춰 있는 것이 정상이다. **다만 아무것도 안 찍고 멈춰 있지는 않다** — `Waiting for …` 줄은 진행 상황이지 오류가 아니다. 숫자가 줄어들수록 파드가 하나씩 Ready 가 된다. StatefulSet 은 파드를 하나씩 순서대로 띄우므로 중간에 `0/2` 로 한참 멈춰 있는 것도 정상이다. -**왜 필요한가** — 300초를 다 쓰고 타임아웃으로 끝나면 그것도 답이 된다. 「안 떴다」가 확정되고 진단으로 넘어간다. `rollout status` 를 쓰는 까닭은 `get pods` 를 반복해서 치는 것보다 나아서만이 아니라, 언제 끝났는지를 사람이 판정하지 않아도 되기 때문이다. 기다리지 않고 판정으로 가면 아직 안 뜬 것과 못 뜨는 것이 섞인다. +300초를 다 쓰고 타임아웃으로 끝나면 그것도 답이 된다. 「안 떴다」가 확정되고 진단으로 넘어간다. `rollout status` 를 쓰는 까닭은 `get pods` 를 반복해서 치는 것보다 나아서만이 아니라, 언제 끝났는지를 사람이 판정하지 않아도 되기 때문이다. 기다리지 않고 판정으로 가면 아직 안 뜬 것과 못 뜨는 것이 섞인다. -**문제가 생기면** — 타임아웃으로 끝났으면 아래 「막히면」의 순서대로 본다. +실패하면 타임아웃으로 끝났으면 아래 「막히면」의 순서대로 본다. -## 구성 값 +## replica·DB·Service에 사용한 값 만들어지는 객체는 「이 단계가 세우는 것」의 표에 있고, 여기서는 그 값들이 어디서 왔는지를 적는다. @@ -184,13 +172,13 @@ partitioned roll out complete: 2 new pods have been updated... Ingress 의 호스트 이름이 인증서의 이름과 다르면, 밖에서는 TLS 는 되는데 `404` 가 나온다. -## 끝났는지 판정한다 +## Keycloak 두 파드와 클러스터 형성을 확인한다 `kubectl get pods` 만 보면 놓치는 것이 많다. 위에서 아래로 확인한다. ### 확인 ① 무엇이 만들어졌나 -**무엇을 확인하는가** — 이 네임스페이스에 무엇이 서 있는지. +이 네임스페이스에 무엇이 서 있는지. ```bash label="[lab host] ① 워크로드와 Service 를 본다" kubectl -n keycloak-lab get all @@ -200,19 +188,19 @@ kubectl -n keycloak-lab get all kubectl -n keycloak-lab get secret,configmap,pvc,ingress ``` -**어디를 봐야 하는가** — ① 은 종류별로 묶여 나오는 왼쪽 이름 열을 훑고, 파드 줄에서는 READY 칸의 `1/1` 과 RESTARTS 칸을 본다. RESTARTS 가 0 이 아니면 지금은 `Running` 이어도 한 번 죽었다 살아난 것이다. ② 는 네 종류가 하나씩이라도 있는가, PVC 줄의 STATUS 가 `Bound` 인가, Ingress 줄의 HOSTS 칸이 `auth.hyeonworks.com` 인가. +① 은 종류별로 묶여 나오는 왼쪽 이름 열을 훑고, 파드 줄에서는 READY 칸의 `1/1` 과 RESTARTS 칸을 본다. RESTARTS 가 0 이 아니면 지금은 `Running` 이어도 한 번 죽었다 살아난 것이다. ② 는 네 종류가 하나씩이라도 있는가, PVC 줄의 STATUS 가 `Bound` 인가, Ingress 줄의 HOSTS 칸이 `auth.hyeonworks.com` 인가. -**이 결과가 의미하는 것** — `get all` 은 이름과 달리 전부가 아니다. Secret 과 ConfigMap 과 PVC 와 Ingress 가 ① 의 출력에 나오지 않으므로, 첫 명령만 보고 「다 만들어졌다」로 판정하면 빠진 것을 모른 채 다음으로 간다. 매니페스트에 있는데 ② 에 없는 종류가 있다면 `apply` 가 부분적으로만 먹었다. +`get all` 은 이름과 달리 전부가 아니다. Secret 과 ConfigMap 과 PVC 와 Ingress 가 ① 의 출력에 나오지 않으므로, 첫 명령만 보고 「다 만들어졌다」로 판정하면 빠진 것을 모른 채 다음으로 간다. 매니페스트에 있는데 ② 에 없는 종류가 있다면 `apply` 가 부분적으로만 먹었다. ### 확인 ② Deployment 에서 ReplicaSet 을 지나 파드까지 이어졌나 -**무엇을 확인하는가** — 사슬 어디까지 갔는지. Deployment 는 파드를 직접 만들지 않고 ReplicaSet 을 만들며 그것이 파드를 만든다. +사슬 어디까지 갔는지. Deployment 는 파드를 직접 만들지 않고 ReplicaSet 을 만들며 그것이 파드를 만든다. ```bash label="[lab host] 해시로 사슬을 맞춰 본다" kubectl -n keycloak-lab get rs,pod -l app=postgres ``` -**실측**(observed) — 2026-09-11 +**실측** — 2026-09-11 ```text NAME DESIRED CURRENT READY AGE @@ -222,9 +210,9 @@ NAME READY STATUS RESTARTS AGE pod/postgres-7b474b88c8-ll87p 1/1 Running 0 80m ``` -**어디를 봐야 하는가** — ReplicaSet 이름의 해시가 파드 이름 가운데 해시와 같은가, 그리고 `DESIRED` 와 `CURRENT` 와 `READY` 세 숫자가 다 `1` 인가. +ReplicaSet 이름의 해시가 파드 이름 가운데 해시와 같은가, 그리고 `DESIRED` 와 `CURRENT` 와 `READY` 세 숫자가 다 `1` 인가. -**이 결과가 의미하는 것** — 이 출력에 Deployment 줄이 없는 것도 정상이다. 이 매니페스트는 `app: postgres` 라벨을 파드 템플릿에만 달았고, ReplicaSet 과 파드는 템플릿에서 라벨을 물려받지만 Deployment 는 물려받지 않는다. Deployment 를 보려면 라벨 없이 친다. +이 출력에 Deployment 줄이 없는 것도 정상이다. 이 매니페스트는 `app: postgres` 라벨을 파드 템플릿에만 달았고, ReplicaSet 과 파드는 템플릿에서 라벨을 물려받지만 Deployment 는 물려받지 않는다. Deployment 를 보려면 라벨 없이 친다. ```bash label="[lab host] Deployment 는 라벨 없이 본다" kubectl -n keycloak-lab get deploy @@ -252,13 +240,13 @@ pod/keycloak-1 1/1 Running 0 19m ### 확인 ③ Secret 이 파드까지 이어졌나 -**무엇을 확인하는가** — 값이 있는 것과 파드가 그 값을 받은 것은 다르다. 세 확인 모두 값을 찍지 않고 길이만 본다. +값이 있는 것과 파드가 그 값을 받은 것은 다르다. 세 확인 모두 값을 찍지 않고 길이만 본다. ```bash label="[lab host] ① Secret 에 무슨 키가 얼마만큼 들어 있나" kubectl -n keycloak-lab describe secret keycloak-lab-secrets ``` -**실측**(observed) — 아래쪽 `Data` 절만 옮겼다 +**실측** — 아래쪽 `Data` 절만 옮겼다 ```text Data @@ -281,9 +269,9 @@ kubectl -n keycloak-lab exec keycloak-0 -- \ 길이=19 ``` -**어디를 봐야 하는가** — ① 은 `Data` 절의 키 이름과 그 옆의 바이트 수 두 칸, ② 와 ③ 은 숫자 하나다. 세 수가 서로 같은가. +① 은 `Data` 절의 키 이름과 그 옆의 바이트 수 두 칸, ② 와 ③ 은 숫자 하나다. 세 수가 서로 같은가. -**이 결과가 의미하는 것** — `describe` 는 값을 절대 찍지 않고 길이만 보여 주므로 키 목록 확인과 「비어 있지 않은가」 확인이 한 명령으로 끝난다. 세 수가 같으면 Secret 에서 파드 환경변수까지 이어졌다. `길이=0` 이면 Secret 에는 있는데 이 파드가 그것을 안 받은 것이라, `envFrom` 이나 `valueFrom` 을 빠뜨렸거나 파드가 Secret 을 고치기 전에 떠서 옛 값을 들고 있다. 환경변수로 주입한 Secret 은 값을 바꿔도 파드를 다시 만들기 전까지 갱신되지 않는다. 바이트 수가 뜻밖에 크면, 이를테면 20 이어야 할 것이 21 이면 만들면서 개행이 같이 들어간 것이고 증상은 「비밀번호가 틀렸다」로 나온다. 매니페스트가 기대하는 키 이름이 하나라도 다르면 파드는 `CreateContainerConfigError` 로 멈추고, 까닭은 `describe pod` 의 Events 에 키 이름까지 적혀 나온다. +`describe` 는 값을 절대 찍지 않고 길이만 보여 주므로 키 목록 확인과 「비어 있지 않은가」 확인이 한 명령으로 끝난다. 세 수가 같으면 Secret 에서 파드 환경변수까지 이어졌다. `길이=0` 이면 Secret 에는 있는데 이 파드가 그것을 안 받은 것이라, `envFrom` 이나 `valueFrom` 을 빠뜨렸거나 파드가 Secret 을 고치기 전에 떠서 옛 값을 들고 있다. 환경변수로 주입한 Secret 은 값을 바꿔도 파드를 다시 만들기 전까지 갱신되지 않는다. 바이트 수가 뜻밖에 크면, 이를테면 20 이어야 할 것이 21 이면 만들면서 개행이 같이 들어간 것이고 증상은 「비밀번호가 틀렸다」로 나온다. 매니페스트가 기대하는 키 이름이 하나라도 다르면 파드는 `CreateContainerConfigError` 로 멈추고, 까닭은 `describe pod` 의 Events 에 키 이름까지 적혀 나온다. `-o yaml` 로 보지 않는다. base64 는 암호화가 아니라 인코딩이라 화면과 스크롤백과 화면 공유와 터미널 로그에 값이 그대로 찍힌다. @@ -310,13 +298,13 @@ KC_BOOTSTRAP_ADMIN_USERNAME KC_BOOTSTRAP_ADMIN_PASSWORD keycloak-lab-secrets ``` -열세 줄이 나오고 **오른쪽이 채워진 줄은 둘**이다(2026-09-17, observed). 처음에는 앞의 네 줄만 실었는데 그러면 `KC_BOOTSTRAP_ADMIN_PASSWORD` 가 Secret 에서 오는 것이 안 보인다. +2026-09-17 실제 출력은 열세 줄이었고 **오른쪽이 채워진 줄은 둘**이었다. 처음에는 앞의 네 줄만 실었는데 그러면 `KC_BOOTSTRAP_ADMIN_PASSWORD` 가 Secret 에서 오는 것이 안 보인다. 오른쪽 칸이 채워진 줄만 Secret 을 참조한다. 비밀이어야 할 변수의 오른쪽이 비어 있으면 그 값은 매니페스트에 평문으로 적혀 있다는 뜻이고, 그 파일은 대개 git 에 들어간다. ### 확인 ④ Service 뒤에 파드가 있나 -**무엇을 확인하는가** — Service 가 있어도 셀렉터가 안 맞으면 뒤가 비어 있다. +Service 가 있어도 셀렉터가 안 맞으면 뒤가 비어 있다. ```bash label="[lab host] Endpoints 를 센다" kubectl -n keycloak-lab describe svc keycloak | grep -i endpoints @@ -326,9 +314,9 @@ kubectl -n keycloak-lab describe svc keycloak | grep -i endpoints Endpoints: 10.42.0.67:8080,10.42.1.155:8080 ``` -**어디를 봐야 하는가** — 쉼표로 갈린 주소가 몇 개인가, 그 IP 들이 파드 IP 와 같은가, 포트 번호가 컨테이너가 실제로 듣는 포트인가. +쉼표로 갈린 주소가 몇 개인가, 그 IP 들이 파드 IP 와 같은가, 포트 번호가 컨테이너가 실제로 듣는 포트인가. -**이 결과가 의미하는 것** — 두 개면 Service 가 두 파드를 다 잡고 있다. 비어 있으면 Service 는 있는데 뒤가 없는 것이고, 이때 증상이 「연결은 되는데 응답이 없다」라 원인이 Service 에 있다는 것을 알아보기 어렵다. 하나뿐이면 나머지 한 파드가 readiness 를 통과하지 못한 것이라, 그 상태로 이중화 실험을 시작하면 이미 한쪽으로만 가고 있던 트래픽을 이중화 실패로 오독하게 된다. +두 개면 Service 가 두 파드를 다 잡고 있다. 비어 있으면 Service 는 있는데 뒤가 없는 것이고, 이때 증상이 「연결은 되는데 응답이 없다」라 원인이 Service 에 있다는 것을 알아보기 어렵다. 하나뿐이면 나머지 한 파드가 readiness 를 통과하지 못한 것이라, 그 상태로 이중화 실험을 시작하면 이미 한쪽으로만 가고 있던 트래픽을 이중화 실패로 오독하게 된다. 목록으로 보려면 EndpointSlice 를 쓴다. @@ -341,7 +329,7 @@ NAME ADDRESSTYPE PORTS ENDPOINTS AGE keycloak-xdph6 IPv4 8080 10.42.0.67,10.42.1.155 3d23h ``` -`kubectl get endpoints` 는 쓰지 않는다. v1.33 부터 deprecated 이고 실행하면 경고가 나온다(external) — 이 실험대의 k3s 는 `v1.36.4+k3s1` 이라 해당한다. 옛 문서와 블로그에 그 형태가 많다. +`kubectl get endpoints` 는 쓰지 않는다. Kubernetes v1.33부터 deprecated 처리됐고, 이 실험대의 k3s 는 `v1.36.4+k3s1` 이라 그 조건에 해당한다. 이 deprecation 자체는 쿠버네티스 쪽 규격이다. 옛 문서와 블로그에 그 형태가 많다. 준비 상태까지 함께 보려면 이렇게 뽑는다. @@ -364,15 +352,15 @@ kubectl -n keycloak-lab get pods --show-labels ### 확인 ⑤ PVC 가 실제로 붙었나 -**무엇을 확인하는가** — 볼륨이 실제로 잡혔는지. +볼륨이 실제로 잡혔는지. ```bash label="[lab host] PVC 의 상태와 StorageClass 를 본다" kubectl -n keycloak-lab get pvc ``` -**어디를 봐야 하는가** — STATUS 칸이 `Bound` 인가 `Pending` 인가, VOLUME 칸이 비어 있는지, STORAGECLASS 칸이 `local-path` 인가. +STATUS 칸이 `Bound` 인가 `Pending` 인가, VOLUME 칸이 비어 있는지, STORAGECLASS 칸이 `local-path` 인가. -**이 실험대에는 파드 번호가 붙은 PVC 가 없다.** 「StatefulSet 이면 PVC 이름 끝에 파드 번호가 붙는다」는 `volumeClaimTemplates` 를 쓰는 StatefulSet 의 이야기이고 **이 매니페스트의 `keycloak` StatefulSet 에는 그 칸이 없다.** PVC 는 PostgreSQL 이 쓰는 `postgres-data` 하나뿐이고 그것도 StatefulSet 이 아니라 별도 문서로 선언되어 Deployment 가 `claimName` 으로 가리킨다. 2026-09-17 에 매니페스트와 클러스터 양쪽에서 확인했다(observed). +**이 실험대에는 파드 번호가 붙은 PVC 가 없다.** 「StatefulSet 이면 PVC 이름 끝에 파드 번호가 붙는다」는 `volumeClaimTemplates` 를 쓰는 StatefulSet 의 이야기이고 **이 매니페스트의 `keycloak` StatefulSet 에는 그 칸이 없다.** PVC 는 PostgreSQL 이 쓰는 `postgres-data` 하나뿐이고 그것도 StatefulSet 이 아니라 별도 문서로 선언되어 Deployment 가 `claimName` 으로 가리킨다. 2026-09-17 에 매니페스트와 클러스터 양쪽에서 확인했다. ```text NAME STATUS VOLUME CAPACITY STORAGECLASS @@ -381,7 +369,7 @@ postgres-data Bound pvc-fe269834-3dd1-4b1f-82f6-a53413310a30 5Gi l 그래서 **Keycloak 파드는 볼륨을 안 갖는다.** 세션이 어디 사는지를 묻는 이 실험대의 질문에서 그것이 중요하다 — 파드가 죽으면 그 안의 것은 사라지고 `postgres-data` 만 남는다. -**이 결과가 의미하는 것** — `Bound` 면 볼륨이 붙었다. `Pending` 이면 StorageClass 가 없거나 노드에 자리가 없다. `local-path` 는 파드가 스케줄될 때까지 기다리므로, 파드가 안 뜨면 PVC 도 `Pending` 인 것이 정상이다. 둘이 서로를 기다리는 것처럼 보이지만 파드 쪽 원인을 먼저 본다. 사유는 PVC 의 이벤트에 적혀 있다. +`Bound` 면 볼륨이 붙었다. `Pending` 이면 StorageClass 가 없거나 노드에 자리가 없다. `local-path` 는 파드가 스케줄될 때까지 기다리므로, 파드가 안 뜨면 PVC 도 `Pending` 인 것이 정상이다. 둘이 서로를 기다리는 것처럼 보이지만 파드 쪽 원인을 먼저 본다. 사유는 PVC 의 이벤트에 적혀 있다. ```bash label="[lab host] 이름을 안 주면 전부 나온다" kubectl -n keycloak-lab describe pvc @@ -391,7 +379,7 @@ kubectl -n keycloak-lab describe pvc ### 확인 ⑥ 클러스터가 묶였나 — 셋이 서로 다른 것을 말한다 -**무엇을 확인하는가** — 두 Keycloak 이 하나의 클러스터로 묶였는지. 셋이 각각 다른 시점을 말한다. 로그는 「그때 그렇게 보였다」이고, 테이블은 「지금 등록되어 있다」이며, 지표는 「지금 그 노드가 그렇게 안다」이다. +두 Keycloak 이 하나의 클러스터로 묶였는지. 셋이 각각 다른 시점을 말한다. 로그는 「그때 그렇게 보였다」이고, 테이블은 「지금 등록되어 있다」이며, 지표는 「지금 그 노드가 그렇게 안다」이다. ```bash label="[lab host] 로그 — 그때 본 클러스터 뷰" kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1 @@ -402,9 +390,9 @@ ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-10001|1] (2) [keycloak-0-10001, keycloak-1-52537] ``` -**어디를 봐야 하는가** — 세 군데다. 괄호 안의 `(2)` 가 멤버 수, 대괄호 안의 이름 목록, 그리고 `|1` 이 뷰 번호다. 뷰 번호는 멤버가 들고 날 때마다 올라간다. +세 군데다. 괄호 안의 `(2)` 가 멤버 수, 대괄호 안의 이름 목록, 그리고 `|1` 이 뷰 번호다. 뷰 번호는 멤버가 들고 날 때마다 올라간다. -**이름 뒤에 `(v=…)` 가 붙어 나오기도 한다.** 2026-09-17 에 새로 세운 클러스터에서 같은 줄을 뽑아 보니 이랬다(observed). +**이름 뒤에 `(v=…)` 가 붙어 나오기도 한다.** 2026-09-17 에 새로 세운 클러스터에서 같은 줄을 뽑아 보니 이랬다. ```text [keycloak-1-3159(v=16.0.12)|1] (2) [keycloak-1-3159(v=16.0.12), keycloak-0-13057(v=16.0.12)] @@ -414,21 +402,21 @@ ISPN000094: Received new cluster view for channel ISPN: 이름 목록의 `keycloak-0-10001` 은 파드 이름 그대로가 아니다. Infinispan 이 파드 이름 뒤에 임의의 접미사를 붙여 클러스터 노드 식별자로 쓰기 때문에, 아래 지표에 나오는 `keycloak-0-46674` 와는 `keycloak-0` 까지만 같다. 그래서 대조할 때 맞춰 보는 것은 접미사 앞의 파드 이름이다. Keycloak 만 StatefulSet 이라 그 앞부분이 고정이고, 덕분에 로그와 `jgroups_ping` 테이블과 지표를 같은 이름으로 견줄 수 있다. -**이 결과가 의미하는 것** — `(2)` 면 이 노드는 상대를 봤다. `(1)` 이면 혼자 있다고 알고 있다. 뷰 번호가 계속 오르고 있으면 멤버가 붙었다 떨어지기를 반복하는 중이라, 「지금 2 다」라는 스냅숏보다 그 사실이 더 중요하다. 이 줄은 과거형이므로 지금 상태는 지표로 본다. +`(2)` 면 이 노드는 상대를 봤다. `(1)` 이면 혼자 있다고 알고 있다. 뷰 번호가 계속 오르고 있으면 멤버가 붙었다 떨어지기를 반복하는 중이라, 「지금 2 다」라는 스냅숏보다 그 사실이 더 중요하다. 이 줄은 과거형이므로 지금 상태는 지표로 본다. ```bash label="[lab host] 테이블 — 지금 등록되어 있는 멤버" kubectl -n keycloak-lab exec deploy/postgres -- \ psql -U keycloak -d keycloak -c 'select name, ip from jgroups_ping' ``` -행이 몇 개인가, 그리고 `ip` 칸이 확인 ④ 에서 본 파드 IP 와 같은가를 본다. 이 표는 「등록되어 있다」이지 「서로 말이 통한다」가 아니다. 두 행이 다 있는데 로그가 `(1)` 이면 서로를 찾기는 했는데 7800 포트로 메시지가 안 가는 것이고, 이 실험대에서 실제로 그 일이 벌어졌다(observed). 옛 파드의 행이 남아 있을 수도 있으므로 IP 를 지금 파드와 대조한다. +행이 몇 개인가, 그리고 `ip` 칸이 확인 ④ 에서 본 파드 IP 와 같은가를 본다. 이 표는 「등록되어 있다」이지 「서로 말이 통한다」가 아니다. 두 행이 다 있는데 로그가 `(1)` 이면 서로를 찾기는 했는데 7800 포트로 메시지가 안 가는 것이고, 이 실험대에서 실제로 그 일이 벌어졌다. 옛 파드의 행이 남아 있을 수도 있으므로 IP 를 지금 파드와 대조한다. ```bash label="[lab host] 지표 — 지금 각 노드가 아는 멤버 수" kubectl -n observability exec deploy/prometheus -- \ wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' ``` -**실측**(observed) — 줄바꿈 없는 JSON 한 줄에서 읽어낸 값이다 +**실측** — 줄바꿈 없는 JSON 한 줄에서 읽어낸 값이다 ```text keycloak-1 → 2 @@ -465,7 +453,7 @@ vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-46674"} 2.0 ### 확인 ⑦ 밖에서 닿나 -**무엇을 확인하는가** — nginx 에서 Traefik, Ingress, Service 를 지나 파드까지 전부 이어졌는지. +nginx 에서 Traefik, Ingress, Service 를 지나 파드까지 전부 이어졌는지. ```bash label="[lab host] 앞 두 단계와 같은 명령" curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.168.122.10 \ @@ -476,21 +464,21 @@ curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.1 200 ``` -**어디를 봐야 하는가** — 코드 한 칸. 여기서 값만 뽑는 형태를 쓰는 것은 앞 두 단계에서 잰 것과 같은 명령으로 같은 값이 나오는지 비교하는 것이 목적이기 때문이다. +코드 한 칸. 여기서 값만 뽑는 형태를 쓰는 것은 앞 두 단계에서 잰 것과 같은 명령으로 같은 값이 나오는지 비교하는 것이 목적이기 때문이다. -**이 결과가 의미하는 것** — `200` 이면 2홉이 다 이어졌다. `502` 나 `503` 이면 뒤에서부터 되짚는다 — Ingress 가 있는지(확인 ①), Service 뒤에 파드가 있는지(확인 ④), 파드가 Ready 인지(확인 ②) 순서다. 처음 보는 오류라 헤더가 필요하면 읽는 형태로 바꾼다. +`200` 이면 2홉이 다 이어졌다. `502` 나 `503` 이면 뒤에서부터 되짚는다 — Ingress 가 있는지(확인 ①), Service 뒤에 파드가 있는지(확인 ④), 파드가 Ready 인지(확인 ②) 순서다. 처음 보는 오류라 헤더가 필요하면 읽는 형태로 바꾼다. ```bash label="[lab host] 처음 보는 오류는 헤더까지 읽는다" curl -I --resolve auth.hyeonworks.com:443:192.168.122.10 https://auth.hyeonworks.com/realms/master ``` -**이 `200` 은 앞 단계를 끝냈을 때의 값이다.** 인증서 단계를 건너뛰고 이 단계만 했다면 443 을 듣는 것이 없으므로 여기는 `000` 이다. 2026-09-17 에 그 상태에서 재 보니 이렇게 나왔다(observed). +**이 `200` 은 앞 단계를 끝냈을 때의 값이다.** 인증서 단계를 건너뛰고 이 단계만 했다면 443 을 듣는 것이 없으므로 여기는 `000` 이다. 2026-09-17 에 그 상태에서 재 보니 이렇게 나왔다. ```text curl: (7) Failed to connect to auth.hyeonworks.com:443 after 2 ms: Could not connect to server ``` -**그때도 이 단계가 세운 것까지는 잴 수 있다.** TLS 를 빼고 `Host` 헤더를 실어 80 으로 치면 nginx → Traefik → Ingress → Service → 파드가 이어졌는지가 그대로 나온다. 둘 다 `200` 이었다(observed). +**그때도 이 단계가 세운 것까지는 잴 수 있다.** TLS 를 빼고 `Host` 헤더를 실어 80 으로 치면 nginx → Traefik → Ingress → Service → 파드가 이어졌는지가 그대로 나온다. 둘 다 `200` 이었다. ```bash label="[lab host] TLS 를 빼고 사슬만 잰다" curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: auth.hyeonworks.com' http://192.168.122.10/realms/master @@ -501,20 +489,15 @@ curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: auth.hyeonworks.com' http://1 ### 확인 ⑧ 관리 콘솔에 로그인된다 -**무엇을 확인하는가** — 가이드가 적은 「이 단계가 끝나면」의 앞 절반. +가이드가 적은 「이 단계가 끝나면」의 앞 절반. 브라우저로 `https://auth.hyeonworks.com/admin` 에 들어가 관리자로 로그인한다. 비밀번호는 확인 ③ 의 Secret 에 있고, 이 문서는 그 값을 적지 않는다 — 이 실험대의 확인은 전부 길이까지만 본다. -세션이 실제로 어디 저장되는지까지 보려면 DB 를 직접 본다. 평소에는 필요 없다. +세션 저장 위치는 관리 콘솔 로그인 성공과 별개의 질문이다. DB 테이블 한 번 조회한 결과만으로 `DB 저장` 또는 `메모리 저장`을 확정하지 않는다. Keycloak 버전과 persistent-session 설정에 따라 저장 구조와 시점이 달라질 수 있기 때문이다. -```bash label="[lab host] 로그인 전과 후에 두 번 재서 차이를 본다" -kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ - -c "select offline_flag, count(*) from offline_user_session group by 1" -``` +원문에는 `offline_user_session`을 로그인 전후로 비교하는 확인이 남아 있지만, 현재 `persistent-user-sessions` 설정값과 해당 조회 결과를 이 기록에서 다시 대조하지 못했다. 따라서 이 Setup의 통과 조건은 **두 노드가 클러스터를 이루고 외부 요청과 관리 콘솔이 동작하는 것**까지로 둔다. 세션 저장 위치와 파드 재시작 뒤 생존 여부는 별도 세션 실험의 증거로 판정한다. -`offline_flag` 가 `0` 인 행의 `count` 를 로그인 전과 후에 두 번 재서 그 차이를 본다. 한 번만 재면 아무것도 알 수 없다. 로그인 뒤 수가 늘면 세션이 DB 에 남는 것이고, 안 늘면 메모리에만 있다. 메모리에만 있으면 파드를 재시작하는 순간 세션이 사라지고, DB 에 있으면 살아남는다. - -## 통과 조건을 한 번에 다시 본다 +## Keycloak 두 노드 확인표 | 무엇 | 명령 | 통과 | |---|---|---| @@ -523,7 +506,7 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \ | 클러스터 | `… query=vendor_cluster_size` | 원소 둘 · 값 둘 다 2 | | 밖에서 | `curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` | -## 막히면 +## 파드가 Pending이거나 두 인스턴스가 묶이지 않을 때 가이드 05 가 순서를 정해 두었다. 로그부터 보지 않는다. @@ -569,18 +552,18 @@ kubectl -n keycloak-lab exec -it keycloak-0 -- sh | `AlreadyExists` | `kubectl create namespace` 를 먼저 쳤다. 매니페스트가 만든다 | | `error: the path ... does not exist` | 저장소 루트가 아닌 곳에서 쳤다 | -## 무엇이 관측이고 무엇이 아닌가 +## 이 Keycloak 배포에서 실제로 확인한 범위 -- (observed) 2026-09-11 의 ReplicaSet 과 파드 이름과 해시, Secret 의 19 와 22 bytes 와 주입된 길이 19 와 복호 길이 22, Endpoints 두 개와 EndpointSlice 의 `ready` 두 줄, `ISPN000094` 뷰 줄, `vendor_cluster_size` 가 둘 다 2, 임시 파드가 읽은 `2.0`, Keycloak 이미지에 `curl` 이 없다는 것과 exit code 127. -- (observed) 디스커버리 테이블에는 둘 다 있는데 메시지가 안 가는 상태를 실제로 겪었다. -- (external) `kubectl get endpoints` 의 v1.33 deprecation 은 쿠버네티스 쪽 규격이고 이 실험대가 잰 값이 아니다. -- (external) Infinispan 이 파드 이름에 임의의 접미사를 붙여 클러스터 노드 식별자로 쓴다는 것은 Infinispan 의 동작이다. 이 기록에 실린 `keycloak-0-10001` 과 `keycloak-0-46674` 가 그렇게 생긴 이름이다(observed). -- (unknown) `keycloak-cluster.yaml` 원문은 `source/` 에 없다. 파드 자원 한도와 프로브 설정과 `persistent-user-sessions` 설정값은 아직 이 기록으로 옮기지 않았다. -- (unknown) `get all` 과 `get deploy` 와 `get pvc` 와 `describe pvc` 와 디스커버리 테이블 조회와 `get events` 와 `describe pod` 와 `logs` 의 출력은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다. -- (unknown) 원본 가이드 05 에 되돌리는 절차가 없다. `local-path` PVC 가 노드 디스크에 남긴 데이터가 네임스페이스를 지울 때 어떻게 되는지도 확인하지 않았다. -- (unknown) 이 단계에는 「이 실험대는 이렇게 했다」와 「따라 하는 사람은」 두 갈래가 없다. 05 는 파일을 직접 쓰지 않고 저장소의 매니페스트를 적용한다. -- (observed) 2026-09-17 에 갓 세운 클러스터에서 이 절차를 처음부터 다시 밟았다. 같은 값이 다시 나온 것 — `postgres-7b474b88c8` 이라는 ReplicaSet 해시, Secret 의 19·22 bytes 와 주입된 길이 19·복호 길이 22, Endpoints 두 개와 `ready` 두 줄, `jgroups_ping` 2 행, 임시 파드가 읽은 `vendor_cluster_size … 2.0`, Keycloak 이미지에 `curl` 이 없다는 것과 exit code 127, `kubectl get endpoints` 의 deprecation 경고. **파드 IP 와 Infinispan 접미사만 달랐다** — 그것들은 매번 새로 붙는다. -- (observed) 같은 날 잰 것 가운데 문서와 달랐던 것 — `rollout status` 가 `Waiting for …` 를 찍는다는 것, PVC 가 `postgres-data` 하나라는 것, 환경변수 목록이 열세 줄이라는 것, `ISPN000094` 이름에 `(v=16.0.12)` 가 붙는다는 것, 인증서 단계를 건너뛰면 밖에서가 `000` 이라는 것. -- (observed) `keycloak-cluster.yaml` 을 `keycloak-pattern` @ `9465582b` 에서 읽었다. 이미지 태그는 `postgres:16-alpine` 과 `quay.io/keycloak/keycloak:26.7.0` 이다. +- 2026-09-11 의 ReplicaSet 과 파드 이름과 해시, Secret 의 19 와 22 bytes 와 주입된 길이 19 와 복호 길이 22, Endpoints 두 개와 EndpointSlice 의 `ready` 두 줄, `ISPN000094` 뷰 줄, `vendor_cluster_size` 가 둘 다 2, 임시 파드가 읽은 `2.0`, Keycloak 이미지에 `curl` 이 없다는 것과 exit code 127. +- 디스커버리 테이블에는 둘 다 있는데 메시지가 안 가는 상태를 실제로 겪었다. +- `kubectl get endpoints` 의 v1.33 deprecation 은 쿠버네티스 쪽 규격이다. 이 실험대에서는 해당 버전 위에서 명령 선택에 반영했을 뿐, deprecation 자체를 측정한 것은 아니다. +- Infinispan 이 파드 이름에 임의의 접미사를 붙여 클러스터 노드 식별자로 쓰는 것은 Infinispan 쪽 동작이다. 2026-09-17 실제 로그에는 `keycloak-0-10001` 과 `keycloak-0-46674` 가 그런 형태로 나타났다. +- 이 글은 `keycloak-cluster.yaml` 전체를 본문에 복제하지 않는다. 이미지 태그와 현재 검증에 필요한 주요 설정은 확인했지만, 파드 자원 한도·프로브·`persistent-user-sessions` 설정값은 이 Setup의 설명 범위에 모두 옮기지 않았다. 그 값이 필요한 실험에서는 실제 매니페스트를 다시 확인한다. +- `get all` 과 `get deploy` 와 `get pvc` 와 `describe pvc` 와 디스커버리 테이블 조회와 `get events` 와 `describe pod` 와 `logs` 의 출력은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다. +- 원본 가이드 05 에 되돌리는 절차가 없다. `local-path` PVC 가 노드 디스크에 남긴 데이터가 네임스페이스를 지울 때 어떻게 되는지도 확인하지 않았다. +- 이 단계에는 「이 실험대는 이렇게 했다」와 「따라 하는 사람은」 두 갈래가 없다. 05 는 파일을 직접 쓰지 않고 저장소의 매니페스트를 적용한다. +- 2026-09-17 에 갓 세운 클러스터에서 이 절차를 처음부터 다시 밟았다. 같은 값이 다시 나온 것 — `postgres-7b474b88c8` 이라는 ReplicaSet 해시, Secret 의 19·22 bytes 와 주입된 길이 19·복호 길이 22, Endpoints 두 개와 `ready` 두 줄, `jgroups_ping` 2 행, 임시 파드가 읽은 `vendor_cluster_size … 2.0`, Keycloak 이미지에 `curl` 이 없다는 것과 exit code 127, `kubectl get endpoints` 의 deprecation 경고. **파드 IP 와 Infinispan 접미사만 달랐다** — 그것들은 매번 새로 붙는다. +- 같은 날 실제 출력에서 문서와 달랐던 것은 다음과 같다 — `rollout status` 가 `Waiting for …` 를 찍는다는 것, PVC 가 `postgres-data` 하나라는 것, 환경변수 목록이 열세 줄이라는 것, `ISPN000094` 이름에 `(v=16.0.12)` 가 붙는다는 것, 인증서 단계를 건너뛰면 밖에서가 `000` 이라는 것. +- `keycloak-cluster.yaml` 을 `keycloak-pattern` @ `9465582b` 에서 읽었다. 이미지 태그는 `postgres:16-alpine` 과 `quay.io/keycloak/keycloak:26.7.0` 이다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-power-cycle-the-lab-and-reallocate-guest-memory.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-power-cycle-the-lab-and-reallocate-guest-memory.md index 1e032af..0511c2a 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-power-cycle-the-lab-and-reallocate-guest-memory.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-power-cycle-the-lab-and-reallocate-guest-memory.md @@ -31,32 +31,16 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 게스트를 다시 만들지 않고 메모리를 재배분하고, 노트북을 끄기 전에 워크로드를 위에서부터 내리고, 켤 때 그 역순으로 되살리는 절차다. 순서를 틀리면 PostgreSQL 이 강제 종료되어 다음 기동에 crash recovery 가 돈다. -## 관계 - -- **실험대를 철거하고 무엇이 남는지 확인한다** - 지우는 쪽이다. 거기서는 `virsh destroy` 로 전원을 뽑고, 여기서는 `virsh shutdown` 으로 정상 종료한다. -- **Keycloak 2노드와 PostgreSQL 을 k3s 에 올리고 클러스터가 묶였는지 확인한다** - 여기서 내리고 올리는 워크로드를 그 절차가 세운다. 네임스페이스와 리소스 이름도 거기서 정해졌다. -- **k3s server 와 agent 를 게스트 두 대에 깔고 lab host 에서 kubectl 로 본다** - `kubectl` 이 lab host 에서 도는 까닭이 그 절차에 있다. 이 편의 명령도 전부 거기서 친다. -- **호스트에 직접 깔지 않고 게스트 VM 두 대로 간다 — 관측자가 실험 대상과 함께 죽으면 안 된다** - server 와 agent 를 죽였을 때가 왜 다른지, 그래서 관측 스택을 어디에 두는지를 그 결정이 받는다. -- **5120MB 를 줬는데 353MB 를 쓰고 있었다 — 선언한 양과 실제로 드는 양** - 재배분한 값은 상한이지 점유가 아니다. 상한과 실제 점유를 가르는 방법이 그 기록에 있다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 여기서 준 값이 그 물음이 견줄 설정 값이 된다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 전원과 메모리 조정은 lab host에서 시작한다 전부 `[lab host]` 다. `virsh` 도 `kubectl` 도 거기서 돌고, 게스트 안을 봐야 할 때만 `ssh kc-lab-1 ...` 형태로 원격 실행한다. 게스트에 로그인해서 치지 않는다. 이 절차는 메모리 값을 바꾸고 워크로드를 올렸다 내리는 일뿐이라 설정 파일을 손대지 않고, 편집기를 여는 곳도 없다. -## 이 절차가 다루는 일 셋 +## 전원 순환·메모리 재할당·복구 확인을 한 번에 다룬다 세우는 편 일곱과 지우는 편 하나 사이에 있는 일이다. 실험대를 계속 쓰면 실제로 자주 하는 쪽이 이쪽이다. @@ -68,7 +52,7 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 셋 다 게스트를 지우지 않아서, 디스크도 시드 ISO 도 그대로 두고 도메인의 값과 파드 수만 바꾼다. -## 실행 절차 +## 게스트를 내리고 메모리를 바꾼 뒤 다시 올린다 ### 1. 게스트 메모리를 다시 나눈다 @@ -90,25 +74,25 @@ virsh dominfo kc-lab-1 | grep -i memory ssh kc-lab-1 free -m ``` -**예상 결과** — ② 의 두 줄이 방금 준 값으로 바뀐다. ③ 의 `dominfo` 와 게스트의 `free -m` 은 **재부팅 전까지 옛 값 그대로**다. +정상이면 ② 의 두 줄이 방금 준 값으로 바뀐다. ③ 의 `dominfo` 와 게스트의 `free -m` 은 **재부팅 전까지 옛 값 그대로**다. -**`dominfo` 로 판정하지 않는다.** `--config` 는 다음 기동부터 쓸 설정만 바꾸는데 `dominfo` 는 **지금 돌고 있는 값**을 보여 준다. 그래서 `setmaxmem … --config` 가 제대로 먹어도 `dominfo` 의 숫자는 안 바뀌고, 그 화면을 보고 「안 먹었다」로 읽게 된다. 2026-09-17 에 같은 순간을 두 명령으로 나란히 찍었다(observed). +**`dominfo` 로 판정하지 않는다.** `--config` 는 다음 기동부터 쓸 설정만 바꾸는데 `dominfo` 는 **지금 돌고 있는 값**을 보여 준다. 그래서 `setmaxmem … --config` 가 제대로 먹어도 `dominfo` 의 숫자는 안 바뀌고, 그 화면을 보고 「안 먹었다」로 읽게 된다. 2026-09-17 에 같은 순간을 두 명령으로 나란히 찍었다. ```text virsh dominfo Max memory: 5242880 KiB ← 돌고 있는 값 -virsh dumpxml --inactive 4194304 ← 방금 바꾼 설정 +virsh dumpxml --inactive 4194304 ← 다음 기동 설정 ``` -같은 도메인, 같은 시각, 다른 숫자다. **바꾼 것이 들어갔는지는 `--inactive` 가 답하고, `dominfo` 는 지금 무엇으로 돌고 있는지를 답한다.** +이 출력은 위의 `5120M` 예시를 그대로 실행한 결과가 아니라, 2026-09-17에 **다음 기동 값을 4096MiB로 바꾸던 별도 측정**이다. 같은 도메인과 같은 시각에도 live 값과 inactive 정의가 다를 수 있다는 점을 보여 준다. **다음 기동 설정이 바뀌었는지는 `--inactive`가 답하고, `dominfo`는 지금 무엇으로 돌고 있는지를 답한다.** -**왜 필요한가** — 두 명령이 다른 것을 바꾼다. +두 명령이 다른 것을 바꾼다. `setmaxmem` : 상한. 부팅할 때 게스트가 보는 총량 `setmem` : 현재 할당. 상한 이하여야 한다 현재값을 상한보다 크게 줄 수 없으므로 `setmaxmem` 이 먼저다. 거꾸로 치면 두 번째 명령이 상한을 넘는 값을 받아 거부된다. 플래그도 갈린다 — `--config` 는 영구 정의라 다음 부팅부터 먹고, `--live` 는 실행 중인 도메인에 즉시 먹는다. 다만 `setmaxmem --live` 는 게스트가 부팅할 때 메모리 맵을 정하기 때문에 대개 거부된다. 그래서 상한을 바꾸려면 게스트를 껐다 켠다. -**문제가 생기면** — ② 의 `free -m` 이 옛 값이면 아직 재부팅하지 않은 것이다. `dominfo` 쪽도 안 바뀌었으면 `--config` 를 빠뜨렸는지 본다. +실패하면 ② 의 `free -m` 이 옛 값이면 아직 재부팅하지 않은 것이다. `dominfo` 쪽도 안 바뀌었으면 `--config` 를 빠뜨렸는지 본다. ### 2. 위에서부터 내린다 @@ -126,22 +110,25 @@ kubectl -n keycloak-lab scale deployment/postgres --replicas=0 kubectl -n keycloak-lab wait --for=delete pod -l app=postgres --timeout=120s ``` -```bash label="[lab host] ③ 게스트를 한 대씩 ACPI 정상 종료한다" +```bash label="[lab host] ③ worker 두 대를 한 대씩 ACPI 정상 종료한다" virsh shutdown kc-lab-1 virsh shutdown kc-lab-2 ``` -```bash label="[lab host] ④ 호스트를 끈다" +2026-09-21 재검증에서 실제로 종료한 것은 worker 두 대다. 물리 host까지 끄려면 edge도 먼저 내려야 하지만, 실제 서비스 종단점인 edge와 물리 host 전원 차단까지는 실행하지 않았다. 그래서 **edge를 포함한 전체 VM 종료 → host poweroff** 순서는 아직 end-to-end로 확인하지 못했다. 검증하지 않은 edge 종료 명령은 이 실행 블록에 섞지 않는다. + +```bash label="[lab host] ④ 세 VM이 shut off인지 확인한 뒤 호스트를 끈다" +virsh list --all sudo systemctl poweroff ``` -**예상 결과** — ① 과 ② 의 `wait` 가 각각 파드 삭제를 확인하고 돌아온다. ③ 뒤에는 `virsh list --all` 에서 두 게스트가 `shut off` 로 바뀐다. +정상이면 ① 과 ② 의 `wait` 가 각각 파드 삭제를 확인하고 돌아온다. worker 두 대까지만 내리는 재검증에서는 ③ 뒤 `virsh list --all`로 두 VM의 상태를 확인했다. 물리 host까지 끄는 전체 절차는 edge 종료까지 검증한 뒤에만 ④로 이어 간다. -**왜 필요한가** — ③ 의 `virsh shutdown` 은 게스트 systemd 가 k3s 를 멈추고 k3s 가 컨테이너에 SIGTERM 을 보내는 연쇄다. 유예 시간이 짧으면 PostgreSQL 이 강제 종료되어 다음 기동에 crash recovery 가 돈다. ① 과 ② 로 미리 내려 두면 그 연쇄가 데이터베이스까지 닿지 않는다. 순서를 뒤집어 PostgreSQL 을 먼저 내리면 Keycloak 이 데이터베이스 없이 남아 기동 실패와 재시작을 반복한다. +③ 의 `virsh shutdown` 은 게스트 systemd 가 k3s 를 멈추고 k3s 가 컨테이너에 SIGTERM 을 보내는 연쇄다. 유예 시간이 짧으면 PostgreSQL 이 강제 종료되어 다음 기동에 crash recovery 가 돈다. ① 과 ② 로 미리 내려 두면 그 연쇄가 데이터베이스까지 닿지 않는다. 순서를 뒤집어 PostgreSQL 을 먼저 내리면 Keycloak 이 데이터베이스 없이 남아 기동 실패와 재시작을 반복한다. -**③ 의 두 줄을 `&&` 로 잇지 않는다.** 두 게스트는 서로 앞뒤가 없고, `A && B` 는 A 가 성공했을 때만 B 를 실행한다. `kc-lab-1` 이 이미 `shut off` 면 `virsh shutdown` 이 `domain is not running` 으로 실패해 `kc-lab-2` 는 켜진 채로 남고, 바로 다음 ④ 가 그 게스트를 강제로 끈다 — 이 단계가 막으려던 바로 그 상태다. 이 실험대는 `virsh shutdown kc-lab-1 && virsh shutdown kc-lab-2` 로 쳤고(observed) 나눈 형태는 치지 않았다(unknown). +**③ 의 두 명령을 `&&` 로 잇지 않는다.** 한 VM이 이미 `shut off`여서 `virsh shutdown`이 실패하더라도 다른 worker의 종료 명령은 실행돼야 한다. 과거 실험에서는 worker 둘을 `virsh shutdown kc-lab-1 && virsh shutdown kc-lab-2`로 이었다가 이 문제가 드러났고, 2026-09-21 재검증에서는 두 명령을 분리했다. edge까지 포함한 전체 종료는 아직 실제 host power-cycle로 검증하지 않았다. -**문제가 생기면** — `wait` 가 `120s` 안에 안 끝나면 파드가 종료 중에 걸린 것이다. `kubectl -n keycloak-lab get pods -o wide` 로 어느 파드가 어느 노드에서 `Terminating` 인지 보고, 그 상태로 ③ 을 치지 않는다. +실패하면 `wait` 가 `120s` 안에 안 끝나면 파드가 종료 중에 걸린 것이다. `kubectl -n keycloak-lab get pods -o wide` 로 어느 파드가 어느 노드에서 `Terminating` 인지 보고, 그 상태로 ③ 을 치지 않는다. ### 3. 종료의 역순으로 되살린다 @@ -149,11 +136,13 @@ sudo systemctl poweroff 게스트를 띄워 노드가 `Ready` 가 되기를 기다린 뒤, PostgreSQL 을 먼저 올리고 Keycloak 을 나중에 올린다. -```bash label="[lab host] ① 게스트를 한 대씩 띄운다" +```bash label="[lab host] ① worker 두 대를 한 대씩 띄운다" virsh start kc-lab-1 virsh start kc-lab-2 ``` +worker 두 대의 복구 순서는 2026-09-21에 확인했다. edge까지 포함한 물리 host 재기동 전체 순서는 아직 실제 power-cycle로 검증하지 않았다. 그래서 edge 시작 명령도 위 실행 블록에는 넣지 않는다. 전체 절차를 검증할 때는 edge가 올라온 뒤 `systemctl is-active nginx`와 외부 HTTPS까지 함께 확인해야 한다. + ```bash label="[lab host] ② 노드가 Ready 가 되기를 기다린다" kubectl get nodes ``` @@ -167,13 +156,13 @@ kubectl -n keycloak-lab rollout status deployment/postgres kubectl -n keycloak-lab scale statefulset/keycloak --replicas=2 ``` -**예상 결과** — ② 의 `kubectl get nodes` 에 두 노드가 `Ready` 로 나온다. ③ 의 `rollout status` 가 배포 완료로 돌아온 뒤에 ④ 를 친다. +정상이면 ② 의 `kubectl get nodes` 에 두 노드가 `Ready` 로 나온다. ③ 의 `rollout status` 가 배포 완료로 돌아온 뒤에 ④ 를 친다. -**왜 필요한가** — PostgreSQL 이 먼저다. Keycloak 이 데이터베이스 없이 뜨면 기동에 실패하기 때문이다. 그리고 스케일을 0 으로 내려 둔 것은 자동으로 복구되지 않는다. 게스트를 켜고 노드가 `Ready` 가 돼도 파드 수는 0 그대로이므로 ③ 과 ④ 를 명시적으로 쳐야 한다. ① 을 두 줄로 나눈 까닭은 2번의 ③ 과 같다 — `kc-lab-1` 이 이미 `running` 이면 `virsh start` 가 `domain is already active` 로 실패해 `kc-lab-2` 가 안 뜨고, 그러면 ② 에 노드가 하나만 나와 게스트를 안 띄운 것인지 노드가 안 붙은 것인지 갈리지 않는다. +PostgreSQL 이 먼저다. Keycloak 이 데이터베이스 없이 뜨면 기동에 실패하기 때문이다. 그리고 스케일을 0 으로 내려 둔 것은 자동으로 복구되지 않는다. 게스트를 켜고 노드가 `Ready` 가 돼도 파드 수는 0 그대로이므로 ③ 과 ④ 를 명시적으로 쳐야 한다. ① 의 두 VM 시작 명령도 서로 잇지 않는다. 하나가 이미 `running`이라 실패해도 다른 worker는 계속 시작해야 하기 때문이다. -**문제가 생기면** — ② 에서 노드가 `Ready` 로 안 올라오면 게스트 안의 k3s 유닛부터 본다. ③ 의 `rollout status` 가 멈춰 있으면 PostgreSQL 이 crash recovery 중일 수 있으니 아래 확인 방법의 `postmaster.pid` 를 함께 본다. +실패하면 ② 에서 노드가 `Ready` 로 안 올라오면 게스트 안의 k3s 유닛부터 본다. ③ 의 `rollout status` 가 멈춰 있으면 PostgreSQL 이 crash recovery 중일 수 있으니 아래 확인 방법의 `postmaster.pid` 를 함께 본다. -## 구성 값 +## 전원 순환 전후에 유지할 VM 값 기준 배치는 2026-09-03 에 구축이 끝난 상태다. @@ -193,29 +182,44 @@ kubectl -n keycloak-lab scale statefulset/keycloak --replicas=2 네임스페이스는 `keycloak-lab` 이고 `wait` 의 제한 시간은 양쪽 다 `120s` 다. -## 확인 방법 +## 다시 켠 뒤 VM과 클러스터가 돌아왔는지 확인한다 -**무엇을 확인하는가** — 어느 게스트가 server 이고 어느 게스트가 agent 인지, 그리고 PostgreSQL 이 깨끗이 내려갔는지. +어느 게스트가 server 이고 어느 게스트가 agent 인지, 그리고 PostgreSQL 이 깨끗이 내려갔는지. ```bash label="[lab host] 노드의 control-plane 라벨을 열로 뽑는다" kubectl get nodes -o custom-columns=\ 'NODE:.metadata.name,CP:.metadata.labels.node-role\.kubernetes\.io/control-plane' ``` -```bash label="[lab host] 게스트가 다시 뜬 뒤 postmaster.pid 가 있는지 본다" -ssh kc-lab-2 'sudo ls /var/lib/rancher/k3s/storage/*postgres-data*/pgdata/postmaster.pid' +PostgreSQL 종료가 깨끗했는지는 **종료 직후와 다음 기동 로그를 나눠 본다.** 현재 실험대의 `postgres-data` PV는 `kc-lab-2`에 node affinity가 있다. + +```bash label="[lab host] PostgreSQL 을 0으로 내린 직후 pid 파일이 사라졌는지 본다" +ssh kc-lab-2 'sudo test -f /var/lib/rancher/k3s/storage/*postgres-data*/pgdata/postmaster.pid && echo exists || echo absent' ``` -**어디를 봐야 하는가** — 첫 명령에서 `kc-lab-1` 의 `CP` 열에 값이 있고 `kc-lab-2` 는 비어 있다. 둘째 명령은 파일이 없다고 나와야 한다. `postmaster.pid` 가 보이면 비정상 종료였고 다음 기동에 복구 절차가 실행된다. +2026-09-21 재검증에서는 PostgreSQL 실행 중에는 `exists`, `replicas=0`으로 정상 종료한 뒤에는 `absent`였다. 반대로 PostgreSQL을 다시 1로 올린 뒤에는 `postmaster.pid`가 **존재하는 것이 정상**이다. 살아 있는 서버가 자기 PID 파일을 유지하기 때문이다. -**이 결과가 의미하는 것** — 둘째 명령은 게스트가 떠 있어야 읽을 수 있으므로 3번의 ① 뒤에 친다. 첫 명령이 필요한 까닭은 두 노드를 같은 것으로 다루면 안 되기 때문이다. `kc-lab-2` 를 죽이면 그 노드의 워크로드만 사라지고 클러스터 제어는 살아 있지만, `kc-lab-1` 을 죽이면 `kubectl` 이 안 되고 DNS 와 인그레스도 함께 사라진다. 노드 상실 실험은 agent 를 죽이는 것이고, server 를 죽이는 것은 컨트롤 플레인 상실이라 성격이 다르다. +재기동 뒤에는 pid 파일이 아니라 PostgreSQL 기동 로그로 이전 종료를 판정한다. -## 이 절차가 감당하지 않는 것 +```bash label="[lab host] 재기동 로그에서 clean shutdown 이었는지 본다" +kubectl -n keycloak-lab logs deploy/postgres | tail -20 +``` + +```text label="2026-09-21 재검증" +database system was shut down at 2026-09-21 08:20:18 UTC +database system is ready to accept connections +``` + +첫 명령에서 `kc-lab-1` 의 `CP` 열에 값이 있고 `kc-lab-2` 는 비어 있는지, 종료 직후 pid 파일은 `absent`인지, 재기동 로그가 clean shutdown 시각을 읽고 바로 ready가 되는지 본다. **재기동 뒤 `postmaster.pid` 존재 여부를 crash 판정으로 쓰면 안 된다.** 이전 문서의 그 판정은 2026-09-21 실험에서 틀린 것으로 확인됐다. + +노드 역할 구분은 그대로 중요하다. `kc-lab-2` 를 죽이면 워커 워크로드가 사라지지만 제어면은 남고, `kc-lab-1` 을 죽이면 `kubectl` 과 control-plane도 함께 사라진다. + +## 이 절차만으로 판단하지 않는 장애 범위 관측 스택을 어느 노드에 둘지는 여기서 정하지 않는다. server 와 agent 가 왜 다른지만 위에서 한 번 적었고, 그래서 관측을 server 쪽에 두는 판단은 게스트 두 대를 고른 결정과 Prometheus 를 올리는 편이 받는다. 이 절차의 근거는 제9부의 개념 문서이고, 그 문서의 실측 스냅샷은 2026-09-03, 재배분 기록은 2026-09-11 이다. 제7부가 2026-09-10 에 잰 게스트 메모리 값과 날짜가 엇갈리므로, 게스트 메모리 수치는 각각 그 시점의 것으로 읽는다. -이 순서대로 다시 돌려 검증하지는 않았다. 위 명령들은 원본이 적어 둔 순서를 그대로 옮긴 것이고, 한 번 더 껐다 켜서 같은 출력이 나오는지는 확인하지 못했다. +2026-09-21에 이 순서를 worker VM 두 대에 다시 실행했다. Keycloak→PostgreSQL 순으로 replica를 0까지 내리고 두 VM을 `virsh shutdown`으로 정상 종료한 뒤 다시 시작했다. 두 노드는 `Ready`로 복귀했지만 Keycloak과 PostgreSQL의 replica는 0 그대로였고, PostgreSQL을 먼저 1로 올린 뒤 Keycloak을 2로 올려야 원래 상태가 복구됐다. PostgreSQL 기동 로그는 clean shutdown을 확인했고 Keycloak 두 파드도 다시 Ready가 됐다. 물리 `test-server` 자체의 `systemctl poweroff`는 edge의 실제 서비스와 SSH/Tailscale까지 끊으므로 이번 재검증에서는 안전 조건 때문에 실행하지 않았다. 따라서 물리 호스트 전원 차단 뒤 복구 절차는 아직 확인하지 못했다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prepare-the-lab-host-for-virtualization.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prepare-the-lab-host-for-virtualization.md index e25c26d..489a947 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prepare-the-lab-host-for-virtualization.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prepare-the-lab-host-for-virtualization.md @@ -9,9 +9,9 @@ project: virtualization status: 게시 전 studio: "https://hyeonworks.com/studio/documents/7c66a553-0008-4294-a27a-687bd1bda0c1/edit" pinnedVersions: - - name: libvirt (observed; pacman 설치는 버전 미고정) + - name: libvirt (실제 환경에서 확인; pacman 설치는 버전 미고정) version: 12.7.0 - - name: QEMU (observed; pacman 설치는 버전 미고정) + - name: QEMU (실제 환경에서 확인; pacman 설치는 버전 미고정) version: 11.1.1 source: - final/document.md#186-단계-00-lab-host-가상화-준비 @@ -24,24 +24,10 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit 물리 기계 한 대를 게스트를 올릴 수 있는 상태로 바꾸는 절차다. 가상화 패키지 넷을 깔고, libvirt 소켓을 켜고, 사용자를 `libvirt` 그룹에 넣고, 연결 URI 를 시스템 단위로 고정한다. 끝나면 `virsh list --all` 이 `sudo` 없이 통과한다. -## 관계 - -- **cloud-init 시드로 게스트 세 대를 만들고 SSH 가 키로 붙게 한다** - 다음 단계이고, 여기서 고정한 `qemu:///system` 과 `default` 네트워크 위에서 `virt-install` 이 돈다. -- **qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다** - 여기서 깐 qemu 가 다루는 디스크 형식을 그 글이 설명한다. 다음 단계의 오버레이가 성립하는 근거도 거기 있다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - `virsh list` 의 빈 표와 `net-list` 에서 `--all` 을 뺐을 때 안 보이는 네트워크를 어떻게 읽어야 하는지 그 기준이 정한다. -- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다** - 이 절차의 만드는 명령이 왜 재실행으로 검증되지 않은 채 남았는지를 그 기준이 가른다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 같은 명령을 다시 쳐서 이 호스트가 같은 상태가 되는지는 아직 재지 않았다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 이 단계의 명령은 lab host에서 실행한다 명령은 전부 `[lab host]` 에서 친다. 게스트가 아직 없어서 다른 셸 표시가 나오지 않는다. @@ -51,9 +37,9 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit |---|---|---| | `[lab host]` | `test-server`. `virsh` 가 도는 곳 | `ssh test-server` | -편집기를 여는 곳은 4번 한 단계다. 거기서 `~/.bashrc` 와 `~/.config/libvirt/libvirt.conf` 를 차례로 연다. 나머지는 전부 조회·설치·유닛 조작이라 운영자가 평소에 치는 CLI 를 그대로 쓴다. +편집기를 여는 곳은 4번 한 단계다. `~/.config/libvirt/libvirt.conf` 를 열어 `uri_default` 하나를 둔다. `LIBVIRT_DEFAULT_URI` 환경 변수가 필요한 별도 도구가 있을 때만 실제 로그인 셸의 rc 파일을 추가로 만진다. 이 호스트는 `/bin/zsh` 이므로 그런 경우에도 `~/.bashrc` 를 기본값처럼 쓰지 않는다. -## 이 단계가 세우는 것 +## libvirt와 KVM을 쓸 수 있는 host 상태를 만든다 가이드 00 의 「이 단계가 끝나면」은 한 줄이다. @@ -69,7 +55,7 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit | 판 번호 | libvirt `12.7.0` · `QEMU emulator version 11.1.1` | | 유닛 | `libvirtd.socket` — `.service` 가 아니다 | | 그룹 | `donghyeon libvirt wheel` | -| 연결 URI | `LIBVIRT_DEFAULT_URI=qemu:///system` | +| 연결 URI | `~/.config/libvirt/libvirt.conf`의 `uri_default = "qemu:///system"` | | 가상 네트워크 | `default` / `active` / autostart `yes` → `virbr0` · `192.168.122.0/24` | 네 패키지가 하는 일이 서로 다르다. @@ -81,24 +67,24 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit | virt-install | VM 을 만드는 명령 | | dnsmasq | 가상 네트워크의 DHCP·DNS | -## 전제와 되돌리기 +## 패키지와 사용자 그룹을 바꾸기 전에 확인한다 전제는 가이드가 두 줄로 적었다 — 물리 기계 한 대가 있고, 배포판은 상관없다. 이 실험대는 Arch Linux 로 세웠고 배포판이 다르면 패키지 이름만 달라진다. 앞 단계가 없으므로 이 절차는 다른 무엇도 전제하지 않는다. -**되돌리는 절차는 원본 가이드 00 에 없다**(unknown). 가이드 7편 가운데 되돌리기를 적은 편은 단계 03 하나다. 이 단계가 호스트에 남기는 것은 여섯이다. +**되돌리는 절차는 원본 가이드 00 에 없다**. 가이드 7편 가운데 되돌리기를 적은 편은 단계 03 하나다. 이 단계가 호스트에 남기는 것은 여섯이다. | 남는 것 | 어디에 | |---|---| | 패키지 넷 | 배포판 패키지 데이터베이스 | | `libvirt` 보조 그룹 | 사용자 계정 | | `libvirtd.socket` 활성화 | systemd | -| `export` 한 줄 | `~/.bashrc` | | `uri_default` 한 줄 | `~/.config/libvirt/libvirt.conf` | +| 선택적인 셸 환경 변수 | 실제 로그인 셸의 rc 파일. 이 호스트는 `/bin/zsh`라 `~/.zshrc` | | `default` 네트워크의 autostart | libvirt 설정 | 무엇을 어떤 순서로 걷어내는지는 가이드에 적혀 있지 않고 이 실험대도 걷어내 본 적이 없다. 여기에 되돌리는 명령을 적으려면 지어내야 하므로 적지 않는다. -## 세우기 전에 먼저 본다 +## CPU 가상화와 현재 libvirt 상태부터 확인한다 두 확인은 아무것도 바꾸지 않는다. 기계를 켤 때 먼저 도는 펌웨어와 그 설정 화면을 BIOS(Basic Input/Output System)라고 부르는데, 거기서 가상화가 꺼져 있으면 뒤가 전부 헛일이므로 먼저 본다. @@ -108,9 +94,9 @@ sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommit grep -Eo 'vmx|svm' /proc/cpuinfo | head -1 ``` -**어디를 봐야 하는가** — 출력 한 줄이 전부다. `vmx`(Intel) 또는 `svm`(AMD) 중 하나가 찍히는가, 아니면 아무것도 안 찍히는가. +출력 한 줄이 전부다. `vmx`(Intel) 또는 `svm`(AMD) 중 하나가 찍히는가, 아니면 아무것도 안 찍히는가. -**이 결과가 의미하는 것** — 찍혔으면 이 호스트에서 KVM 을 쓸 수 있다. 빈 출력은 CPU 가 못 한다는 뜻이 아니라 대개 BIOS 에서 꺼져 있다는 뜻이다. 재부팅해 Intel VT-x 나 AMD-V 를 켜고 다시 잰다. 여기서 막히면 뒤의 어떤 단계도 의미가 없으므로 진행하지 않는다. +찍혔으면 이 호스트에서 KVM 을 쓸 수 있다. 빈 출력은 CPU 가 못 한다는 뜻이 아니라 대개 BIOS 에서 꺼져 있다는 뜻이다. 재부팅해 Intel VT-x 나 AMD-V 를 켜고 다시 잰다. 여기서 막히면 뒤의 어떤 단계도 의미가 없으므로 진행하지 않는다. ### 확인 ② 커널이 그 확장을 실제로 잡고 있는가 @@ -118,16 +104,16 @@ grep -Eo 'vmx|svm' /proc/cpuinfo | head -1 lsmod | grep kvm ``` -출력은 이 실험대에서 캡처해 두지 않았다(unknown). 가이드도 줄 모양만 적었다. +출력은 이 실험대에서 캡처해 두지 않았다. 가이드도 줄 모양만 적었다. ```text kvm_intel ... kvm ... ``` -**어디를 봐야 하는가** — 왼쪽 첫 열의 모듈 이름 두 개. 벤더 모듈(`kvm_intel` 또는 `kvm_amd`)과 공용 `kvm` 이 둘 다 있어야 한다. 셋째 열은 이 모듈을 쓰고 있는 쪽의 수라서, 아직 VM 이 없으면 0 으로 나온다. +왼쪽 첫 열의 모듈 이름 두 개. 벤더 모듈(`kvm_intel` 또는 `kvm_amd`)과 공용 `kvm` 이 둘 다 있어야 한다. 셋째 열은 이 모듈을 쓰고 있는 쪽의 수라서, 아직 VM 이 없으면 0 으로 나온다. -**이 결과가 의미하는 것** — 두 줄이면 커널이 하드웨어 가상화를 쓸 준비를 마쳤고 `virt-install` 이 KVM 가속으로 뜬다. `kvm` 만 있고 벤더 모듈이 없으면 확인 ① 의 BIOS 설정이 커널까지 안 넘어왔다. 아무것도 없으면 확인 ① 로 돌아간다. 모듈을 직접 올려 보면 거부 사유가 그대로 나온다. +두 줄이면 커널이 하드웨어 가상화를 쓸 준비를 마쳤고 `virt-install` 이 KVM 가속으로 뜬다. `kvm` 만 있고 벤더 모듈이 없으면 확인 ① 의 BIOS 설정이 커널까지 안 넘어왔다. 아무것도 없으면 확인 ① 로 돌아간다. 모듈을 직접 올려 보면 거부 사유가 그대로 나온다. ```bash label="[lab host] 벤더 모듈을 손으로 올려 거부 사유를 받는다" sudo modprobe kvm_intel @@ -135,7 +121,7 @@ sudo modprobe kvm_intel **왜 이걸 먼저 보나** — KVM 없이도 QEMU 는 돌지만 소프트웨어 에뮬레이션이 되어 수십 배 느려진다. 게스트가 뜨긴 뜨는데 느리다면 대개 여기서 갈린다. 그 상태로 게스트 셋을 올리면 원인을 게스트 안에서 찾게 된다. -## 실행 절차 +## KVM·libvirt와 기본 네트워크를 준비한다 ### 1. 저장소를 lab host 에 받는다 @@ -154,7 +140,7 @@ git clone https://git.learn.hyeonworks.com/donghyeon.kang/keycloak-pattern.git ~ cd ~/workspace/keycloak-pattern ``` -**예상 결과** — 매니페스트 두 장이 보인다. +정상이면 매니페스트 두 장이 보인다. ```bash label="[lab host] ③ 뒤 단계가 쓸 매니페스트를 확인한다" ls deploy/lab/k8s/ @@ -162,9 +148,9 @@ ls deploy/lab/k8s/ `keycloak-cluster.yaml` 과 `observability.yaml` 이 보이는가만 본다. -**왜 필요한가** — 이후 단계에서 `deploy/...` 로 시작하는 상대경로가 나오면 전부 이 디렉터리 안에서 친다. lab host 에 저장소가 없으면 `cp: cannot stat` 이나 `error: the path ... does not exist` 로 막히고, 이 실험대가 실제로 그 형태로 겪었다. 한 번 세웠다 철거했으면 이 디렉터리가 없을 수 있다. 철거는 VM 과 디스크와 네트워크만 지우고 저장소는 각자 관리라, `~/workspace` 에 cloud-init 시드만 남아 있는 상태가 흔하다. ① 을 먼저 치는 까닭이 여기 있다. +이후 단계에서 `deploy/...` 로 시작하는 상대경로가 나오면 전부 이 디렉터리 안에서 친다. lab host 에 저장소가 없으면 `cp: cannot stat` 이나 `error: the path ... does not exist` 로 막히고, 이 실험대가 실제로 그 형태로 겪었다. 한 번 세웠다 철거했으면 이 디렉터리가 없을 수 있다. 철거는 VM 과 디스크와 네트워크만 지우고 저장소는 각자 관리라, `~/workspace` 에 cloud-init 시드만 남아 있는 상태가 흔하다. ① 을 먼저 치는 까닭이 여기 있다. -**문제가 생기면** — `ls` 가 아무것도 못 찾으면 클론이 실패한 것이니 ② 를 다시 친다. 클론은 됐는데 `deploy/lab/k8s/` 가 없으면 다른 브랜치를 받았다. +실패하면 `ls` 가 아무것도 못 찾으면 클론이 실패한 것이니 ② 를 다시 친다. 클론은 됐는데 `deploy/lab/k8s/` 가 없으면 다른 브랜치를 받았다. ### 2. 가상화 패키지를 깐다 @@ -174,7 +160,7 @@ ls deploy/lab/k8s/ sudo pacman -S --needed qemu-full libvirt virt-install dnsmasq ``` -Debian 이나 Ubuntu 면 이름이 다르다. 이 실험대는 Arch 로 세웠고 아래 줄은 가이드가 참고로 적어 둔 것이다(external). +Debian 이나 Ubuntu 에서는 패키지 이름이 다르다. 이 실험대는 Arch 로 세웠고 아래 줄은 가이드가 다른 배포판을 위해 참고로 적어 둔 것이다. 이 줄은 여기서 직접 실행해 확인한 명령이 아니다. ```bash label="[lab host] Debian/Ubuntu 라면 이름이 이렇게 바뀐다" sudo apt install qemu-system-x86 libvirt-daemon-system virtinst cloud-image-utils @@ -185,11 +171,11 @@ virsh --version qemu-system-x86_64 --version ``` -**예상 결과** — 판 번호 두 줄. 이 실험대는 libvirt `12.7.0` 과 `QEMU emulator version 11.1.1` 이었다(observed). 다만 위 `pacman -S --needed` 는 Arch 현재 저장소에서 받으므로 이 두 버전을 재설치에도 고정하는 명령이 아니다. frontmatter의 번호도 **tested/observed version**이지 package pin이 아니다. +정상이면 판 번호 두 줄. 이 실험대는 libvirt `12.7.0` 과 `QEMU emulator version 11.1.1` 이었다. 다만 위 `pacman -S --needed` 는 Arch 현재 저장소에서 받으므로 이 두 버전을 재설치에도 고정하는 명령이 아니다. frontmatter의 번호도 **실제 확인한 버전**이지 package pin이 아니다. -**왜 필요한가** — 여기서 나오는 libvirt 판 번호가 뒤의 옵션 이름을 가른다. 훨씬 낮은 판이면 `virt-install --cloud-init` 같은 옵션의 동작이 달라질 수 있으니, 다음 단계에서 막힐 때 이 번호를 같이 본다. +여기서 나오는 libvirt 판 번호가 뒤의 옵션 이름을 가른다. 훨씬 낮은 판이면 `virt-install --cloud-init` 같은 옵션의 동작이 달라질 수 있으니, 다음 단계에서 막힐 때 이 번호를 같이 본다. -**문제가 생기면** — `command not found` 면 패키지가 안 깔렸다. 번호가 나오면 깔렸다. +실패하면 `command not found` 면 패키지가 안 깔렸다. 번호가 나오면 깔렸다. ### 3. libvirt 를 띄우고 권한을 받는다 @@ -210,7 +196,7 @@ groups # libvirt 가 보여야 한다 virsh list --all # sudo 없이 돌아야 한다 ``` -**예상 결과** — `groups` 가 이렇게 나왔다(observed). +정상이면 `groups` 가 이렇게 나왔다. ```text donghyeon libvirt wheel @@ -218,9 +204,9 @@ donghyeon libvirt wheel `virsh list --all` 은 머리글만 있는 빈 표를 내놓는다. 아직 VM 을 안 만들었으므로 표가 비어 있는 쪽이 정상이고, 봐야 할 것은 표의 내용이 아니라 명령이 오류 없이 통과했는가다. -**왜 필요한가** — `libvirtd.service` 가 아니라 `.socket` 을 켠다. 소켓 활성화라 데몬이 미리 떠 있지 않아도 `virsh` 가 접속하는 순간 systemd 가 띄우고, 자원을 아끼며, 데몬을 재시작해도 클라이언트가 끊기지 않는다. +`libvirtd.service` 가 아니라 `.socket` 을 켠다. 소켓 활성화를 쓰면 데몬이 미리 떠 있지 않아도 `virsh`가 접속할 때 systemd가 서비스를 시작할 수 있다. 서비스가 재시작되는 동안 listening socket을 systemd가 관리할 수 있다는 장점도 있지만, 이미 맺어진 클라이언트 연결까지 항상 유지된다고 보지는 않는다. -**문제가 생기면** — `groups` 에 `libvirt` 가 없으면 `usermod` 는 됐지만 지금 로그인 세션이 옛 그룹 목록을 들고 있다. `usermod -aG` 가 고치는 것은 `/etc/group` 파일이다. 프로세스의 그룹 목록은 로그인할 때 한 번 읽혀 고정되므로 이미 떠 있는 셸에는 소급 적용되지 않는다. 두 곳을 나란히 보면 그 상태가 그대로 드러난다. +실패하면 `groups` 에 `libvirt` 가 없으면 `usermod` 는 됐지만 지금 로그인 세션이 옛 그룹 목록을 들고 있다. `usermod -aG` 가 고치는 것은 `/etc/group` 파일이다. 프로세스의 그룹 목록은 로그인할 때 한 번 읽혀 고정되므로 이미 떠 있는 셸에는 소급 적용되지 않는다. 두 곳을 나란히 보면 그 상태가 그대로 드러난다. ```bash label="[lab host] 셸이 들고 있는 목록과 파일의 내용을 나란히 본다" id # 현재 셸이 들고 있는 그룹 (여기 libvirt 가 보여야 함) @@ -229,7 +215,7 @@ getent group libvirt # /etc/group 의 실제 내용 (이쪽엔 바로 반영됨 두 결과가 다르면 재로그인이 필요하다는 뜻이다. 급하면 `newgrp libvirt` 로 그 셸만 갱신한다. -`groups` 에는 있는데 `virsh` 가 `Permission denied` 를 내면 그룹이 아니라 소켓 문제이므로 유닛 상태를 본다. +`groups` 에 `libvirt`가 있는데도 `virsh`가 `Permission denied`를 내면 그룹만 붙들지 말고 소켓과 libvirt 인증 상태를 함께 본다. 이 실험대에서는 먼저 유닛 상태를 확인했다. ```bash label="[lab host] 그룹이 맞는데 거절당할 때 유닛부터 본다" systemctl status libvirtd.socket @@ -237,83 +223,59 @@ systemctl status libvirtd.socket ### 4. 연결 URI 를 시스템 단위로 고정한다 -**목적** — `virsh` 가 VM 을 만들 곳과 같은 하이퍼바이저를 보게 한다. `virsh` 는 기본으로 사용자 단위인 `qemu:///session` 에 붙는데 VM 은 시스템 단위인 `qemu:///system` 에 만들어야 한다. 이걸 안 맞추면 만든 VM 이 목록에 안 보인다. +**목적** — `virsh` 가 VM 을 만들 곳과 같은 시스템 libvirt 를 보게 한다. 셸 환경 변수에 기대지 않고 libvirt 자체 설정으로 `qemu:///system` 을 기본 URI 로 둔다. -① 설정 파일을 연다. +① libvirt 사용자 설정 디렉터리를 만든다. -```bash label="[lab host] ① 로그인 셸 설정을 편집기로 연다" -nano ~/.bashrc -``` - -② 파일 끝에 이 줄을 더한다. 저장은 `Ctrl+O` 다음 `Enter`, 나가기는 `Ctrl+X`. - -```text -export LIBVIRT_DEFAULT_URI=qemu:///system -``` - -③ 저장한 설정을 현재 셸에 반영하고 확인한다. - -```bash label="[lab host] ③ 지금 셸에 반영하고 어느 하이퍼바이저를 보는지 본다" -source ~/.bashrc -virsh uri -``` - -**예상 결과**(observed) - -```text -qemu:///system -``` - -끝의 한 낱말만 본다. `system` 인가 `session` 인가. - -**왜 필요한가** — `qemu:///system` 이면 뒤에서 만들 VM 과 지금 `virsh` 가 같은 곳을 본다. `qemu:///session` 이면 사용자 단위 하이퍼바이저를 보고 있어, VM 은 만들어졌는데 `virsh list` 에 안 나오는 상태가 된다. - -이 실험대는 같은 줄을 편집기 없이 넣었다(observed). - -```bash label="[lab host] 이 실험대가 실제로 친 형태" -echo 'export LIBVIRT_DEFAULT_URI=qemu:///system' >> ~/.bashrc -virsh uri -``` - -**rc 파일에만 넣으면 `ssh lab-host '명령'` 에서는 안 먹는다.** 그 형태는 비대화형 셸이라 `.bashrc`·`.zshrc` 를 안 읽는다. 뒤의 편들이 `ssh test-server 'virsh …'` 처럼 한 줄로 치는 일이 많으므로 여기서 갈라 둔다. 2026-09-17 에 확인했다(observed). - -```text -ssh 로 한 줄 LIBVIRT_DEFAULT_URI=[(비어 있음)] -대화형 셸 LIBVIRT_DEFAULT_URI=qemu:///system -``` - -**셸과 무관하게 고정하려면 libvirt 자기 설정에 넣는다.** 이 실험대에는 그 파일도 있었고, 같은 줄을 `echo 'uri_default = "qemu:///system"' >> ~/.config/libvirt/libvirt.conf` 로 넣었다(observed). 여기서도 디렉터리는 명령으로 만들고 파일은 편집기로 연다. - -```bash label="[lab host] ④ 셸을 안 타는 자리를 만든다" +```bash label="[lab host] ① libvirt 사용자 설정 디렉터리를 만든다" mkdir -p ~/.config/libvirt ``` -```bash label="[lab host] ⑤ libvirt 자기 설정을 편집기로 연다" +② 설정 파일을 연다. + +```bash label="[lab host] ② libvirt 자기 설정을 편집기로 연다" nano ~/.config/libvirt/libvirt.conf ``` -```text label="⑥ libvirt.conf 에 더할 줄" +③ 다음 줄을 넣는다. + +```text label="③ libvirt.conf 에 넣을 줄" uri_default = "qemu:///system" ``` -```bash label="[lab host] ⑦ 어느 하이퍼바이저를 보는지 다시 본다" +④ 저장한 뒤 libvirt 가 실제로 어느 URI 를 고르는지 확인한다. + +```bash label="[lab host] ④ 기본 URI 를 확인한다" virsh uri ``` +정상이면 다음처럼 나온다. + ```text -/home/donghyeon/.config/libvirt/libvirt.conf:uri_default = "qemu:///system" qemu:///system ``` -첫 줄은 `virsh` 가 그 파일을 읽었다고 알리는 것이고 둘째 줄이 답이다. 이 나눈 형태는 이 실험대에서 치지 않았다(unknown). +이 파일은 bash·zsh 같은 로그인 셸의 rc 파일과 무관하게 libvirt 클라이언트가 직접 읽는다. 그래서 대화형 셸뿐 아니라 `ssh test-server 'virsh …'` 같은 비대화식 실행에서도 같은 URI 를 본다. -**둘 중 하나만 있으면 어디선가 어긋난다.** rc 만 있으면 `ssh` 한 줄에서 `qemu:///session` 을 보게 되고 — 그쪽에는 VM 이 없으므로 **목록이 빈 채로 나와 「VM 이 죽었다」로 읽힌다** — libvirt 설정만 있으면 대화형 셸의 `echo $LIBVIRT_DEFAULT_URI` 가 비어서 「설정이 안 됐다」로 읽힌다. 둘 다 넣어 두는 편이 낫다. +2026-09-21 재검증에서 이 차이를 다시 확인했다. 실제 로그인 셸은 `/bin/zsh` 였고, 비대화식 SSH 안의 환경 변수는 비어 있었다. -따라 하는 사람에게는 편집기 쪽이 맞다. `echo >>` 는 같은 가이드를 두 번 따라 하면 같은 줄을 한 번 더 붙이고, 파일에 이미 무엇이 들어 있는지도 보여 주지 않는다. 파일을 열면 둘 다 해결된다. +```text label="2026-09-21 비대화식 SSH 재검증" +SHELL=/bin/zsh +LIBVIRT_DEFAULT_URI= +qemu:///system +``` -**문제가 생기면** — `.bashrc` 에 넣은 것은 새로 여는 셸에만 적용된다. 지금 셸에서 값이 안 바뀌었으면 `source ~/.bashrc` 를 치거나 새 셸을 연다. +환경 변수가 비어 있는데도 `virsh uri` 가 `qemu:///system` 을 낸 것은 `~/.config/libvirt/libvirt.conf` 의 `uri_default` 가 적용됐기 때문이다. 따라서 `.bashrc` 와 libvirt 설정을 **둘 다 넣어야 한다는 이전 설명은 틀렸다.** `virsh` 의 기본 연결을 고정하는 데 필요한 것은 libvirt 설정 하나다. -`sudo virsh` 와 그냥 `virsh` 를 섞어 치지 않는다. 이 문제는 한 번 고쳐도 반복해서 재발한다. `sudo` 는 환경 변수를 물려주지 않아 여기서 넣은 줄이 전달되지 않는데, root 로 도니 결과적으로 `qemu:///system` 이 되어 그쪽도 동작한다. 둘 다 되기 때문에 섞어 쓰면 어떤 명령은 되고 어떤 명령은 `Network not found: no network with matching name 'default'` 가 나온다. 네트워크가 없어서가 아니라 두 명령이 서로 다른 인스턴스에 물어본 것이다. +`LIBVIRT_DEFAULT_URI` 환경 변수가 필요한 별도 도구가 있다면 그때 실제 로그인 셸의 rc 파일에 선택적으로 둔다. 먼저 셸부터 확인한다. + +```bash label="[lab host] 선택적인 셸 환경 변수가 필요할 때 로그인 셸을 확인한다" +getent passwd "$USER" +``` + +이 호스트는 `/bin/zsh` 이므로 그런 경우 `~/.zshrc` 를 편집한다. `~/.bashrc` 를 무조건 열면 현재 로그인 셸에는 적용되지 않는다. + +`sudo virsh` 와 그냥 `virsh` 를 섞어 치지 않는다. 이 가이드는 사용자 설정의 `qemu:///system` 연결을 기준으로 검증한다. 다른 사용자(root 포함)의 설정과 섞으면 같은 명령 이름으로 서로 다른 연결을 볼 수 있다. ### 5. 기본 네트워크를 켠다 @@ -323,7 +285,7 @@ qemu:///system virsh net-list --all ``` -**예상 결과**(observed) +**실제 확인한 결과** ```text Name State Autostart Persistent @@ -344,11 +306,11 @@ virsh net-autostart default virsh net-start default 2>/dev/null; virsh net-autostart default ``` -**왜 필요한가** — `active` 이면서 autostart 가 `yes` 면 지금도, 호스트를 재부팅한 뒤에도 `virbr0` 와 `192.168.122.0/24` 가 있다. `inactive` 면 VM 을 만들어도 DHCP 가 없어 IP 를 못 받는다. autostart 가 `no` 면 지금은 되고 호스트를 재부팅한 다음 게스트의 SSH 가 전부 실패하는데, 그때 원인을 게스트에서 찾게 된다. +`active` 이면서 autostart 가 `yes` 면 지금도, 호스트를 재부팅한 뒤에도 `virbr0` 와 `192.168.122.0/24` 가 있다. `inactive` 면 VM 을 만들어도 DHCP 가 없어 IP 를 못 받는다. autostart 가 `no` 면 지금은 되고 호스트를 재부팅한 다음 게스트의 SSH 가 전부 실패하는데, 그때 원인을 게스트에서 찾게 된다. -**문제가 생기면** — `--all` 을 주는 까닭이 여기 있다. 빼면 `inactive` 인 네트워크는 아예 목록에 안 나와서 없는 것과 꺼진 것을 구분할 수 없다. `net-start default` 가 `already active` 말고 다른 사유로 실패하면 dnsmasq 가 안 깔린 것이므로 2번으로 돌아간다. +실패하면 `--all` 을 주는 까닭이 여기 있다. 빼면 `inactive` 인 네트워크는 아예 목록에 안 나와서 없는 것과 꺼진 것을 구분할 수 없다. `net-start default`가 `already active` 말고 다른 사유로 실패하면 먼저 오류 문구를 그대로 읽는다. 이 구성에서는 `dnsmasq` 설치 여부가 첫 확인 대상이지만, 네트워크 정의나 권한 문제처럼 다른 원인도 있을 수 있다. -## 구성 값 +## 이 host에서 확인한 가상화 구성 | 무엇이 서나 | 어떤 이름과 값으로 | |---|---| @@ -356,17 +318,17 @@ virsh net-start default 2>/dev/null; virsh net-autostart default | 패키지 (Arch) | `qemu-full` · `libvirt` · `virt-install` · `dnsmasq` | | 유닛 | `libvirtd.socket` | | 보조 그룹 | `libvirt` | -| 연결 URI | `qemu:///system` — `~/.bashrc` 의 `LIBVIRT_DEFAULT_URI` | +| 연결 URI | `qemu:///system` — `~/.config/libvirt/libvirt.conf` 의 `uri_default` | | 가상 네트워크 | `default` · `active` · autostart `yes` | | 브리지와 대역 | `virbr0` · `192.168.122.0/24` | 대역이 `192.168.122.0/24` 로 굳으면 다음 단계의 DHCP 예약 세 줄과 그 뒤 모든 단계의 upstream 주소가 그 안에서 정해진다. 게스트 주소를 바꾸고 싶으면 여기서 바꾸는 것이지 게스트 안에서 바꾸는 것이 아니다. -## 끝났는지 판정한다 +## sudo 없이 virsh가 qemu:///system에 붙는지 확인한다 ### 확인 ① virsh 가 sudo 없이 통과하는가 -**무엇을 확인하는가** — 이 셸에서 VM 을 만들 수 있는 상태인지. +이 셸에서 VM 을 만들 수 있는 상태인지. ```bash label="[lab host] 권한과 연결과 네트워크를 차례로 본다" virsh uri @@ -374,23 +336,23 @@ virsh net-list --all virsh list --all ``` -**어디를 봐야 하는가** — 첫 줄이 `qemu:///system` 인가, 둘째에서 `default` 가 `active` 이고 autostart 가 `yes` 인가, 셋째가 `sudo` 없이 오류 없이 끝나는가. +첫 줄이 `qemu:///system` 인가, 둘째에서 `default` 가 `active` 이고 autostart 가 `yes` 인가, 셋째가 `sudo` 없이 오류 없이 끝나는가. -**이 결과가 의미하는 것** — 셋이 다 통과하면 이 단계는 끝났다. `virsh list --all` 이 `sudo` 없이 오류 없이 끝나는 것이 이 단계의 통과 조건 전부이고, 표의 내용은 아직 볼 것이 없다. 빈 표를 「호스트에 아무것도 없다」로 읽지 않는다 — 지금은 만들지 않았으니 비어 있는 것이고, 다음 단계가 끝난 뒤에 같은 명령이 세 줄을 내놓는다. +셋이 다 통과하면 이 단계는 끝났다. `virsh list --all` 이 `sudo` 없이 오류 없이 끝나는 것이 이 단계의 통과 조건 전부이고, 표의 내용은 아직 볼 것이 없다. 빈 표를 「호스트에 아무것도 없다」로 읽지 않는다 — 지금은 만들지 않았으니 비어 있는 것이고, 다음 단계가 끝난 뒤에 같은 명령이 세 줄을 내놓는다. ### 확인 ② 그룹이 지금 셸에 반영됐는가 -**무엇을 확인하는가** — `usermod` 가 파일에만 들어간 것인지, 지금 세션이 들고 있는 목록에도 들어간 것인지. +`usermod` 가 파일에만 들어간 것인지, 지금 세션이 들고 있는 목록에도 들어간 것인지. ```bash label="[lab host] 지금 세션이 들고 있는 그룹 목록" groups ``` -**어디를 봐야 하는가** — 출력에 `libvirt` 가 끼어 있는가. +출력에 `libvirt` 가 끼어 있는가. -**이 결과가 의미하는 것** — 끼어 있으면 소켓에 붙을 권한이 지금 셸에 있다. 없는데 `virsh` 가 도는 일은 없으므로, 확인 ① 이 `Permission denied` 로 끝났다면 먼저 여기를 본다. +이 가이드의 권한 구성에서는 `libvirt` 보조 그룹이 현재 셸에 반영돼 있어야 한다. 확인 ①이 `Permission denied`로 끝났다면 먼저 현재 세션의 그룹 목록과 소켓 권한을 나란히 본다. -## 통과 조건을 한 번에 다시 본다 +## lab host 준비 확인표 | 무엇 | 명령 | 통과 | |---|---|---| @@ -402,7 +364,7 @@ groups 다섯 칸이 다 맞으면 다음 단계로 넘어간다. -## 막히면 +## /dev/kvm이나 libvirt 연결에서 막힐 때 | 증상 | 원인 | 확인 | |---|---|---| @@ -414,10 +376,10 @@ groups | `net-start default` 실패 | dnsmasq 없음 | 패키지 설치 확인 | | `cp: cannot stat 'deploy/...'` | lab host 에 저장소가 없다 | `ls ~/workspace` | -## 무엇이 관측이고 무엇이 아닌가 +## 이 host에서 실제로 확인한 범위 -- (observed) libvirt `12.7.0` 과 `QEMU emulator version 11.1.1`, `groups` 의 세 이름, `default` 네트워크가 `active` 이고 autostart 가 `yes` 인 것, `virsh uri` 가 내놓은 `qemu:///system`. -- (observed) `lsmod | grep kvm` 의 출력을 2026-09-17 에 받았다. 세 줄이고, 마지막 칸이 그 모듈을 쓰는 수다. +- 실제 확인한 값은 libvirt `12.7.0`, `QEMU emulator version 11.1.1`, `groups` 의 세 이름, `default` 네트워크의 `active`/autostart `yes`, `virsh uri` 의 `qemu:///system` 이다. +- `lsmod | grep kvm` 의 출력을 2026-09-17 에 받았다. 세 줄이고, 마지막 칸이 그 모듈을 쓰는 수다. ```text kvm_intel 524288 11 @@ -425,14 +387,14 @@ kvm 1490944 6 kvm_intel irqbypass 16384 1 kvm ``` -- (observed) **이 호스트는 논리 코어 8 이다** — 가이드가 적은 「16 코어 전부」가 아니다. 2026-09-17 에 `nproc` 이 `8`, `lscpu` 가 `11th Gen Intel(R) Core(TM) i5-1135G7`, 물리 4 코어에 코어당 스레드 2 라고 답했다. 가이드의 그 줄은 다른 기계의 값이다. +- **이 호스트는 논리 코어 8 이다** — 가이드가 적은 「16 코어 전부」가 아니다. 2026-09-17 에 `nproc` 이 `8`, `lscpu` 가 `11th Gen Intel(R) Core(TM) i5-1135G7`, 물리 4 코어에 코어당 스레드 2 라고 답했다. 가이드의 그 줄은 다른 기계의 값이다. ```bash label="[lab host] 코어 수를 가른다" nproc lscpu | grep -E "^Model name|^CPU\(s\):|^Core\(s\)|^Thread\(s\)" ``` -- (observed) `systemctl status libvirtd.socket` 도 같은 날 쳤다. 보는 줄은 `Active` 와 `Listen` 과 `Triggers` 셋이다. +- `systemctl status libvirtd.socket` 도 같은 날 쳤다. 보는 줄은 `Active` 와 `Listen` 과 `Triggers` 셋이다. ```text ● libvirtd.socket - libvirt legacy monolithic daemon socket @@ -443,11 +405,11 @@ lscpu | grep -E "^Model name|^CPU\(s\):|^Core\(s\)|^Thread\(s\)" ``` `Triggers` 가 `libvirtd.service` 를 가리키는 것이 소켓 활성화가 걸렸다는 뜻이다. 소켓이 먼저 뜨고 첫 접속이 올 때 서비스가 깨어난다 — 그래서 `.service` 가 아니라 `.socket` 을 `enable` 한다. -- (unknown) 원본 가이드에 되돌리는 절차가 없다. 패키지와 그룹과 유닛과 `~/.bashrc` 와 네트워크 autostart 를 걷어내 본 적이 없다. -- (unknown) `sudo modprobe kvm_intel` 은 막혔을 때 치라고 가이드가 적어 둔 명령이고, 이 실험대에서는 막힌 적이 없어 치지 않았다. -- (unknown) `nano ~/.bashrc` 와 `nano ~/.config/libvirt/libvirt.conf` 로 여는 형태는 이 실험대가 치지 않았다. 이 실험대는 두 파일 다 `echo >>` 로 넣었고, 편집기 쪽은 같은 상태에 닿는 형태로 적었다. -- (external) Debian 과 Ubuntu 의 패키지 이름은 가이드가 참고로 적어 둔 것이고 이 실험대는 Arch 로 세웠다. -- (external) 보조 그룹이 로그인 시점에 고정된다는 것, `virsh net-start` 가 이미 `active` 면 실패한다는 것, `sudo` 가 환경 변수를 물려주지 않는다는 것은 리눅스와 libvirt 의 동작이다. 이 실험대가 그 세 가지를 따로 재 보지는 않았다. -- (unknown) 만드는 명령은 구축할 때 친 것을 옮긴 것이라, 지금 다시 쳐도 같은 상태가 되는지는 확인되지 않았다. +- 원본 가이드에 되돌리는 절차가 없다. 패키지와 그룹과 유닛과 `~/.config/libvirt/libvirt.conf` 와 네트워크 autostart 를 모두 걷어내는 전체 rollback은 수행하지 않았다. +- `sudo modprobe kvm_intel` 은 막혔을 때 치라고 가이드가 적어 둔 명령이고, 이 실험대에서는 모듈이 이미 올라와 있어 치지 않았다. +- 2026-09-21 재검증에서는 실제 로그인 셸이 `/bin/zsh`, 비대화식 SSH의 `LIBVIRT_DEFAULT_URI`는 빈 값인데도 `virsh uri`가 `qemu:///system`임을 다시 확인했다. 따라서 과거 `.bashrc`까지 함께 수정하던 절차는 current procedure에서 제외했다. +- Debian과 Ubuntu의 패키지 이름은 가이드가 참고용으로 적어 둔 것이고, 이 실험대는 Arch에서만 확인했다. +- 보조 그룹이 로그인 시점에 반영된다는 점, `virsh net-start` 가 이미 `active` 인 네트워크에 대해 실패할 수 있다는 점, `sudo` 가 환경 변수를 그대로 넘기지 않는다는 점은 Linux와 libvirt의 동작을 설명한 것이다. 이 세 항목을 이 실험대에서 각각 따로 재현하지는 않았다. +- 만드는 명령은 구축할 때 친 것을 옮긴 것이라, 지금 다시 쳐도 같은 상태가 되는지는 확인되지 않았다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prometheus-and-grafana-for-the-lab.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prometheus-and-grafana-for-the-lab.md index 5ff4ce3..149ac34 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prometheus-and-grafana-for-the-lab.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-prometheus-and-grafana-for-the-lab.md @@ -11,6 +11,12 @@ studio: "https://hyeonworks.com/studio/documents/0cb0f195-b06b-4f8e-b52e-675eb09 pinnedVersions: - name: k3s version: v1.36.4+k3s1 + - name: Prometheus + version: v3.1.0 + - name: Grafana + version: 11.4.0 + - name: node-exporter + version: v1.8.2 - name: Debian GNU/Linux version: 12 (bookworm) sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot @@ -23,22 +29,10 @@ source: 매니페스트 한 장을 `apply` 해 네임스페이스 `observability` 에 Prometheus 와 Grafana 와 node-exporter 를 세우는 절차다. 밖에서만 판정하면 분단된 노드가 스스로 빠지는 것을 놓치기 때문에 이 스택을 둔다. -## 관계 - -- **Keycloak 2노드와 PostgreSQL 을 k3s 에 올리고 클러스터가 묶였는지 확인한다** - 그 단계가 세운 두 노드를 긁는다. 거기서 임시 파드로 물었던 클러스터 크기를 여기서는 Prometheus 에 묻는다. -- **k3s server 와 agent 를 게스트 두 대에 깔고 lab host 에서 kubectl 로 본다** - node-exporter 가 노드마다 하나씩 뜨므로 줄이 하나뿐이면 그 단계의 노드 상태부터 다시 본다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - `up` 이 1 이라는 것은 프로세스가 살아 있고 응답한다는 뜻이지 그 노드가 쓸모 있다는 뜻이 아니다. 빈 결과가 0 을 뜻하지 않는 것도 같다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 스크레이프 대상 넷과 파드 네 줄이 다시 세운 실험대에서도 같은지가 그 질문이 셀 항목에 들어간다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 관측 명령은 lab host의 kubectl에서 실행한다 전부 `[lab host]` 에서 치고, 매니페스트를 적용하는 명령은 저장소 루트에서 친다. @@ -53,16 +47,16 @@ source: 이 단계에도 손으로 쓰는 파일이 없다. 세우는 것이 전부 매니페스트 한 장에 들어 있고, 그 원문은 저장소의 `deploy/lab/k8s/observability.yaml` 이다. -**공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다. +**랩 호스트와 파드 내부의 DNS 경로는 다르다.** lab host에서 `auth.hyeonworks.com`을 풀면 자신의 tailnet 주소 `100.83.212.4`가 나오고, host가 스스로 낸 패킷은 `tailscale0` ingress DNAT을 타지 않으므로 여기서 하는 외부 경로 확인에는 `--resolve <이름>:443:192.168.122.10`을 붙인다. 반면 앞 단계의 CoreDNS 보정을 적용한 현재 클러스터에서는 파드 내부의 `auth.hyeonworks.com`이 `192.168.122.10` edge를 가리키는 것을 2026-09-21에 확인했다. tailnet에 붙은 다른 기계에서는 DNS 이름 그대로 외부 진입 경로를 확인한다. -## 이 단계가 세우는 것 +## 실험 중 볼 Prometheus와 Grafana를 올린다 가이드 06 의 「이 단계가 끝나면」은 두 줄이다. > Prometheus 가 Keycloak 을 긁고, `vendor_cluster_size` 로 클러스터 상태를 > 밖에서 볼 수 있다. -**왜 두는가**(observed) — 판정을 밖에서만 하면 놓친다. 7800 을 끊었는데 외부 응답이 전부 200 이었고, 분단된 노드가 스스로 로드밸런서에서 빠졌기 때문이다. 클러스터 안을 보는 눈이 따로 있어야 한다. +**왜 두는가** — 실제 장애 시험에서 판정을 밖에서만 하면 놓치는 경우가 있었다. 7800 을 끊었는데 외부 응답이 전부 200 이었고, 분단된 노드가 스스로 로드밸런서에서 빠졌기 때문이다. 클러스터 안을 보는 눈이 따로 있어야 한다. | 무엇 | 값 | |---|---| @@ -73,17 +67,17 @@ source: | Grafana | 밖에 열지 않고 `port-forward svc/grafana 3000:3000` | | 도구 | `jq` 가 없다. `grep -o` 와 `tr ',' '\n'` 로 필드만 뽑는다 | -**판 번호는 여기 없다**(unknown). 가이드 06 은 Prometheus 와 Grafana 의 이미지 태그를 적지 않았고 `observability.yaml` 원문은 반입되지 않았다. 파드 이름의 해시는 판 번호가 아니다. +**2026-09-21 재검증에서 판 번호를 실제 매니페스트와 실행 파드 양쪽에서 대조했다.** `observability.yaml`은 Prometheus `v3.1.0`, Grafana `11.4.0`, node-exporter `v1.8.2`를 명시하고 실제 파드도 같은 이미지를 사용했다. 두 값을 2026-09-21 재검증에서 직접 대조했다. Prometheus의 `scrape_interval`은 `15s`, TSDB 보존 기간은 `7d`다. Prometheus와 Grafana는 `node-role.kubernetes.io/control-plane: "true"` nodeSelector로 `kc-lab-1`에 고정되고, node-exporter는 DaemonSet으로 두 노드에 하나씩 뜬다. -## 전제와 되돌리기 +## 기존 namespace와 포트를 건드리기 전에 확인한다 전제는 한 줄이다 — 앞 단계가 끝나 Keycloak 두 노드가 떴다. -**되돌리는 절차는 원본 가이드 06 에 없다**(unknown). 이 단계가 남기는 것은 `observability` 네임스페이스와 그 안의 전부이고, `node-exporter` 는 DaemonSet 이라 노드마다 하나씩 붙어 있다. 지우는 순서도 지운 뒤의 확인도 가이드에 없다. +**되돌리는 절차는 원본 가이드 06 에 없다**. 이 단계가 남기는 것은 `observability` 네임스페이스와 그 안의 전부이고, `node-exporter` 는 DaemonSet 이라 노드마다 하나씩 붙어 있다. 지우는 순서도 지운 뒤의 확인도 가이드에 없다. -## 세우기 전에 먼저 본다 +## 수집 대상과 현재 파드 상태를 먼저 확인한다 -**무엇을 확인하는가** — 이 스택이 없으면 같은 질문에 어떻게 답하게 되는지. 앞 단계가 이미 한 번 보여 주었다. +이 스택이 없으면 같은 질문에 어떻게 답하게 되는지. 앞 단계가 이미 한 번 보여 주었다. ```bash label="[lab host] 관측 스택 없이 클러스터 크기를 묻는 형태" K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}') @@ -92,11 +86,11 @@ kubectl -n keycloak-lab run m --rm -i --restart=Never \ sh -c "curl -s http://$K0:9000/metrics | grep '^vendor_cluster_size'" ``` -**어디를 봐야 하는가** — 이 명령은 고른 파드 하나에게만 물을 수 있다. `keycloak-1` 을 보려면 IP 를 다시 잡아 한 번 더 친다. +이 명령은 고른 파드 하나에게만 물을 수 있다. `keycloak-1` 을 보려면 IP 를 다시 잡아 한 번 더 친다. -**이 결과가 의미하는 것** — 한 노드만 보면 분단을 놓친다. 두 노드를 매번 따로 물어야 하고, 값을 나란히 놓아 비교하기도 어렵다. 이 단계는 그 질문을 한 번에 받아 준다. +한 노드만 보면 분단을 놓친다. 두 노드를 매번 따로 물어야 하고, 값을 나란히 놓아 비교하기도 어렵다. 이 단계는 그 질문을 한 번에 받아 준다. -## 실행 절차 +## Prometheus와 Grafana를 배포한다 ### 1. 매니페스트 한 장을 적용한다 @@ -111,11 +105,11 @@ kubectl apply -f deploy/lab/k8s/observability.yaml kubectl -n observability rollout status deploy/prometheus --timeout=180s ``` -**예상 결과** — ② 가 끝나면 Prometheus 가 Ready 다. node-exporter 는 DaemonSet 이라 이 명령이 기다리는 대상에 들어가지 않으므로 2번에서 따로 센다. +정상이면 ② 가 끝나면 Prometheus 가 Ready 다. node-exporter 는 DaemonSet 이라 이 명령이 기다리는 대상에 들어가지 않으므로 2번에서 따로 센다. -**왜 필요한가** — `deploy/...` 로 시작하는 상대경로는 저장소 루트 기준이라 다른 디렉터리에서 치면 파일을 못 찾는다. 관측 스택을 두는 까닭은 밖에서만 판정하면 놓치기 때문이고, 그 근거는 위에 적었다. +`deploy/...` 로 시작하는 상대경로는 저장소 루트 기준이라 다른 디렉터리에서 치면 파일을 못 찾는다. 관측 스택을 두는 까닭은 밖에서만 판정하면 놓치기 때문이고, 그 근거는 위에 적었다. -**문제가 생기면** — ② 가 타임아웃으로 끝나면 2번의 파드 목록부터 보고, 거기서도 안 보이면 k3s 단계의 노드 상태로 돌아간다. +실패하면 ② 가 타임아웃으로 끝나면 2번의 파드 목록부터 보고, 거기서도 안 보이면 k3s 단계의 노드 상태로 돌아간다. ### 2. 파드 네 줄을 센다 @@ -125,7 +119,7 @@ kubectl -n observability rollout status deploy/prometheus --timeout=180s kubectl -n observability get pods ``` -**예상 결과**(observed) +**실제 확인한 결과** ```text grafana-845b5678cf-b6gvc 1/1 Running @@ -136,9 +130,9 @@ prometheus-6774f94f7c-pzr2t 1/1 Running 줄이 네 개인가, READY 칸이 전부 `1/1` 인가, 특히 `node-exporter` 로 시작하는 줄이 둘인가를 센다. -**왜 필요한가** — node-exporter 가 둘인 것은 DaemonSet 이라 노드마다 하나씩 뜨기 때문이다. 하나뿐이면 노드 하나가 빠진 것이고, 그러면 그 노드의 CPU 와 메모리와 디스크 지표가 통째로 없는 채로 실험을 하게 된다. +node-exporter 가 둘인 것은 DaemonSet 이라 노드마다 하나씩 뜨기 때문이다. 하나뿐이면 노드 하나가 빠진 것이고, 그러면 그 노드의 CPU 와 메모리와 디스크 지표가 통째로 없는 채로 실험을 하게 된다. -**문제가 생기면** — 줄이 하나면 관측을 더 볼 것이 아니라 k3s 단계의 노드 상태부터 본다. 어느 노드에 붙었는지는 이렇게 확인한다. +실패하면 줄이 하나면 관측을 더 볼 것이 아니라 k3s 단계의 노드 상태부터 본다. 어느 노드에 붙었는지는 이렇게 확인한다. ```bash label="[lab host] 어느 노드에 붙었는지 본다" kubectl -n observability get pods -o wide @@ -146,7 +140,7 @@ kubectl -n observability get pods -o wide NODE 열에서 Prometheus 와 Grafana 가 어느 노드에 있는지 본다. 죽는 순간을 기록해야 하는 쪽이 대상과 함께 내려가면 기록이 남지 않으므로, 관측 스택은 관측 대상과 같이 죽으면 안 된다. 노드가 둘뿐인 실험대에서는 완전히 갈라 둘 수 없어서 규칙으로 정했다 — 관측 스택은 server 노드인 `kc-lab-1` 에 두고 장애 주입은 agent 노드인 `kc-lab-2` 에 한다. `nodeSelector` 로 못박아 두면 실험을 다시 돌려도 같은 노드에 뜬다. node-exporter 는 DaemonSet 이라 이 규칙 밖이고 두 노드에 다 떠 있어야 한다. -## 구성 값 +## scrape 대상과 접근 경로 자주 보는 지표들이다. 실험 중에는 Grafana 보다 Prometheus 쿼리 API 가 편하다 — 값을 그대로 뽑아 비교할 수 있고 스크린샷보다 근거로 남기기 좋다. @@ -160,18 +154,18 @@ NODE 열에서 Prometheus 와 Grafana 가 어느 노드에 있는지 본다. 죽 이 실험대에는 `jq` 가 깔려 있지 않다. 아래 확인 명령이 `grep -o` 와 `tr` 로 필드를 뽑는 모양인 것은 그 때문이고, 그 이상 가공해야 하면 파서를 짜지 않고 화면에 나온 JSON 을 그대로 읽는다. -## 끝났는지 판정한다 +## target이 UP이고 Grafana가 열리는지 확인한다 ### 확인 ① 무엇을 긁고 있나 -**무엇을 확인하는가** — Prometheus 가 어느 대상을 스크레이프하고 있는지. +Prometheus 가 어느 대상을 스크레이프하고 있는지. ```bash label="[lab host] 스크레이프 대상의 job 이름만 뽑는다" kubectl -n observability exec deploy/prometheus -- \ wget -qO- localhost:9090/api/v1/targets | grep -o '"job":"[^"]*"' | sort -u ``` -**실측**(observed) +**실측** ```text "job":"keycloak" @@ -180,24 +174,24 @@ kubectl -n observability exec deploy/prometheus -- \ "job":"prometheus" ``` -**어디를 봐야 하는가** — 거기 있는 이름이 아니라 없는 이름이다. 응답은 JSON 한 덩어리이고 그대로는 못 읽으므로 `grep -o` 로 필요한 필드만 뽑고 `sort -u` 로 중복을 없앴다. 사람이 손으로 치는 선이 여기까지다. +거기 있는 이름이 아니라 없는 이름이다. 응답은 JSON 한 덩어리이고 그대로는 못 읽으므로 `grep -o` 로 필요한 필드만 뽑고 `sort -u` 로 중복을 없앴다. 사람이 손으로 치는 선이 여기까지다. -**이 결과가 의미하는 것** — Redis 와 BFF 와 PostgreSQL 이 없다. 이 실험대는 그것들을 긁지 않는다. 그래서 어떤 실험에 Grafana 화면이 없는데, 안 찍은 것이 아니라 지표가 없는 것이다. 어떤 실험에서 지표를 못 찾으면 「측정이 실패했다」로 적기 전에 이 목록에 그 job 이 있었는지부터 본다. 가이드는 그것을 스크린샷 누락이 아니라 측정된 공백으로 기록했다. +Redis 와 BFF 와 PostgreSQL 이 없다. 이 실험대는 그것들을 긁지 않는다. 그래서 어떤 실험에 Grafana 화면이 없는데, 안 찍은 것이 아니라 지표가 없는 것이다. 어떤 실험에서 지표를 못 찾으면 「측정이 실패했다」로 적기 전에 이 목록에 그 job 이 있었는지부터 본다. 가이드는 그것을 스크린샷 누락이 아니라 측정된 공백으로 기록했다. ### 확인 ② 목록에는 있는데 값이 안 나올 때 -**무엇을 확인하는가** — 목록에 있는 대상이 실제로 긁히고 있는지. +목록에 있는 대상이 실제로 긁히고 있는지. ```bash label="[lab host] job 과 health 와 lastError 를 세로로 늘어놓는다" kubectl -n observability exec deploy/prometheus -- \ wget -qO- localhost:9090/api/v1/targets | tr ',' '\n' | grep -E '"(job|health|lastError)"' ``` -**어디를 봐야 하는가** — `"health":"up"` 이 아닌 줄과 그 바로 뒤의 `lastError`. `tr ',' '\n'` 로 쉼표마다 줄을 나눴으므로 필드가 원래 순서대로 세로로 늘어서고, job 줄 아래에 그 대상의 health 가 온다. +`"health":"up"` 이 아닌 줄과 그 바로 뒤의 `lastError`. `tr ',' '\n'` 로 쉼표마다 줄을 나눴으므로 필드가 원래 순서대로 세로로 늘어서고, job 줄 아래에 그 대상의 health 가 온다. -**이 결과가 의미하는 것** — `down` 인 대상이 있으면 `lastError` 가 까닭을 그대로 말해 준다. 연결 거부인지 타임아웃인지 404 인지가 거기 적혀 있다. 확인 ③ 에서 값이 한 노드만 나오는 증상의 원인이 대개 여기 있고, 그때는 클러스터가 아니라 스크레이프가 문제다. +`down` 인 대상이 있으면 `lastError` 가 까닭을 그대로 말해 준다. 연결 거부인지 타임아웃인지 404 인지가 거기 적혀 있다. 확인 ③ 에서 값이 한 노드만 나오는 증상의 원인이 대개 여기 있고, 그때는 클러스터가 아니라 스크레이프가 문제다. -**`down` 말고 `unknown` 도 있다.** 스택을 막 올린 직후에는 `health` 가 `unknown` 이고 `lastError` 는 빈 문자열이다 — 실패한 것이 아니라 **아직 한 번도 안 긁은** 것이다. 2026-09-17 에 `rollout status` 직후에 잡힌 모습이다(observed). +**`down` 말고 `unknown` 도 있다.** 스택을 막 올린 직후에는 `health` 가 `unknown` 이고 `lastError` 는 빈 문자열이다 — 실패한 것이 아니라 **아직 한 번도 안 긁은** 것이다. 2026-09-17 에 `rollout status` 직후에 잡힌 모습이다. ```text "job":"keycloak" @@ -214,7 +208,7 @@ kubectl auth can-i get nodes/proxy --as=system:serviceaccount:observability:prom kubectl describe clusterrole prometheus ``` -첫 명령은 답 앞에 경고 한 줄을 같이 낸다(2026-09-17, observed). 실패가 아니라 `nodes` 가 네임스페이스에 속한 자원이 아니라는 안내이고, 볼 것은 그 아래의 `yes` 또는 `no` 다. +2026-09-17 실제 실행에서는 첫 명령이 답 앞에 경고 한 줄을 같이 냈다. 실패가 아니라 `nodes` 가 네임스페이스에 속한 자원이 아니라는 안내이고, 볼 것은 그 아래의 `yes` 또는 `no` 다. ```text Warning: resource 'nodes' is not namespace scoped @@ -224,23 +218,23 @@ yes ### 확인 ③ 클러스터 상태 — 두 노드가 각각 몇 명을 보고 있는가 -**무엇을 확인하는가** — 두 Keycloak 이 서로를 보고 있는지. +두 Keycloak 이 서로를 보고 있는지. ```bash label="[lab host] 두 노드가 각각 아는 멤버 수" kubectl -n observability exec deploy/prometheus -- \ wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' ``` -**실측**(observed) — 줄바꿈 없는 JSON 한 줄에서 읽어낸 값이다 +**실측** — 줄바꿈 없는 JSON 한 줄에서 읽어낸 값이다 ```text keycloak-1 → 2 keycloak-0 → 2 ``` -**어디를 봐야 하는가** — `data.result` 배열의 원소가 몇 개인가, 각 원소에서 어느 Keycloak 파드가 보고한 것인지와 `value` 배열의 둘째 원소만 읽는다. `jq` 가 없으므로 눈으로 읽는다. +`data.result` 배열의 원소가 몇 개인가, 각 원소에서 어느 Keycloak 파드가 보고한 것인지와 `value` 배열의 둘째 원소만 읽는다. `jq` 가 없으므로 눈으로 읽는다. -**어느 파드인지는 `node` 라벨이 아니라 `pod` 라벨이 말한다.** Prometheus 를 거쳐 나온 응답에서 `node` 는 **쿠버네티스 노드 이름**이다. Keycloak 이 자기 지표에 붙인 `node` 는 스크레이프할 때 이름이 겹쳐 `exported_node` 로 밀린다. 2026-09-17 에 원소 하나를 그대로 옮기면 이렇다(observed). +**어느 파드인지는 `node` 라벨이 아니라 `pod` 라벨이 말한다.** Prometheus 를 거쳐 나온 응답에서 `node` 는 **쿠버네티스 노드 이름**이다. Keycloak 이 자기 지표에 붙인 `node` 는 스크레이프할 때 이름이 겹쳐 `exported_node` 로 밀린다. 2026-09-17 에 원소 하나를 그대로 옮기면 이렇다. ```text "metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak", @@ -250,7 +244,7 @@ keycloak-0 → 2 세 라벨이 각각 다른 것을 말한다 — `pod` 가 Keycloak 파드, `exported_node` 가 Infinispan 멤버 식별자, `node` 가 그 파드가 떠 있는 쿠버네티스 노드다. 앞 단계의 `ISPN000094` 이름과 견줄 것은 `exported_node` 이고, 어느 노드를 끊었을 때 무엇이 바뀌는지를 볼 때는 `node` 다. -**스택을 막 올린 직후에는 원소가 모자란다.** 1번의 `rollout status` 가 성공한 직후에 이 질의를 치면 Keycloak 대상이 아직 한 번도 안 긁혀서 원소가 하나뿐이거나 아예 없다. 2026-09-17 에 38초 시점과 약 2분 시점에 같은 질의를 쳐서 확인했다(observed). +**스택을 막 올린 직후에는 원소가 모자란다.** 1번의 `rollout status` 가 성공한 직후에 이 질의를 치면 Keycloak 대상이 아직 한 번도 안 긁혀서 원소가 하나뿐이거나 아예 없다. 2026-09-17 에 38초 시점과 약 2분 시점에 같은 질의를 쳐서 확인했다. | 언제 | 확인 ② 의 keycloak `health` | 이 질의의 원소 | |---|---|---| @@ -259,20 +253,20 @@ keycloak-0 → 2 원소가 모자라면 분단을 의심하기 전에 확인 ② 의 `health` 를 먼저 보고, `unknown` 이면 한 주기 기다렸다 다시 친다. -**이 결과가 의미하는 것** — 두 노드가 각각 자기가 아는 멤버 수를 보고한다. 둘 다 2 면 클러스터가 온전하다. 분단되면 한쪽은 2, 다른 쪽은 1 이 된다 — 한 노드만 보면 분단을 놓친다. 원소가 하나뿐이면 분단이 아니라 스크레이프 실패일 수 있으므로 확인 ② 의 `health` 를 먼저 본다. 값이 아예 안 나오면 `"result":[]` 로 빈 배열이 오는데, 이것은 「0 이다」가 아니라 「그런 지표가 없다」는 뜻이다. 지표 이름을 잘못 쳤거나 그 대상을 긁고 있지 않은 것이므로 확인 ① 로 돌아간다. +두 노드가 각각 자기가 아는 멤버 수를 보고한다. 둘 다 2 면 현재 두 노드가 서로를 포함한 view를 보고 있다. 분단이 생기면 단절 방향과 각 노드의 view에 따라 값이 서로 달라지거나 둘 다 축소될 수 있으므로 한 노드만 보고 판정하지 않는다. 원소가 하나뿐이면 분단이 아니라 스크레이프 실패일 수 있으므로 확인 ② 의 `health` 를 먼저 본다. 값이 아예 안 나오면 `"result":[]` 로 빈 배열이 오는데, 이것은 「0 이다」가 아니라 「그런 지표가 없다」는 뜻이다. 지표 이름을 잘못 쳤거나 그 대상을 긁고 있지 않은 것이므로 확인 ① 로 돌아간다. ### 확인 ④ up 을 믿지 않는다 -**무엇을 확인하는가** — 스크레이프 성공 지표가 무엇까지 말해 주는지. +스크레이프 성공 지표가 무엇까지 말해 주는지. ```bash label="[lab host] 대상마다 스크레이프가 성공했는지 본다" kubectl -n observability exec deploy/prometheus -- \ wget -qO- 'localhost:9090/api/v1/query?query=up' ``` -**어디를 봐야 하는가** — 원소마다 `job` 라벨과 값이다. 값이 1 이라는 것은 마지막 스크레이프가 성공했다는 사실 하나만 말한다. +원소마다 `job` 라벨과 값이다. 값이 1 이라는 것은 마지막 스크레이프가 성공했다는 사실 하나만 말한다. -**이 결과가 의미하는 것** — 503 이 나는 동안에도 `up` 은 1 이었다(observed). 프로세스가 살아 있고 `/metrics` 가 응답하기만 하면 1 이 되므로, 살아 있지만 쓸모없는 상태를 이 지표로는 보지 못한다. 경보를 `up == 0` 하나로 걸면 그 상태를 통째로 놓친다. 그래서 기능 지표를 함께 본다. 밖에서 실제 응답을 받아 보는 것이 가장 짧다. +503 이 나는 동안에도 `up` 은 1 이었다. 프로세스가 살아 있고 `/metrics` 가 응답하기만 하면 1 이 되므로, 살아 있지만 쓸모없는 상태를 이 지표로는 보지 못한다. 경보를 `up == 0` 하나로 걸면 그 상태를 통째로 놓친다. 그래서 기능 지표를 함께 본다. 밖에서 실제 응답을 받아 보는 것이 가장 짧다. ```bash label="[lab host] up 과 나란히 놓고 비교한다" curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.168.122.10 \ @@ -283,17 +277,17 @@ curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.1 ### 확인 ⑤ Grafana 를 볼 때 -**무엇을 확인하는가** — 대시보드가 뜨는지. 밖에 열지 않고 포트포워드로 본다. +대시보드가 뜨는지. 밖에 열지 않고 포트포워드로 본다. ```bash label="[브라우저로 볼 기계] 보는 동안만 터널을 연다" kubectl -n observability port-forward svc/grafana 3000:3000 ``` -**어디를 봐야 하는가** — `Forwarding from 127.0.0.1:3000 -> 3000` 한 줄이 찍히고 명령이 그대로 멈춰 있는가. 이 명령은 끝나지 않는 것이 정상이라 터미널 하나를 여기에 내준다. 브라우저를 열면 그 아래에 `Handling connection` 줄이 하나씩 붙는데, 그것이 안 붙으면 브라우저가 다른 곳을 보고 있다. +`Forwarding from 127.0.0.1:3000 -> 3000` 한 줄이 찍히고 명령이 그대로 멈춰 있는가. 이 명령은 끝나지 않는 것이 정상이라 터미널 하나를 여기에 내준다. 브라우저를 열면 그 아래에 `Handling connection` 줄이 하나씩 붙는데, 그것이 안 붙으면 브라우저가 다른 곳을 보고 있다. -**이 결과가 의미하는 것** — 이 터널은 명령을 실행한 기계에서만 열린다. 워크스테이션에서 쳤으면 워크스테이션 브라우저로, lab host 에서 쳤으면 lab host 에서 봐야 한다. `bind: address already in use` 면 3000 을 이미 누가 쓰는 것이니 왼쪽만 바꾼다. Ctrl+C 로 끊으면 터널도 사라진다 — 밖에 포트를 여는 것이 아니라 보는 동안만 뚫는 것이라 실험대의 노출면이 늘지 않는다. +이 터널은 명령을 실행한 기계에서만 열린다. 워크스테이션에서 쳤으면 워크스테이션 브라우저로, lab host 에서 쳤으면 lab host 에서 봐야 한다. `bind: address already in use` 면 3000 을 이미 누가 쓰는 것이니 왼쪽만 바꾼다. Ctrl+C 로 끊으면 터널도 사라진다 — 밖에 포트를 여는 것이 아니라 보는 동안만 뚫는 것이라 실험대의 노출면이 늘지 않는다. -## 통과 조건을 한 번에 다시 본다 +## 관측 스택 확인표 | 무엇 | 명령 | 통과 | |---|---|---| @@ -302,7 +296,7 @@ kubectl -n observability port-forward svc/grafana 3000:3000 | 상태 | `… /api/v1/targets \| tr ',' '\n' \| grep -E …` | `"health":"up"` 아닌 줄이 없다 | | 클러스터 | `… query=vendor_cluster_size` | 원소 둘 · 값 둘 다 2 — **`health` 가 `up` 이 된 뒤에 잰다** | -## 막히면 +## target이 DOWN이거나 대시보드가 비어 있을 때 | 증상 | 원인 | 확인 | |---|---|---| @@ -314,18 +308,20 @@ kubectl -n observability port-forward svc/grafana 3000:3000 | `"result":[]` | 그런 지표가 없다 — 0 이 아니다 | 확인 ① 에 그 job 이 있는가 | | `bind: address already in use` | 3000 을 이미 누가 쓴다 | `3001:3000` 처럼 왼쪽만 바꾼다 | -## 무엇이 관측이고 무엇이 아닌가 +## 이 관측 스택에서 실제로 확인한 범위 -- (observed) 파드 네 줄과 job 네 개, `vendor_cluster_size` 가 둘 다 2, 503 중에도 `up` 이 1 이었던 것. -- (observed) Redis 와 BFF 와 PostgreSQL 이 스크레이프 대상에 없다는 것. 안 찍은 것이 아니라 지표가 없는 것이다. -- (observed) `ClusterRole` 에서 `nodes/proxy` 를 빠뜨렸을 때 kubelet 타깃만 403 으로 실패하고 나머지 잡은 정상이었던 것. 그때의 화면은 남아 있지 않다(unknown). -- 관측 스택을 `kc-lab-1` 에 두고 `kc-lab-2` 를 장애 주입 대상으로 삼는 것은 이 실험대가 정한 규칙이다. `observability.yaml` 원문이 없어 `nodeSelector` 가 거기 어떻게 적혀 있는지는 대조하지 못했다(unknown). -- (unknown) `observability.yaml` 원문이 반입되지 않아 Prometheus 와 Grafana 와 node-exporter 의 이미지 태그, 스크레이프 주기, 보존 기간, Grafana 대시보드 구성은 대조하지 못했다. 위에 고정한 버전은 이 스택이 올라탄 k3s 와 게스트 OS 까지다. -- (unknown) `get pods -o wide` 와 targets 의 `health` 훑기, `query=up`, `port-forward` 의 출력은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다. -- (unknown) 원본 가이드 06 에 되돌리는 절차가 없다. DaemonSet 이 노드마다 남긴 것을 걷어내 본 적이 없다. -- (unknown) 이 단계에는 「이 실험대는 이렇게 했다」와 「따라 하는 사람은」 두 갈래가 없다. 06 은 파일을 직접 쓰지 않고 저장소의 매니페스트를 적용한다. -- (inferred) node-exporter 가 재는 것은 게스트 안에서 본 값이다. 호스트에서 같은 것을 재면 다른 수가 나올 수 있는데, 스크레이프 대상 넷이 전부 클러스터 안이라 이 실험대는 호스트 쪽 지표를 긁지 않는다. -- (observed) 2026-09-17 에 이 절차를 갓 세운 클러스터에서 다시 밟았다. 파드 네 줄과 job 네 개가 그대로 나왔고 ReplicaSet 해시 `845b5678cf`·`6774f94f7c` 까지 같았다. 달랐던 것 — `rollout status` 직후에는 Grafana 가 `0/1` 이었고 Keycloak 대상의 `health` 가 `unknown` 이라 `vendor_cluster_size` 의 원소가 하나뿐이었다. 약 2분 뒤에 둘 다 `2` 가 됐다. -- (observed) `kubectl auth can-i get nodes/proxy --as=…` 는 `yes` 앞에 `Warning: resource 'nodes' is not namespace scoped` 한 줄을 같이 낸다. 경고이지 실패가 아니다. +- 실제 관측에서는 파드 네 줄과 job 네 개를 확인했고, `vendor_cluster_size` 는 둘 다 2였다. 503 응답이 발생한 구간에도 `up` 이 1인 타깃이 있었다. +- Redis 와 BFF 와 PostgreSQL 이 스크레이프 대상에 없다는 것. 안 찍은 것이 아니라 지표가 없는 것이다. +- `ClusterRole` 에서 `nodes/proxy` 를 빠뜨렸을 때 kubelet 타깃만 403 으로 실패하고 나머지 job은 정상이었다. 당시 이 현상은 확인했지만 화면 캡처는 남아 있지 않다. +- 2026-09-21 재검증에서 `observability.yaml`의 `nodeSelector`가 Prometheus와 Grafana를 control-plane 노드에 고정하는 것을 확인했다. 실제 파드도 둘 다 `kc-lab-1`에 떴고 node-exporter는 `.11`과 `.12`에 하나씩 떴다. +- 2026-09-21 재검증에서는 실제 매니페스트와 실행 파드에서 Prometheus `v3.1.0`, Grafana `11.4.0`, node-exporter `v1.8.2`를 대조했다. `scrape_interval=15s`, Prometheus TSDB retention=`7d`도 매니페스트에서 확인했다. +- 2026-09-21 재검증에서는 raw `/api/v1/targets` 응답을 먼저 보존한 뒤 확인하니 `keycloak`·`kubelet`·`node-exporter`·`prometheus` 네 job이 모두 `health=up`이었다. `vendor_cluster_size`는 두 결과가 모두 `2`, `up`은 두 Keycloak·두 node-exporter·두 kubelet·Prometheus 모두 `1`이었다. +- 2026-09-21 재검증에서는 Grafana를 임시 `port-forward`로 `127.0.0.1:3001`에만 열고 `/api/health` 응답을 확인한 뒤 포트포워드를 종료했다. +- `get pods -o wide` 와 targets 의 `health` 훑기, `query=up`, `port-forward` 의 출력은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다. +- 원본 가이드 06 에 되돌리는 절차가 없다. DaemonSet 이 노드마다 남긴 것을 걷어내 본 적이 없다. +- 이 단계에는 「이 실험대는 이렇게 했다」와 「따라 하는 사람은」 두 갈래가 없다. 06 은 파일을 직접 쓰지 않고 저장소의 매니페스트를 적용한다. +- node-exporter가 재는 값은 게스트 커널에서 본 값이다. 스크레이프 대상 네 개가 모두 클러스터 안에 있으므로 이 실험대가 호스트 쪽 지표를 수집하지 않는다는 점은 구성에서 확인할 수 있다. 호스트에서 같은 항목을 재면 다른 값이 나올 수 있다는 부분은 이 구조에서 한 추론이며 직접 비교 측정하지 않았다. +- 2026-09-17 에 이 절차를 갓 세운 클러스터에서 다시 밟았다. 파드 네 줄과 job 네 개가 그대로 나왔고 ReplicaSet 해시 `845b5678cf`·`6774f94f7c` 까지 같았다. 달랐던 것 — `rollout status` 직후에는 Grafana 가 `0/1` 이었고 Keycloak 대상의 `health` 가 `unknown` 이라 `vendor_cluster_size` 의 원소가 하나뿐이었다. 약 2분 뒤에 둘 다 `2` 가 됐다. +- 실제 실행에서 `kubectl auth can-i get nodes/proxy --as=…` 는 `yes` 앞에 `Warning: resource 'nodes' is not namespace scoped` 한 줄을 같이 냈다. 이 줄은 경고이고 권한 확인 자체는 성공했다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-tear-down-the-lab-and-know-what-survives.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-tear-down-the-lab-and-know-what-survives.md index 55a2079..490efed 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-tear-down-the-lab-and-know-what-survives.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-tear-down-the-lab-and-know-what-survives.md @@ -32,40 +32,24 @@ evidence: 게스트 세 대와 DHCP 예약을 지우고 무엇이 남았는지까지 확인하는 절차다. 세우는 가이드에는 이 부분이 없어서 2026-09-10 에 직접 돌리며 명령과 출력을 적었다. 되돌리는 명령은 이 절차에 없다. -## 관계 - -- **cloud-init 시드로 게스트 세 대를 만들고 SSH 가 키로 붙게 한다** - 여기서 지우는 것을 그 절차가 만들고, 다시 세울 때 돌아갈 곳도 거기다. -- **실험대를 껐다 켜고 게스트 메모리를 다시 나눈다** - 워크로드를 정상으로 내리고 싶으면 그 편의 종료 순서를 먼저 돌고 온다. 여기서는 지우는 것이 목적이라 전원을 뽑는다. -- **5120MB 를 줬는데 353MB 를 쓰고 있었다 — 선언한 양과 실제로 드는 양** - 회수된 디스크 3.1GB 를 읽는 방법이 그 기록과 같다. 선언한 크기와 실제로 차지한 크기는 다른 값이다. -- **이 실험대의 certbot 은 HTTP-01 로 받고 있는가 DNS-01 로 받고 있는가** - 이 물음은 `dns-cloudflare` 관측으로 닫혔다. 여기서는 그 사실과 별개로 현재 자격증명이 재발급에 쓸 수 있는지를 철거 조건으로 본다. -- **가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가** - 철거는 그 물음을 재기 위한 전제라, 지우고 다시 세워 봐야 답이 나온다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - `virbr0` 가 `DOWN` 으로 보이는 것을 고장으로 읽지 않는 근거가 그 기준이다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 철거 명령은 lab host와 edge guest를 구분해 실행한다 전부 `[lab host]` 다. 게스트를 통째로 지우는 절차라 게스트 안에서 칠 명령이 하나도 없다. 조회와 삭제뿐이라 편집기를 여는 곳도 없고 CLI 를 그대로 쓴다. -## 되돌리기가 없다 +## 삭제한 VM과 overlay는 되돌릴 수 없다고 가정한다 `virsh undefine --remove-all-storage` 는 도메인 정의와 오버레이 디스크와 시드 ISO 를 한 번에 지운다. 지운 뒤에 되살리는 명령이 libvirt 에 없다. 실험대를 다시 쓰려면 `base.qcow2` 위에 오버레이를 새로 만들고 시드 ISO 를 다시 구워야 하고, 그 절차는 게스트 세 대를 만드는 편이 받는다. 지우기 전에 알아 둘 것은 이 절차가 건드리지 않는 쪽이다. `base.qcow2` 와 `~/workspace/cloud/kc-lab-{1,2}.yaml` 과 `~/.ssh/config` 의 `kc-lab-*` 항목은 그 자체로 살아 있어서 재구축 때 다시 쓴다. 무엇이 어느 쪽인지는 아래 표가 아홉 행으로 가른다. -## 지우기 전에 먼저 본다 +## VM·볼륨·인증서 백업 대상을 먼저 확인한다 -**무엇을 확인하는가** — 지금 무엇이 있는지. 철거 뒤와 견줄 값을 여기서 받아 둔다. +지금 무엇이 있는지. 철거 뒤와 견줄 값을 여기서 받아 둔다. ```bash label="[lab host] 도메인 · 볼륨 · 예약 · 디스크 사용량을 한 번에 본다" virsh list --all @@ -74,11 +58,11 @@ virsh net-dumpxml default | grep -A5 dhcp df -h / ``` -**어디를 봐야 하는가** — 네 값이다. 도메인이 몇 대인가, 볼륨이 몇 개인가, `` 예약이 몇 줄인가, 루트 파일시스템이 얼마나 찼는가. 2026-09-10 의 이 호스트에서는 도메인 3 대에 볼륨 7 개, 예약 3 줄, `df -h /` 가 11G 였다. +네 값이다. 도메인이 몇 대인가, 볼륨이 몇 개인가, `` 예약이 몇 줄인가, 루트 파일시스템이 얼마나 찼는가. 2026-09-10 의 이 호스트에서는 도메인 3 대에 볼륨 7 개, 예약 3 줄, `df -h /` 가 11G 였다. -**이 결과가 의미하는 것** — 이 네 값이 철거의 성공 판정 기준이 된다. 여기를 건너뛰면 지운 뒤에 「원래 몇 개였지」를 되짚을 방법이 없다. +이 네 값이 철거의 성공 판정 기준이 된다. 여기를 건너뛰면 지운 뒤에 「원래 몇 개였지」를 되짚을 방법이 없다. -2026-09-17 에 다시 세운 실험대에서 같은 네 줄을 쳤다(observed). 도메인 3 대에 볼륨 7 개, 예약 3 줄까지는 2026-09-10 과 같고 **디스크만 11G 가 아니라 18G 다.** 그사이에 k3s 와 컨테이너 이미지가 쌓였다. 그래서 이 네 값은 「이 호스트의 정답」이 아니라 **지금 이 실행에서 받아 두는 대조군**이다 — 위에 실은 숫자와 다르다고 잘못된 것이 아니다. +2026-09-17 에 다시 세운 실험대에서 같은 네 줄을 쳤다. 도메인 3 대에 볼륨 7 개, 예약 3 줄까지는 2026-09-10 과 같고 **디스크만 11G 가 아니라 18G 다.** 그사이에 k3s 와 컨테이너 이미지가 쌓였다. 그래서 이 네 값은 「이 호스트의 정답」이 아니라 **지금 이 실행에서 받아 두는 대조군**이다 — 위에 실은 숫자와 다르다고 잘못된 것이 아니다. ```text label="2026-09-17 의 네 값" 도메인 kc-lab-1 · kc-lab-edge · kc-lab-2 (셋 다 running) @@ -87,7 +71,53 @@ df -h / 디스크 /dev/nvme0n1p3 226G 18G 197G 9% / ``` -## 실행 절차 +## edge guest를 지우기 전에 인증서를 백업한다 + +2026-09-17 현재 서빙하는 인증서는 **`kc-lab-edge` 안의 `/etc/letsencrypt/`** 에 있다. 03에서 nginx를 edge guest로 옮겼고 04에서 certbot도 그 guest에 설치했다. 이 절차의 1번은 guest를 `--remove-all-storage`로 지우므로, 인증서도 백업하지 않으면 guest 디스크와 함께 사라진다. + +두 기계를 나란히 열어 보면 이렇다. + +```bash label="[lab host] 어느 쪽에 무엇이 있나" +ls -la /etc/letsencrypt/ +ssh kc-lab-edge 'sudo ls -la /etc/letsencrypt/' +``` + +| 기계 | `/etc/letsencrypt/` | certbot | 타이머 | 서빙 | +|---|---|---|---|---| +| 랩 호스트 | 있다 (읽으려면 `sudo`) | `/usr/bin/certbot` | 없다 | 안 한다 — 80·443 을 안 듣는다 | +| `kc-lab-edge` | 있다 — `cli.ini` · `renewal-hooks` | `/usr/bin/certbot` | `certbot.timer` | **한다** | + +따라서 **철거 전에 백업할 대상은 edge guest의 `/etc/letsencrypt/` 하나다.** 파일 이름은 host에서 한 번 만든 시각값으로 고정해, 원격 tar와 scp가 같은 파일을 가리키게 한다. + +```bash label="[lab host] 실제로 서빙하는 인증서를 edge guest에서 묶는다" +STAMP=$(date +%Y%m%d-%H%M%S) +ssh kc-lab-edge "sudo tar czf /tmp/letsencrypt-backup-$STAMP.tgz -C /etc letsencrypt" +scp "kc-lab-edge:/tmp/letsencrypt-backup-$STAMP.tgz" "$HOME/" +``` + +정상이면 host의 `$HOME/letsencrypt-backup-$STAMP.tgz`가 생긴다. 이 파일은 edge guest를 `--remove-all-storage`로 지우기 전에 host 쪽으로 빠져나온 복구본이다. + +패키지도 host와 guest를 나눠 본다. `kc-lab-edge` 안의 `nginx`와 `certbot`은 guest와 함께 사라지고, host에는 `libvirt`·`qemu`·`kubectl`과 현재 서빙에는 쓰이지 않는 host `certbot`이 남는다. + +정책으로 남기는 것은 guest 안의 디렉터리 자체가 아니라 **host로 복사한 인증서 backup tar**다. 한도 때문도 아니고 검증 방식이 미확정이어서도 아니다. 2026-09-17 renewal 설정에서 `authenticator = dns-cloudflare` 를 직접 읽어 **DNS-01 등록은 확인했다**. + +2026-09-17 에는 credential 파일이 비어 있어 갱신 가능성을 확인하지 못했기 때문에 backup tar를 필수 보존 대상으로 두었다. **2026-09-21 재검증에서는 이 전제가 바뀌었다.** edge의 `/etc/letsencrypt/cloudflare.ini`는 81 bytes였고 `sudo certbot renew --dry-run --no-random-sleep-on-renew`이 DNS 전파 대기 30초 뒤 성공했다. 따라서 현재 등록된 DNS-01 lineage를 현재 credential로 갱신할 수 있다는 점은 확인됐다. 다만 새 인증서를 처음부터 발급하는 절차나 wildcard 발급까지 이 dry-run 하나로 확인된 것은 아니다. + +그래도 철거 직전 backup tar는 남긴다. 이제 이유는 “갱신이 가능한지 몰라서”가 아니라 **복구 시 기존 lineage·renewal 설정·deploy hook까지 즉시 되돌릴 수 있는 가장 짧은 복구 경로**이기 때문이다. 현재 lineage의 renewal dry-run은 확인됐지만, backup은 별도의 빠른 복구본으로 남긴다. + +복원도 **새로 만든 `kc-lab-edge` 안으로** 되돌린다. host의 `/etc`에 풀지 않는다. `{{STAMP}}`에는 백업 파일 이름의 시각값을 넣는다. + +```bash label="[lab host] 백업을 새 edge guest로 되돌린다" +BACKUP="$HOME/letsencrypt-backup-{{STAMP}}.tgz" +scp "$BACKUP" kc-lab-edge:/tmp/letsencrypt-backup.tgz +ssh kc-lab-edge 'sudo tar xzf /tmp/letsencrypt-backup.tgz -C /etc' +ssh kc-lab-edge 'sudo certbot certificates && sudo nginx -t' +``` + +마지막 줄이 둘 다 성공해야 복원이 끝난 것이다. 인증서 파일이 돌아왔는지와 nginx가 그 경로를 실제로 읽을 수 있는지를 따로 확인한다. + + +## 백업을 끝낸 뒤 VM과 DHCP 예약을 삭제한다 ### 1. 게스트 세 대를 지운다 @@ -107,7 +137,7 @@ virsh list --all virsh vol-list default ``` -**예상 결과** — 게스트 한 대마다 네 줄이 나온다. 아래는 `kc-lab-edge` 한 대분이다(observed). +정상이면 게스트 한 대마다 네 줄이 나온다. 아래는 `kc-lab-edge` 한 대분이다. ```text label="[lab host] ① 의 출력 — 한 대분" Domain 'kc-lab-edge' destroyed @@ -116,9 +146,9 @@ Volume 'vda'(/var/lib/libvirt/images/kc-lab-edge.qcow2) removed. Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed. ``` -**왜 필요한가** — `Volume` 줄이 두 개 나오는지가 끝났다는 판정이다. `vda` 가 오버레이 디스크이고 `vdb` 가 시드 ISO 다. `--remove-all-storage` 를 빠뜨리면 도메인만 사라지고 디스크 파일은 지워지지 않아, 같은 이름으로 다음 `virt-install` 을 돌릴 때 「이미 있다」로 실패한다. 그리고 `virsh destroy` 는 종료 신호를 보내지 않고 전원을 뽑는다. 워크로드를 정상으로 내리고 싶으면 종료 순서를 다루는 편을 먼저 돌고 온다. +`Volume` 줄이 두 개 나오는지가 끝났다는 판정이다. `vda` 가 오버레이 디스크이고 `vdb` 가 시드 ISO 다. `--remove-all-storage` 를 빠뜨리면 도메인만 사라지고 디스크 파일은 지워지지 않아, 같은 이름으로 다음 `virt-install` 을 돌릴 때 「이미 있다」로 실패한다. 그리고 `virsh destroy` 는 종료 신호를 보내지 않고 전원을 뽑는다. 워크로드를 정상으로 내리고 싶으면 종료 순서를 다루는 편을 먼저 돌고 온다. -**문제가 생기면** — ② 의 `virsh vol-list default` 에 게스트 디스크나 시드 ISO 가 보이면 `--remove-all-storage` 가 빠진 것이다. 남은 볼륨은 `virsh vol-delete --pool default seed-kc-lab-1.iso` 처럼 이름을 하나씩 대서 지운다. +실패하면 ② 의 `virsh vol-list default` 에 게스트 디스크나 시드 ISO 가 보이면 `--remove-all-storage` 가 빠진 것이다. 남은 볼륨은 `virsh vol-delete --pool default seed-kc-lab-1.iso` 처럼 이름을 하나씩 대서 지운다. ### 2. DHCP 예약 세 줄을 지운다 @@ -142,7 +172,7 @@ virsh net-update default delete ip-dhcp-host \ virsh net-dumpxml default | grep -E "host mac|range start" ``` -**예상 결과** — ① 은 삭제마다 `Updated network default persistent config and live state` 를 낸다. ② 에는 `` 한 줄만 남는다. +정상이면 ① 은 삭제마다 `Updated network default persistent config and live state` 를 낸다. ② 에는 `` 한 줄만 남는다. ```text label="[lab host] ② 의 출력 — 동적 대역만 남았다" @@ -150,9 +180,9 @@ virsh net-dumpxml default | grep -E "host mac|range start" ``` -**왜 필요한가** — 예약을 남겨 두면 다음 구축에서 예약이 두 벌이 되거나, 넣으려 할 때 이미 있다고 거부당한다. `--live` 와 `--config` 를 둘 다 주는 까닭도 넣을 때와 같다. `--live` 만 주면 재부팅에 예약이 되살아나고 `--config` 만 주면 지금 돌고 있는 dnsmasq 가 아직 예약을 들고 있다. +예약을 남겨 두면 다음 구축에서 예약이 두 벌이 되거나, 넣으려 할 때 이미 있다고 거부당한다. `--live` 와 `--config` 를 둘 다 주는 까닭도 넣을 때와 같다. `--live` 만 주면 재부팅에 예약이 되살아나고 `--config` 만 주면 지금 돌고 있는 dnsmasq 가 아직 예약을 들고 있다. -**문제가 생기면** — 속성이 하나라도 비면 이렇게 거부된다. +실패하면 속성이 하나라도 비면 이렇게 거부된다. ```text label="[lab host] 이름이 빈 채로 삭제를 시도했을 때" error: Failed to update network default @@ -161,52 +191,7 @@ error: XML error: Cannot use host name '' in network 'default' zsh 에서 루프로 돌리면 이 오류를 만난다. zsh 는 따옴표 없는 변수를 단어 분리하지 않아서, bash 에서 되던 `set -- $entry` 가 `$1` 에 문자열 전체를 넣고 `$2` 와 `$3` 을 비워서 `name=""` 이 된다. 세 줄을 값 그대로 쓰는 편이 안전하다. -## 인증서는 edge guest에서 백업한다 - -2026-09-17 현재 서빙하는 인증서는 **`kc-lab-edge` 안의 `/etc/letsencrypt/`** 에 있다(observed). 03에서 nginx를 edge guest로 옮겼고 04에서 certbot도 그 guest에 설치했다. 이 절차의 1번은 guest를 `--remove-all-storage`로 지우므로, 인증서도 백업하지 않으면 guest 디스크와 함께 사라진다. - -두 기계를 나란히 열어 보면 이렇다. - -```bash label="[lab host] 어느 쪽에 무엇이 있나" -ls -la /etc/letsencrypt/ -ssh kc-lab-edge 'sudo ls -la /etc/letsencrypt/' -``` - -| 기계 | `/etc/letsencrypt/` | certbot | 타이머 | 서빙 | -|---|---|---|---|---| -| 랩 호스트 | 있다 (읽으려면 `sudo`) | `/usr/bin/certbot` | 없다 | 안 한다 — 80·443 을 안 듣는다 | -| `kc-lab-edge` | 있다 — `cli.ini` · `renewal-hooks` | `/usr/bin/certbot` | `certbot.timer` | **한다** | - -따라서 **철거 전에 백업할 대상은 edge guest의 `/etc/letsencrypt/` 하나다.** 파일 이름은 host에서 한 번 만든 시각값으로 고정해, 원격 tar와 scp가 같은 파일을 가리키게 한다. - -```bash label="[lab host] 실제로 서빙하는 인증서를 edge guest에서 묶는다" -STAMP=$(date +%Y%m%d-%H%M%S) -ssh kc-lab-edge "sudo tar czf /tmp/letsencrypt-backup-$STAMP.tgz -C /etc letsencrypt" -scp "kc-lab-edge:/tmp/letsencrypt-backup-$STAMP.tgz" "$HOME/" -``` - -**예상 결과** — host의 `$HOME/letsencrypt-backup-$STAMP.tgz`가 생긴다. 이 파일은 edge guest를 `--remove-all-storage`로 지우기 전에 host 쪽으로 빠져나온 복구본이다. - -패키지도 host와 guest를 나눠 본다. `kc-lab-edge` 안의 `nginx`와 `certbot`은 guest와 함께 사라지고, host에는 `libvirt`·`qemu`·`kubectl`과 현재 서빙에는 쓰이지 않는 host `certbot`이 남는다. - -정책으로 남기는 것은 guest 안의 디렉터리 자체가 아니라 **host로 복사한 인증서 backup tar**다. 한도 때문도 아니고 검증 방식이 미확정이어서도 아니다. 2026-09-17 renewal 설정에서 `authenticator = dns-cloudflare` 를 직접 읽어 **DNS-01 등록은 확인했다**. - -backup tar를 남기는 까닭은 **현재 자격증명으로 다시 받을 수 있는지가 확인되지 않았기 때문**이다. 같은 후속 원문에서 `/etc/letsencrypt/cloudflare.ini` 의 토큰 길이는 0자로 측정됐고 Cloudflare 검증은 `Invalid request headers` 로 실패했다. 따라서 DNS-01이라는 사실만으로 “guest를 지워도 다시 받으면 된다”고 결론내리지 않는다. - -유효한 Cloudflare 토큰을 다시 준비하고 `certbot renew --dry-run` 이 성공한 원문까지 남기면 그때 보존 정책을 완화할 수 있다. 그 전에는 guest를 지우기 전에 실제 서빙 중인 `/etc/letsencrypt/` 를 host로 백업하고 그 tar를 보존한다. - -복원도 **새로 만든 `kc-lab-edge` 안으로** 되돌린다. host의 `/etc`에 풀지 않는다. `{{STAMP}}`에는 백업 파일 이름의 시각값을 넣는다. - -```bash label="[lab host] 백업을 새 edge guest로 되돌린다" -BACKUP="$HOME/letsencrypt-backup-{{STAMP}}.tgz" -scp "$BACKUP" kc-lab-edge:/tmp/letsencrypt-backup.tgz -ssh kc-lab-edge 'sudo tar xzf /tmp/letsencrypt-backup.tgz -C /etc' -ssh kc-lab-edge 'sudo certbot certificates && sudo nginx -t' -``` - -마지막 줄이 둘 다 성공해야 복원이 끝난 것이다. 인증서 파일이 돌아왔는지와 nginx가 그 경로를 실제로 읽을 수 있는지를 따로 확인한다. - -## 구성 값 +## 철거 대상과 남겨 둘 파일 지우는 대상은 게스트 셋과 그 셋의 DHCP 예약이다. @@ -218,9 +203,9 @@ ssh kc-lab-edge 'sudo certbot certificates && sudo nginx -t' 지우는 순서는 `kc-lab-edge` · `kc-lab-2` · `kc-lab-1` 이다. 1번의 `for` 목록이 그 순서로 적혀 있다. -## 확인 방법 +## VM과 네트워크 흔적이 의도대로 정리됐는지 확인한다 -**무엇을 확인하는가** — 철거 전에 받아 둔 네 값이 전부 내려갔는지. +철거 전에 받아 둔 네 값이 전부 내려갔는지. ```bash label="[lab host] 철거 뒤 같은 네 값을 다시 본다" virsh list --all @@ -230,7 +215,7 @@ df -h / ip -br addr show virbr0 ``` -**어디를 봐야 하는가** — 다섯 줄을 전후로 견준다(observed). +다섯 줄을 전후로 견준다. 아래 철거 전후 값은 2026-09-10 실제 실행에서 확인한 스냅샷이다. 2026-09-17 재구축 상태에서는 철거 전 `/` 사용량이 18G였으므로 날짜가 다른 수치를 한 실행처럼 섞지 않는다. | 무엇을 보는가 | 철거 전 | 철거 후 | |---|---|---| @@ -240,9 +225,9 @@ ip -br addr show virbr0 | `df -h /` | 11G | 7.9G | | `virbr0` | UP | DOWN | -**이 결과가 의미하는 것** — 디스크에서 3.1GB 가 회수됐다. 잰 내역은 `kc-lab-1` 1.4GB 와 `kc-lab-2` 665MB 와 시드 ISO 세 개(각 370KB)이고, `kc-lab-edge` 의 디스크 크기는 재 두지 않았다. 합계에서 빼면 1GB 안팎인데 그것은 잰 값이 아니라 역산한 값이다. +디스크에서 3.1GB 가 회수됐다. 잰 내역은 `kc-lab-1` 1.4GB 와 `kc-lab-2` 665MB 와 시드 ISO 세 개(각 370KB)이고, `kc-lab-edge` 의 디스크 크기는 재 두지 않았다. 합계에서 빼면 1GB 안팎인데 그것은 잰 값이 아니라 역산한 값이다. -**그 역산은 아마 너무 컸다**(2026-09-17, observed). 같은 호스트에 다시 세운 실험대의 볼륨 일곱을 `virsh vol-info` 로 재 보니 엣지가 가장 작다. 선언한 크기와 실제로 먹는 양이 크게 다르고, 오버레이라 쓴 만큼만 먹는다. +**그 역산은 아마 너무 컸다.** 2026-09-17에 같은 호스트에서 다시 세운 실험대를 직접 재 보니 엣지 볼륨이 가장 작았다. 같은 호스트에 다시 세운 실험대의 볼륨 일곱을 `virsh vol-info` 로 재 보니 엣지가 가장 작다. 선언한 크기와 실제로 먹는 양이 크게 다르고, 오버레이라 쓴 만큼만 먹는다. ```bash label="[lab host] 볼륨이 실제로 먹는 양을 본다" virsh vol-info --pool default kc-lab-edge.qcow2 @@ -260,7 +245,7 @@ seed-kc-lab-{1,2,edge}.iso Capacity=370.00 KiB Allocation=372.00 KiB `virbr0` 가 `DOWN` 인 것은 고장이 아니다. 브리지에 붙은 tap 인터페이스가 하나도 없어서 캐리어가 없는 것으로 표시될 뿐이고, 주소 `192.168.122.1/24` 는 그대로 있다. VM 을 다시 띄우면 그 VM 의 `vnetN` 인터페이스가 브리지에 붙으면서 `UP` 이 된다. `virsh net-start` 를 찾아 헤매지 않는다. -## 철거해도 남는 것과 사라지는 것 +## 철거 뒤 host에 남는 것과 사라지는 것 이걸 모르면 재구축이 「왜 이건 이미 있지」와 「왜 이건 없지」의 반복이 된다. @@ -273,19 +258,21 @@ seed-kc-lab-{1,2,edge}.iso Capacity=370.00 KiB Allocation=372.00 KiB | `~/.ssh/config` 의 `kc-lab-*` 항목 | 남는다 | 재구축해도 IP 가 같다 | | libvirt `default` 네트워크 정의 | 남는다 | 예약만 지웠다 | | edge guest의 `/etc/letsencrypt/` | 사라진다 | guest 삭제 전에 host의 `$HOME/letsencrypt-backup-.tgz`로 백업한다 | -| host에 복사한 인증서 백업 tar | 남긴다 (정책) | DNS-01 등록은 확인됐지만 credential 유효성과 `certbot renew --dry-run` 성공은 아직 미확인 | +| host에 복사한 인증서 백업 tar | 남긴다 (정책) | 2026-09-21 현재 lineage의 DNS-01 renewal dry-run은 성공했다. backup은 기존 lineage·renewal 설정·deploy hook까지 빠르게 복구하기 위한 복구본이다 | | 게스트 디스크 · 시드 ISO | 사라진다 | `--remove-all-storage` | | DHCP 예약 | 사라진다 | `net-update delete` | | k3s · Keycloak · 모든 워크로드 | 사라진다 | 게스트와 함께 | `~/workspace/cloud/kc-lab-{1,2}.yaml` 이 남는다는 것은 편한 일이면서 위험한 일이다. 그 파일에 SSH 공개키와 콘솔 로그인용 비밀번호가 들어 있으므로, 실험대를 접고 기계를 넘길 때는 이 절차만으로 끝났다고 보지 않는다. -## 이 절차가 감당하지 않는 것 +## 이 철거 절차가 보장하지 않는 것 호스트 계층 철거는 여기 없다. 원본이 `deploy/lab/host/teardown-host.sh` 를 가리키지만 그 스크립트가 반입되지 않아 내용을 모른다. nginx 설정과 DNAT 유닛과 certbot 훅을 어디까지 걷어내는지는 확인하지 못했다. 다시 세우는 쪽도 여기 없다. 게스트를 만드는 편부터 일곱 편이 그 순서를 받는다. -이 명령들은 2026-09-10 에 이 호스트에서 실제로 돌려 받은 출력이고, 그 뒤에 다시 돌려 검증하지는 않았다. 다시 돌리면 실험대가 없어지기 때문이다. +2026-09-21 재검증에서는 이 절차를 worker 두 대에 다시 실행했다. `kc-lab-2`와 `kc-lab-1`을 `destroy → undefine --remove-all-storage` 순서로 지우자 각 도메인의 qcow2와 seed ISO가 함께 삭제됐고, `.11/.12` DHCP 예약을 `--live --config`로 지운 뒤에는 edge의 `.10` 예약만 남았다. 그 상태에서 worker 두 대를 Setup 01부터 다시 만들어 cloud-init·k3s·Keycloak까지 복구했다. 따라서 **worker 철거→재구축 경로는 2026-09-21 재검증에서 실제로 끝까지 확인했다.** + +`kc-lab-edge` 전체 삭제는 이번 세션에서 수행하지 않았다. 현재 실제 TLS 종단점이고 `/etc/letsencrypt`에는 credential이 포함될 수 있어, 백업을 안전하게 확보하지 않은 상태에서 `--remove-all-storage`를 실행하면 서비스와 복구 자산을 함께 잃는다. edge 전체 철거→복원은 아직 실제로 확인하지 않았다. diff --git a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-wildcard-certificate-with-dns-01-and-a-deploy-hook.md b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-wildcard-certificate-with-dns-01-and-a-deploy-hook.md index eaedbe2..0360d3c 100644 --- a/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-wildcard-certificate-with-dns-01-and-a-deploy-hook.md +++ b/docs/virtualization/tech-log-studio/lab-environment-build/setup/setup-wildcard-certificate-with-dns-01-and-a-deploy-hook.md @@ -9,9 +9,9 @@ project: virtualization status: 게시 전 studio: "https://hyeonworks.com/studio/documents/975a6d61-4e34-4034-a0d2-01fea3b498a3/edit" pinnedVersions: - - name: nginx (엣지 게스트, observed; apt 설치 버전 미고정) + - name: nginx (엣지 게스트에서 확인; apt 설치 버전 미고정) version: 1.22.1 - - name: nginx (물리 호스트, observed; 이 Setup이 설치·버전을 고정하지 않음) + - name: nginx (물리 호스트에서 확인; 이 Setup이 설치·버전을 고정하지 않음) version: 1.30.4 - name: Debian GNU/Linux version: 12 (bookworm) @@ -28,26 +28,10 @@ source: 엣지 게스트에 certbot 과 Cloudflare 플러그인을 깔고 DNS-01 로 와일드카드 인증서를 받아 nginx 에 443 을 얹는 절차다. 갱신이 서빙하는 인증서까지 닿게 하는 deploy 훅도 넣는다. 물리 호스트에는 아무것도 두지 않는다. -## 관계 - -- **인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다** - 왜 이 방식이어야 했는지와 토큰이 평문으로 놓이는 비용을 그 결정이 갖고, 여기는 그것을 실행하는 명령만 갖는다. -- **갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초** - 훅이 없을 때 갱신과 서빙이 얼마나 벌어지는지를 그 기록이 쟀다. 여기서 훅을 넣는 다섯째 단계가 그 측정에서 나왔다. -- **엣지 게스트에 nginx 를 세우고 호스트 DNAT 으로 밖에서 들어오는 길을 연다** - 이 절차가 고쳐 쓰는 nginx 파일과 80 서버 블록을 그 단계가 먼저 세운다. -- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다** - 갱신 로그의 `SUCCESS` 도 훅 로그의 `error output` 도 서버가 지금 무엇을 내보내는지를 말하지 않는다. 그래서 판정을 워커 PID 와 체인 단계 수로 한다. -- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다** - 확인 명령을 엣지 안에서 치면 층의 답이 아니라 친 곳의 답이 돌아온다. 어느 기계에서 치는지가 이 단계의 판정을 가른다. -- **Keycloak 2노드와 PostgreSQL 을 k3s 에 올리고 클러스터가 묶였는지 확인한다** - 다음 단계다. 여기서 잰 `404 tls=0` 이 거기서 `200` 으로 바뀌는 것이 그 단계가 만든 변화다. - -## 본문 -## 읽기 전에 — 어디서 치는가 +## 인증서 작업은 edge guest에서 실행한다 이 단계도 셸이 갈린다. @@ -67,11 +51,11 @@ source: * connect to 100.83.212.4 port 443 failed: Connection refused ``` -`auth.hyeonworks.com` 은 호스트의 tailnet 주소로 풀리는데 엣지 게스트에는 Tailscale 이 없다. 엣지에서 나간 패킷은 호스트의 `virbr0` 으로 들어가고 호스트의 DNAT 규칙은 `iifname "tailscale0"` 만 매칭하므로 그 패킷은 규칙에 안 걸리고, 호스트 443 에 리스너가 없어 거절된다. 설정이 틀린 것이 아니라 친 곳이 틀렸다. 가이드는 그 기계를 「tailnet 에 붙은 다른 머신」이라고만 부르고 다섯 셸 이름 중 어느 것인지 짚지 않았다(unknown). +`auth.hyeonworks.com` 은 호스트의 tailnet 주소로 풀리는데 엣지 게스트에는 Tailscale 이 없다. 엣지에서 나간 패킷은 호스트의 `virbr0` 으로 들어가고 호스트의 DNAT 규칙은 `iifname "tailscale0"` 만 매칭하므로 그 패킷은 규칙에 안 걸리고, 호스트 443 에 리스너가 없어 거절된다. 설정이 틀린 것이 아니라 친 곳이 틀렸다. 가이드는 그 기계를 「tailnet 에 붙은 다른 머신」이라고만 부르고 다섯 셸 이름 중 어느 것인지 짚지 않았다. 편집기로 여는 파일은 셋이다 — Cloudflare 자격증명, 443 블록을 넣은 nginx 설정, deploy 훅 스크립트. 설치와 발급과 갱신은 certbot 명령을 그대로 쓴다. 비밀은 값을 화면에 찍지 않는다. 토큰이 제대로 들어갔는지는 파일 권한과 크기로 보고, 값이 맞는지는 Cloudflare 에 물어 응답의 상태 문자열로 가른다. -## 이 단계가 세우는 것 +## DNS-01로 wildcard 인증서를 만들고 Nginx에 연결한다 가이드 04 의 「이 단계가 끝나면」은 한 줄이다. @@ -88,9 +72,9 @@ source: | nginx 가 읽는 것 | `fullchain.pem` · `privkey.pem` | | 유효기간 | 오늘 + 90일 | | deploy 훅 | `/etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh` (`chmod +x`) | -| 타이머 | `certbot-renew.timer` → `certbot-renew.service` | +| 타이머 | `certbot.timer` → `certbot.service` | -**제약이 검증 방식을 정했다**(observed). 같은 Let's Encrypt 인증서인데 「이 도메인이 네 것이냐」를 증명하는 방법만 다르고, 이 실험대에는 선택의 여지가 없다. +**제약이 검증 방식을 정했다**. 같은 Let's Encrypt 인증서인데 「이 도메인이 네 것이냐」를 증명하는 방법만 다르고, 이 실험대에는 선택의 여지가 없다. | 무엇 | HTTP-01 | DNS-01 | |---|---|---| @@ -101,13 +85,13 @@ source: 가이드는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다. -아래 절차는 DNS-01 로 받는 형태이고 **이 실험대의 현재 등록 방식도 DNS-01 로 확인됐다**(2026-09-17, observed). `sudo sh -c` 안에서 renewal 설정을 읽자 `authenticator = dns-cloudflare` 와 `dns_cloudflare_credentials = /etc/letsencrypt/cloudflare.ini` 가 나왔다. 다만 같은 후속 원문에서 토큰 길이는 0자였고 Cloudflare 검증은 실패했다. 따라서 검증 방식은 확정됐지만 현재 자격증명이 재발급에 쓸 수 있는지는 별도 확인이 필요하다. +아래 절차는 DNS-01 로 받는 형태이고 **이 실험대의 현재 등록 방식도 DNS-01 이다.** 2026-09-17 에 renewal 설정에서 `authenticator = dns-cloudflare` 와 `dns_cloudflare_credentials = /etc/letsencrypt/cloudflare.ini` 를 확인했다. 당시에는 credential 파일이 비어 있어 재발급 가능성을 확인하지 못했다. 2026-09-21 재검증에서는 credential 파일이 81 bytes였고 `sudo certbot renew --dry-run --no-random-sleep-on-renew` 은 DNS 전파 대기 30초 뒤 성공했다. 이 결과로 **현재 등록돼 있는 DNS-01 lineage를 현재 자격증명으로 갱신할 수 있다는 것**까지 확인됐다. 다만 그 lineage는 현재 와일드카드가 아니라 `auth`·`app1`·`app2` 세 이름 인증서다. 아래의 와일드카드 `certonly -d hyeonworks.com -d '*.hyeonworks.com'` 절차 자체를 2026-09-21에 다시 실행한 것은 아니다. -## 전제와 되돌리기 +## DNS API 자격증명과 기존 인증서를 건드리기 전에 확인한다 전제는 한 줄이다 — 앞 단계가 끝나 엣지 nginx 가 Traefik 으로 프록시한다. -**되돌리는 절차는 원본 가이드 04 에 없다**(unknown). 되돌리기에 가장 가깝게 적힌 문장은 배치의 까닭 한 줄뿐이다. +**되돌리는 절차는 원본 가이드 04 에 없다**. 되돌리기에 가장 가깝게 적힌 문장은 배치의 까닭 한 줄뿐이다. > 인증서·certbot·갱신 타이머·deploy 훅이 전부 엣지 게스트에 산다. 물리 호스트에는 아무것도 두지 않는다 — > 그래야 `virsh undefine kc-lab-edge` 한 줄로 이 계층을 통째로 되돌릴 수 있다. @@ -118,12 +102,12 @@ source: |---|---| | 패키지 둘 | 게스트 패키지 데이터베이스 | | `cloudflare.ini` · 인증서 묶음 · deploy 훅 | `/etc/letsencrypt/` 아래 | -| `certbot-renew.timer` 활성화 | systemd | +| `certbot.timer` 활성화 | systemd | | 443 블록 | `/etc/nginx/sites-available/keycloak-lab` | -**Cloudflare 쪽 토큰은 엣지를 지워도 계정에 남는다**(external). 토큰은 그쪽 서버가 들고 있고 엣지에 있던 것은 사본이다. 가이드는 그 폐기를 적지 않았다(unknown). +**Cloudflare 쪽 토큰은 엣지를 지워도 계정에 남는다.** 이 부분은 엣지 게스트의 파일 상태가 아니라 Cloudflare 계정에 저장되는 자격증명의 성격을 설명한 것이다. 토큰은 그쪽 서버가 들고 있고 엣지에 있던 것은 사본이다. 가이드는 그 폐기를 적지 않았다. -## 세우기 전에 먼저 본다 +## 도메인과 기존 인증서 상태부터 확인한다 두 확인은 아무것도 바꾸지 않는다. 하나는 검증 방식을 정하고, 하나는 5번에서 쓸 설정 문법을 가른다. @@ -139,27 +123,27 @@ ssh kc-lab-edge getent hosts auth.hyeonworks.com ``` -**실측**(observed) +**실측** ```text 100.83.212.4 auth.hyeonworks.com ``` -**여기에 `dig` 를 바로 쓰지 않는다.** 엣지 게스트에는 `dig` 가 없다 — 2026-09-17 에 cloud-init 으로 갓 만든 `kc-lab-edge` 에서 쳐서 확인했다(observed). +**여기에 `dig` 를 바로 쓰지 않는다.** 엣지 게스트에는 `dig` 가 없다 — 2026-09-17 에 cloud-init 으로 갓 만든 `kc-lab-edge` 에서 쳐서 확인했다. ```text dig: command not found ``` -cloud-init 이 까는 것은 `curl` 과 `nftables` 뿐이라 `dnsutils` 가 안 들어간다. `getent hosts` 는 `libc` 가 주는 것이라 어디서나 있고 주소와 이름을 한 줄로 낸다. `dig` 의 형태가 꼭 필요하면 먼저 깐다 — 둘 다 같은 `100.83.212.4` 를 냈다(observed). +cloud-init 이 까는 것은 `curl` 과 `nftables` 뿐이라 `dnsutils` 가 안 들어간다. `getent hosts` 는 `libc` 가 제공하므로 별도 패키지 없이 쓸 수 있고 주소와 이름을 한 줄로 낸다. `dig` 의 형태가 꼭 필요하면 먼저 설치한다. 2026-09-17에는 두 명령 모두 `100.83.212.4` 를 냈다. ```bash label="[kc-lab-edge] dig 를 쓰려면 먼저 깐다" sudo apt install -y dnsutils && dig +short auth.hyeonworks.com ``` -**어디를 봐야 하는가** — 주소 한 줄. 그 주소가 공개 인터넷 대역인가, `100.64.0.0/10` 안인가. +주소 한 줄. 그 주소가 공개 인터넷 대역인가, `100.64.0.0/10` 안인가. -**이 결과가 의미하는 것** — `100.64.0.0/10` 은 CGNAT 용으로 예약된 대역이라 공개 인터넷에서 라우팅 자체가 되지 않는다(external). 방화벽을 여는 문제가 아니라 그 주소가 인터넷에 존재하지 않고, Let's Encrypt 를 tailnet 에 초대할 방법도 없다. 그래서 HTTP-01 은 쓸 수 없고 DNS-01 을 쓴다. 여기서 공개 주소가 나오는 환경이라면 위 표의 왼쪽을 고르는 편이 낫다. +`100.64.0.0/10` 은 CGNAT 용으로 예약된 대역이라 공개 인터넷에서 라우팅 자체가 되지 않는다. 이 대역의 성격은 이 실험대에서 측정한 값이 아니라 주소 대역 규격에 따른다. 방화벽을 여는 문제가 아니라 그 주소가 인터넷에 존재하지 않고, Let's Encrypt 를 tailnet 에 초대할 방법도 없다. 그래서 HTTP-01 은 쓸 수 없고 DNS-01 을 쓴다. 여기서 공개 주소가 나오는 환경이라면 위 표의 왼쪽을 고르는 편이 낫다. ### 확인 ② nginx 판 번호는 몇인가 @@ -167,25 +151,25 @@ sudo apt install -y dnsutils && dig +short auth.hyeonworks.com sudo nginx -v ``` -**`sudo` 가 붙는 까닭은 앞 단계와 같다.** 실행 파일이 `/usr/sbin/nginx` 인데 데비안 일반 사용자 `PATH` 에 그 디렉터리가 없다. `sudo` 없이 치면 `nginx: command not found` 가 나오고, 안 깔린 것처럼 보이지만 아니다(2026-09-17, observed). +**`sudo` 가 붙는 까닭은 앞 단계와 같다.** 실행 파일이 `/usr/sbin/nginx` 인데 데비안 일반 사용자 `PATH` 에 그 디렉터리가 없다. `sudo` 없이 치면 `nginx: command not found` 가 나오고, 안 깔린 것처럼 보이지만 아니다. 2026-09-17에 실제 엣지 게스트에서 이 차이를 확인했다. -**실측**(observed) — 같은 설정인데 배포판에서 갈린다. +**실측** — 같은 설정인데 배포판에서 갈린다. ```text 엣지 (Debian 12): nginx version: nginx/1.22.1 물리 호스트 (Arch): nginx version: nginx/1.30.4 ``` -**어디를 봐야 하는가** — `1.25.1` 이 경계다. 지금 셸의 번호가 그 위인가 아래인가. +`1.25.1` 이 경계다. 지금 셸의 번호가 그 위인가 아래인가. -**이 결과가 의미하는 것** — 1.25.1 미만이면 `http2 on;` 지시어가 없다. 5번의 설정처럼 `listen` 의 파라미터로 쓰면 1.22 와 1.30 양쪽에서 다 돈다. 지시어 형태로 쓰면 이렇게 막힌다. +1.25.1 미만이면 `http2 on;` 지시어가 없다. 5번의 설정처럼 `listen` 의 파라미터로 쓰면 1.22 와 1.30 양쪽에서 다 돈다. 지시어 형태로 쓰면 이렇게 막힌다. ```text [emerg] 1287#1287: unknown directive "http2" in /etc/nginx/sites-enabled/keycloak-lab:14 nginx: configuration file /etc/nginx/nginx.conf test failed ``` -## 실행 절차 +## certbot 발급과 deploy hook을 구성한다 ### 1. certbot 과 Cloudflare 플러그인을 깐다 @@ -199,7 +183,7 @@ sudo apt install -y certbot python3-certbot-dns-cloudflare certbot plugins 2>/dev/null | grep -E '^\*' ``` -**예상 결과**(observed) +**실제 확인한 결과** ```text * dns-cloudflare @@ -209,9 +193,9 @@ certbot plugins 2>/dev/null | grep -E '^\*' `^\*` 로 거른 것은 certbot 이 쓸 수 있다고 표시한 플러그인 앞에 별표를 붙이기 때문이다. -**왜 필요한가** — `dns-cloudflare` 가 이 목록에 없으면 4번의 발급이 `unrecognized arguments: --dns-cloudflare` 로 끝난다. 플러그인은 `certbot` 본체와 별개 패키지라 한쪽만 깔려 있어도 `certbot` 명령 자체는 돈다. +`dns-cloudflare` 가 이 목록에 없으면 4번의 발급이 `unrecognized arguments: --dns-cloudflare` 로 끝난다. 플러그인은 `certbot` 본체와 별개 패키지라 한쪽만 깔려 있어도 `certbot` 명령 자체는 돈다. -**문제가 생기면** — 목록에 없으면 ① 의 뒤엣것이 깔렸는지 본다. cloud-init 이 이미 깔았다면 이 단계를 건너뛴다. +실패하면 목록에 없으면 ① 의 뒤엣것이 깔렸는지 본다. cloud-init 이 이미 깔았다면 이 단계를 건너뛴다. ### 2. Cloudflare 토큰을 발급받는다 @@ -225,11 +209,11 @@ certbot plugins 2>/dev/null | grep -E '^\*' 4. **Zone Resources** 는 `Include` · `Specific zone` · **`hyeonworks.com`** 5. **Continue to summary** 다음 **Create Token** -**예상 결과** — 토큰 값이 화면에 한 번 나온다. 창을 닫으면 복구가 없으므로 바로 3번으로 넘어간다. +정상이면 토큰 값이 화면에 한 번 나온다. 창을 닫으면 복구가 없으므로 바로 3번으로 넘어간다. -**왜 필요한가** — `All zones` 로 두면 계정의 모든 도메인에 대한 DNS 수정 권한이 엣지 게스트 안 평문 파일에 놓인다. Global API Key 는 더 나쁘다 — 계정 전체 만능 키라 폐기하면 그 키를 쓰던 다른 것들이 전부 같이 죽는다. 권한을 어디까지 좁히고 무엇을 감수했는지는 이 절차를 부른 결정이 갖고 있다. +`All zones` 로 두면 계정의 모든 도메인에 대한 DNS 수정 권한이 엣지 게스트 안 평문 파일에 놓인다. Global API Key 는 더 나쁘다 — 계정 전체 만능 키라 폐기하면 그 키를 쓰던 다른 것들이 전부 같이 죽는다. 권한을 어디까지 좁히고 무엇을 감수했는지는 이 절차를 부른 결정이 갖고 있다. -**문제가 생기면** — 값을 놓쳤으면 다시 발급받는다. 이 문서에도 터미널에도 값을 적지 않는다. +실패하면 값을 놓쳤으면 다시 발급받는다. 이 문서에도 터미널에도 값을 적지 않는다. ### 3. 자격증명 파일을 만들고 권한부터 좁힌다 @@ -260,11 +244,11 @@ CF=$(sudo awk -F'= *' '/api_token/{print $2}' /etc/letsencrypt/cloudflare.ini) curl -s https://api.cloudflare.com/client/v4/user/tokens/verify -H "Authorization: Bearer $CF" ``` -**예상 결과** — ④ 는 `-rw-------` 이고 바이트 수가 0 이 아니다. `sudo` 없이 `wc` 를 치면 `Permission denied` 가 나는데 그것이 정상이다. ⑤ 의 응답에는 `"status":"active"` 와 `"success":true` 가 들어 있다. 값 자체는 셸 변수에만 담기고 화면에 찍히지 않는다. +정상이면 ④ 는 `-rw-------` 이고 바이트 수가 0 이 아니다. `sudo` 없이 `wc` 를 치면 `Permission denied` 가 나는데 그것이 정상이다. ⑤ 의 응답에는 `"status":"active"` 와 `"success":true` 가 들어 있다. 값 자체는 셸 변수에만 담기고 화면에 찍히지 않는다. -**왜 필요한가** — 두 명령의 순서가 그 자체로 보안 조치다. `install -m 600 /dev/null` 은 빈 파일을 `600` 으로 만드는 명령이고, 토큰을 먼저 쓰고 나서 권한을 고치면 그사이에 파일이 열려 있다. ⑤ 를 여기서 해 두면 뒤에서 실패했을 때 DNS 문제인지 토큰 문제인지를 헷갈리지 않는다. +두 명령의 순서가 그 자체로 보안 조치다. `install -m 600 /dev/null` 은 빈 파일을 `600` 으로 만드는 명령이고, 토큰을 먼저 쓰고 나서 권한을 고치면 그사이에 파일이 열려 있다. ⑤ 를 여기서 해 두면 뒤에서 실패했을 때 DNS 문제인지 토큰 문제인지를 헷갈리지 않는다. -**문제가 생기면** — 권한이 `-rw-r--r--` 면 같은 게스트의 다른 사용자도 토큰을 읽는다. 바이트 수가 0 이면 편집기에서 저장을 안 했거나 다른 경로에 썼다. ⑤ 의 응답에 `"code":6003` 이 보이면 토큰 값이 틀렸거나 잘렸고, `"code":9109` 면 권한 범위가 모자라다. +실패하면 권한이 `-rw-r--r--` 면 같은 게스트의 다른 사용자도 토큰을 읽는다. 바이트 수가 0 이면 편집기에서 저장을 안 했거나 다른 경로에 썼다. ⑤ 의 응답에 `"code":6003` 이 보이면 토큰 값이 틀렸거나 잘렸고, `"code":9109` 면 권한 범위가 모자라다. ### 4. dry-run 을 먼저 돌리고 그다음에 발급한다 @@ -290,7 +274,7 @@ sudo certbot certificates sudo openssl x509 -noout -ext subjectAltName -in /etc/letsencrypt/live/auth.hyeonworks.com/fullchain.pem ``` -**예상 결과** — ① 의 마지막 줄이 `The dry run was successful.` 이고, ② 는 `Successfully received certificate.` 와 저장 경로를 찍는다. ③ 에서 볼 것은 네 줄이다. +정상이면 ① 의 마지막 줄이 `The dry run was successful.` 이고, ② 는 `Successfully received certificate.` 와 저장 경로를 찍는다. ③ 에서 볼 것은 네 줄이다. | 줄 | 값 | |---|---| @@ -301,16 +285,16 @@ sudo openssl x509 -noout -ext subjectAltName -in /etc/letsencrypt/live/auth.hyeo ④ 는 `DNS:hyeonworks.com, DNS:*.hyeonworks.com` 두 개를 내놓고 `auth.hyeonworks.com` 은 두 번째에 걸린다. -**왜 필요한가** — dry-run 을 먼저 도는 것은 Let's Encrypt 의 주당 중복 인증서 5장 한도를 dry-run 이 쓰지 않기 때문이다(external). dry-run 은 스테이징 서버에 대고 시험만 하므로 `/etc/letsencrypt/live/` 에는 아무것도 안 생기고, 그 직후 `certbot certificates` 가 `No certificates found` 를 내는 것이 정상이다. `-d` 를 둘 주는 것은 와일드카드가 한 단계만 덮기 때문이고, `a.b.hyeonworks.com` 도 apex 인 `hyeonworks.com` 자신도 `*.hyeonworks.com` 에 들어가지 않는다. +dry-run 을 먼저 도는 것은 Let's Encrypt 의 주당 중복 인증서 5장 한도를 dry-run 이 소모하지 않기 때문이다. 이 제한은 이 실험대에서 측정한 값이 아니라 Let's Encrypt 정책에 따른다. dry-run 은 스테이징 서버에 대고 시험만 하므로 `/etc/letsencrypt/live/` 에는 아무것도 안 생기고, 그 직후 `certbot certificates` 가 `No certificates found` 를 내는 것이 정상이다. `-d` 를 둘 주는 것은 와일드카드가 한 단계만 덮기 때문이고, `a.b.hyeonworks.com` 도 apex 인 `hyeonworks.com` 자신도 `*.hyeonworks.com` 에 들어가지 않는다. -디렉터리 이름과 인증서가 덮는 이름은 별개다(observed). 여기서 가장 많이 헷갈린다. +실제 인증서 파일을 확인해 보면 디렉터리 이름과 인증서가 덮는 이름은 별개다. 여기서 가장 많이 헷갈렸다. | 무엇 | 정해지는 방식 | |---|---| | 디렉터리 이름 `live/auth.hyeonworks.com/` | 2026-09-17 현재 실험대에서 실제로 존재한 lineage. `certbot certificates` 가 찍은 경로를 따른다 | | SAN 목록 | 브라우저가 보는 실제 유효 호스트명. `-d` 로 준 이름 전부이며 lineage 이름과 별개 | -**문제가 생기면** — 최초 실행이면 계정 등록 대화가 먼저 뜬다. 이메일을 비우면 `Invalid email address: .` 로 되묻고, 약관은 `Y`, 뉴스레터는 발급과 무관하므로 `N` 이다. 프롬프트 없이 돌리려면 `-m <이메일> --agree-tos --no-eff-email` 을 붙인다. `--register-unsafely-without-email` 은 쓰지 않는다 — 갱신 실패를 알려 줄 통로가 사라지는데, 6번이 재는 것이 바로 그 갱신이다. DNS-01 은 TXT 레코드가 퍼질 때까지 기다리느라 수십 초 걸리므로 중간에 끊지 않는다. +실패하면 최초 실행이면 계정 등록 대화가 먼저 뜬다. 이메일을 비우면 `Invalid email address: .` 로 되묻고, 약관은 `Y`, 뉴스레터는 발급과 무관하므로 `N` 이다. 프롬프트 없이 돌리려면 `-m <이메일> --agree-tos --no-eff-email` 을 붙인다. `--register-unsafely-without-email` 은 쓰지 않는다 — 갱신 실패를 알려 줄 통로가 사라지는데, 6번이 재는 것이 바로 그 갱신이다. DNS-01 은 TXT 레코드가 퍼질 때까지 기다리느라 수십 초 걸리므로 중간에 끊지 않는다. ### 5. nginx 에 443 을 얹는다 @@ -360,9 +344,9 @@ server { sudo nginx -t && sudo systemctl reload nginx ``` -**예상 결과** — `syntax is ok` 와 `test is successful` 두 마디가 나오고 reload 가 돈다. 앞에 붙는 `types_hash` 경고는 통과를 막지 않는다. +정상이면 `syntax is ok` 와 `test is successful` 두 마디가 나오고 reload 가 돈다. 앞에 붙는 `types_hash` 경고는 통과를 막지 않는다. -**왜 필요한가** — 앞 단계의 파일에서 바뀐 곳이 셋이다. +앞 단계의 파일에서 바뀐 곳이 셋이다. | 줄 | 앞 단계에서는 | 지금 | |---|---|---| @@ -372,7 +356,7 @@ sudo nginx -t && sudo systemctl reload nginx `ssl_certificate` 에 적는 것은 `cert.pem` 이 아니라 `fullchain.pem` 이다. 서버 인증서만 보내면 중간 인증서가 빠져 체인이 끊기는데, 브라우저는 대개 캐시나 AIA 로 보완해서 정상으로 보이고 캐시가 없는 클라이언트에서만 깨지므로 발견이 늦다. 4번 ③ 에서 certbot 이 찍어 준 경로와 한 글자도 다르면 안 된다. -**★ 원본 가이드 04 의 5단계에는 known-wrong 경로가 있었다**(2026-09-17, observed). 가이드는 `live/hyeonworks.com/` 을 적었지만 실제 `live/` 아래에는 `auth.hyeonworks.com` 이 있었고, 그 잘못된 경로로 `nginx -t` 를 돌리면 아래처럼 실패했다. 위 canonical 절차는 이 관측을 반영해 처음부터 `live/auth.hyeonworks.com/` 을 쓴다. +**★ 원본 가이드 04 의 5단계에는 잘못된 경로가 있었다.** 2026-09-17에 실제 파일 위치와 `nginx -t` 결과로 확인했다. 가이드는 `live/hyeonworks.com/` 을 적었지만 실제 `live/` 아래에는 `auth.hyeonworks.com` 이 있었고, 그 잘못된 경로로 `nginx -t` 를 돌리면 아래처럼 실패했다. 위 절차는 이 관측을 반영해 처음부터 `live/auth.hyeonworks.com/` 을 쓴다. ```text label="문서 그대로 쳤을 때" [emerg] cannot load certificate "/etc/letsencrypt/live/hyeonworks.com/fullchain.pem": @@ -393,14 +377,14 @@ auth.hyeonworks.com 현재 truth는 하나다 — **이 실험대의 lineage는 `live/auth.hyeonworks.com/`이고, `live/hyeonworks.com/`은 원본 가이드에 남았던 historical wrong path**다. 다른 실험대에서 이름을 추측하지 말고 `certbot certificates` 가 찍은 `Certificate Path`를 그대로 nginx에 옮긴다. -**문제가 생기면** — `cannot load certificate` 로 막히면 경로를 본다. 자기 실험대의 디렉터리 이름은 `sudo ls /etc/letsencrypt/live/` 가 답한다. 확인 ② 에서 본 판 번호가 1.25.1 미만인데 `http2` 를 지시어로 썼다면 여기서 `unknown directive "http2"` 가 나온다. +실패하면 `cannot load certificate` 로 막히면 경로를 본다. 자기 실험대의 디렉터리 이름은 `sudo ls /etc/letsencrypt/live/` 가 답한다. 확인 ② 에서 본 판 번호가 1.25.1 미만인데 `http2` 를 지시어로 썼다면 여기서 `unknown directive "http2"` 가 나온다. ### 6. 갱신이 서빙까지 닿게 한다 **목적** — 타이머가 도는 것만으로는 부족하다. 갱신된 인증서를 누가 읽게 만드는 일까지 세운다. 여기가 이 단계의 알맹이다. ```bash label="[kc-lab-edge] ① 타이머가 있는지 본다" -systemctl list-timers certbot-renew.timer +systemctl list-timers certbot.timer ``` ```bash label="[kc-lab-edge] ② 표가 비어 나오면 이름이 다른지 찾는다" @@ -408,16 +392,18 @@ systemctl list-timers --all | grep -i certbot ``` ```bash label="[kc-lab-edge] ③ 배포판 기본 유닛이 reload 를 부르는지 본다" -systemctl cat certbot-renew.service +systemctl cat certbot.service ``` ```text [Service] Type=oneshot -ExecStart=/usr/bin/certbot -q renew +ExecStart=/usr/bin/certbot -q renew --no-random-sleep-on-renew PrivateTmp=true ``` +2026-09-21 현재 edge Debian 12에서 확인한 값이다. 과거 배치에서는 `ExecStart` 옵션과 유닛 이름이 달랐으므로, 이 줄 자체를 배포판 공통값으로 외우지 않고 현재 `systemctl cat certbot.service` 출력을 기준으로 본다. + ```bash label="[kc-lab-edge] ④ 훅 스크립트를 연다" sudo nano /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh ``` @@ -436,15 +422,15 @@ sudo chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh ls -l /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh ``` -**예상 결과** — ① 은 `NEXT` 와 `LEFT` 가 채워져 있고 `ACTIVATES` 가 `certbot-renew.service` 를 가리킨다. ③ 에는 `ExecStartPost` 도 `--deploy-hook` 도 없고, 여기 없는 것을 보는 것이 그 명령의 목적이다. ⑦ 의 권한 문자열에는 `x` 가 세 번 보인다. +정상이면 ① 은 `NEXT` 와 `LEFT` 가 채워져 있고 `ACTIVATES` 가 `certbot.service` 를 가리킨다. ③ 에는 `ExecStartPost` 도 `--deploy-hook` 도 없고, 여기 없는 것을 보는 것이 그 명령의 목적이다. ⑦ 의 권한 문자열에는 `x` 가 세 번 보인다. -**왜 필요한가** — 타이머가 `active` 여도 갱신된 인증서가 서빙되지는 않는다. nginx 는 인증서를 기동 시점에 읽어 메모리에 들고 있고 certbot 은 `live/` 심볼릭 링크만 갈아 끼우므로, 설정에 적힌 경로는 그대로이고 그 경로가 가리키는 파일만 바뀌어 nginx 에는 다시 읽을 계기가 생기지 않는다. 배포판 기본 유닛은 인증서를 새로 받는 데까지만 책임지고 받은 것을 누가 읽게 만드는 일은 아무도 하지 않는다. 훅이 그 둘을 잇는다. 훅을 `post/` 가 아니라 `deploy/` 에 넣는 것은 `post/` 가 갱신이 없어도 매번 돌아 하루 두 번 워커를 갈아치우기 때문이고, `deploy/` 는 실제로 갱신됐을 때만 실행된다. 실행 권한이 없으면 certbot 이 이 훅을 조용히 건너뛴다. +타이머가 `active` 여도 갱신된 인증서가 서빙되지는 않는다. nginx 는 인증서를 기동 시점에 읽어 메모리에 들고 있고 certbot 은 `live/` 심볼릭 링크만 갈아 끼우므로, 설정에 적힌 경로는 그대로이고 그 경로가 가리키는 파일만 바뀌어 nginx 에는 다시 읽을 계기가 생기지 않는다. 배포판 기본 유닛은 인증서를 새로 받는 데까지만 책임지고 받은 것을 누가 읽게 만드는 일은 아무도 하지 않는다. 훅이 그 둘을 잇는다. 훅을 `post/` 가 아니라 `deploy/` 에 넣는 것은 `post/` 가 갱신이 없어도 매번 돌아 하루 두 번 워커를 갈아치우기 때문이고, `deploy/` 는 실제로 갱신됐을 때만 실행된다. 실행 권한이 없으면 certbot 이 이 훅을 조용히 건너뛴다. -**문제가 생기면** — ③ 에 무엇인가 적혀 있는 배포판이라면 이 훅은 필요 없고, 대신 그 명령이 nginx 를 reload 하는지만 확인한다. 갱신은 됐는데 옛 인증서가 나가면 ⑦ 부터 다시 본다. +실패하면 ③ 에 무엇인가 적혀 있는 배포판이라면 이 훅은 필요 없고, 대신 그 명령이 nginx 를 reload 하는지만 확인한다. 갱신은 됐는데 옛 인증서가 나가면 ⑦ 부터 다시 본다. -## 구성 값 +## 인증서 경로와 갱신에 쓰는 값 -이 훅이 있고 없고의 차이를 이 실험대가 쟀다(observed). +이 훅이 있고 없고의 차이를 이 실험대가 쟀다. | 무엇 | 훅 없음 | 훅 있음 | |---|---|---| @@ -454,15 +440,15 @@ ls -l /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh 88일 동안 이 결함이 보이지 않는다. 타이머는 정상이고 매번 `SUCCESS` 로 끝나며, 만료 30일 전까지는 갱신 자체를 하지 않아 발현할 기회가 없다. 발현하는 날의 증상은 인증서 만료이고, 그날에도 로그에는 `SUCCESS` 라고 적혀 있다. -reload 자체는 무중단이었다(observed). 새 연결 8856건 전부 200 이었고 p95 는 205.7ms 대 204.3ms 로 변화가 없었으며, 845KB 를 받는 중이던 요청이 전송 12초째에 reload 를 맞고도 845361바이트를 온전히 받았다. 옛 워커가 그 요청을 끝까지 책임진다. +reload 자체는 무중단이었다. 새 연결 8856건 전부 200 이었고 p95 는 205.7ms 대 204.3ms 로 변화가 없었으며, 845KB 를 받는 중이던 요청이 전송 12초째에 reload 를 맞고도 845361바이트를 온전히 받았다. 옛 워커가 그 요청을 끝까지 책임진다. -## 끝났는지 판정한다 +## 실제 TLS와 renewal dry-run을 확인한다 세 확인은 tailnet 에 붙은 다른 머신에서 친다. 1번부터 6번까지는 전부 엣지에서 쳤지만 판정은 밖에서 들어와야 의미가 있다. ### 확인 ① 열리나 — 처음 한 번은 협상 과정을 읽는다 -**무엇을 확인하는가** — TLS 가 붙었는지. 응답 코드가 아니다. +TLS 가 붙었는지. 응답 코드가 아니다. ```bash label="[워크스테이션] 협상 과정을 그대로 읽는다" curl -v https://auth.hyeonworks.com/ -o /dev/null @@ -470,7 +456,7 @@ curl -v https://auth.hyeonworks.com/ -o /dev/null 경로는 `/` 다. Keycloak 은 다음 단계에서 올리므로 아직 Ingress 가 없고 `404` 가 정상이다. `/realms/master` 같은 Keycloak 경로를 여기서 쓰면 TLS 가 안 된 건지 Keycloak 이 없는 건지가 섞인다. -읽어야 할 줄만 옮긴다. 전체 출력은 이 실험대에서 캡처해 두지 않았다(unknown). +읽어야 할 줄만 옮긴다. 전체 출력은 이 실험대에서 캡처해 두지 않았다. ```text * SSL connection using TLSv1.3 / ... @@ -480,9 +466,9 @@ curl -v https://auth.hyeonworks.com/ -o /dev/null < HTTP/1.1 404 Not Found ``` -**어디를 봐야 하는가** — 별표로 시작하는 줄 넷이다. 어떤 TLS 판으로 협상했는가, `subject` 의 CN 이 무엇인가, `issuer` 가 Let's Encrypt 인가, 그리고 `SSL certificate verify ok.` 가 있는가. 그 아래 `<` 로 시작하는 첫 줄이 응답 상태다. `subject` 가 `hyeonworks.com` 인 것이 맞다 — 와일드카드 인증서라 CN 은 apex 이름이고 `auth.hyeonworks.com` 은 SAN 의 `*.hyeonworks.com` 에 걸린다. +별표로 시작하는 줄 넷이다. 어떤 TLS 판으로 협상했는가, `subject` 의 CN 이 무엇인가, `issuer` 가 Let's Encrypt 인가, 그리고 `SSL certificate verify ok.` 가 있는가. 그 아래 `<` 로 시작하는 첫 줄이 응답 상태다. CN 모양은 합격 조건으로 쓰지 않는다. 지금 접속한 `auth.hyeonworks.com`이 SAN에 포함돼 있고 클라이언트 검증이 성공하는지가 핵심이다. 인증서 발급 방식과 CA 동작에 따라 CN은 달라질 수 있다. -**★ 그런데 이 실험대에서는 CN 이 `auth.hyeonworks.com` 이다**(2026-09-17, observed). 가이드대로 와일드카드를 받으면 위 두 문단처럼 보인다. 이 실험대는 와일드카드를 안 받았고(§「가이드는 여기에 값을 하나 더 적어 두었다」), 계보도 `auth.hyeonworks.com` 하나만 있다. +**★ 그런데 2026-09-17에 이 실험대에서 확인한 CN 은 `auth.hyeonworks.com` 이었다.** 가이드대로 와일드카드를 받으면 위 두 문단처럼 보인다. 이 실험대는 와일드카드를 안 받았고(「가이드는 여기에 값을 하나 더 적어 두었다」), 계보도 `auth.hyeonworks.com` 하나만 있다. ```bash label="[lab host] 엣지가 내놓는 인증서가 어느 이름을 덮는가" echo | openssl s_client -connect 192.168.122.10:443 -servername auth.hyeonworks.com 2>/dev/null | openssl x509 -noout -subject -ext subjectAltName -dates @@ -500,7 +486,7 @@ notAfter=Dec 3 11:29:17 2026 GMT **이름 셋 밖은 TLS 단계에서 끝난다.** `curl` 은 종료 코드 `60` 을 내고 `%{http_code}` 는 `000` 이 되는데, 화면에서는 「서버가 죽었다」와 같아 보인다. A-4 의 Grafana 탐침이 그렇게 쓸모없어졌다. -**이 결과가 의미하는 것** — 네 줄이 다 나오면 인증서가 붙었고 체인이 클라이언트 기준으로 검증됐다. 인증서를 처음 붙인 직후에는 코드 한 칸이 아니라 이 화면을 본다. `verify` 줄 대신 `unable to get local issuer certificate` 가 나오면 중간 인증서가 빠진 것이고, 원인은 5번의 인증서 파일 이름이라 확인 ② 로 간다. +네 줄이 다 나오면 인증서가 붙었고 체인이 클라이언트 기준으로 검증됐다. 인증서를 처음 붙인 직후에는 코드 한 칸이 아니라 이 화면을 본다. `verify` 줄 대신 `unable to get local issuer certificate` 가 나오면 중간 인증서가 빠진 것이고, 원인은 5번의 인증서 파일 이름이라 확인 ② 로 간다. 같은 것을 반복해서 재거나 앞뒤 단계의 값과 나란히 비교할 때만 값만 뽑는 형태로 줄인다. @@ -508,7 +494,7 @@ notAfter=Dec 3 11:29:17 2026 GMT curl -s -o /dev/null -w '%{http_code} tls=%{ssl_verify_result}\n' https://auth.hyeonworks.com/ ``` -**실측**(observed) — 2026-09-11, tailnet 클라이언트에서 +**실측** — 2026-09-11, tailnet 클라이언트에서 ```text 404 tls=0 @@ -518,7 +504,7 @@ curl -s -o /dev/null -w '%{http_code} tls=%{ssl_verify_result}\n' https://auth.h ### 확인 ② 체인 단계와 검증 -**무엇을 확인하는가** — 서버가 중간 인증서까지 보내는지. +서버가 중간 인증서까지 보내는지. ```bash label="[워크스테이션] 체인 단계를 센다" echo | openssl s_client -connect auth.hyeonworks.com:443 \ @@ -526,7 +512,7 @@ echo | openssl s_client -connect auth.hyeonworks.com:443 \ | grep -E '^ *[0-9]+ s:|^ *i:|Verify return code' ``` -**실측**(observed) — 이름을 따로 받던 시절의 기록이라 0번 `s:` 가 `auth.hyeonworks.com` 이다. 와일드카드로 받으면 `CN = hyeonworks.com` 이 되고, 봐야 할 구조는 똑같다. +**실측** — 이름을 따로 받던 시절의 기록이라 0번 `s:` 가 `auth.hyeonworks.com` 이다. 와일드카드로 받으면 `CN = hyeonworks.com` 이 되고, 봐야 할 구조는 똑같다. ```text 0 s:CN = auth.hyeonworks.com @@ -540,13 +526,13 @@ echo | openssl s_client -connect auth.hyeonworks.com:443 \ Verify return code: 0 (ok) ``` -**어디를 봐야 하는가** — 왼쪽의 번호가 몇까지 가는가, 그리고 각 단계의 발급자 줄이 다음 단계의 주체 줄과 같은가. 마지막이 `Verify return code: 0 (ok)` 인가. +왼쪽의 번호가 몇까지 가는가, 그리고 각 단계의 발급자 줄이 다음 단계의 주체 줄과 같은가. 마지막이 `Verify return code: 0 (ok)` 인가. -**이 결과가 의미하는 것** — 단계가 1개면 `cert.pem` 을 쓴 것이다. 서버가 자기 인증서만 보내고 중간 인증서를 안 보낸 상태인데, 이때 브라우저는 대개 캐시나 AIA 로 보완해서 정상으로 보이므로 이 명령이 유일하게 믿을 수 있는 판정이 된다. 고치는 곳은 5번의 `ssl_certificate` 한 줄이고, 고친 뒤 문법 검사와 reload 를 하고 여기서 다시 잰다. `Verify return code` 가 0 이 아니면 숫자마다 뜻이 다르다 — `10` 은 만료, `20` 은 발급자를 못 찾음, `21` 은 첫 인증서를 검증 못 함. +2026-09-17 실측에서는 체인이 0번부터 3번까지 보였지만 **단계 수 자체를 고정된 합격 조건으로 쓰지 않는다.** Let's Encrypt의 제공 체인과 클라이언트 trust store가 바뀌면 출력 모양도 달라질 수 있다. 여기서 중요한 것은 nginx가 `fullchain.pem`을 사용하고, 접속한 이름에 대해 `Verify return code: 0 (ok)`가 나오는지다. 검증이 실패하면 서버가 보낸 체인과 `ssl_certificate` 경로를 함께 확인한다. ### 확인 ③ 이름 세 개가 한 인증서인가 -**무엇을 확인하는가** — 이름마다 다른 인증서가 붙어 있지는 않은지. +이름마다 다른 인증서가 붙어 있지는 않은지. ```bash label="[워크스테이션] 세 이름의 일련번호를 나란히 뽑는다" for H in auth app1 app2; do @@ -555,9 +541,9 @@ for H in auth app1 app2; do done ``` -**어디를 봐야 하는가** — 찍히는 세 줄의 일련번호가 서로 같은가. 값 자체에는 뜻이 없고 셋이 일치하는지만 본다. +찍히는 세 줄의 일련번호가 서로 같은가. 값 자체에는 뜻이 없고 셋이 일치하는지만 본다. -**이 결과가 의미하는 것** — 셋이 같으면 SAN 하나에 이름 셋이 들어 있는 인증서 한 장이고, 갱신도 한 번에 끝난다. 다르면 인증서가 여러 장이라 갱신 훅도 장마다 따로 돌고, 한 장만 갱신됐을 때 나머지 이름이 만료되는 상황이 생긴다. 이름별로 무엇이 실려 있는지 보려면 SAN 을 직접 편다. +셋이 같으면 SAN 하나에 이름 셋이 들어 있는 인증서 한 장이고, 갱신도 한 번에 끝난다. 다르면 인증서가 여러 장이라 갱신 훅도 장마다 따로 돌고, 한 장만 갱신됐을 때 나머지 이름이 만료되는 상황이 생긴다. 이름별로 무엇이 실려 있는지 보려면 SAN 을 직접 편다. ```bash label="[워크스테이션] 지금 서빙되는 인증서의 SAN 을 편다" echo | openssl s_client -connect auth.hyeonworks.com:443 -servername auth.hyeonworks.com 2>/dev/null \ @@ -566,7 +552,7 @@ echo | openssl s_client -connect auth.hyeonworks.com:443 -servername auth.hyeonw ### 확인 ④ 갱신이 서빙까지 닿는가 — 워커 PID 로 본다 -**무엇을 확인하는가** — 훅이 호출되는지, 그리고 호출된 훅이 nginx 를 정말 갈아 끼웠는지. +훅이 호출되는지, 그리고 호출된 훅이 nginx 를 정말 갈아 끼웠는지. ```bash label="[kc-lab-edge] 훅이 불리는지 먼저 본다. 상태를 바꾸지 않는다" sudo certbot renew --dry-run @@ -586,25 +572,25 @@ ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep `--force-renewal` 은 인증서를 실제로 새로 받으므로 발급 한도를 깎는다. 진짜 판정이 필요할 때만 한 번 쓴다. -**어디를 봐야 하는가** — 두 출력의 첫 열과 둘째 열 묶음이다. 앞뒤로 놓고 PID 집합이 통째로 바뀌었는지만 본다. `lstart` 를 같이 뽑는 것은 PID 가 우연히 재사용됐을 때를 가르기 위해서다. 마스터 프로세스는 그대로이고 워커만 갈리는 쪽이 정상이다. +두 출력의 첫 열과 둘째 열 묶음이다. 앞뒤로 놓고 PID 집합이 통째로 바뀌었는지만 본다. `lstart` 를 같이 뽑는 것은 PID 가 우연히 재사용됐을 때를 가르기 위해서다. 마스터 프로세스는 그대로이고 워커만 갈리는 쪽이 정상이다. -**이 결과가 의미하는 것** — PID 가 바뀌었으면 훅이 돌아 nginx 가 새 인증서를 읽었다. 안 바뀌었으면 인증서는 갱신됐는데 서빙되는 것은 옛것이다. 판정은 로그 문구가 아니라 워커 PID 로 한다 — certbot 이 `Hook 'deploy-hook' ran with error output` 이라고 찍는데 실패가 아니다. nginx 의 `types_hash` 경고가 stderr 로 나갔을 뿐이고 내용은 `test is successful` 과 `signal process started` 다. 로그에서 `error` 를 grep 하는 감시를 걸면 성공한 훅을 실패로 오독한다. +PID 가 바뀌었으면 훅이 돌아 nginx 가 새 인증서를 읽었다. 안 바뀌었으면 인증서는 갱신됐는데 서빙되는 것은 옛것이다. 판정은 로그 문구가 아니라 워커 PID 로 한다 — certbot 이 `Hook 'deploy-hook' ran with error output` 이라고 찍는데 실패가 아니다. nginx 의 `types_hash` 경고가 stderr 로 나갔을 뿐이고 내용은 `test is successful` 과 `signal process started` 다. 로그에서 `error` 를 grep 하는 감시를 걸면 성공한 훅을 실패로 오독한다. -## 통과 조건을 한 번에 다시 본다 +## wildcard 인증서 확인표 | 무엇 | 명령 | 통과 | |---|---|---| | 열리는가 | `curl -v https://auth.hyeonworks.com/ -o /dev/null` | `SSL certificate verify ok.` | | 검증값 | `curl -s -o /dev/null -w '%{http_code} tls=%{ssl_verify_result}\n' …` | `404 tls=0` | -| 체인 | `openssl s_client … \| grep …` | 번호가 3까지 · `Verify return code: 0 (ok)` | +| 체인 | `openssl s_client … \| grep …` | `fullchain.pem`을 사용하고 접속 이름에 대해 `Verify return code: 0 (ok)` | | 이름 셋 | `for H in auth app1 app2; …` | 일련번호 세 줄이 같다 | | 서빙까지 | 강제 갱신 앞뒤의 `ps … 'nginx: worker'` | 워커 PID 집합이 바뀐다 | -## 막히면 +## DNS 검증이나 Nginx reload가 실패할 때 | 증상 | 원인 | 확인 | |---|---|---| -| certbot 검증 실패 | DNS 가 이 호스트를 안 가리킴 · 80 이 막힘 | `getent hosts auth.hyeonworks.com` · 밖에서 `curl -I http://auth.hyeonworks.com` | +| certbot DNS-01 검증 실패 | Cloudflare 토큰·Zone 권한·TXT 생성/전파 문제 | 토큰 verify 응답 · certbot 오류의 TXT 이름 · Cloudflare DNS 권한을 확인 | | 체인 단계가 1개 | `cert.pem` 을 씀 | 확인 ② | | 갱신은 됐는데 옛 인증서가 나감 | deploy 훅 없음 | 워커 PID · `sudo ls /etc/letsencrypt/renewal-hooks/deploy/` | | 훅이 실패한 것처럼 보임 | stderr 경고를 error 로 표시 | 문구 말고 워커 PID | @@ -616,25 +602,25 @@ ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep | `cannot load certificate` | 설정에 lineage 디렉터리 이름을 잘못 적었다 | `sudo certbot certificates` 의 `Certificate Path:` 와 대조 | | 엣지에서 친 `curl` 이 `Connection refused` | 친 곳이 틀렸다 | tailnet 에 붙은 다른 머신에서 다시 친다 | -## 무엇이 관측이고 무엇이 아닌가 +## 인증서 발급과 갱신에서 실제로 확인한 범위 -- (observed) 이름 풀이가 낸 `100.83.212.4`, `certbot plugins` 세 줄, `nginx -v` 두 줄, 체인 4단계와 `Verify return code: 0 (ok)`, `404 tls=0`, 배포판 기본 유닛에 훅이 없다는 것, 갱신에서 서빙까지 2305초 대 1~2초, reload 무중단 측정값. -- (observed) 2026-09-17 에 새로 만든 엣지에서 잰 것 — `dig` 가 없다는 것, `getent hosts` 와 `dnsutils` 설치 뒤의 `dig` 가 같은 주소를 낸다는 것, `nginx -v` 가 `sudo` 없이는 `command not found` 라는 것, `certbot plugins` 세 줄이 문서에 적힌 것과 같다는 것. -- (observed) **이 실험대의 certbot 은 DNS-01 로 등록되어 있다.** 위에서 「아직 읽지 못했다」고 적은 그 한 줄을 2026-09-17 에 읽었다 — `authenticator = dns-cloudflare` 이고 `dns_cloudflare_credentials = /etc/letsencrypt/cloudflare.ini` 이며 `server` 는 Let's Encrypt 운영 디렉터리다. 두 문서가 갈렸던 대목이 DNS-01 쪽으로 닫혔다. +- 실제 실행에서 이름 풀이 결과 `100.83.212.4`, `certbot plugins` 세 줄, `nginx -v` 두 줄, 체인 4단계와 `Verify return code: 0 (ok)`, `404 tls=0`, 배포판 기본 유닛에 훅이 없다는 점을 확인했다. 갱신에서 서빙까지 걸린 시간은 2305초와 1~2초로 달랐고 reload 중단 여부도 별도로 측정했다. +- 2026-09-17 에 새로 만든 엣지에서 잰 것 — `dig` 가 없다는 것, `getent hosts` 와 `dnsutils` 설치 뒤의 `dig` 가 같은 주소를 낸다는 것, `nginx -v` 가 `sudo` 없이는 `command not found` 라는 것, `certbot plugins` 세 줄이 문서에 적힌 것과 같다는 것. +- **이 실험대의 certbot 은 DNS-01 로 등록되어 있다.** 위에서 「아직 읽지 못했다」고 적은 그 한 줄을 2026-09-17 에 읽었다 — `authenticator = dns-cloudflare` 이고 `dns_cloudflare_credentials = /etc/letsencrypt/cloudflare.ini` 이며 `server` 는 Let's Encrypt 운영 디렉터리다. 두 문서가 갈렸던 대목이 DNS-01 쪽으로 닫혔다. ```bash label="[lab host] 등록된 인증 방식을 읽는다" sudo sh -c 'grep -H "authenticator\|dns_cloudflare_credentials\|server =" /etc/letsencrypt/renewal/*.conf' ``` - **`sudo grep ... /etc/letsencrypt/renewal/*.conf` 로 치면 안 된다**(observed). 글로브를 일반 사용자 셸이 먼저 펼치는데 그 디렉터리를 못 읽어서 `zsh: no matches found` 로 끝나고 `grep` 은 시작도 안 한다. `sudo sh -c '...'` 로 sudo 안에서 펼쳐야 한다. + **`sudo grep ... /etc/letsencrypt/renewal/*.conf` 로 치면 안 된다.** 2026-09-17 실제 셸에서 이 형태가 실패했다. 글로브를 일반 사용자 셸이 먼저 펼치는데 그 디렉터리를 못 읽어서 `zsh: no matches found` 로 끝나고 `grep` 은 시작도 안 한다. `sudo sh -c '...'` 로 sudo 안에서 펼쳐야 한다. -- (unknown) 2번부터 4번까지(토큰 발급 · 시험 발급 · 실제 발급)는 2026-09-17 에 다시 밟지 않았다. 5번의 443 블록은 이미 있던 인증서를 엣지로 옮겨서 밟았고, 그때 위 ② 의 경로 결함이 드러났다. -- (external) `100.64.0.0/10` 이 CGNAT 예약 대역이라는 것과 Let's Encrypt 의 발급 한도와 유효기간 90일은 규격이고 이 실험대가 잰 값이 아니다. -- (external) Cloudflare 계정에 남는 토큰은 엣지를 지운다고 없어지지 않는다. 가이드는 폐기를 적지 않았다. -- (inferred) 2305초 측정은 훅이 물리 호스트에만 있던 시절의 기록이라, 엣지 게스트에서 다시 잰 값이 아니다. 지금 배치에서 같은 수가 나오는지는 재지 않았다. -- (unknown) 체인 실측은 이름을 따로 받던 시절 것이고, 와일드카드로 받은 지금의 출력은 싣지 않았다. -- (unknown) `curl -v` 의 전체 출력, `certbot certificates` 의 실제 화면, 타이머 목록의 출력, 확인 ③ 의 일련번호 세 줄은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다. -- (unknown) 원본 가이드 04 에 되돌리는 절차가 없다. 패키지와 자격증명과 인증서와 훅과 타이머와 443 블록을 걷어내 본 적이 없다. -- (unknown) 이 단계에는 「이 실험대는 이렇게 했다」와 「따라 하는 사람은」 두 갈래가 없다. 04 는 설정 파일 셋을 전부 편집기로 쓴다. +- 2번부터 4번까지(토큰 발급 · 시험 발급 · 실제 발급)는 2026-09-17 에 다시 밟지 않았다. 5번의 443 블록은 이미 있던 인증서를 엣지로 옮겨서 밟았고, 그때 위 ② 의 경로 결함이 드러났다. +- `100.64.0.0/10` 이 CGNAT 예약 대역이라는 점과 Let's Encrypt 의 발급 한도·유효기간 90일은 외부 규격과 정책에 따른다. 이 실험대가 직접 측정한 값으로 취급하지 않는다. +- Cloudflare 토큰은 계정 쪽 자격증명이므로 엣지를 지운다고 함께 없어지지 않는다. 이 동작은 Cloudflare 쪽 관리 범위이고, 가이드에는 토큰 폐기 절차가 적혀 있지 않다. +- 2305초라는 수치는 훅이 물리 호스트에만 있던 시절의 측정이다. 지금 엣지 게스트 배치에서는 다시 재지 않았으므로 같은 시간이 나올지는 알 수 없다. 이 값은 현재 배치로 일반화하지 않는다. +- 2026-09-21 재검증에서 확인한 현재 서빙 인증서는 와일드카드가 아니라 `auth.hyeonworks.com` · `app1.hyeonworks.com` · `app2.hyeonworks.com` 세 이름을 SAN으로 가진 한 장이다. CN은 `auth.hyeonworks.com`, 만료는 2026-12-16 `09:37:57 UTC`이고, direct SNI 검증에서 체인 0~3과 `Verify return code: 0 (ok)`를 다시 확인했다. 이 값은 이 Setup이 목표로 하는 와일드카드 발급 절차와 현재 배포 상태를 구분해서 읽는다. +- `curl -v` 의 전체 출력, `certbot certificates` 의 실제 화면, 타이머 목록의 출력, 확인 ③ 의 일련번호 세 줄은 가이드가 봐야 할 줄만 적었고 값이 남아 있지 않다. +- 원본 가이드 04 에 되돌리는 절차가 없다. 패키지와 자격증명과 인증서와 훅과 타이머와 443 블록을 걷어내 본 적이 없다. +- 이 단계에는 「이 실험대는 이렇게 했다」와 「따라 하는 사람은」 두 갈래가 없다. 04 는 설정 파일 셋을 전부 편집기로 쓴다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-guest-memory-address-translation.md b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-guest-memory-address-translation.md index e6e89e7..48808fb 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-guest-memory-address-translation.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-guest-memory-address-translation.md @@ -41,26 +41,6 @@ source: 가상 머신 안의 프로세스가 메모리를 한 번 읽으면 그 주소는 이름이 두 번 바뀐다. 게스트 페이지 테이블이 GVA(Guest Virtual Address)를 GPA(Guest Physical Address)로 바꾼다. 그 GPA 를 EPT 가 다시 HPA(Host Physical Address)로 바꾼 뒤에야 접근이 실제 호스트 RAM 에 닿는다. 게스트 Linux 는 GPA 를 자기 물리 주소로 여기지만, 그 값이 서버 RAM 의 주소와 같을 필요는 없다. 메모리를 마련하는 쪽과 주소를 바꾸는 쪽도 갈린다. QEMU 가 게스트 RAM 을 자기 호스트 가상 주소 공간에 마련해 KVM 에 등록하고, 접근마다 일어나는 변환은 CPU 의 MMU 가 맡는다. 가상 머신 위에서 Keycloak 실험을 돌리는 동안 「가상 머신에 RAM 을 몇 GiB 줬다」가 호스트 RAM 에서 무엇을 뜻하는지 가르려면 이 경로가 먼저 필요하다. -## 관계 - -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - 이 경로의 어느 단계에서 접근이 완료되지 못하는지, 그때 어느 계층이 그 사건을 받는지를 그 글이 이어 받는다. -- **Huge Page 를 VM 에서 볼 때 갈라지는 세 자리** - 페이지 크기를 키우는 선택이 이 경로의 두 변환 단계 가운데 어디에 걸리는지를 다룬다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - HPA 뒤의 호스트 RAM 이 모자라질 때 메모리 회수(reclaim)와 스왑이 무엇을 하는지는 그 글이 맡는다. -- **NUMA 에서는 vCPU 배치와 메모리 배치를 함께 본다** - 이 경로의 마지막 단계인 호스트 물리 페이지가 어느 NUMA 노드에 있는지를 다룬다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 설정한 메모리와 게스트가 쓰는 메모리, 호스트에서 실제로 상주(resident)하는 메모리를 이 글은 구분만 했고 값은 재지 않았다. -- **QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가** - QEMU 가 마련한 메모리가 이 서버에서 실제로 물리 메모리를 얼마나 붙잡는지를 그 질문이 받는다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - 이 경로가 그 기준이 쓰는 계층 구분을 만든다. -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 같은 가상 머신을 CPU 쪽에서 본 글이다. VM Exit 을 그쪽에서 읽고 오면 메모리 접근마다 Exit 이 나는지가 먼저 걸린다. - -## 본문 @@ -94,7 +74,7 @@ Physical RAM 게스트 안에서 도는 Keycloak 이 변수 하나를 읽는다고 하면, 그 한 번의 접근이 세 주소를 차례로 지난다. -```text label="Guest 안의 Keycloak 이 변수를 읽을 때 (SSOT 의 예시 주소)" +```text label="Guest 안의 Keycloak 이 변수를 읽을 때 (기존 문서의 예시 주소)" Keycloak │ │ GVA 0x7f001234 @@ -229,7 +209,7 @@ Guest가 현재 실제 사용하는 Memory Host에서 현재 resident한 Physical Memory ``` -물리 메모리가 실제로 붙는 시점과 방식은 호스트 쪽 구성에 따라 달라질 수 있다. 호스트의 demand paging, 어떤 메모리로 뒷받침하는지, HugeTLB, memory locking, preallocation, overcommit 정책 등이 거기에 걸린다. 그래서 "VM RAM 16GiB = Host RAM에서 고정된 연속 16GiB"라고 단순화하면 안 된다. 여기 쓴 16 GiB 도 원문의 예시 값이고 이 서버의 설정이 아니다. 이 호스트에서 그 셋을 견주지도 않았다. 세 값은 같은 시점에 나란히 읽어야 갈리는데, 그 관찰을 아직 돌리지 않았다. +물리 메모리가 실제로 붙는 시점과 방식은 호스트 쪽 구성에 따라 달라질 수 있다. 호스트의 demand paging, 어떤 메모리로 뒷받침하는지, HugeTLB, memory locking, preallocation, overcommit 정책 등이 거기에 걸린다. 그래서 "VM RAM 16GiB = Host RAM에서 고정된 연속 16GiB"라고 단순화하면 안 된다. 여기 쓴 16 GiB 도 원문의 예시 값이고 이 서버의 설정이 아니다. 2026-09-21에는 configured memory와 current memory, QEMU RSS를 같은 실험대에서 나란히 읽었다. 세 값은 실제로 서로 달랐고, QEMU RSS 역시 workload와 page residency에 따라 달라지는 시점값으로 확인됐다. ## 게스트 페이지 테이블 자체도 게스트 메모리에 있다 @@ -317,13 +297,13 @@ QEMU 위쪽 점선 상자 안에서 끝나는 것이 첫 번째 변환이고, 그 상자를 나온 뒤의 EPT 가 두 번째 변환을 맡는다. 관리 경로는 이 그림에 없다 — 위의 `virsh` 목록이 그쪽을 그린 것이다. -## 이 글이 확정하지 않는 것 +## 이 호스트에서 실제로 확인한 메모리 크기 -이 호스트에서 잰 값은 하나도 없다. 원문 제2부는 개념 서술이고, 실제 서버에 딸린 설정과 동작은 OQ(Open Question) 번호가 붙은 확인 목록 열넷으로 미뤄져 있다. 그 목록을 아직 돌리지 않았으므로 이 글은 구조가 어떻게 동작하는지까지만 말한다. +GVA→GPA→HPA 변환 자체의 각 주소를 추적한 것은 아니지만, 이 경로를 떠받치는 현재 메모리 구성은 2026-09-21에 확인했다. 세 VM의 configured/current memory와 QEMU RSS, THP/HugeTLB 상태, balloon 장치, NUMA topology를 각각 읽었다. 따라서 구조 설명과 현재 host의 구성값은 구분해서 적고, 실제 주소 변환 이벤트나 EPT 동작까지 측정했다고 넓혀 말하지 않는다. -설정한 메모리와 실제로 붙잡힌 메모리의 차이는 OQ-2 와 OQ-3 이 받는다. 가상 머신에 설정된 메모리와 지금 쓰는 메모리를 읽고, 같은 시점에 QEMU 프로세스가 호스트에서 상주하는 메모리를 읽어 견주는 확인이다. +설정한 메모리와 실제로 붙잡힌 메모리의 차이는 두 값을 같은 시점에 읽어야 확인할 수 있다. 가상 머신에 설정된 메모리와 지금 쓰는 메모리를 읽고, 같은 시점에 QEMU 프로세스가 호스트에서 상주하는 메모리를 읽어 견주는 확인이다. -```bash label="OQ-2 · OQ-3 이 이 호스트에서 읽을 값" +```bash label="설정한 메모리와 QEMU 상주 메모리를 같은 시점에 읽는다" virsh dominfo virsh dommemstat ps -o pid,rss,vsz,cmd -p diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-huge-pages-in-a-vm.md b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-huge-pages-in-a-vm.md index 66666a3..fdc76cb 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-huge-pages-in-a-vm.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-huge-pages-in-a-vm.md @@ -25,18 +25,6 @@ source: 페이지 크기를 키우면 같은 메모리 범위를 더 적은 매핑으로 표현할 수 있고, TLB(Translation Lookaside Buffer, 주소 변환 캐시) 엔트리 하나가 덮는 범위도 넓어진다. 그런데 가상 머신에는 주소 변환 단계가 둘이라 「Huge Page 를 쓴다」는 말만으로는 어디를 말하는지 정해지지 않는다. 게스트 페이지 테이블 단계인지, QEMU 가 마련한 호스트 쪽 메모리인지, EPT(Extended Page Tables) 매핑인지를 나누어 물어야 그 말이 뜻을 갖는다. Linux 가 큰 페이지를 마련하는 방법도 THP(Transparent Huge Pages)와 HugeTLB 두 가지인데, 둘은 관리 주체도 사전 예약 여부도 다르다. -## 관계 - -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - 페이지 크기 선택이 걸리는 두 변환 단계를 그 글이 세운다. -- **이 호스트의 THP 정책과 huge page 상태는 무엇인가** - 이 서버의 THP 정책과 huge page 관련 값을 읽는 질문이다. 이 글은 그 값이 무엇을 뜻하는지까지만 적었다. -- **가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가** - 세 곳 가운데 호스트 쪽을 이 서버에서 확인하는 질문이다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - THP 정책과 huge page 설정은 그 기준이 요구하는 기록 항목에 들어간다. - -## 본문 @@ -162,18 +150,18 @@ cat /sys/kernel/mm/transparent_hugepage/enabled `AnonHugePages` 와 `HugePages_Total` 은 같은 뜻이 아니다. 앞의 값은 익명 메모리에서 THP 로 쓰이고 있는 양이고, 뒤의 값은 HugeTLB 풀로 확보해 둔 페이지 수다. 한쪽이 0 이어도 다른 쪽이 커질 수 있어서, 두 값을 한 이름으로 묶어 읽으면 어떤 방식이 돌고 있는지 알 수 없다. -## 이 글이 확정하지 않는 것 +## 이 실험대에서 확인한 Huge Page 상태 -이 호스트에서 huge page 를 잰 값은 하나도 없다. THP 정책도 `HugePages_Total` 도 읽지 않았고 가상 머신의 메모리 backing 설정도 확인하지 않았다. 원문 제2부는 개념 서술이고 실제 서버에 딸린 값은 OQ(Open Question) 번호가 붙은 확인 목록 열넷으로 미뤄져 있다. +2026-09-21 현재 host의 THP 정책은 `always`다. `/sys/kernel/mm/transparent_hugepage/enabled`는 `[always] madvise never`였고 `AnonHugePages`도 실제로 사용 중이었다. 반면 `HugePages_Total=0`, `HugePages_Free=0`, `Hugetlb=0 kB`라 별도 HugeTLB pool은 없다. -호스트 쪽 값은 OQ-4 가 받는다. THP 정책과 함께 `AnonHugePages`, `HugePages_Total`, `HugePages_Free`, `Hugepagesize` 를 읽어 이 서버가 어느 방식을 쓰고 있는지 확정하는 확인이다. +세 VM도 함께 확인했고, 현재 명시적 HugeTLB backing을 사용하지 않는다. QEMU 쪽에서 보이는 `AnonHugePages`는 THP 관측으로 분리해 읽는다. -가상 머신 쪽 backing 은 OQ-5 가 받는다. libvirt 의 memory backing 설정을 읽고 호스트의 `/proc/meminfo`, QEMU 의 `smaps` 계열 값과 교차 검증한다. +가상 머신 쪽에서는 libvirt의 memory backing 설정을 읽고 호스트의 `/proc/meminfo`, QEMU의 `smaps` 계열 값과 교차 확인한다. -```bash label="OQ-5 가 읽을 가상 머신 정의" +```bash label="가상 머신의 memory backing 설정을 읽는다" virsh dumpxml ``` -두 확인이 끝나기 전에는 이 글의 세 질문 가운데 어느 것도 이 서버에 대해 답이 없다. 그리고 두 확인이 끝나도 셋째 질문은 남는다. EPT 매핑에서 큰 매핑을 쓰는가를 이 호스트에서 재라고 적은 항목은 그 열넷에 없다. 원문 제2부가 THP 와 HugeTLB 를 서술하면서 커널·QEMU·libvirt 버전을 적지 않아 이 글도 특정 버전에 고정하지 않았다. 이 실험대의 커널 `7.2.2-arch1-1` 과 QEMU 11.1.1, libvirt 12.7.0 은 §197 이 적어 두었다. 그 위에서 huge page 값을 읽은 기록은 없다. THP 정책의 기본값이 배포판마다 다르다는 점도 원문이 확인하라고만 적었다. +현재 THP 정책과 HugeTLB 사용 여부는 확인됐다. 아직 별도로 남는 것은 EPT 단계에서 실제로 큰 매핑이 어떻게 쓰이는지와 workload별 THP 효과다. 이 둘은 현재 설정값을 읽는 것만으로 답할 수 없으므로 별도 측정 대상으로 둔다. 현재 환경은 커널 `7.2.2-arch1-1`, QEMU 11.1.1, libvirt 12.7.0 기준이다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-memory-pressure-reclaim-swap-oom.md b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-memory-pressure-reclaim-swap-oom.md index cd9efe7..408bdc7 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-memory-pressure-reclaim-swap-oom.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-memory-pressure-reclaim-swap-oom.md @@ -30,24 +30,6 @@ source: 가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 클 수 있다. 설정한 용량과 지금 실제로 쓰는 양이 같지 않다 보니 그런 구성이 성립하는데, 가상 머신들의 수요가 동시에 오르면 Linux 는 회수와 스왑으로 대응한다. CPU 가 모자랄 때는 스케줄러가 실행 시간을 나눠 주지만, RAM 이 모자랄 때는 나눌 시간이 없고 지금 존재해야 하는 페이지를 어디에 둘 것인가만 남는다. 그래서 호스트의 메모리 압박은 게스트 안에서 단순한 메모리 접근으로 보이던 동작을 스토리지 I/O 대기로 바꾸고, 여러 갈래의 I/O 가 한 물리 장치로 몰리면 DB 와 애플리케이션 지연까지 올린다. 회수로도 모자라면 OOM(Out Of Memory)으로 가는데, 그것을 게스트 커널이 처리했는지 호스트 커널이 처리했는지에 따라 멈추는 범위가 다르다. -## 관계 - -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - 여기서 눌리는 것은 그 경로의 마지막 단계인 호스트 물리 페이지다. 그 경로를 먼저 읽으면 무엇이 스왑으로 나가는지가 정해진다. -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - 호스트 쪽 페이지가 없을 때 발생하는 Host Page Fault 가 이 압박 경로를 관측하는 지점이다. 세 계층의 fault 를 가르는 기준은 그쪽에 있다. -- **virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식** - 무작정 스왑으로 내보내는 대신 게스트 커널과 협력해 회수하는 다른 방법이다. 압박에 대응하는 수단이라 이 경로와 짝을 이룬다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 이 환경이 초과 할당 상태인지를 이 질문이 확정한다. 여기서는 그것을 사실로 두지 않았다. -- **지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가** - 게스트 쪽과 호스트 쪽 스왑을 같은 시각에 재는 질문이다. 이 글은 두 스왑이 다른 계층이라는 것까지만 적었다. -- **호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가** - 압박에서 지연까지 이어지는 경로를 이 환경에서 재현하는 질문이다. 이 글에서는 그 경로를 개념으로만 그렸다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - 스왑 관측이나 OOM 을 보고 원인을 정하려 할 때 쓰는 기준이다. 이 글이 그 기준의 Host Memory 갈래를 설명한다. - -## 본문 @@ -55,9 +37,9 @@ source: ## CPU 가 모자랄 때와 RAM 이 모자랄 때 -가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 근거 문서는 이 구성을 예시 숫자로 설명한다. +가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM 보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 원문은 이 구성을 예시 숫자로 설명한다. -```text label="설정 총량이 Host RAM 을 넘는 구성 — 근거 문서의 예시" +```text label="설정 총량이 Host RAM 을 넘는 구성 — 개념 예시" Host Physical RAM = 32 GiB VM1 configured = 16 GiB @@ -69,9 +51,9 @@ Total configured = 48 GiB 이 숫자는 개념을 보이려고 든 예시이고 이 테스트 서버에서 잰 값이 아니다. 설정한 용량과, 그 가상 머신이 실제로 쓰고 있는 메모리(working set)나 호스트에서 그 몫으로 붙잡고 있는 메모리(resident memory)가 같지 않을 수 있기 때문에 이런 구성이 가능할 수 있다. 같은 예시에서 세 가상 머신이 실제로 쓰는 양을 각각 약 5G, 4G, 3G 로 잡으면 합이 약 12G 라 32 GiB 안에 들어간다. 세 대의 수요가 동시에 증가하면 그때부터 문제가 발생한다. -이 실험대는 그 구성이 아니다. 호스트 물리 RAM 은 §178 이 `free -m` 으로 실측한 11,648MiB 다. 게스트 세 대에 배정한 메모리는 §187 이 `kc-lab-1` 5120MB, `kc-lab-2` 4096MB, `kc-lab-edge` 1024MB 로 적었고 합이 10,240MB 다. 배정 합이 호스트 RAM 보다 작다. 배정률은 10240/11648 = 87.9% 이고, 배정하지 않고 남은 것이 1,408MiB 다. 그래서 이 배치는 메모리 초과 할당이 아니다. 호스트의 스왑 설정은 아직 근거 문서에 없다. +이 실험대는 그 구성이 아니다. 호스트 물리 RAM은 11,648MiB이고 세 VM의 configured memory 합은 10,240MiB라 총량 기준 메모리 overcommit 상태가 아니다. 2026-09-21 재검증에서 호스트 swap은 8.0GiB로 설정돼 있었고 약 259MiB가 사용 중이었다. 다만 `vmstat 1 5`의 `si/so`는 전 구간 0이라, swap 사용량이 남아 있다는 사실과 현재 swap I/O가 진행 중이라는 사실은 구분해야 한다. -그 배정이 처음부터 이 숫자였던 것은 아니다. §187 은 게스트를 만들 때 메모리가 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했다고 적었다. 왜 그때 늘릴 수 있었는지는 §332 에 있다 — 「호스트에서 8GB→12GB로 물리 증설한 뒤 이 방법으로 재배분했다.」 그 방법은 `virsh setmaxmem` 으로 상한을 올리고 `virsh setmem` 으로 현재 할당을 맞추는 두 줄인데, 현재 할당을 상한보다 크게 줄 수 없어 순서가 정해져 있다. 게스트를 다시 만들거나 디스크를 건드리지 않아도 되는 대신 `setmaxmem --live` 는 대개 거부되므로, 상한을 바꾸려면 게스트를 껐다 켠다. +그 배정이 처음부터 이 숫자였던 것은 아니다. 「단계 01 — 게스트 세 대」에서는 게스트를 만들 때 메모리가 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했다고 적었다. 왜 그때 늘릴 수 있었는지는 「VM 메모리 재배분 — 게스트를 다시 만들지 않는다」에 있다 — 「호스트에서 8GB→12GB로 물리 증설한 뒤 이 방법으로 재배분했다.」 그 방법은 `virsh setmaxmem` 으로 상한을 올리고 `virsh setmem` 으로 현재 할당을 맞추는 두 줄인데, 현재 할당을 상한보다 크게 줄 수 없어 순서가 정해져 있다. 게스트를 다시 만들거나 디스크를 건드리지 않아도 되는 대신 `setmaxmem --live` 는 대개 거부되므로, 상한을 바꾸려면 게스트를 껐다 켠다. CPU 가 모자랄 때와 RAM 이 모자랄 때 Linux 가 하는 일이 다르다. CPU 가 모자라면 스케줄러가 실행 시간을 나누고 실행 가능한 작업은 자기 차례를 기다리는데, 시간은 잘라서 뒤로 미룰 수 있기 때문이다. RAM 이 모자랄 때는 미룰 것이 없어서 지금 존재해야 하는 페이지를 어디에 둘 것인가만 남는다. 그래서 메모리 압박에서는 회수와 스왑, ballooning, OOM 같은 메커니즘이 추가로 개입한다. 메모리 초과 할당은 CPU 초과 할당과 동일한 성격의 자원 공유가 아니다. @@ -95,33 +77,22 @@ QEMU 가 게스트 RAM 으로 잡아 둔 호스트 물리 페이지가 스왑으 메모리는 CPU 와 네트워크, 스토리지 실행을 모두 받치는 계층이라 압박이 메모리 안에서 끝나지 않는다. CPU 사용률이 낮은 구간에도 이 경로가 돌고 있을 수 있다. -이 흐름은 순서를 억지로 만드는 sequence가 아니라, **Host memory pressure가 reclaim 뒤 clean-page 회수·Host swap·storage contention·Host OOM으로 갈라지는 관계**를 component-flow로 그렸다. Guest OOM은 같은 원인선에 붙이면 계층을 섞게 되므로 그림에서는 합치지 않고 아래 절에서 따로 구분한다. +그림에서는 호스트 메모리 압박 뒤에 갈라지는 경로만 남겼다. 깨끗한 파일 페이지 회수, 호스트 스왑과 스토리지 경쟁, 호스트 OOM은 같은 시작점에서 갈라지지만 게스트 OOM은 다른 커널에서 일어난다. 그래서 게스트 OOM은 같은 화살표에 억지로 붙이지 않고 아래에서 따로 구분한다. ## 회수로도 모자라면 OOM Linux 가 메모리 할당 요구를 만족시키지 못하고 회수를 비롯한 방법으로도 필요한 메모리를 확보하지 못하면 OOM 상황이 발생할 수 있다. 그러면 OOM Killer 가 프로세스를 골라 종료하고 그만큼의 메모리를 확보한다. -같은 OOM 이라도 어느 커널이 처리했는지에 따라 멈추는 범위가 달라진다. 게스트 RAM 이 부족해 게스트 커널이 OOM 을 처리하면 게스트 안의 프로세스가 종료된다. 근거 문서가 든 예가 Keycloak 프로세스 종료다. 호스트 물리 RAM 이 부족해 호스트 커널이 OOM 을 처리하면 호스트 프로세스가 종료될 수 있는데, 그때 QEMU 가 골라지면 해당 가상 머신 전체가 중단되고 그 안에서 돌던 프로세스가 모두 함께 멈춘다. +같은 OOM 이라도 어느 커널이 처리했는지에 따라 멈추는 범위가 달라진다. 게스트 RAM 이 부족해 게스트 커널이 OOM 을 처리하면 게스트 안의 프로세스가 종료된다. 예를 들어 게스트 안에서 Keycloak 프로세스가 OOM victim으로 선택될 수 있다. 호스트 물리 RAM 이 부족해 호스트 커널이 OOM 을 처리하면 호스트 프로세스가 종료될 수 있는데, 그때 QEMU 가 골라지면 해당 가상 머신 전체가 중단되고 그 안에서 돌던 프로세스가 모두 함께 멈춘다. cgroup 메모리 상한이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다. 그래서 OOM 하나를 보고 호스트 RAM 이 모자랐다고 정하지 않고 OOM 이 어느 계층에서 났는지를 확인한다. -## 근거 문서가 번호를 붙여 둔 문장 +## 이 실험대에서 실제로 걸어 본 메모리 압박 -근거 문서는 이 경로에서 고정한 문장에 번호를 붙여 두었다. 실험 기록에서 어느 문장을 확인했는지 가리킬 때 이 번호를 쓴다. +2026-09-21에는 host에서 anonymous memory를 256MiB씩 늘려 최대 3.5GiB를 추가로 touch하고 `MemAvailable`을 약 512MiB까지 낮춘 뒤 12초 동안 유지했다. 압박 전 `pgmajfault=56493`은 직후 `56971`로 478 증가했고 swap 사용량도 약 68MiB에서 323MiB로 늘었다. -| 번호 | 근거 문서가 고정한 문장 | -|---|---| -| CLAIM-MEM-12 | Memory Overcommit은 CPU Overcommit과 성격이 다르다. RAM pressure에서는 reclaim/swap/ballooning/OOM이 개입할 수 있다. | -| CLAIM-MEM-13 | Guest Swap과 Host Swap은 서로 다른 계층에서 발생한다. | -| CLAIM-MEM-14 | Host memory pressure는 swap/writeback을 통해 storage contention과 application latency를 악화시킬 수 있다. | -| CLAIM-MEM-17 | Guest OOM과 Host OOM은 영향 범위가 다르다. Host OOM에서 QEMU가 종료되면 VM 전체가 중단될 수 있다. | +그렇다고 곧바로 NVMe 병목으로 이어지지는 않았다. host에는 zswap이 활성화돼 있었고 pressure 뒤 `Zswapped`는 약 256MiB, 실제 압축 메모리 사용량은 약 32MiB였다. 같은 실행에서 `pswpout`은 증가하지 않았고 NVMe `%util`은 최고 약 7.1%였다. OIDC discovery 지연도 baseline `median/p95 11.45/21.88ms`, pressure `10.49/16.23ms`, recovery `11.17/17.09ms`로 압박 구간에서 일관되게 나빠지지 않았다. pressure를 해제한 뒤 `MemAvailable`은 약 4.1GiB로 돌아왔고 두 k3s node와 OIDC 응답도 정상 상태를 유지했다. -## 이 문서가 확정하지 않는 것 - -이 글이 확정하는 것은 구조가 어떻게 동작하는가까지다. 이 테스트 서버에서 잰 값 가운데 여기 쓴 것은 호스트 물리 RAM 과 게스트 배정, §198 의 할당·실사용뿐이고, 압박 경로 자체를 이 서버에서 재현한 적은 없다. - -호스트 물리 RAM 11,648MiB 와 게스트 배정 합 10,240MB 는 앞 절에 실측으로 적었고, 배정 합이 더 작아 이 배치는 초과 할당이 아니다. 남은 것은 호스트의 스왑 설정과, 가상 머신마다의 실제 사용량 그리고 호스트에서 그 몫으로 붙잡고 있는 메모리다. §198 이 `virsh dommemstat` 으로 k3s 두 대를 재서 `kc-lab-1` 은 할당 5120MB 에 실사용 353MB, `kc-lab-2` 는 할당 3120MB 에 실사용 301MB 였다고 적었다. `kc-lab-2` 의 할당이 배정한 4096MB 보다 작은데, 같은 절은 그것을 virtio-balloon 이 회수해 간 것으로 보인다고 적고 단정하지 않았다. 그 측정은 k3s 만 떠 있고 Keycloak 은 올리기 전이라 나머지가 올라간 뒤의 값은 미측정이다. `kc-lab-edge` 는 그 측정에 들어 있지 않다. - -스왑이 지금 오가고 있는지도 재지 않았다. §178 과 §197 에 있는 호스트 `free -m` 출력은 `head -2` 로 잘려 `Mem:` 줄까지만 남아 스왑 줄이 없다. `Swap Used` 값 하나로는 진행 중인 활동인지 과거에 내려간 뒤 남아 있는 cold page 인지 갈리지 않으니 게스트와 호스트를 같은 시각에 관측해야 한다. 호스트 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는지는 압박이 없는 구간과 있는 구간을 나눠 재야 알 수 있다. 그 구간에서 스토리지 지연과 CPU 도 같이 기록해야 원인을 메모리 쪽으로 좁힐 수 있다. 세 확인은 각각 열린 질문으로 두었고 관계에 걸어 두었다. +따라서 현재 안전 범위에서는 **host memory pressure → major fault 증가**까지는 확인했지만, **disk swap-out → NVMe 지연 → guest application 지연**으로 이어지는 사슬은 재현되지 않았다. 더 강한 압박으로 zswap 범위를 넘어 실제 disk swap-out을 지속시키는 조건은 기존 서비스 영향이 커질 수 있어 이 환경에서는 더 밀어붙이지 않았다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-numa-locality-for-vcpu-and-memory.md b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-numa-locality-for-vcpu-and-memory.md index 0a9086e..28209c0 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-numa-locality-for-vcpu-and-memory.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-numa-locality-for-vcpu-and-memory.md @@ -28,22 +28,6 @@ source: RAM 을 하나의 균일한 자원처럼 다루면 어느 CPU 가 읽든 비용이 같다. CPU 소켓이 둘 이상인 NUMA 시스템에서는 그 가정이 성립하지 않는다. 소켓마다 가까운 RAM 이 따로 있고, 다른 소켓의 RAM 을 읽으면 인터커넥트를 건너므로 추가 비용이 붙을 수 있다. 가상 머신에서 이것이 걸리는 이유는 게스트 vCPU 가 호스트에서는 QEMU 의 vCPU 스레드이기 때문이다. 그 스레드가 도는 노드와 그 가상 머신의 메모리가 놓인 노드가 어긋나면, 게스트 안에서는 단순한 메모리 접근인 동작이 실제 하드웨어에서는 다른 노드까지 건너가는 접근이 된다. 그래서 vCPU 를 어느 CPU 에 묶었는지만 보고 배치를 끝내지 않고 메모리가 어느 노드에 있는지를 함께 본다. CPU 가상화 쪽 문서가 메모리 배치와 NUMA 튜닝을 여기로 넘겼다. -## 관계 - -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - 게스트 vCPU 가 QEMU vCPU 스레드로 호스트 스케줄러 위에서 실행된다는 것이 그쪽 설명이다. 이 글은 그 스레드가 도는 노드와 메모리가 있는 노드를 잇는다. -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - 변환이 끝나 닿는 HPA 가 어느 노드의 RAM 인지가 여기서 갈린다. 변환 방식은 그쪽이 설명한다. -- **이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가** - 노드가 하나인지 둘 이상인지를 확정하는 질문이다. 그 답이 나오기 전에는 이 글의 어긋남이 이 환경에 있는지 알 수 없다. -- **QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가** - 이 글이 말한 어긋남을 이 호스트에서 실제로 재는 질문이다. -- **NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가** - 배치가 어긋나 있다는 사실과 그것이 지연을 바꾼다는 사실은 다르다. 뒤쪽을 그 질문이 받는다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - 그 기준이 가르는 다섯 갈래 가운데 NUMA 갈래를 이 글이 설명한다. - -## 본문 @@ -63,11 +47,11 @@ RAM 을 하나의 균일한 자원처럼 다루면 어느 CPU 가 읽든 비용 vCPU 를 특정 CPU 집합에 묶는 설정을 pinning 이라고 한다. 어떤 가상 머신의 vCPU 를 노드 0 의 CPU 에 pinning 했는데 그 가상 머신의 RAM 이 주로 노드 1 에 배치되어 있으면, pinning 이후에도 원격 접근이 많아질 수 있다. 묶은 것은 실행 위치이고 메모리가 어디에 있는지는 그 설정이 정하지 않기 때문이다. -그래서 vCPU 를 어디에서 실행할지와 메모리를 어느 노드에 두고 묶을지를 함께 봐야 NUMA locality 가 정해진다. 근거 문서가 든 이상적인 구성은 한 가상 머신의 vCPU 넷이 모두 노드 0 의 CPU 에서 실행되고 그 가상 머신의 메모리도 노드 0 의 RAM 에 있는 모양이다. +그래서 vCPU 를 어디에서 실행할지와 메모리를 어느 노드에 두고 묶을지를 함께 봐야 NUMA locality 가 정해진다. 예를 들면 한 가상 머신의 vCPU 넷을 모두 노드 0의 CPU에서 실행하고 그 가상 머신의 메모리도 노드 0의 RAM에 두는 구성이 있다. ![QEMU vCPU Thread, VM1 Memory Backing, Node 0 CPU, Node 0 RAM, Node 1 RAM 다섯 참여자 사이의 순서도. 1번에서 vCPU thread 가 Node 0 CPU 에 pinning 되고 2번에서 VM1 의 memory backing 이 Node 1 에 놓이면 3번의 접근이 점선으로 Node 1 RAM 까지 간다. 4번에서 memory 를 Node 0 에 묶은 구성에서는 5번의 같은 접근이 Node 0 RAM 에서 끝난다.](../../../final/assets/diagrams/numa-vcpu-and-memory-placement/numa-vcpu-and-memory-placement.svg) -이 호스트가 노드 몇 개인지는 근거 문서에 없다. §197 이 논리 코어를 8 로 적었지만 NUMA 노드 수는 읽지 않았다. 그 절은 `lscpu | grep -E "^Model name|^CPU\(s\):|^Thread|^Core"` 로 네 줄만 걸러 받았고, 거기 남은 `Core(s) per socket` 4 와 `Thread(s) per core` 2 로 논리 코어 8 이 나온다. `Socket(s)` 줄과 `NUMA node(s)` 줄은 그 네 패턴에 걸리지 않아 실측에 없다. 그 출력을 다시 읽어도 노드 수가 나오지 않으므로 아래 절의 `lscpu` 를 거르지 않고 한 번 더 친다. 노드가 하나로 나오면 지금 말한 어긋남은 이 환경에 성립하지 않는다. +2026-09-21 재검증에서 이 호스트는 **NUMA node 1개**로 확인됐다. `lscpu`는 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 냈고 sysfs의 `node0/cpulist`도 `0-7`이었다. 세 QEMU 프로세스의 확인된 `numa_maps`도 `N0`만 사용했다. 따라서 현재 `test-server`에서는 서로 다른 NUMA node 사이의 remote memory access를 만들 수 없고, 이 문서의 remote/local 배치 문제는 다중 NUMA 장비로 옮겼을 때 다시 적용된다. ## 큰 가상 머신에서는 게스트에게 토폴로지를 보여 준다 @@ -75,7 +59,7 @@ vCPU 를 특정 CPU 집합에 묶는 설정을 pinning 이라고 한다. 어떤 노출한 뒤에는 게스트가 인식하는 토폴로지와 실제 호스트 배치가 합리적으로 대응되도록 구성한다. 게스트 NUMA 0 이 호스트 NUMA 0 에, 게스트 NUMA 1 이 호스트 NUMA 1 에 대응하지 않으면, 게스트가 로컬이라고 판단해 고른 메모리가 호스트에서는 원격이 된다. -이 실험대의 가상 머신은 그 크기가 아니다. §187 이 적은 게스트 세 대는 vCPU 가 한 개나 두 개이고 배정한 메모리가 1024MB 에서 5120MB 사이다. §197 은 그 vCPU 합을 `2 + 2 + 1 = 5` 로 적었다. +이 실험대의 가상 머신은 그 크기가 아니다. 「단계 01 — 게스트 세 대」에서는 적은 게스트 세 대는 vCPU 가 한 개나 두 개이고 배정한 메모리가 1024MB 에서 5120MB 사이다. 「측정 환경」에서는 그 vCPU 합을 `2 + 2 + 1 = 5` 로 적었다. ## 이 장비의 토폴로지부터 읽는다 @@ -86,9 +70,9 @@ lscpu numactl --hardware ``` -`lscpu` 는 노드 수와 노드별 CPU 목록을 알려 준다. 근거 문서가 든 출력 예시는 이런 모양이고, 이 테스트 서버에서 읽은 값이 아니다. +`lscpu` 는 노드 수와 노드별 CPU 목록을 알려 준다. 아래는 출력 형태를 보여 주기 위한 예시이고, 이 테스트 서버에서 읽은 값이 아니다. -```text label="근거 문서가 든 lscpu 출력 예시" +```text label="lscpu 출력 형태 예시 — 이 테스트 서버의 값이 아님" NUMA node(s): 2 NUMA node0 CPU(s): 0-7 NUMA node1 CPU(s): 8-15 @@ -104,20 +88,10 @@ virsh vcpuinfo `numastat` 은 지정한 프로세스의 메모리가 노드마다 얼마씩 있는지 보여 주므로, QEMU 프로세스를 지정하면 그 가상 머신의 메모리가 어느 노드에 얼마나 놓여 있는지 나온다. `virsh vcpupin` 과 `virsh vcpuinfo` 는 같은 가상 머신의 vCPU 가 어느 CPU 에 묶여 있고 어디서 실행 중인지 알려 준다. 두 출력을 나란히 놓아야 앞 절의 어긋남이 이 장비에 있는지 없는지 말할 수 있다. -## 근거 문서가 번호를 붙여 둔 문장 +## 이 장비에서 확인한 결과 -근거 문서는 이 대목에서 고정한 문장에 번호를 붙여 두었다. 실험 기록에서 어느 문장을 확인했는지 가리킬 때 이 번호를 쓴다. +현재 `test-server`는 단일 NUMA node다. CPU `0-7`과 확인된 QEMU memory mapping이 모두 node0에 있으므로, 이 환경에서는 local/remote NUMA 배치를 나눠 성능을 비교하는 실험 자체가 성립하지 않는다. -| 번호 | 근거 문서가 고정한 문장 | -|---|---| -| CLAIM-MEM-18 | NUMA 시스템에서는 vCPU placement와 memory placement를 함께 봐야 한다. | - -## 이 문서가 확정하지 않는 것 - -이 글이 확정하는 것은 배치가 어긋나면 무엇이 원격 접근이 되는가까지다. 이 테스트 서버에서 NUMA 를 잰 값은 하나도 없다. - -이 호스트가 노드 하나인지 여럿인지가 정해지지 않았다. 노드 하나로 나오면 앞 절의 어긋남이 이 환경에 성립하지 않으므로 NUMA 를 현재 실험에서 뒤로 미룬다. 여럿으로 나와야 QEMU 프로세스의 노드별 메모리 분포와 vCPU 배치를 나란히 적는 확인이 의미를 갖는다. 토폴로지 확인은 CPU 가상화 쪽 질문이 받고 있다. - -배치가 어긋나 있다는 것과 그 어긋남이 이 작업의 지연을 바꾼다는 것도 다른 사실이다. 근거 문서는 토폴로지만 보고 성능 문제라고 단정하지 말라고 적었다. vCPU 와 메모리를 같은 노드로 맞춘 구성과 원격 접근이 많아지도록 바꾼 구성에서 같은 작업을 같은 조건으로 돌려 지연과 처리량을 견줘야 답이 나온다. 이 가상 머신들에 게스트 NUMA 를 노출했는지도 근거 문서에 없다. 세 확인은 각각 열린 질문으로 두었고 관계에 걸어 두었다. +이 결과는 NUMA가 중요하지 않다는 일반론이 아니다. 다중 NUMA 호스트로 실험 환경을 옮기면 먼저 vCPU 실행 위치와 QEMU memory placement를 함께 읽고, 실제로 node가 어긋난 상태가 있을 때만 동일 workload의 latency와 throughput을 비교한다. 토폴로지만 보고 성능 문제라고 단정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-page-fault-layers-in-a-vm.md b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-page-fault-layers-in-a-vm.md index 8924dbe..24635a2 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-page-fault-layers-in-a-vm.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-page-fault-layers-in-a-vm.md @@ -28,20 +28,6 @@ source: 가상 머신 안에서 메모리 접근이 완료되지 못하면 그 사건을 받는 곳이 셋이다. GVA(Guest Virtual Address)를 GPA(Guest Physical Address)로 바꾸는 첫 단계에서 막히면 Guest Page Fault 가 나서 게스트 커널이 처리한다. 그 GPA 를 HPA(Host Physical Address)로 바꾸는 두 번째 단계에서 막히면 EPT Violation 이 나고, VM Exit 뒤 KVM 이 받는다. QEMU 도 호스트의 일반 프로세스여서 자기가 마련한 메모리에 대해 Host Page Fault 를 따로 겪는다. 이름이 모두 fault 라 한 덩어리로 읽히지만 일어나는 단계도 처리하는 쪽도 다르고, 셋 중 어느 것이 늘었는지에 따라 볼 지표가 갈린다. -## 관계 - -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - 정상일 때 접근이 어떤 경로를 지나는지를 그 글이 세운다. 이 글은 그 경로가 완료되지 않을 때를 맡는다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - 호스트 쪽 fault 가 늘어나는 배경인 reclaim 과 swap 을 그 글이 다룬다. -- **게스트 page fault 증가는 workload 변화를 따라가는가** - 게스트 쪽 fault 지표를 이 호스트에서 재는 질문이다. 이 글은 원인 분류까지만 적었다. -- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가** - 호스트 쪽 major fault 와 스토리지 지연을 같은 시간축에 놓는 질문이다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - 이 세 갈래가 그 기준이 요구하는 계층 구분을 만든다. - -## 본문 @@ -176,7 +162,7 @@ Host Kernel ![Guest Page Table 에서 갈래가 둘로 나뉘어 하나는 Guest Page Fault 로 Guest Kernel 에 가고 다른 하나는 GPA 를 들고 EPT 로 내려가며, EPT 에서는 EPT Violation 이 VM Exit 을 거쳐 KVM 으로 가고, 따로 놓인 QEMU 의 Guest RAM Backing 에서는 Host Page Fault 가 Host Kernel 로 가는 갈래도. 받는 곳의 이름이 그대로 처리 계층의 이름이다.](../../../final/assets/diagrams/page-fault-layers-in-a-vm/page-fault-layers-in-a-vm.svg) -그림에서 QEMU 쪽 갈래는 위의 두 갈래와 선으로 이어져 있지 않다. 근거 문서가 EPT 로 얻은 HPA 와 QEMU 가 마련한 메모리의 호스트 물리 주소를 같은 것이라고 적지 않아서 그 선을 긋지 않았다. +그림에서 QEMU 쪽 갈래는 위의 두 갈래와 선으로 이어져 있지 않다. EPT로 얻은 HPA와 QEMU가 마련한 메모리의 호스트 물리 주소를 같은 값이라고 단정할 근거가 없어서 둘을 직접 연결하지 않았다. ## 메모리 지연이나 OOM(Out Of Memory) 이 보일 때 셋을 어디에 놓나 @@ -203,24 +189,24 @@ Host Kernel └─ Host OOM ``` -원문의 분류에는 Dynamic Memory 와 NUMA(Non-Uniform Memory Access) 가지가 더 있고, 위에 옮긴 셋이 fault 가 걸리는 가지다. 게스트 쪽 fault 가 늘었으면 게스트의 reclaim 과 swap 을 같이 보고, 호스트 쪽 major fault 가 늘었으면 호스트의 reclaim 과 swap 을 같이 본다. 어느 쪽 지표를 먼저 여느냐가 이 구분에서 정해진다. 다만 이 호스트에서는 게스트 쪽 fault 지표도 호스트 쪽 major fault 도 아직 열지 않았다. 그래서 이 분류는 지금 어느 지표부터 열지 정하는 데만 쓰인다. +원문의 분류에는 Dynamic Memory 와 NUMA(Non-Uniform Memory Access) 가지가 더 있고, 위에 옮긴 셋이 fault 가 걸리는 가지다. 게스트 쪽 fault 가 늘었으면 게스트의 reclaim 과 swap 을 같이 보고, 호스트 쪽 major fault 가 늘었으면 호스트의 reclaim 과 swap 을 같이 본다. 어느 쪽 지표를 먼저 여느냐가 이 구분에서 정해진다. 2026-09-21에는 게스트 쪽 fault와 호스트 쪽 fault를 별도 실험으로 확인했다. `kc-lab-2`에서 512MiB anonymous mapping을 page 단위로 처음 touch하자 minor fault가 page 수에 맞춰 증가했고, 같은 구간 major fault와 swap-in/out은 증가하지 않았다. 이어서 host memory pressure를 걸었을 때는 host `pgmajfault`가 478 증가했지만 zswap이 개입해 disk swap-out과 NVMe 지연 증가는 함께 나타나지 않았다. -## 이 글이 확정하지 않는 것 +## 이 실험대에서 확인한 fault와 남은 fault -이 호스트에서 fault 를 잰 값은 하나도 없다. 게스트 쪽 fault 지표도 호스트 쪽 major fault 도 읽지 않았고, 앞의 다섯 원인 가운데 무엇이 이 환경에서 실제로 일어나는지도 세지 않았다. 원문 제2부는 개념 서술이고 실제 서버에 딸린 값은 OQ(Open Question) 번호가 붙은 확인 목록 열넷으로 미뤄져 있다. +2026-09-21 guest page fault는 직접 측정했다. `kc-lab-2`에서 anonymous 512MiB를 `mmap()`한 뒤 4KiB마다 처음 접근했을 때 process minor fault가 131,073 증가했고 major fault는 늘지 않았다. 같은 구간 guest 전체 `pgfault`는 131,180 증가했지만 `pgmajfault`, `pswpin`, `pswpout`은 증가하지 않았다. 이번 실행은 정상 demand paging으로 설명된다. -게스트 쪽은 OQ-13 이 받는다. page-fault 관련 지표를 관측한 뒤 그 증가가 무엇에서 왔는지를 네 갈래로 갈라 보는 확인이고, 증가 자체를 오류로 읽지 않는 것이 조건이다. +guest page fault가 늘어도 증가 자체를 오류로 읽지 않는다. 이번 demand-paging 실험처럼 minor fault만 크게 늘고 major fault와 swap이 그대로일 수 있다. 실제 workload에서는 아래 네 갈래를 같은 구간의 지표로 다시 구분한다. -```text label="Guest page fault 가 늘었을 때 갈라 보는 것 (OQ-13)" +```text label="Guest page fault 가 늘었을 때 갈라 보는 것" 정상 demand paging? COW? Guest swap-in? application working-set 증가? ``` -호스트 쪽은 OQ-14 가 받는다. 호스트 메모리 압박 실험을 하면서 아래 넷을 같은 시간축에 놓고 견준다. +호스트 쪽은 2026-09-21 메모리 압박 실험에서 아래 네 값을 같은 시간축에 놓고 실제로 견줬다. -```text label="같은 시간축에 놓고 견줄 값 (OQ-14)" +```text label="같은 시간축에 놓고 견줄 값 (14번째 확인 항목)" Host Fault + Swap activity @@ -230,8 +216,8 @@ Storage latency Guest application latency ``` -가운데 계층은 그 목록이 받지 않는다. 위 분류에는 EPT 관련 사건과 TLB 압박이 한 가지로 들어 있는데, 그것을 이 호스트에서 재라고 적은 항목은 열넷 가운데 없다. 이 글이 갈라 놓은 세 계층에서 확인 계획이 붙은 것은 게스트 쪽과 호스트 쪽 둘이다. +가운데 가상화 변환 계층은 아직 측정 계획이 없다. 위 분류에는 EPT 관련 사건과 TLB 압박이 들어 있지만, 현재 준비된 확인 절차는 게스트와 호스트 두 계층에만 있다. -원문 제2부가 fault 처리를 서술하면서 커널 버전을 적지 않아 이 글도 특정 버전에 고정하지 않았다. 이 실험대의 커널은 §197 이 `7.2.2-arch1-1` 로 적었다. 그 위에서 fault 지표를 읽은 기록은 없다. 여기 적은 것은 그 문서가 서술한 처리 구조이고, 이 서버에서 어떤 값이 나오는지는 위 두 확인을 돌려야 안다. +이 실험대의 커널은 `7.2.2-arch1-1`이다. guest demand-paging에서 minor fault가 증가하는 동작과, host pressure 구간에서 host major fault가 증가하는 동작은 각각 실제로 확인했다. 다만 둘은 서로 다른 실험이고 같은 fault로 합쳐 해석하지 않는다. 메모리 변환 계층의 EPT-related event를 page-fault 실험과 직접 연결하는 측정은 아직 하지 않았으므로, guest fault 결과를 가상화 translation까지 확장하지 않는다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-virtio-balloon-memory-reclaim.md b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-virtio-balloon-memory-reclaim.md index e01d14e..811ad0a 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-virtio-balloon-memory-reclaim.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-virtio-balloon-memory-reclaim.md @@ -28,18 +28,6 @@ source: 호스트는 QEMU 가 마련한 게스트 RAM 을 볼 수 있지만 그 안에서 어떤 메모리가 중요한지는 알지 못한다. 그 구분을 아는 쪽은 게스트 커널이라, 호스트가 그 메모리를 그냥 스왑으로 밀어내는 대신 게스트와 협력해 필요 없는 몫을 돌려받는 방법이 따로 있다. `virtio-balloon` 이 그 협력에 쓰는 가상 장치다. 게스트 안의 드라이버와 QEMU 쪽 장치가 virtqueue 로 맞물려 있어서, 호스트가 balloon target 을 올리면 게스트 안의 balloon 이 커지고 게스트가 쓸 수 있는 메모리가 줄며 호스트가 회수할 수 있는 몫이 는다. 값을 낮추면 반대 방향으로 움직인다. 이 장치는 게스트에 RAM 을 더 주는 장치가 아니라 이미 준 용량 안에서 쓸 수 있는 양을 옮기는 장치이고, 과도하게 회수하면 호스트 RAM 을 확보하려던 조치가 게스트를 압박한다. -## 관계 - -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - ballooning 은 그 압박에 대응하는 수단 가운데 하나다. 호스트가 무작정 스왑으로 밀어낼 때 무엇이 일어나는지는 그쪽에 적혀 있다. -- **이 가상 머신들에 virtio-balloon 이 붙어 있는가** - 이 프로젝트의 가상 머신에 이 장치가 구성돼 있는지는 근거 문서에 없다. 그것을 확인하는 질문이다. -- **balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가** - 부풀리고 줄이는 방향은 이 글이 적었고, 이 환경에서 얼마나 어떤 속도로 반영되는지는 그 질문이 잰다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - balloon target 은 그 기준이 가르는 다섯 갈래 중 Dynamic Memory 갈래다. 게스트 안의 압박을 보고 호스트 RAM 부족으로 넘기기 전에 이 값을 본다. - -## 본문 @@ -55,13 +43,13 @@ source: 이 장치는 게스트 RAM 자체를 제공하지 않는다. 이미 존재하는 게스트 RAM 을 호스트와 게스트가 협력해 회수하고 반환하는 데 쓰는 가상 장치다. -이 프로젝트의 가상 머신에 이 장치가 붙어 있는지는 libvirt 설정을 읽어야 정해지고 그 기록이 아직 없다. 아래 두 절이 적는 것은 장치가 있을 때 어느 방향으로 움직이는가다. +2026-09-21 재검증에서 세 VM의 domain XML에 모두 ``가 있었고, worker guest 둘에서는 `/sys/bus/virtio/drivers/virtio_balloon` 아래에 `virtio5`가 bind된 것도 확인했다. 따라서 이 프로젝트의 가상 머신에는 virtio-balloon 장치가 실제로 붙어 있다. ## Inflate — 게스트 안의 balloon 이 커진다 호스트가 게스트 메모리를 회수하려고 하면 balloon target 을 조정해 balloon 을 부풀린다. 이 동작을 inflate 라고 한다. 그 요청이 `virtio-balloon` 을 지나 게스트 안의 balloon 드라이버에 닿으면 드라이버가 게스트 페이지를 확보한다. 게스트 안의 balloon 이 커지기 때문에 게스트가 쓸 수 있는 RAM 이 그만큼 줄고, 호스트 쪽에서는 회수할 수 있는 메모리가 는다. -드라이버가 하는 일은 확보한 페이지를 일반적인 게스트 작업이 쓰지 못하도록 붙잡아 두고 그 사실을 호스트 쪽에 알리는 것까지다. 그 뒤 호스트가 그 메모리를 실제로 언제 어떻게 놓아주는지는 QEMU/KVM 버전과 backing 종류 및 설정에 따라 달라질 수 있다. 근거 문서는 그 동작을 하나로 단정하지 않았고 이 환경에서도 확인하지 않았다. 이 실험대의 버전은 §197 이 적어 두었다 — QEMU 11.1.1 과 libvirt 12.7.0, 커널 `7.2.2-arch1-1` 이다. 버전은 정해졌지만 그 위에서 호스트가 언제 놓아주는지를 잰 기록도, backing 설정을 읽은 기록도 없다. +드라이버가 하는 일은 확보한 페이지를 일반적인 게스트 작업이 쓰지 못하도록 붙잡아 두고 그 사실을 호스트 쪽에 알리는 것까지다. 그 뒤 호스트가 그 메모리를 실제로 언제 어떻게 놓아주는지는 QEMU/KVM 버전과 backing 종류 및 설정에 따라 달라질 수 있다. 이 실험대는 QEMU 11.1.1, libvirt 12.7.0, 커널 `7.2.2-arch1-1`이고, VM들은 explicit HugeTLB backing을 사용하지 않는 것까지 확인했다. 다만 balloon target 변화와 host resident memory 감소가 정확히 어떤 시점 관계로 이어지는지는 아직 별도로 측정하지 않았다. ![virtio-balloon Driver 와 virtqueue, QEMU virtio-balloon Device, Host Memory Management 네 참여자 사이를 여섯 개의 메시지가 오가는 순서도. 1번부터 3번까지는 Host 쪽에서 정한 balloon target 조정이 QEMU device 와 virtqueue 를 지나 VM Boundary 를 넘어 Guest kernel 의 driver 에 닿는 방향이고, 4번부터 6번까지는 driver 가 확보한 Guest page 가 같은 경계를 반대로 건너 Host 의 회수 가능 backing 이 되는 방향이다.](../../../final/assets/diagrams/virtio-balloon-inflate-deflate/virtio-balloon-inflate-deflate.svg) @@ -84,38 +72,25 @@ source: ballooning 은 게스트에 이미 설정된 메모리 용량 안에서 호스트와 게스트 사이의 쓸 수 있는 양을 회수하고 반환한다. 용량 자체는 그대로다. memory hotplug 는 기존 게스트 RAM 에 메모리 장치나 영역을 더해 게스트가 늘어난 용량을 인식하게 한다. 하나는 이미 준 용량 안에서 쓸 수 있는 양을 옮기고 다른 하나는 용량을 더한다. -현대 가상화에는 `virtio-mem` 같은 다른 동적 메모리 관리 방식도 있어서, 가상 머신의 동적 메모리 관리를 ballooning 하나로 일반화하지 않는다. 근거 문서에 있는 것은 그런 방식이 존재한다는 사실까지다. +현대 가상화에는 `virtio-mem` 같은 다른 동적 메모리 관리 방식도 있어서, 가상 머신의 동적 메모리 관리를 ballooning 하나로 일반화하지 않는다. 원문도 그런 방식이 존재한다는 사실까지만 다룬다. -## 이 실험대에서 할당이 줄어 있던 값 하나 +## 이 실험대에서 실제로 확인한 inflate와 deflate -앞에서 적었듯 balloon 장치가 붙어 있는지를 설정으로 확인한 기록은 아직 없다. 대신 값이 하나 나와 있다 — §198 이 k3s 게스트 두 대에 `virsh dommemstat` 을 돌려 받은 출력이다. +과거 기록에는 `kc-lab-2`의 `dommemstat actual`이 3120MB로 내려가 있던 스냅샷이 있었다. 당시에는 장치 설정과 target 변경을 직접 확인하지 않아 그 차이를 balloon 때문이라고 단정하지 않았다. -```text label="§198 의 실측 — k3s 만 떠 있고 Keycloak 은 올리기 전" +```text label="「자원 — 할당과 실사용은 다르다」의 실측 — k3s 만 떠 있고 Keycloak 은 올리기 전" kc-lab-1 할당 5120MB 실사용 353MB kc-lab-2 할당 3120MB 실사용 301MB ``` -`kc-lab-2` 는 `virt-install --memory 4096` 으로 만들었는데 현재 할당이 3120MB 로 나왔다. §198 은 이것을 virtio-balloon 이 회수해 간 것으로 보인다고 적고 거기서 멈췄다. 같은 절은 `dommemstat` 의 `actual` 이 현재 할당이지 선언한 상한이 아니라고 덧붙였다. 상한은 `virsh dominfo` 의 `Max memory` 에 있는데, 이 실험대는 그 두 값을 나란히 찍어 보지 않았다. +2026-09-21에는 `kc-lab-2`에서 `4096 MiB → 3584 MiB → 4096 MiB`로 live target을 직접 왕복시켰다. baseline은 libvirt `actual=4194304 KiB`, guest `MemTotal=4022024 kB`, `MemAvailable=2810504 kB`였다. `virsh setmem kc-lab-2 3584MiB --live` 뒤에는 `actual=3670016 KiB`, `MemTotal=3497736 kB`, `MemAvailable=2273060 kB`로 줄었고, 다시 4096MiB로 복원하자 `actual=4194304 KiB`, `MemTotal=4022024 kB`, `MemAvailable=2785496 kB`로 돌아왔다. 이 구간에서 `vmstat`의 `si/so`는 계속 0이었고 k3s node도 `Ready`를 유지했다. -§198 은 이 값이 언제의 값인지도 함께 적었다 — 「다만 이것은 지금 k3s 만 떠 있어서다」이고, Keycloak 2 파드와 PostgreSQL, Redis, Prometheus 가 올라간 뒤의 값은 미측정이다. 게스트 세 대 가운데 `kc-lab-edge` 는 이 측정에 들어 있지 않다. +따라서 이 환경에서는 target을 낮추면 guest-visible memory가 줄고, 원복하면 다시 늘어나는 방향을 실제 값으로 확인했다. `MemAvailable`은 workload 영향도 받으므로 target과 정확히 같은 크기로 움직여야 하는 값으로 해석하지 않는다. -이 숫자로 알 수 있는 것은 `kc-lab-2` 의 현재 할당이 선언값보다 작다는 것까지다. 그 차이가 balloon 회수 때문인지와 이 가상 머신들에 장치가 실제로 붙어 있는지는 설정과 게스트 쪽 드라이버 상태를 읽어야 갈린다. +## 이 실험대에서 확인한 것과 남은 것 -## 근거 문서가 번호를 붙여 둔 문장 +장치 존재와 guest driver binding, 정상 범위의 inflate/deflate 방향, 원복까지는 확인했다. 따라서 이 환경에서 virtio-balloon이 구성돼 있고 live target 변경이 guest-visible memory에 반영된다는 점은 더 이상 가정이 아니다. -근거 문서는 이 장치에서 고정한 문장에 번호를 붙여 두었다. 실험 기록에서 어느 문장을 확인했는지 가리킬 때 이 번호를 쓴다. - -| 번호 | 근거 문서가 고정한 문장 | -|---|---| -| CLAIM-MEM-15 | virtio-balloon은 Guest와 Host가 memory 회수/반환에 협력하기 위한 가상 장치이며 RAM 자체를 제공하는 장치는 아니다. | -| CLAIM-MEM-16 | Balloon inflate가 과도하면 Guest reclaim/swap/OOM을 유발할 수 있다. | - -## 이 문서가 확정하지 않는 것 - -이 글이 확정하는 것은 balloon 이 어떤 구조로 어느 방향으로 동작하는가까지다. 이 테스트 서버에서 잰 값 가운데 여기 쓴 것은 §198 의 할당과 실사용뿐이고, balloon 을 움직여 본 적은 없다. - -이 프로젝트의 가상 머신에 `virtio-balloon` 이 붙어 있는지를 설정으로 확인한 기록이 없다. 앞 절의 §198 실측은 inflate 방향과 들어맞지만 근거 문서도 그것을 단정하지 않았다. libvirt 설정에 balloon 관련 요소가 있는지, 있다면 게스트 안에서 그 드라이버가 어떤 이름으로 올라와 있는지를 먼저 확인해야 한다. 장치가 없으면 balloon target 실험은 성립하지 않는다. - -값을 한 단계 바꿨을 때 게스트가 쓸 수 있는 메모리가 얼마나 움직이는지, 그 반영이 즉시인지 늦는지, 어느 값부터 게스트 안에서 회수와 스왑이 시작되는지도 재지 않았다. 호스트가 그 메모리를 언제 놓아주는지가 QEMU 11.1.1 과 이 backing 설정에서 어떻게 되는지도 마찬가지다. 두 확인은 각각 열린 질문으로 두었고 관계에 걸어 두었다. +남은 것은 압박 구간이다. 어느 target부터 guest reclaim·swap·latency 증가가 시작되는지, 과도한 inflate에서 OOM까지 이어지는지, 그리고 target 변화가 host resident memory 회수와 어떤 시간 관계를 갖는지는 아직 측정하지 않았다. 이 값들은 정상적인 round-trip 확인과 분리해 별도 pressure 실험으로 다룬다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-balloon-target-vs-guest-available-memory.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-balloon-target-vs-guest-available-memory.md index 078d19d..c3e14bc 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-balloon-target-vs-guest-available-memory.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-balloon-target-vs-guest-available-memory.md @@ -7,9 +7,12 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/6a60abe7-ea2c-46c2-bb9f-8281bfbe9644/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/62-memory-balloon-target-roundtrip.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-9 - final/document.md#66-balloon-inflate @@ -19,20 +22,13 @@ source: # balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가 -이 호스트에서 balloon target 을 한 단계 움직였을 때 게스트가 쓸 수 있는 메모리가 얼마나 줄어드는지 아직 값으로 받아 보지 못했다. virtio-balloon 은 게스트 RAM 의 backing 을 회수하고 되돌려주는 장치다. 개념 문서에는 inflate 하면 줄고 deflate 하면 늘어난다는 방향만 적혀 있다. +2026-09-21 `kc-lab-2`의 live memory target을 `4096 MiB → 3584 MiB → 4096 MiB`로 왕복시켰다. `virsh setmem --live`로 target을 낮추자 guest `MemTotal`과 `MemAvailable`이 함께 줄었고, target을 원래 값으로 복원하자 guest-visible memory도 원래 수준으로 돌아왔다. 이 범위에서는 swap-in/out이 발생하지 않았다. -## 관계 +## target 왕복에서 보인 값 -- **virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식** - inflate 와 deflate 가 게스트가 쓸 수 있는 메모리를 어느 방향으로 움직이는지를 그 개념이 설명한다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - 과도한 inflate 가 게스트를 밀어 넣는 곳이 그 경로다. -- **이 가상 머신들에 virtio-balloon 이 붙어 있는가** - balloon 이 붙어 있다는 답을 받은 뒤에 이 실험을 연다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 단계마다 받아 적을 조건을 그 기준이 정한다. - -## 사실 +- 2026-09-21 재검증에서 baseline에서 libvirt `actual=4194304 KiB`, guest `MemTotal=4022024 kB`, `MemAvailable=2810504 kB`였다. +- 2026-09-21 재검증에서 `virsh setmem kc-lab-2 3584MiB --live` 뒤 libvirt `actual=3670016 KiB`, guest `MemTotal=3497736 kB`, `MemAvailable=2273060 kB`로 줄었다. `vmstat`의 `si/so`는 계속 0이었다. +- 2026-09-21 재검증에서 `virsh setmem kc-lab-2 4096MiB --live`로 복원한 뒤 libvirt `actual=4194304 KiB`, guest `MemTotal=4022024 kB`, `MemAvailable=2785496 kB`로 돌아왔다. k3s node도 계속 `Ready`였다. - 호스트가 게스트 메모리를 회수하려고 할 때 balloon 을 inflate 한다. 게스트 안의 balloon 이 커지기 때문에 게스트가 쓸 수 있는 RAM 이 줄어들고, 호스트가 회수할 수 있는 backing memory 는 늘어난다. - 호스트가 게스트에게 메모리를 다시 내줄 수 있으면 balloon target 을 줄인다. 그러면 게스트의 balloon 드라이버가 balloon page 를 반환하고 게스트가 쓸 수 있는 메모리가 늘어난다. @@ -43,33 +39,30 @@ source: - 개념 문서가 적은 관측 순서는 호스트와 libvirt 의 메모리 설정을 바꾸고, 게스트에서 free -h 와 /proc/meminfo 를 본 다음, 게스트의 reclaim 과 스왑이 어떻게 달라지는지 보는 것이다. - 과도한 ballooning 구간의 지연과 스왑, OOM 가능성은 별도 실험으로 보라고 같은 항목이 적어 두었다. - Ballooning 은 기존 게스트 메모리 용량 안에서 쓸 수 있는 메모리를 회수하고 되돌려준다. 용량 자체를 늘리는 memory hotplug 와 다르고 virtio-mem 같은 다른 동적 메모리 관리 방식도 있으므로, 셋을 하나로 묶어 일반화하지 않는다. -- 이 호스트에서 balloon target 을 움직여 본 기록이 없다. 게스트가 쓸 수 있는 메모리를 찍어 둔 값도 없다. +- 2026-09-21에는 `kc-lab-2`에서 4096 MiB → 3584 MiB → 4096 MiB live round-trip을 수행해 target과 guest-visible memory의 대응을 실제 값으로 남겼다. -## 가정 +## inflate/deflate 조건 -- 이 가상 머신들에 virtio-balloon 이 붙어 있다고 보고 실험을 짠다. 붙어 있는지 자체는 별도 물음이 받는다. -- balloon target 을 낮췄다가 원래 값으로 되돌릴 수 있다고 본다. -- 관측하는 동안 게스트의 워크로드가 일정하다고 전제한다. 그래야 쓸 수 있는 메모리가 달라진 것을 목표값을 바꾼 탓으로 읽을 수 있다. -- 게스트 안에서 읽은 값이 balloon 의 현재 크기를 반영한다고 본다. 두 값을 이 호스트에서 나란히 대조하지는 않았다. +- 세 VM에 virtio-balloon 장치가 있다는 것은 앞 질문에서 확인됐다. +- 이 실험은 `--live` 변경만 사용했으며 persistent memory 설정은 바꾸지 않았다. +- 측정 사이에 workload가 크게 변하지 않았다고 전제한다. exact `MemAvailable`은 workload 영향도 받으므로 target과 정확히 1:1로 같아야 하는 값으로 읽지 않는다. -## 미지수 +## pressure 임계점은 별도 실험 범위다 -- 목표값을 한 단계 낮췄을 때 게스트가 쓸 수 있는 메모리가 같은 크기만큼 줄어드는지, 그보다 덜 줄어드는지. -- 목표값을 바꾼 직후에 게스트 쪽 값이 바뀌는지, 반영에 시간이 걸리는지. -- 어느 목표값부터 게스트의 reclaim 과 스왑이 시작되는지. -- deflate 로 되돌렸을 때 그 값이 원래대로 돌아오는지. -- balloon target 을 바꾸는 명령. 개념 문서는 호스트와 libvirt 의 메모리 설정이라고만 적고 명령은 적지 않았다. +정상 범위에서 target을 낮추면 guest-visible `MemTotal`과 `MemAvailable`이 줄고, target을 복원하면 다시 늘어나는 방향은 확인됐다. 사용한 명령은 `virsh setmem --live`다. -## 제약 +어느 target부터 reclaim·swap·latency 증가가 시작되는지는 이 질문에서 더 밀어붙이지 않는다. 그 구간은 문서가 이미 별도 pressure 실험으로 분리하고 있으므로 `host-memory-pressure-vs-guest-latency` 질문에서 다룬다. + +## 정상 범위와 압박 구간을 분리한다 - balloon 이 붙어 있지 않으면 목표값을 움직일 대상이 없으므로, 이 실험은 붙어 있다는 확인이 끝난 뒤에 연다. - 개념 문서가 그 구간을 별도 실험으로 지정했으니 과도 inflate 구간은 같은 실행에 이어 붙이지 않고 따로 돌린다. - 단계마다 Host · VM · Workload 조건을 함께 적는다. 조건을 남기지 않은 결과는 다른 환경에서 다시 쓰기 어렵다. - 게스트 OOM 까지 밀어 볼지는 이 실험에서 정하지 않는다. - 개념 문서가 목표값을 바꾸는 명령을 적어 주지 않았으므로 실행한 명령과 그 출력을 증거로 함께 남긴다. -- 호스트가 실제로 회수한 backing memory 는 이 실험에서 재지 않는다. 개념 문서가 그 동작을 QEMU 와 KVM 버전, backing 종류, 설정에 따라 달라질 수 있다고만 적고 단정을 피했기 때문이다. §83 OQ-9 가 준 관측 순서도 호스트 설정을 바꾼 뒤 게스트 쪽 값과 게스트의 reclaim 과 스왑 변화를 보는 데까지다. +- 이 실험에서는 balloon target 변화와 guest available memory, reclaim, swap의 관계까지만 본다. host가 backing memory를 실제로 언제 놓아주는지는 QEMU/KVM 버전과 backing 설정에 따라 달라질 수 있으므로 별도 관측 없이 단정하지 않는다. -## 선택지 +## 어떻게 target을 바꿨나 ### 1. 목표값을 여러 단계로 나눠 낮추고 단계마다 게스트 값을 받아 적는다 @@ -88,13 +81,6 @@ inflate 와 deflate 가 개념 문서가 적은 방향으로 움직이는지만 게스트가 압박을 받는 구간까지 한 실행으로 내려가서 정상 구간과 압박 구간을 함께 보자는 방법이다. 제외한 이유는 둘이다. 개념 문서가 그 구간을 별도 실험으로 분리해 두었고, 게스트 스왑과 OOM 이 걸리면 그 실행에서 받은 앞 단계 값도 같은 조건으로 읽기 어려워지기 때문이다. -## 다음 검증 +## target 변화는 guest-visible memory에 반영됐다 -1. balloon 이 이 가상 머신들에 붙어 있다는 확인을 먼저 받는다. -2. 게스트에서 free -h 와 /proc/meminfo 와 vmstat 1 을 찍어 기준값으로 둔다. -3. 호스트에서 balloon target 을 한 단계 낮추고 같은 셋을 다시 찍는다. -4. 단계를 몇 번 반복해 목표값과 게스트가 쓸 수 있는 메모리의 대응을 한 표로 만든다. -5. 목표값을 바꾸는 데 쓴 명령과 그 출력을 함께 남긴다. 개념 문서에 적혀 있지 않은 명령이다. -6. 과도 inflate 구간은 실행을 나누고, 그 구간에서는 게스트 애플리케이션 지연을 같이 잰다. - -닫는 조건 : 목표값과 게스트가 쓸 수 있는 메모리가 표로 대응되고 reclaim 과 스왑이 시작되는 지점이 적히면 닫는다. 게스트 스왑이나 OOM 까지 갔으면 그 구간이 Case 가 되고, 운영에서 balloon 을 쓸지와 목표값 하한을 얼마로 둘지는 그 Case 가 나온 뒤 Decision 으로 넘긴다. +정상 범위의 inflate/deflate 방향과 guest-visible memory 반영을 실제 값으로 확인했고 원복까지 검증했다. reclaim·swap·OOM이 시작되는 pressure 임계점은 별도 `host-memory-pressure-vs-guest-latency` 질문에서 안전한 부하 실험으로 다룬다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-guest-page-fault-vs-workload.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-guest-page-fault-vs-workload.md index 440d86c..c614df1 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-guest-page-fault-vs-workload.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-guest-page-fault-vs-workload.md @@ -7,9 +7,12 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/074a1cb4-cea8-4dad-bc4c-899692ff9aa9/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/82-memory-guest-page-fault-demand-paging.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-13 - final/document.md#45-guest-page-fault @@ -18,20 +21,12 @@ source: # 게스트 page fault 증가는 workload 변화를 따라가는가 -이 호스트의 게스트에서 부하를 올렸을 때 page fault 지표가 함께 오르는지 아직 찍어 보지 않았다. 올랐다면 개념 문서가 든 다섯 원인 가운데 어느 쪽으로 설명되는지까지 본다. 다섯 가운데 demand paging 과 copy-on-write 는 정상 동작이라, 지표가 늘었다는 관측 하나로는 오류인지 아닌지 갈리지 않는다. +2026-09-21 `kc-lab-2`에서 anonymous 512 MiB를 `mmap()`한 뒤 4 KiB마다 한 번씩 touch하는 workload를 실행했다. 131,072 page를 처음 접근하는 동안 해당 Python process의 minor fault는 131,073 증가했고 major fault는 증가하지 않았다. 같은 구간의 guest 전체 `pgfault`는 131,177 증가했지만 `pgmajfault`, `pswpin`, `pswpout`은 0 증가였다. **workload가 새 page를 실제로 접근하자 정상 demand paging에 해당하는 minor fault가 함께 증가**하는 것을 확인했다. -## 관계 +## 512MiB demand paging 결과 -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - 게스트 안에서 본 fault 가 어느 계층의 사건인지를 그 개념이 가른다. -- **지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가** - swap-in 이 실제로 있는지는 그 물음이 받는다. 여기서는 같은 구간의 스왑 활동을 함께 적어 fault 증가와 겹치는지만 본다. -- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가** - 호스트 쪽 fault 는 그 물음이 받고, 이 물음이 보는 것은 게스트 안의 fault 다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - fault 증가 하나로 결론을 내지 않는 기준을 그 문서가 정한다. - -## 사실 +- 2026-09-21 재검증에서 512 MiB anonymous mapping을 4 KiB 단위 131,072 page로 나눠 처음 접근했다. process `resource.getrusage()`의 `ru_minflt`는 `1133 → 132206`으로 131,073 증가했고 `ru_majflt`는 `0 → 0`이었다. +- 같은 구간 guest `/proc/vmstat`의 `pgfault`는 `5106131 → 5237308`, 즉 131,177 증가했고 `pgmajfault=3338`, `pswpin=0`, `pswpout=0`은 변하지 않았다. process delta와 system-wide delta의 작은 차이는 동시에 실행 중인 다른 guest process의 fault가 섞인 값이다. - 게스트 page fault 는 게스트 프로세스가 쓰는 주소인 GVA(Guest Virtual Address)를 게스트 페이지 테이블로 변환하는 첫 단계에서 그 접근을 지금 끝낼 수 없을 때 발생한다. 게스트 커널의 핸들러가 페이지를 확보하고 매핑을 갱신한 뒤 그 명령을 다시 실행한다. - page fault 자체가 프로그램 오류를 뜻하지 않는다고 개념 문서가 밝혔다. @@ -45,32 +40,30 @@ source: - 개념 문서의 확인 항목은 게스트에서 page-fault 관련 지표를 보되 정상 demand paging 인지, copy-on-write 인지, 게스트 swap-in 인지, 애플리케이션의 working set 이 커진 것인지를 갈라 보라고 적었다. - 같은 항목이 page fault 증가만으로 오류라고 판단하지 말라고 적었다. - 개념 문서는 page fault 지표를 무엇으로 읽는지 적지 않았다. 게스트와 호스트의 스왑 활동을 볼 때 쓰라고 적어 둔 명령은 free -h 와 vmstat 1 이다. -- 이 호스트의 게스트에서 fault 지표를 시간에 따라 찍어 둔 기록이 없다. +- 2026-09-21 synthetic demand-paging workload에서 process minor/major fault와 guest `/proc/vmstat`을 같은 구간에 기록했다. -## 가정 +## workload와 관찰 조건 -- idle 구간과 부하 구간을 나눠 만들 수 있고, 두 구간에서 같은 방법으로 지표를 받을 수 있다고 본다. -- 부하를 만드는 방법이 게스트의 메모리 사용량도 함께 올린다고 전제한다. CPU 만 쓰는 부하라면 fault 지표가 움직이지 않을 수 있기 때문이다. +- 재검증에서는 workload 시작 전 값을 baseline으로 잡고 종료 뒤 delta를 계산했다. +- 부하는 CPU-only가 아니라 새 anonymous page를 실제로 touch하도록 만들어 demand paging을 의도적으로 발생시켰다. - 두 구간 사이에 게스트의 다른 조건이 바뀌지 않는다고 보고 견준다. - 게스트 안에서 읽은 fault 지표가 게스트 page fault 를 센 것이라고 본다. EPT(Extended Page Tables) 관련 사건과 호스트 쪽 fault 는 게스트 안에서 보이지 않는다. -## 미지수 +## Keycloak 실제 workload는 별도다 -- 부하를 올렸을 때 fault 지표가 실제로 함께 오르는지. -- 오른 것이 minor 인지 major 인지. -- 그 증가가 다섯 원인 가운데 어느 쪽으로 설명되는지. -- minor 와 major 를 프로세스 단위로 가르는 방법. 개념 문서가 명령을 적지 않아 실행하는 쪽이 정한다. -- 애플리케이션의 working set 을 이 환경에서 무엇으로 재는지. +이번 synthetic workload에서는 fault 증가가 workload와 함께 나타났고 process 단위로 minor fault만 증가했다. major fault와 swap 활동은 증가하지 않았으므로 이 실행은 swap-in이나 storage-backed major fault가 아니라 **anonymous page의 정상 demand paging**으로 설명된다. -## 제약 +실제 Keycloak process의 working set 변화와 page fault를 장시간 상관 분석하는 것은 이 질문의 일반 동작 확인을 넘는 애플리케이션 부하 실험으로 분리한다. -- 다섯 원인을 하나씩 따로 묻지 않고 한 물음으로 묶어 받는다. 나눠 세우면 개념 문서에서 한 줄이던 것이 다섯 편이 되고, §83 OQ-13 이 갈라 보라고 한 네 갈래는 같은 구간의 같은 지표에서 나온다. +## fault를 오류로 읽지 않는 기준 + +- page fault 증가 원인을 다섯 문서로 쪼개지 않고 같은 부하 구간의 지표로 함께 가른다. minor/major fault와 swap-in을 같은 시간축에 두면 정상 demand paging인지, swap-in인지, working set 변화인지 한 번에 비교할 수 있다. - 같은 구간의 스왑 활동을 함께 적지 않으면 demand paging 과 swap-in 이 갈리지 않는다. - fault 지표 하나로 원인을 확정하지 않는다. 개념 문서가 네 갈래를 갈라 보라고 적은 이유가 이것이다. - 부하를 만드는 방법을 두 실행에서 같게 둔다. 방법이 바뀌면 fault 증가가 부하 때문인지 방법 때문인지 갈리지 않는다. -- 이 호스트에서 잰 값이 없으므로 다른 환경의 fault 수치를 근거로 삼지 않는다. +- 2026-09-21 synthetic demand-paging workload로 현재 guest의 실제 fault 값을 측정했다. 이 수치를 Keycloak workload의 일반적인 fault rate로 확장하지 않는다. -## 선택지 +## minor와 major를 가른 방법 ### 1. idle 구간과 부하 구간을 나눠 시간에 따른 변화를 받는다 @@ -84,12 +77,6 @@ minor 와 major 를 프로세스 단위로 가르는 것까지는 이 방법으 읽는 방법을 개념 문서가 적어 두지 않아서, 실행하는 쪽이 정하고 그 방법을 증거로 남겨야 한다. -## 다음 검증 +## 새 working set은 minor fault를 늘렸고 major fault는 늘지 않았다 -1. 게스트에서 idle 구간을 먼저 정하고 그 구간의 fault 지표와 스왑 활동을 vmstat 1 로 받아 기준값으로 둔다. -2. 같은 게스트에 부하를 걸고 같은 방법으로 같은 항목을 다시 받는다. -3. 두 구간에 애플리케이션의 working set 을 함께 적는다. -4. 프로세스 단위로 minor 와 major 를 가른 경우에는 그 값을 읽은 방법을 같이 남긴다. -5. 두 구간을 한 시간축에 놓고 부하가 오른 시각과 fault 가 오른 시각이 겹치는지 본다. - -닫는 조건 : 부하 구간의 fault 증가가 minor 위주이고 swap-in 이 없으면 정상 demand paging 으로 설명된다고 적고 닫는다. major fault 가 함께 오르면 게스트 swap-in 을 의심하고 그 구간을 스왑 쪽 물음으로 넘긴다. 어느 쪽으로도 설명되지 않으면 그 관측이 Case 가 된다. +현재 guest에서 새 anonymous working set을 실제로 touch하면 minor page fault가 page 수에 맞춰 증가하고, 이번 실행에서는 major fault와 swap-in/out이 증가하지 않는 것을 확인했다. 실제 Keycloak workload에서의 fault rate나 latency 영향은 별도 workload 관측으로 다룬다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-major-fault-vs-storage-latency.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-major-fault-vs-storage-latency.md index e0d269c..70403bb 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-major-fault-vs-storage-latency.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-major-fault-vs-storage-latency.md @@ -7,9 +7,16 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/a2cbc828-59ab-4e70-916a-d053e71960ae/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-pre.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-post.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-14 - final/document.md#49-host-page-fault도-별도로-존재한다 @@ -18,22 +25,9 @@ source: # 호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가 -이 호스트에서 major fault 와 스왑 활동, 스토리지 지연, 게스트 애플리케이션 지연 네 계열을 같은 시간축에 놓고 본 적이 아직 없다. 개념 문서가 그려 둔 사슬은 호스트 메모리 압박에서 시작한다. 압박이 reclaim 과 스왑을 부르고, 그 스왑 I/O 가 스토리지 경합을 거쳐 데이터베이스 지연과 애플리케이션 지연까지 간다. +2026-09-21 단계형 host memory pressure 실험에서 major fault, swap 상태, NVMe `iostat`, guest OIDC latency를 같은 실행으로 기록했다. host major fault는 증가했지만 zswap이 swap-out을 압축 메모리에서 흡수해 NVMe 지연이 함께 상승하지 않았다. 따라서 **현재 압박 수준에서는 major fault 증가와 storage latency 상승의 동행이 관측되지 않았다.** -## 관계 - -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - 호스트 쪽 fault 가 게스트 쪽 fault 와 어떻게 다른 사건인지를 그 개념이 가른다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - 이 물음이 확인하려는 사슬을 그 개념이 그렸다. -- **호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가** - 압박을 만드는 실험은 그쪽이 돌리고, 이 물음은 같은 실행에서 계열 넷을 받는다. -- **지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가** - 평상시 스왑 활동은 그 물음이 받고, 여기서는 압박 구간의 스왑 활동을 본다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - 네 계열을 함께 봐야 하는 근거를 그 기준이 정한다. - -## 사실 +## host major fault와 storage를 같이 본 결과 - QEMU 도 호스트의 일반 userspace 프로세스이므로 QEMU 의 memory backing 에는 호스트의 가상 메모리 관리가 적용된다. demand allocation 이나 reclaim 과 스왑 때문에 호스트 쪽에서도 page fault 가 발생할 수 있다. - VM 메모리 분석에서는 게스트 page fault 와 호스트 page fault, EPT(Extended Page Tables) 관련 사건을 적어도 셋으로 구분한다. @@ -43,36 +37,35 @@ source: - 개념 문서는 swap used 값 하나로 장애를 판단하지 말라고 하면서, 대신 swap-in 과 swap-out 이 지속되는지, reclaim pressure 가 증가하는지, major fault 가 증가하는지, 스토리지 지연이 같이 증가하는지를 묻는다. 그 확인에 적어 둔 명령은 free -h 와 vmstat 1 이고, 게스트와 호스트를 동시에 본다. - 확인 항목은 호스트 fault 와 스왑 활동, 스토리지 지연, 게스트 애플리케이션 지연을 같은 시간축에 놓고 견주라고 적었다. - 같은 문서의 스토리지 부분은 장치 I/O 관측 명령으로 iostat -xz 1 을 적었다. 메모리 쪽 확인 항목에는 스토리지 지연을 무엇으로 재는지 적혀 있지 않다. -- 호스트 쪽 major fault 를 이 장비에서 찍어 둔 기록이 없다. +- 2026-09-21 pressure run에서는 host `pgmajfault`가 `56493 → 56971`로 478 증가했고, 같은 실행의 NVMe `iostat`과 guest OIDC latency를 함께 남겼다. -## 가정 +## pressure 실험 조건 - 호스트에 메모리 압박을 걸었다가 풀 수 있다고 보고 실험을 짠다. 압박을 만드는 방법 자체는 별도 물음이 정한다. - 네 계열을 같은 시계에서 받아 적을 수 있다고 본다. 시각이 어긋나면 함께 움직였는지 판단할 수 없기 때문이다. - 압박 구간에 게스트 쪽 워크로드를 일정하게 유지할 수 있다고 전제한다. - 호스트의 스왑 영역과 가상 머신 디스크 이미지가 같은 물리 장치 위에 있다고 보고 경합을 예상한다. 이 호스트에서 두 경로가 실제로 같은 장치를 쓰는지는 확인하지 않았다. -## 미지수 +## 함께 움직인 것과 아닌 것 -- 압박 구간에서 호스트 major fault 가 실제로 오르는지. -- 오른다면 같은 구간에 스왑 활동과 스토리지 지연도 같은 방향으로 움직이는지. -- 그 움직임이 게스트 애플리케이션 지연과 시간적으로 겹치는지. -- major fault 는 오르는데 스토리지 지연은 오르지 않는 구간이 있는지. -- 호스트 쪽 major fault 와 스토리지 지연을 이 환경에서 어떤 명령으로 읽는지. 메모리 쪽 확인 항목이 적지 않았다. +- 2026-09-21 pressure 시작 전 `pgmajfault=56493`, pressure 종료 직후 `56971`로 478 증가했다. recovery 측정 뒤에는 `57202`였다. +- 같은 pressure 구간의 NVMe `%util`은 최고 약 7.1%였고 `r_await`은 약 1 ms 이하, `w_await`도 일부 저부하 sample에서 몇 ms 수준이었다. storage saturation은 없었다. +- swap used는 약 68 MiB에서 323 MiB로 늘었지만 zswap이 활성화돼 `Zswapped≈256 MiB`를 약 `32 MiB` compressed memory로 보유했다. `pswpout`은 pressure 전후 증가하지 않았다. +- guest OIDC latency도 pressure 구간에서 증가하지 않았다. 즉 이번 조건에서는 major fault 증가 → storage latency 증가 → guest latency 증가라는 전체 사슬이 성립하지 않았다. -## 제약 +## 인과를 과장하지 않는 범위 -- 압박 실험을 이 물음 때문에 따로 한 번 더 돌리지 않고, 지연 쪽 물음의 실행에서 계열을 함께 받는다. §84 의 권장 실험 순서가 압박 실험을 열 번째에 두고 게스트와 호스트의 스왑 및 스토리지 지연 비교를 그 다음 열한 번째에 두었다. +- 메모리 압박 실험을 한 번 더 만들지 않고, 같은 실행에서 host major fault·swap activity·storage latency·guest latency를 함께 받는다. - 한 물리 장치를 여러 가상 머신이 나눠 쓸 때 무슨 일이 생기는지는 스토리지 가상화 주제가 따로 묻고 있다. 여기서는 그 물음을 다시 열지 않고 스토리지 지연을 같은 시간축에 놓는 데까지만 간다. - swap used 값 하나로 판단하지 않는다. - baseline 과 압박과 회복 세 구간을 모두 남긴다. 압박 구간만 있으면 오른 것인지 원래 그런 것인지 갈리지 않는다. -- 이 호스트에서 잰 값이 없으므로 다른 환경에서 네 계열이 함께 움직였다는 관찰을 근거로 삼지 않는다. +- 이 결론은 2026-09-21의 현재 압박 수준에 한정한다. 더 강한 pressure나 다른 swap 구성을 가진 환경의 결과를 이 한 번의 실행으로 대신하지 않는다. -## 선택지 +## 같은 시간축에 놓는 방법 ### 1. 압박 실험 한 번에서 네 계열을 같은 타임스탬프로 받는다 -지연 쪽 물음이 돌리는 실행에 계열 넷을 붙여 baseline 과 압박과 회복 구간에서 모두 받는다. 같은 실행이라 시각이 어긋나지 않고, 네 계열을 한 시간축에 놓는 것이 이 물음이 답하려는 것과 같은 모양이다. +baseline·압박·회복 세 구간에서 네 계열을 같은 실행으로 받는다. 같은 시간축에 있어야 major fault가 늘어난 시점과 스토리지 지연, 게스트 지연의 변화를 직접 비교할 수 있다. 받을 항목이 늘어나므로 실행 전에 무엇을 어떤 명령으로 받을지 정해 두어야 한다. @@ -87,13 +80,8 @@ major fault 와 스왑 활동만 먼저 받아 압박이 호스트에 실제로 호스트의 swap used 가 오르면 사슬이 이어진 것으로 읽자는 방법이다. 개념 문서가 그 판단을 직접 막았다. 과거에 swap-out 된 cold page 가 남아 있어도 값은 올라가 있어서, 지금 압박이 있는지는 그 값으로 갈리지 않기 때문이다. -## 다음 검증 +## major fault가 늘어도 NVMe 지연은 함께 오르지 않았다 -1. 지연 쪽 물음의 실행 계획에 이 계열 넷을 넣는다. -2. baseline 구간에서 호스트의 major fault 와 스왑 활동을 vmstat 1 로, 스토리지 지연과 게스트 애플리케이션 지연을 각각 정한 방법으로 받는다. -3. 압박 구간에서 같은 넷을 같은 타임스탬프로 다시 받는다. -4. 압박을 푼 회복 구간에서 한 번 더 받는다. -5. 세 구간의 네 계열을 한 시간축에 놓고 어느 계열이 언제 움직였는지 적는다. -6. 스토리지 지연을 읽은 명령을 함께 남긴다. 메모리 쪽 확인 항목에 없는 것이라 실행한 쪽이 정한다. +2026-09-21 current host에서는 major fault 증가만으로 storage latency 증가를 가정할 수 없었다. 이번 pressure run에서는 major fault가 증가했지만 zswap이 개입해 disk swap-out과 NVMe saturation이 발생하지 않았고 guest latency도 악화되지 않았다. -닫는 조건 : 네 계열이 같은 구간에서 함께 오르면 개념 문서가 그린 사슬이 이 환경에서 이어진다는 것을 확인한 것이 되고, 그 시계열이 Case 가 된다. major fault 는 오르는데 스토리지 지연이 따라 오르지 않으면 이 장치 구성에서는 사슬이 거기서 끊긴다고 적고 닫는다. 어느 쪽이든 장치 분리나 스왑 위치 변경 같은 스토리지 쪽 대응은 그 뒤 Decision 으로 넘긴다. +더 강한 pressure에서 zswap cache를 넘어 실제 disk swap-out이 지속될 때의 관계는 이번 안전 범위에서 검증하지 않았다. 그 조건은 기존 서비스 영향이 커질 수 있으므로 별도 격리 환경에서 수행한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-memory-pressure-vs-guest-latency.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-memory-pressure-vs-guest-latency.md index 049c901..400c285 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-memory-pressure-vs-guest-latency.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-memory-pressure-vs-guest-latency.md @@ -7,9 +7,19 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/a05fe2a6-eb7c-4bcc-a7da-58e729436468/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-vmstat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-guest-latency-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-generator.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-guest-latency-pressure.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-guest-latency-recovery.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-7 - final/document.md#59-host-memory-pressure와-reclaim @@ -19,73 +29,64 @@ source: # 호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가 -개념 문서가 그린 경로대로 호스트 메모리 압박이 스토리지 경합을 거쳐 게스트 애플리케이션 지연까지 이어지는지 이 호스트에서 재지 않았다. 게스트는 자기가 RAM 에 접근한다고 본다. 그런데 backing page 가 호스트 RAM 에 없으면 호스트에서 page fault 와 swap-in I/O 를 기다린 뒤에야 게스트 실행이 이어진다. +2026-09-21 host에서 anonymous memory를 256 MiB씩 늘려 최대 3.5 GiB를 추가 할당했고 `MemAvailable`을 약 512 MiB까지 낮춘 뒤 12초 유지했다. 이 구간에서 host swap 사용량과 major fault는 증가했지만, zswap이 swap-out을 압축 메모리에서 흡수해 NVMe storage pressure로 크게 이어지지 않았고 OIDC discovery 지연도 baseline보다 악화되지 않았다. 따라서 **현재 압박 수준에서는 host memory pressure가 guest application latency를 밀어 올리는 경로가 재현되지 않았다.** -## 관계 +## 압박 전후 guest latency 결과 -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - 이 실험이 확인하려는 경로를 그 개념이 단계별로 설명한다. -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - 압박 구간에서 늘어나는 fault 가 어느 계층의 것인지를 그 개념이 가른다. -- **지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가** - 그 물음이 잰 평상시 상태가 이 실험의 baseline 이 된다. -- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가** - 압박 구간에서 스토리지 지연이 오르면 그 상관을 그 물음이 따로 본다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 세 구간 모두에 그 기준이 요구하는 조건을 남겨야 다른 환경과 견줄 수 있다. +- 2026-09-21 pressure generator는 256 MiB step으로 총 3.5 GiB를 touch했고 `MemAvailable`은 약 3.9 GiB → 512 MiB까지 내려갔다. 프로세스에는 `oom_score_adj=1000`을 적용해 OOM 시 실험 프로세스가 먼저 종료되도록 했다. +- 2026-09-21 pressure 전후 host `pgmajfault`는 `56493 → 56971`로 478 증가했다. swap used도 약 68 MiB → 323 MiB로 늘었다. +- 같은 실행에서 host는 zswap이 활성화돼 있었고 pressure 후 `Zswapped≈256 MiB`, 실제 compressed `Zswap≈32 MiB`였다. `pswpout`은 증가하지 않았고 NVMe `%util`은 대부분 낮았으며 최고 약 7.1%였다. 즉 swap-used 증가는 곧바로 disk swap I/O를 뜻하지 않았다. +- OIDC latency median/p95는 baseline `11.45/21.88 ms`, pressure `10.49/16.23 ms`, recovery `11.17/17.09 ms`였다. pressure 구간에서 일관된 latency 증가가 없었다. baseline에 200 ms outlier가 하나 있어 평균만 비교하지 않았다. +- pressure 해제 후 `MemAvailable`은 약 4.1 GiB로 회복했고 두 k3s node는 `Ready`, edge OIDC도 HTTP 200이었다. -## 사실 - -- §59 는 호스트 RAM 수요가 실제로 쓸 수 있는 물리 메모리에 다다르면 Linux 가 메모리 reclaim 을 시도한다고 적었다. +- 「Host Memory Pressure와 Reclaim」에서는 호스트 RAM 수요가 실제로 쓸 수 있는 물리 메모리에 다다르면 Linux 가 메모리 reclaim 을 시도한다고 적었다. 회수 가능한 캐시와 페이지를 먼저 처리하고, 필요하면 anonymous memory 를 스왑으로 내리고, 그래도 부족하면 심각한 압박이나 OOM 으로 갈 수 있는 순서다. -- §59 는 file-backed clean page 와 anonymous page 를 갈라 적었다. +- 「Host Memory Pressure와 Reclaim」에서는 file-backed clean page 와 anonymous page 를 갈라 적었다. clean file-backed page 는 원본이 스토리지에 있으므로 RAM 에서 버렸다가 필요할 때 다시 읽을 수 있다. 힙이나 스택 같은 anonymous memory 는 원본을 다시 읽을 수 없어서 스왑 같은 backing 이 필요할 수 있다. -- §60 은 게스트 RAM backing 의 호스트 물리 페이지가 swap-out 될 수 있는 구성을 놓고 두 관점을 나란히 그렸다. +- 「Host Swap이 VM에 미치는 영향」에서는 게스트 RAM backing 의 호스트 물리 페이지가 swap-out 될 수 있는 구성을 놓고 두 관점을 나란히 그렸다. 게스트 쪽에서는 Keycloak 이 메모리를 읽는 것으로 끝난다. 호스트 쪽에서는 필요한 backing page 가 RAM 에 없어 호스트 page fault, swap-in I/O, 물리 RAM 으로 복원, 게스트 실행 계속으로 바뀔 수 있다. -- §60 은 그래서 게스트 관점의 RAM 접근이 호스트에서는 스토리지 I/O 를 기다리는 상황으로 바뀔 수 있다고 적었다. -- §62 는 게스트와 호스트가 동시에 메모리 압박을 겪으면 게스트 스왑 I/O · 호스트 스왑 I/O · 데이터베이스 I/O · filesystem writeback 이 한 물리 NVMe 로 몰릴 수 있다고 그렸다. +- 「Host Swap이 VM에 미치는 영향」에서는 그래서 게스트 관점의 RAM 접근이 호스트에서는 스토리지 I/O 를 기다리는 상황으로 바뀔 수 있다고 적었다. +- 「Memory Pressure와 Storage Contention의 연결」에서는 게스트와 호스트가 동시에 메모리 압박을 겪으면 게스트 스왑 I/O · 호스트 스왑 I/O · 데이터베이스 I/O · filesystem writeback 이 한 물리 NVMe 로 몰릴 수 있다고 그렸다. 이어지는 사슬은 호스트 메모리 압박에서 reclaim 과 스왑으로, 거기서 스토리지 I/O 증가와 스토리지 경합으로 간다. 그 다음이 데이터베이스 지연 증가와 애플리케이션 지연 증가다. -- §62 는 CPU 사용률이 낮다고 해서 메모리나 스토리지 문제가 없는 것은 아니라고 밝혔다. -- §83 OQ-7 은 실험 개념을 다섯 단계로 적었다. +- 「Memory Pressure와 Storage Contention의 연결」에서는 CPU 사용률이 낮다고 해서 메모리나 스토리지 문제가 없는 것은 아니라고 밝혔다. +- 실험은 baseline → host memory pressure → reclaim/swap 관측 → guest latency 비교 → pressure 해제 후 회복 확인 순서로 진행한다. Baseline 게스트 애플리케이션 지연 측정 호스트 메모리 압박 유도 호스트 reclaim/swap 관측 게스트 지연 재측정 -- §83 OQ-7 은 같은 구간에 CPU 와 스토리지도 동시에 관측하라고 덧붙였다. +- 같은 구간의 CPU와 스토리지 지표도 함께 기록한다. 그래야 게스트 지연이 메모리 압박이 아니라 CPU나 스토리지 병목에서 온 것은 아닌지 가를 수 있다. - 개념 문서는 호스트 메모리 압박을 어떤 방법으로 유도하는지 적지 않았다. 압박의 크기와 지속 시간도 적혀 있지 않다. - 이 호스트에서 게스트 애플리케이션 지연을 잰 기록이 개념 문서에 없다. -## 가정 +## memory pressure 조건 - 호스트에 메모리 압박을 만들었다가 되돌릴 수 있다고 본다. 되돌린 뒤 상태가 baseline 과 같아지는지는 세 번째 구간에서 확인한다. - 게스트 애플리케이션 지연을 세 구간에서 같은 방법으로 잴 수 있다고 전제한다. 같은 요청 부하를 세 번 거는 것이 이 구성에서 가능한지는 해 보기 전에 알 수 없다. -- 압박 구간에서 reclaim 이나 스왑이 실제로 돌 만큼 압박을 줄 수 있다고 보고 실험을 짠다. 어느 정도가 그 지점인지는 이 호스트에서 확인되지 않았다. +- 2026-09-21에는 `MemAvailable`을 약 512 MiB까지 낮추자 host major fault와 swap occupancy가 증가하는 압박 구간은 만들 수 있었다. 다만 zswap을 넘어 지속적인 disk swap-out과 NVMe pressure가 나타나는 더 강한 임계점은 확인하지 않았다. - 세 구간 사이에 게스트 워크로드와 가상 머신 구성이 바뀌지 않는다고 두고 세 기록을 견준다. - 호스트와 게스트의 시계가 맞아 네 종류 지표를 같은 시간축에 놓을 수 있다고 본다. -## 미지수 +## 어떤 계층이 같이 움직였나 -- 압박을 유도했을 때 이 호스트에서 reclaim 과 스왑이 실제로 도는지. -- 돈다면 같은 구간의 게스트 애플리케이션 지연이 baseline 과 얼마나 다른지. -- 그 변화가 CPU 쪽 지표가 아니라 메모리와 스토리지 쪽 지표와 같은 방향으로 움직이는지. §62 는 CPU 사용률이 낮아도 메모리나 스토리지 문제가 있을 수 있다고 적었다. -- 호스트 압박을 유도하는 방법. 개념 문서가 적지 않아 실행하는 쪽이 정하고 무엇을 썼는지 남겨야 한다. -- 압박을 걷은 뒤 게스트 지연이 baseline 으로 돌아오는지, 돌아온다면 얼마나 걸리는지. +이번 controlled pressure 수준의 결과는 해소됐다. `MemAvailable≈512 MiB`까지 낮아지고 host major fault·swap occupancy는 증가했지만, zswap 때문에 disk swap-out이 크게 발생하지 않았고 NVMe latency/util과 guest OIDC latency도 같이 악화되지 않았다. -## 제약 +더 강한 pressure에서 zswap을 넘어 실제 disk swap I/O가 지속될 때 guest latency가 어떻게 변하는지는 안전 범위를 벗어나므로 이번 세션에서는 일반화하지 않는다. 운영 허용 임계점도 이 결과 하나로 정하지 않는다. -- 세 구간 모두에 §85 가 요구한 호스트 · VM · 워크로드 조건을 남긴다. 조건을 남기지 않으면 이 결과를 다른 환경에 다시 쓸 수 없다. +## 안전한 부하 범위 + +- 세 구간 모두에 「실험 시 반드시 같이 기록할 것」에서 요구한 호스트 · VM · 워크로드 조건을 남긴다. 조건을 남기지 않으면 이 결과를 다른 환경에 다시 쓸 수 없다. - 게스트 쪽 스왑은 「지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가」와 같은 방법으로 찍는다. 두 물음의 값이 같은 방식으로 남아야 나란히 놓을 수 있다. - 압박을 유도한 상태로 운영 실험을 겹쳐 돌리지 않는다. 같은 스토리지를 쓰는 다른 실험이 있으면 시간을 나눈다. -- 지연이 올랐다는 관측만으로 원인을 호스트 메모리로 확정하지 않는다. 같은 구간의 CPU 와 스토리지 지표를 함께 놓고 §86 의 분류로 계층을 가른다. -- 압박의 허용 범위를 정하는 일은 이 물음 밖이다. 여기서는 경로가 이어지는지만 본다. -- 이 실험을 순서에서 앞당기지 않는다. §84 의 권장 실험 순서에서 압박 실험은 열두 단계 가운데 열 번째다. 앞의 다섯 단계가 호스트와 가상 머신 조건을 채워 두므로, 먼저 돌리면 세 구간에 남길 조건을 그때 다시 모아야 한다. +- 지연이 올랐다는 관측만으로 원인을 호스트 메모리로 확정하지 않는다. 같은 구간의 CPU 와 스토리지 지표를 함께 놓고 「문제를 진단할 때의 분류」의 분류로 계층을 가른다. +- 여기서는 어느 정도의 압박을 운영에서 허용할지 정하지 않는다. 메모리 압박과 게스트 지연이 실제로 같은 구간에서 이어지는지만 확인한다. +- 이 실험을 순서에서 앞당기지 않는다. 「권장 실험 순서」의 권장 실험 순서에서 압박 실험은 열두 단계 가운데 열 번째다. 앞의 다섯 단계가 호스트와 가상 머신 조건을 채워 두므로, 먼저 돌리면 세 구간에 남길 조건을 그때 다시 모아야 한다. -## 선택지 +## 어떻게 압박을 만들었나 ### 1. 세 구간을 한 번에 돌리고 네 종류 지표를 같이 남긴다 -baseline, 압박, 압박 해제 세 구간에서 게스트 지연 · 호스트 vmstat · 스토리지 지연 · CPU 를 같은 시각에 기록한다. §83 OQ-7 이 적은 순서 그대로다. 세 구간이 한 표에 들어가면 지연 변화가 어느 지표와 함께 움직였는지 그 표에서 읽힌다. +baseline, 압박, 압박 해제 세 구간에서 게스트 지연·호스트 `vmstat`·스토리지 지연·CPU를 같은 시각에 기록한다. 세 구간을 한 표에 놓으면 게스트 지연이 reclaim/swap, storage, CPU 가운데 무엇과 함께 움직였는지 비교할 수 있다. 압박을 유도하는 방법을 먼저 정해야 하고, 게스트에 같은 부하를 세 번 거는 준비가 필요하다. @@ -93,18 +94,12 @@ baseline, 압박, 압박 해제 세 구간에서 게스트 지연 · 호스트 v 같은 워크로드로 게스트 지연을 몇 번 재서 평상시 변동 폭을 먼저 잡는다. 압박 구간의 지연 변화가 그 변동 폭 안인지 밖인지 가릴 기준이 생긴다. -이 순서만으로는 이 물음이 닫히지 않는다. 압박 구간이 없으면 확인할 경로가 시작되지 않기 때문이다. +단순 관측만으로는 답이 나오지 않는다. 실제 host memory pressure 구간이 있어야 baseline과 차이를 비교할 수 있다. ### 3. 호스트 swappiness 를 바꿔 가며 지연을 비교한다 — 제외 압박을 유도하는 대신 설정을 바꿔 스왑이 도는 정도를 조절하는 방법이다. 지금 필요한 답은 이 구성에서 경로가 이어지는지 하나인데, 설정을 바꾸면 baseline 과 압박 구간이 서로 다른 구성에서 나온 값이 된다. 설정을 어떻게 둘지는 경로가 이어진다는 것이 확인된 뒤의 결정이다. -## 다음 검증 +## 이 압박 수준에서는 guest 지연이 늘지 않았다 -1. baseline 구간에서 게스트 애플리케이션 지연과 호스트 vmstat 1, 스토리지 지연, CPU 를 같은 시각에 기록한다. -2. 호스트에 메모리 압박을 유도하고, 무엇으로 어느 정도의 압박을 얼마나 오래 걸었는지 함께 적는다. -3. 압박 구간에서 같은 네 가지를 다시 기록한다. 게스트 쪽 스왑은 「지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가」와 같은 방법으로 찍는다. -4. 압박을 걷고 세 번째 구간을 같은 방법으로 찍는다. -5. 세 구간 모두에 호스트 · VM · 워크로드 조건을 남긴다. - -닫는 조건 : 압박 구간에서 호스트 reclaim 이나 스왑이 돌았는데도 게스트 지연이 baseline 과 다르지 않으면, 이 구성에서는 그 정도의 압박이 게스트까지 오지 않는다고 적고 닫는다. 지연이 오르면 세 구간 표가 Case 가 되고 이 물음은 그 Case 가 닫는다. 압박을 어디까지 허용할지 — swappiness 를 바꿀지, 가상 머신 배치를 바꿀지, ballooning 을 쓸지 — 는 그 Case 가 나온 뒤 Decision 으로 넘긴다. +2026-09-21 안전한 단계형 pressure 실험에서 host major fault와 zswap-backed swap occupancy는 증가했지만 guest OIDC latency 증가는 관측되지 않았다. 따라서 **현재 압박 수준에서는 memory pressure가 guest latency까지 이어진 근거가 없다.** 더 강한 pressure로 disk swap I/O를 의도적으로 유도하는 실험은 기존 서비스 영향이 커질 수 있어 별도 격리 환경에서 수행한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-thp-policy.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-thp-policy.md index 0dd7bc2..09ab00e 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-thp-policy.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-host-thp-policy.md @@ -7,9 +7,14 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/50730203-df5f-4604-8535-7e93ab6fb724/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-4 - final/document.md#53-thp-transparent-huge-pages @@ -18,82 +23,67 @@ source: # 이 호스트의 THP 정책과 huge page 상태는 무엇인가 -이 호스트의 THP 정책이 always 인지 madvise 인지 never 인지, huge page 항목 넷의 값이 얼마인지 아직 읽지 않았다. THP(Transparent Huge Pages, 투명한 대형 페이지)는 커널이 조건이 맞는 영역에 Huge Page 를 활용하려는 기능이다. 정책 값은 커널과 배포판에 따라 다르다. +2026-09-21 현재 host의 THP policy는 `always`다. `enabled`는 `[always] madvise never`, defrag policy는 `always defer defer+madvise [madvise] never`로 나왔다. Host에는 `AnonHugePages`가 실제로 존재하지만 `HugePages_Total=0`, `Hugetlb=0 kB`라 별도 HugeTLB pool은 없다. -## 관계 +## 현재 THP 정책 -- **Huge Page 를 VM 에서 볼 때 갈라지는 세 자리** - 게스트 단계와 호스트 backing 을 따로 읽어야 한다는 설명이 이 물음을 호스트와 게스트로 나눠 찍는 이유다. -- **가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가** - 여기서 읽은 HugePages_Total 이 그 물음의 입력이 된다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - THP policy 가 그 기준이 요구하는 호스트 조건 목록에 들어 있다. +- 2026-09-21 재검증에서 Host THP `enabled`는 `[always] madvise never`였다. `AnonHugePages`는 약 7.4 GiB였고 `HugePages_Total=0`, `HugePages_Free=0`, `Hugepagesize=2048 kB`, `Hugetlb=0 kB`였다. worker guest 둘에서도 `AnonHugePages`는 0이 아니고 `HugePages_Total=0`이었다. -## 사실 - -- §53 은 THP 를 Linux 가 가능한 메모리 영역에 Huge Page 를 투명하게 활용하려는 기능으로 적었다. +- 「THP: Transparent Huge Pages」에서는 THP 를 Linux 가 가능한 메모리 영역에 Huge Page 를 투명하게 활용하려는 기능으로 적었다. 애플리케이션이 일반 malloc()/mmap() 을 부르면 커널이 조건이 맞을 때 Huge Page 활용을 시도하는 경로다. -- §53 은 상태 확인 명령으로 cat /sys/kernel/mm/transparent_hugepage/enabled 를 들고 출력 예로 always [madvise] never 를 적었다. +- 「THP: Transparent Huge Pages」에서는 상태 확인 명령으로 cat /sys/kernel/mm/transparent_hugepage/enabled 를 들고 출력 예로 always [madvise] never 를 적었다. 대괄호가 붙은 값이 지금 정책이다. -- §53 은 현재 정책이 커널과 배포판, 호스트 설정에 따라 다르므로 실제 시스템에서 확인한다고 밝혔다. - 값을 문서에서 옮겨 올 수 없다는 뜻이고, 이 물음이 있는 이유다. -- §56 은 호스트 확인 명령으로 두 줄을 들었다. +- 「THP: Transparent Huge Pages」에서는 현재 정책이 커널과 배포판, 호스트 설정에 따라 다르므로 실제 시스템에서 확인한다고 밝혔다. + 그래서 현재 값은 배포판 기본값이 아니라 실제 sysfs와 `/proc/meminfo`에서 읽어야 한다. +- 「THP와 HugeTLB 비교」에서는 호스트 확인 명령으로 두 줄을 들었다. grep -i huge /proc/meminfo cat /sys/kernel/mm/transparent_hugepage/enabled -- §56 은 AnonHugePages 와 HugePages_Total 이 같은 뜻이 아니라고 못 박았다. +- 「THP와 HugeTLB 비교」에서는 AnonHugePages 와 HugePages_Total 이 같은 뜻이 아니라고 못 박았다. 같은 표에서 THP 는 커널이 알아서 하는 활용, HugeTLB 는 명시적으로 잡아 두는 풀로 갈라 적었다. -- §83 OQ-4 는 확인할 것으로 다섯을 적었다. +- 확인할 값은 다섯이다. THP policy AnonHugePages HugePages_Total HugePages_Free Hugepagesize -- §83 이 적은 열린 물음 열넷 가운데 확인 명령이 함께 적힌 것은 아홉이고, OQ-4 가 거기 든다. 명령이 없는 나머지 다섯은 전부 구간을 나눠 견주는 실험이다. -- 이 호스트에서 그 다섯을 읽은 기록이 개념 문서에 없다. 게스트 쪽 값도 없다. +- 이 값들은 부하 실험 없이 호스트와 게스트에서 현재 설정을 읽는 것만으로 확인할 수 있다. +- 2026-09-21에는 이 다섯 값을 host에서 직접 읽었고 worker guest 둘에서도 같은 항목을 확인했다. host는 THP `always`, HugeTLB pool 없음으로 정리됐고, guest의 `AnonHugePages`는 시점값으로 남긴다. -## 가정 +## 확인 조건 - 호스트에 붙어 sysfs 파일과 /proc/meminfo 를 읽을 수 있다고 본다. - 두 명령의 출력이 읽는 시점의 상태라고 본다. 그 뒤에 값이 바뀌지 않는다는 근거는 개념 문서에 없으므로 읽은 시각을 함께 남긴다. -- 게스트 커널도 같은 두 파일을 제공한다고 보고 같은 명령을 게스트에서도 찍는다. 게스트 배포판에 그 파일이 실제로 있는지는 확인하지 않았다. +- 2026-09-21 재검증에서는 worker guest 둘에서도 같은 경로를 읽을 수 있었고, 두 guest 모두 `HugePages_Total=0`인 것을 확인했다. -## 미지수 +## 정책과 실제 사용량은 다르다 -- 이 호스트의 THP 정책이 always 인지 madvise 인지 never 인지. -- AnonHugePages · HugePages_Total · HugePages_Free · Hugepagesize 의 실제 값. -- HugeTLB 풀이 잡혀 있는지. HugePages_Total 이 0 이면 없는 것이고, 0 이 아니면 그 풀을 누가 쓰는지는 이 물음이 답하지 않는다. -- 두 가상 머신 안에서 같은 다섯 항목이 어떻게 보이는지, 그리고 호스트 값과 다른지. +현재 host THP 정책과 HugeTLB pool 유무에 대한 미지수는 해소됐다. Host THP는 `always`이고 HugeTLB pool은 없다. worker guest의 exact `AnonHugePages` 값은 시점에 따라 달라지는 관측값으로 취급한다. -## 제약 +## workload별 효과는 별도다 -- 값을 읽는 데서 끝낸다. 정책을 바꾸거나 풀을 새로 잡는 일은 이 물음에 들어 있지 않다. -- 호스트와 게스트 값을 한 줄에 합쳐 적지 않는다. §52 가 게스트의 page-size 선택과 호스트 backing 을 하나의 동일한 설정으로 취급하지 말라고 적었다. -- AnonHugePages 와 HugePages_Total 을 같은 값으로 읽지 않는다. §56 이 둘을 구분했다. -- 이 호스트에서 잰 값이 없어 다른 장비의 기본 정책을 이 호스트의 값으로 삼지 않는다. +- 여기서는 값을 읽기만 한다. THP 정책을 바꾸거나 HugeTLB 풀을 새로 만들지 않는다. +- 호스트와 게스트 값을 한 줄에 합쳐 적지 않는다. 「VM에서 Huge Page를 볼 때 주의할 점」에서는 게스트의 page-size 선택과 호스트 backing 을 하나의 동일한 설정으로 취급하지 말라고 적었다. +- AnonHugePages 와 HugePages_Total 을 같은 값으로 읽지 않는다. 「THP와 HugeTLB 비교」에서는 둘을 구분했다. +- 이 질문의 값은 2026-09-21 `test-server`에서 직접 읽은 값이다. 다른 장비의 기본 정책으로 일반화하지 않는다. -## 선택지 +## sysfs에서 읽는 방법 ### 1. 호스트 다섯 항목만 먼저 읽는다 -명령 두 줄이면 끝나고, 그 다섯 값이 §85 가 요구하는 호스트 조건 가운데 THP policy 칸을 바로 채운다. 실험을 시작하기 전에 한 번 찍어 두는 용도로 충분하다. +명령 두 줄이면 끝나고, 그 다섯 값이 「실험 시 반드시 같이 기록할 것」에서는 요구하는 호스트 조건 가운데 THP policy 칸을 바로 채운다. 실험을 시작하기 전에 한 번 찍어 두는 용도로 충분하다. 게스트 쪽 정책은 남는다. HugeTLB 쪽으로 넘어갈 때 게스트 값을 다시 받으러 붙어야 한다. ### 2. 호스트와 두 게스트를 한 번에 읽는다 -같은 두 명령을 호스트에서 한 번, 각 게스트에서 한 번씩 찍어 세 벌을 만든다. §52 가 요구한 구분이 값으로 남고, 게스트가 madvise 인데 호스트가 always 인 것 같은 차이도 세 벌을 나란히 놓으면 바로 보인다. +같은 두 명령을 호스트에서 한 번, 각 게스트에서 한 번씩 찍어 세 벌을 만든다. 「VM에서 Huge Page를 볼 때 주의할 점」에서 요구한 구분이 값으로 남고, 게스트가 madvise 인데 호스트가 always 인 것 같은 차이도 세 벌을 나란히 놓으면 바로 보인다. 게스트에 접속해야 하고, 두 가상 머신이 같은 시각에 켜져 있어야 한다. ### 3. 배포판 기본값을 적어 두고 넘어간다 — 제외 -정책 값을 조사하는 대신 배포판이 보통 쓰는 기본값을 적는 방법이다. §53 이 정책은 커널과 배포판, 호스트 설정에 따라 다르니 실제 시스템에서 확인하라고 적었으므로, 이 방법으로는 이 물음이 닫히지 않는다. +배포판의 일반적인 기본값을 가져와 현재 정책으로 간주하지 않는다. THP 정책은 커널·배포판·호스트 설정에 따라 달라질 수 있으므로 실제 `/sys/kernel/mm/transparent_hugepage/enabled` 값을 읽는다. -## 다음 검증 +## 정책이 바뀌면 sysfs와 HugeTLB 상태부터 다시 본다 -1. 호스트에서 cat /sys/kernel/mm/transparent_hugepage/enabled 를 찍고 대괄호가 붙은 값을 정책으로 적는다. -2. 같은 시각에 호스트에서 grep -i huge /proc/meminfo 를 찍어 AnonHugePages · HugePages_Total · HugePages_Free · Hugepagesize 를 그대로 옮긴다. -3. 같은 두 명령을 가상 머신마다 따로 찍고 호스트 값과 나란히 적는다. -4. 실행한 명령과 출력, 찍은 시각을 함께 증거로 남긴다. - -닫는 조건 : 다섯 항목의 값이 호스트와 게스트마다 적히면 닫는다. HugePages_Total 이 0 이 아니면 그 풀을 가상 머신이 쓰고 있는지는 「가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가」가 받는다. 정책이 always 로 나오고 지연에 민감한 워크로드를 돌리고 있으면 §54 가 든 compaction 영향을 측정할지는 Decision 으로 넘긴다. 이 물음 자체는 정책 값을 확정하는 데서 끝난다. +kernel boot parameter나 THP sysfs policy가 바뀌면 다시 확인한다. THP 사용량의 변화 자체는 workload별 메모리 측정에서 별도로 기록한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-numa-remote-access-vs-workload-latency.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-numa-remote-access-vs-workload-latency.md index ae77af8..74d00fb 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-numa-remote-access-vs-workload-latency.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-numa-remote-access-vs-workload-latency.md @@ -7,9 +7,13 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/380d4975-3be5-451d-aede-2e24c5a2a09e/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-12 - final/document.md#74-local-memory와-remote-memory @@ -18,53 +22,40 @@ source: # NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가 -이 호스트에서 local 배치와 remote 위주 배치로 같은 워크로드를 돌려 두 값을 견준 기록이 없다. NUMA(Non-Uniform Memory Access, 비균일 메모리 접근)는 어느 CPU 가 어느 RAM 에 접근하느냐에 따라 비용이 달라질 수 있는 구조다. 배치가 어긋나 있다는 것과 그 어긋남 때문에 느려진다는 것은 다른 확인이다. +2026-09-21 현재 `test-server`는 NUMA node가 하나뿐이다. CPU `0-7`과 QEMU memory가 모두 `node0`에 있으므로 이 host에서는 local 배치와 remote 배치를 만들어 비교하는 실험 자체가 성립하지 않는다. 따라서 이 질문은 **현재 환경에는 적용되지 않는 것으로 해소**한다. -## 관계 +## 이 호스트에서 실험이 성립하지 않는 이유 -- **NUMA 에서는 vCPU 배치와 메모리 배치를 함께 본다** - local 배치와 remote 배치가 무엇으로 갈리는지를 그 개념이 설명한다. -- **QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가** - 지금 배치가 어떤지는 그 물음이 먼저 적는다. 이 실험은 그 위에서 배치를 일부러 바꿔 견준다. -- **이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가** - node 가 하나면 이 실험은 열리지 않는다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 두 구간 모두에 남길 조건을 그 기준이 정한다. - -## 사실 +- 2026-09-21 재검증에서 `lscpu`는 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 냈다. 세 QEMU process의 확인된 `numa_maps`도 `N0`뿐이었다. 현재 host에서 remote NUMA access를 의도적으로 만들 수 있는 두 번째 node가 없다. - remote access 는 local access 와 동일한 비용이라고 가정할 수 없으며, 추가 지연과 대역폭 비용이 있을 수 있다. - 큰 가상 머신에서는 게스트에게 NUMA 토폴로지 자체를 노출할 수 있고, 가능하면 게스트가 인식하는 토폴로지와 실제 호스트 배치가 합리적으로 맞물리도록 구성할 수 있다. 개념 문서가 든 예는 노드마다 vCPU 여덟과 RAM 32 GiB 를 둔 가상 머신이다. 이 프로젝트의 가상 머신이 그 크기인지는 적혀 있지 않다. - 개념 문서가 적은 실험 순서는 local 배치로 baseline 을 잡고 지연과 처리량과 메모리 지표를 받은 뒤, remote 위주 배치로 바꿔 동일 워크로드를 다시 돌려 견주는 것이다. - 같은 항목이 NUMA node 가 2개 이상인 경우에만 우선순위를 높이라고 적었다. - 단순 토폴로지만 보고 성능 문제라고 단정하지 않는다는 단서도 같은 항목에 있다. -- §83 의 열린 물음 열넷 가운데 둘은 이 주제로 올리지 않고 CPU 가상화 쪽 물음에 합쳤다. 노드 수와 vCPU 배치는 한 번 읽으면 닫히는 데다, 그 물음이 이미 같은 것을 묻고 있어서다. 이 물음은 합치지 않았는데, 토폴로지를 아는 것과 지연이 달라지는 것이 한 번의 측정으로 함께 닫히지 않기 때문이다. +- NUMA 노드 수와 vCPU 배치는 먼저 현재 상태를 읽어 확인한다. 여기서는 그 다음 단계인 성능 영향을 다룬다. 토폴로지가 다중 NUMA라고 해서 곧바로 지연 문제가 있다는 뜻은 아니므로 local/remote 배치를 같은 워크로드로 비교해야 한다. - 개념 문서는 이 비교에 쓸 워크로드도, 지연과 처리량을 재는 명령도 적지 않았다. 실험 순서만 적혀 있다. -- 이 호스트에서 두 배치를 각각 구성해 본 기록이 없다. +- 이 호스트는 NUMA node가 하나라 local/remote 두 배치를 구성할 수 없다. 비교 기록이 없는 이유는 실험 미수행이 아니라 현재 하드웨어에서 비교 조건 자체가 성립하지 않기 때문이다. -## 가정 +## 다중 NUMA에서 필요한 조건 - 호스트가 다중 NUMA node 이고 배치를 두 가지로 만들 수 있다고 보고 실험을 짠다. - 같은 워크로드를 두 번 돌렸을 때 배치 말고 다른 조건이 바뀌지 않는다고 전제한다. - 두 구간의 차이가 측정 오차보다 크면 배치 때문이라고 읽는다. 오차 범위를 이 호스트에서 재 본 적은 없어서, 그 범위는 baseline 을 여러 번 돌려 정해야 한다. - Keycloak 처럼 지금 쓰고 있는 작업이 메모리 접근에 민감한지는 확인하지 않았고, 민감하지 않으면 두 배치의 차이가 지표에 나오지 않을 수 있다. -## 미지수 +## 현재 환경에서 해소된 것 -- local 배치와 remote 위주 배치에서 같은 워크로드의 지연과 처리량이 다른지, 다르다면 얼마나 다른지. -- 이 가상 머신들이 게스트에게 NUMA 토폴로지를 노출한 구성인지. 개념 문서에 적혀 있지 않다. -- 어떤 워크로드로 견줄지. 개념 문서는 동일 워크로드라고만 적었다. -- remote 위주 배치를 이 환경에서 어떤 방법으로 만드는지. -- 차이가 나왔을 때 그것이 이 프로젝트가 실제로 돌리는 작업에서도 같은 크기로 나타나는지. +현재 host에서는 두 번째 NUMA node가 없으므로 local/remote latency 차이를 측정할 수 없다. 다중 NUMA 장비로 옮겼을 때 어떤 workload와 binding 방법을 쓸지는 그 환경에서 다시 정의한다. -## 제약 +## 다른 호스트로 일반화하지 않는다 - node 가 하나로 확정되면 우선순위를 낮추고 이 실험을 열지 않는다. - 지금 배치가 적히기 전에는 열지 않는다. 무엇이 local 이고 무엇이 remote 위주인지 정하려면 현재 분포가 먼저 있어야 한다. - 두 구간 모두에 Host · VM · Workload 조건을 남긴다. 조건 없이 남긴 비교는 다른 환경에서 다시 쓰기 어렵다. -- 토폴로지만 보고 결론을 적지 않는다. 두 구간의 값이 없으면 이 물음은 닫히지 않는다. +- 토폴로지만 보고 성능 문제를 단정하지 않는다. local/remote 두 배치의 지연과 처리량이 있어야 우선순위를 판단할 수 있다. -## 선택지 +## 토폴로지로 먼저 거르는 방법 ### 1. 같은 워크로드를 두 배치에서 돌려 값을 견준다 @@ -77,12 +68,6 @@ local 배치에서 지연과 처리량과 메모리 지표를 받고, remote 위 배치를 건드리지 않고 현재 상태에서 지연과 처리량을 재 두자는 방법이다. 비교할 다른 배치가 없어서 그 값이 높은지 낮은지 판단할 근거가 없다. 개념 문서가 단순 토폴로지만 보고 단정하지 말라고 한 것도 이 때문이다. -## 다음 검증 +## single NUMA라 remote access 비교 자체가 성립하지 않는다 -1. node 수와 현재 배치가 각각 적힌 뒤에 연다. -2. local 배치로 맞춘 구성에서 같은 워크로드를 돌려 지연과 처리량과 메모리 지표를 기록한다. -3. remote 위주 배치로 바꾸고 같은 워크로드를 같은 조건으로 다시 돌린다. -4. 두 구간 모두에 Host · VM · Workload 조건을 남긴다. -5. 배치를 바꾸는 데 쓴 방법과 지표를 받은 명령을 함께 적는다. 개념 문서에 없는 것이라 실행한 쪽이 정한다. - -닫는 조건 : 두 배치의 지연과 처리량이 측정 오차 안에서 다르지 않으면 이 워크로드에서는 NUMA locality 가 우선순위가 아니라고 적고 닫는다. 차이가 나면 그 비교표가 Case 가 되고, vCPU pinning 과 memory binding 을 운영 구성으로 채택할지는 그 Case 가 나온 뒤 Decision 으로 넘긴다. 단일 NUMA node 로 나오면 개념 문서가 적은 대로 우선순위를 낮추고 닫는다. +단일 NUMA node라 비교 자체를 진행하지 않는다. 다중 NUMA host로 실험 환경이 바뀌면 다시 열고 local/remote 배치를 동일 workload로 비교한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-memory-numa-placement.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-memory-numa-placement.md index 396cc13..6c8c1df 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-memory-numa-placement.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-memory-numa-placement.md @@ -7,9 +7,13 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/1b59e6de-16f1-42b2-81bb-01d6198e34bf/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-11 - final/document.md#75-vcpu와-numa의-연결 @@ -19,20 +23,11 @@ source: # QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가 -이 호스트의 가상 머신마다 vCPU 가 도는 노드와 메모리가 놓인 노드가 같은지 다른지 적은 값이 없다. NUMA(Non-Uniform Memory Access)는 어느 CPU 가 어느 RAM 에 닿느냐에 따라 접근 비용이 달라지는 구조를 말한다. 이 물음은 지금 배치를 값으로 적는 데까지다. 그 어긋남이 지연을 바꾸는지는 다른 물음이 받는다. +2026-09-21 현재 host는 NUMA node가 `node0` 하나뿐이고 CPU `0-7` 전체가 그 node에 속한다. QEMU `numa_maps`의 확인된 mapping도 모두 `N0`였으며 vCPU affinity도 `0-7` 전체다. 따라서 현재 host에서는 vCPU와 QEMU memory가 서로 다른 NUMA node에 놓이는 배치 자체가 성립하지 않는다. -## 관계 +## QEMU memory가 놓인 node -- **NUMA 에서는 vCPU 배치와 메모리 배치를 함께 본다** - 두 배치를 왜 따로 볼 수 없는지를 그 개념이 설명한다. -- **이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가** - 노드가 몇 개인지는 그 물음이 받는다. 다중 노드라는 답이 나온 뒤에 이 물음을 연다. -- **NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가** - 여기서 어긋남을 찾으면 그것이 지연까지 바꾸는지는 그쪽이 받는다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 배치를 적을 때 함께 남길 조건을 그 기준이 정한다. - -## 사실 +- 2026-09-21 재검증에서 `lscpu`는 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 냈다. 세 QEMU 프로세스의 `numa_maps`에서 확인한 mapping은 모두 `N0`였고, vCPU pinning은 없었다. - 게스트 vCPU 는 호스트에서 QEMU 의 vCPU 스레드이고, 그 스레드는 호스트 Linux 스케줄러를 거쳐 호스트 논리 CPU 에서 실행된다. - 어떤 가상 머신의 vCPU 스레드가 Node 0 의 CPU 에서 도는데 그 가상 머신의 호스트 쪽 physical backing page 가 Node 1 에 있으면 remote access 가 생길 수 있다. 게스트 안에서는 그것도 단순한 memory load 로 보이지만 실제 하드웨어에서는 NUMA interconnect 를 건널 수 있다. @@ -43,33 +38,29 @@ source: vCPU 배치 : virsh vcpupin 와 virsh vcpuinfo 장비 토폴로지 : lscpu 와 numactl --hardware - 같은 문서의 확인 항목은 numastat 결과를 vCPU 배치와 나란히 놓고 vCPU 와 메모리가 같은 노드인지 다른 노드인지 가르라고 적었다. -- 같은 문서는 vCPU 배치를 따로 묻는 항목도 두고, 그 확인을 CPU 가상화 SSOT 의 pinning/overcommit 관측과 연결한다고 적었다. 그래서 이 주제는 그 물음을 다시 세우지 않았다. vCPU 배치는 CPU 가상화 쪽 물음이 받고 여기서는 메모리 분포와 둘의 어긋남을 받는다. -- 개념 문서의 권장 실험 순서도 vCPU placement 확인을 여덟째에, QEMU NUMA memory distribution 확인을 아홉째에 두어 앞뒤를 갈라 놓았다. -- 이 호스트에서 numastat 을 QEMU 프로세스에 돌린 기록이 없다. vCPU 배치를 적어 둔 기록도 없다. +- vCPU 실행 위치는 CPU 가상화 쪽에서 확인하고, 여기서는 QEMU 메모리의 노드별 분포를 읽어 두 값을 나란히 놓는다. +- 현재 호스트는 단일 NUMA node라 vCPU placement와 memory distribution을 별도 성능 문제로 이어 볼 필요가 없다. 다중 NUMA 환경으로 바뀌면 두 값을 다시 같은 시점에 비교한다. +- 2026-09-21에는 `lscpu`, QEMU `numa_maps`, `virsh vcpuinfo`/`vcpupin` 계열 정보를 함께 확인했고, 이 호스트가 단일 NUMA node라는 사실까지 확인했다. -## 가정 +## vCPU와 memory를 비교하는 조건 - 호스트가 다중 NUMA 노드라고 보고 이 실험을 짠다. 노드 수 자체는 CPU 가상화 쪽 물음이 받는다. - 두 가상 머신이 모두 떠 있는 동안 QEMU 프로세스를 가상 머신마다 가려낼 수 있다고 본다. - 관측하는 동안 vCPU 스레드가 다른 노드의 CPU 로 옮겨 다니지 않는다고 전제한다. pinning 이 걸려 있지 않으면 이 전제가 깨질 수 있고, 옮겨 다니는지는 CPU 가상화 쪽에서 따로 묻고 있다. - numastat 이 보고하는 노드별 분포가 그 가상 머신의 게스트 RAM backing 을 대표한다고 본다. QEMU 프로세스에는 게스트 RAM 말고 다른 할당도 들어 있다. -## 미지수 +## single node에서 mismatch가 없는 이유 -- 각 가상 머신의 QEMU 메모리가 노드별로 얼마씩 나뉘어 있는지. -- 그 분포가 한 노드로 모여 있는지, 두 노드에 걸쳐 있는지. -- vCPU 스레드가 도는 노드와 메모리가 몰린 노드가 같은지 다른지. -- 두 가상 머신이 같은 노드를 함께 쓰고 있는지. -- 지금 구성에서 memory binding 을 걸 수 있는지. 개념 문서는 두 배치를 함께 보라고만 적었고 이 환경에서 binding 을 바꾸는 방법은 적지 않았다. +현재 환경의 NUMA placement에 대한 미지수는 해소됐다. node0 하나뿐이므로 세 VM의 QEMU memory와 vCPU가 사용할 수 있는 NUMA node도 node0 하나다. 다중 NUMA에서의 memory binding 방법과 성능 차이는 이 host에서 검증할 수 없다. -## 제약 +## 다중 NUMA에서 다시 볼 것 -- 노드 수를 여기서 다시 재지 않는다. 단일 노드로 확정되면 이 물음은 이 환경에 적용되지 않는다. -- 배치를 바꾸는 일은 이 물음에 들어 있지 않다. 지금 놓여 있는 상태를 적는 것까지다. +- NUMA 노드 수는 먼저 확인돼 있어야 한다. 단일 노드라면 노드 간 원격 접근 문제는 이 환경에 적용되지 않는다. +- 여기서는 배치를 바꾸지 않고 현재 상태만 확인한다. - 두 값은 같은 시각에 받아 적는다. 시각이 어긋나면 스케줄러가 vCPU 스레드를 옮긴 뒤의 배치를 앞서 찍은 메모리 분포와 견주게 된다. - 이 호스트에서 잰 값이 없으므로 다른 장비의 NUMA 배치를 근거로 삼지 않는다. -## 선택지 +## placement를 읽는 방법 ### 1. 가상 머신마다 메모리 분포와 vCPU 배치를 한 번에 받아 적는다 @@ -84,15 +75,9 @@ idle 상태의 배치만 보면 메모리가 아직 실제로 할당되지 않 ### 3. 게스트 안에서 numactl 로 확인한다 — 제외 게스트에서도 NUMA 를 볼 수 있으니 게스트 안에서 확인하자는 방법이다. -게스트가 보는 토폴로지는 가상 머신에 노출된 것이다. 이 물음이 찾는 것은 호스트 쪽 physical backing 이 어느 노드에 있느냐이므로, 게스트 쪽 값으로는 그 배치를 알 수 없다. +게스트가 보는 NUMA 토폴로지는 VM에 노출된 가상 토폴로지다. 지금 필요한 값은 호스트에서 QEMU 메모리 backing이 어느 노드에 놓였는지이므로 게스트 쪽 정보만으로는 충분하지 않다. 개념 문서는 큰 가상 머신에서 게스트에게 NUMA 토폴로지 자체를 노출하고 게스트 노드와 호스트 배치가 대응되도록 구성할 수 있다고 적어 두었다. 이 프로젝트의 가상 머신이 그런 구성인지는 그 문서에 없어서, 게스트 값이 호스트 배치를 어디까지 반영하는지도 재기 전에는 모른다. -## 다음 검증 +## single NUMA에서는 local·remote 배치를 나눌 수 없다 -1. 호스트가 다중 NUMA 노드라는 확인을 CPU 가상화 쪽 물음에서 먼저 받는다. -2. 가상 머신마다 QEMU 프로세스를 찾아 numastat -p 로 노드별 메모리 분포를 찍는다. -3. 같은 시각에 virsh vcpuinfo 와 virsh vcpupin 로 vCPU 배치를 적는다. -4. 두 값을 가상 머신마다 한 표로 나란히 놓고, 노드가 같은지 다른지 적는다. -5. Host · VM · Workload 조건을 같은 기록에 남긴다. - -닫는 조건 : 노드별 메모리 분포와 vCPU 배치가 가상 머신마다 한 표로 적히면 닫는다. 둘이 같은 노드로 모여 있으면 개념 문서가 경고한 어긋남이 이 환경에는 없다고 적고 닫는다. 어긋나 있으면 그 표가 Case 가 되고, 그 어긋남이 지연까지 바꾸는지는 「NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가」가 받는다. memory binding 을 걸지 말지는 그 뒤 Decision 으로 넘긴다. 단일 NUMA 노드로 나오면 이 물음은 이 환경에 적용되지 않는다고 적고 닫는다. +현재 host는 단일 NUMA node라 remote/local mismatch가 없다. 다중 NUMA host로 실험 환경이 바뀌면 그때 다시 연다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-resident-memory-distribution.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-resident-memory-distribution.md index 6c8f07d..a5e9a66 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-resident-memory-distribution.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-resident-memory-distribution.md @@ -7,9 +7,12 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/fa5b3782-9fcf-4113-8f51-a55c8023b2db/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-3 - final/document.md#40-qemu는-guest-ram을-어떻게-준비하는가 @@ -19,38 +22,29 @@ source: # QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가 -이 호스트에서 QEMU 프로세스가 붙잡고 있는 메모리를 읽은 기록이 없다. 게스트 RAM 은 QEMU(Quick Emulator, 가상 머신을 실행하는 호스트 userspace 프로그램) 프로세스의 주소 공간 안에 마련된다고 §40 이 적었다. 그래서 이 가상 머신이 호스트 메모리를 얼마나 쓰고 있는가는 그 프로세스가 얼마나 큰지를 읽는 물음이 된다. +2026-09-21 세 QEMU 프로세스의 `smaps_rollup`을 직접 읽었다. configured memory와 host RSS는 같지 않았고, resident memory의 대부분은 anonymous이며 큰 부분이 THP `AnonHugePages`로 backing돼 있었다. exact RSS는 workload와 시점에 따라 달라지는 관측값이다. -## 관계 +## 세 QEMU의 실제 resident memory -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - QEMU 가 마련한 호스트 주소 공간이 게스트 물리 주소와 어떻게 이어지는지를 그 기록이 설명한다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 같은 접속에서 값을 받는다. 그쪽이 적는 설정 값을 옆에 놓아야 여기서 얼마나 벌어져 있는지 적을 수 있다. -- **가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가** - 여기서 huge page 항목이 보이면 그 물음으로 넘긴다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 여기서 읽는 값은 VM 묶음의 메모리 backing 설정과 짝이 되므로 그 기준을 따라 남긴다. +- 2026-09-21 재검증에서 `kc-lab-1` QEMU RSS는 약 3.73 GiB, `kc-lab-2`는 약 2.91 GiB, edge는 약 0.84 GiB였다. 같은 시점 configured memory는 5 GiB, 4 GiB, 1 GiB였다. worker QEMU swap은 0이었고 edge QEMU에는 약 156 MiB swap이 관측됐다. -## 사실 - -§40 은 QEMU 를 호스트 userspace 프로세스로 두고, QEMU 자신도 호스트 가상 주소 공간을 가지며 게스트 RAM 을 떠받치는 메모리도 그 안에 마련된다고 적었다. QEMU 가 물리 주소 X 부터 8 GiB 를 달라고 RAM 하드웨어를 직접 제어하는 것은 아니라고 같은 절이 못 박았다. +「QEMU는 Guest RAM을 어떻게 준비하는가」에서는 QEMU 를 호스트 userspace 프로세스로 두고, QEMU 자신도 호스트 가상 주소 공간을 가지며 게스트 RAM 을 떠받치는 메모리도 그 안에 마련된다고 적었다. QEMU 가 물리 주소 X 부터 8 GiB 를 달라고 RAM 하드웨어를 직접 제어하는 것은 아니라고 같은 절이 못 박았다. 같은 절은 QEMU 메모리도 일반 호스트 프로세스 메모리처럼 관리된다고 적었다. QEMU 의 호스트 가상 주소에서 호스트 페이지 테이블을 지나 호스트 물리 주소로 간다. -§41 은 QEMU 가 마련한 호스트 userspace 메모리 영역이 게스트 GPA 의 어느 범위를 떠받치는지를 KVM 에 등록한다고 적고, 대표 ioctl 로 KVM_SET_USER_MEMORY_REGION 을 들었다. 역할은 셋으로 갈린다. QEMU 는 게스트 RAM 을 위한 호스트 userspace backing 을 내주고, KVM 은 게스트의 메모리 영역과 가상화 매핑을 관리하며, 실행 중의 주소 변환은 CPU 가 한다. +「KVM_SET_USER_MEMORY_REGION」에서는 QEMU 가 마련한 호스트 userspace 메모리 영역이 게스트 GPA 의 어느 범위를 떠받치는지를 KVM 에 등록한다고 적고, 대표 ioctl 로 KVM_SET_USER_MEMORY_REGION 을 들었다. 역할은 셋으로 갈린다. QEMU 는 게스트 RAM 을 위한 호스트 userspace backing 을 내주고, KVM 은 게스트의 메모리 영역과 가상화 매핑을 관리하며, 실행 중의 주소 변환은 CPU 가 한다. -§42 는 설정한 메모리(configured memory)와 게스트가 현재 실제 사용하는 메모리, 호스트에서 현재 resident 한 물리 메모리 셋이 같지 않을 수 있다고 적었다. 그 차이를 만드는 것으로 호스트의 demand paging, backing 종류, HugeTLB, memory locking, preallocation, overcommit 정책을 들었다. +「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 설정한 메모리(configured memory)와 게스트가 현재 실제 사용하는 메모리, 호스트에서 현재 resident 한 물리 메모리 셋이 같지 않을 수 있다고 적었다. 그 차이를 만드는 것으로 호스트의 demand paging, backing 종류, HugeTLB, memory locking, preallocation, overcommit 정책을 들었다. -§83 의 OQ-3 은 확인 명령으로 ps -ef | grep qemu 와 ps -o pid,rss,vsz,cmd -p 를 적었다. 필요하면 cat /proc//status 와 cat /proc//smaps_rollup 을 보고, 설정한 메모리와 RSS/anonymous/huge-page 상태를 비교하라고 했다. +QEMU 프로세스의 resident memory를 보려면 먼저 PID를 찾고 `ps -o pid,rss,vsz,cmd -p `로 RSS와 VSZ를 읽는다. 세부 구성이 필요하면 `/proc//status`와 `smaps_rollup`을 함께 본다. -§42 를 이 호스트에서 재는 물음은 §83 에 둘로 나뉘어 있다. 설정 값과 게스트 사용량은 virsh 와 게스트 안에서 읽는 OQ-2 가 받고, 호스트 프로세스가 실제로 얼마나 붙잡고 있는지는 OQ-3 인 이 물음이 받는다. 어디서 읽는지가 달라 한 물음으로 묶지 않았다. §84 의 권장 실험 순서도 가상 머신 설정 값 확인과 게스트 free/meminfo 확인을 둘째·셋째에 두고 QEMU RSS/HVA backing 상태 확인을 넷째에 두었다. +설정한 RAM, 게스트가 현재 쓰는 양, 호스트에서 QEMU가 resident하게 붙잡고 있는 양은 서로 다른 위치에서 읽는다. 이 문서에서는 그중 호스트 QEMU 프로세스의 RSS·VSZ와 anonymous/huge-page 구성을 확인하고, 설정값·게스트 사용량은 같은 시각의 다른 측정과 나란히 놓는다. ps 가 내는 rss 는 RSS(Resident Set Size, 프로세스가 지금 호스트 물리 메모리에 올려 둔 크기)이고 vsz 는 VSZ(Virtual Size, 그 프로세스 가상 주소 공간의 크기)다. 개념 문서는 두 열의 뜻을 따로 풀어 적지 않았다. -## 가정 +## QEMU RSS는 같은 시점의 smaps_rollup으로 비교했다 -실행 중인 가상 머신마다 QEMU 프로세스를 하나씩 찾을 수 있다고 전제한다. §40 이 QEMU 를 호스트 프로세스로 서술했지만 이 호스트에서 프로세스 목록을 확인한 기록은 없다. +2026-09-21에는 세 VM의 QEMU PID를 실제 domain과 대응시킨 뒤 각 프로세스의 `smaps_rollup`을 읽었다. 따라서 QEMU 프로세스 식별과 resident memory 측정 경로는 현재 host에서 확인된 상태다. ps -ef | grep qemu 의 출력에서 가상 머신 이름을 읽어 프로세스와 가상 머신을 짝지을 수 있다고 전제한다. 명령줄에 그 이름이 실려 있지 않으면 짝짓기를 다른 방법으로 해야 한다. @@ -58,27 +52,21 @@ smaps_rollup 을 읽을 권한이 있다고 전제한다. 다른 사용자의 값을 한 번 찍으면 그 시점의 상태로 충분하다고 전제한다. resident 크기는 게스트가 메모리를 더 건드리면 올라가기 때문에, 한 번 찍은 값은 그 순간의 크기다. -## 미지수 +## configured·current·RSS의 차이 -각 가상 머신의 QEMU 프로세스가 지금 호스트에서 얼마나 resident 한가. +현재 시점의 QEMU resident memory 분포는 확인됐다. configured memory와 RSS가 다르고, anonymous/THP 비중이 큰 것도 확인했다. 이 숫자 자체는 workload와 page residency에 따라 변하므로 고정값으로 일반화하지 않는다. -그 프로세스의 가상 주소 공간 크기는 얼마이고 resident 크기와 얼마나 차이가 나는가. +## RSS를 해석할 때 주의할 점 -두 값이 그 가상 머신에 설정한 메모리와 얼마나 벌어져 있는가. - -그 backing 이 anonymous 인가 huge page 인가. - -## 제약 - -이 호스트에서 QEMU 프로세스의 크기를 읽은 값이 없다. §40 의 8 GiB 와 §42 의 16 GiB 는 설명을 위한 예시이므로 이 환경의 값으로 옮겨 쓰지 않는다. +2026-09-21에는 세 QEMU 프로세스의 RSS를 실제로 읽었다. `kc-lab-1`은 약 3.73GiB, `kc-lab-2`는 약 2.91GiB, edge는 약 0.84GiB였다. 개념 설명에 쓰인 8GiB·16GiB 예시는 이 측정값과 구분한다. 설정한 메모리를 옆에 놓지 않으면 얼마나 벌어져 있는지 적을 수 없다. 그 값은 「이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가」가 받는다. -§42 가 게스트 사용량과 호스트 resident 를 다른 값으로 갈라 놓았기 때문에, resident 크기 하나로는 게스트가 그 메모리를 지금 쓰고 있는지 알 수 없다. +「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 게스트 사용량과 호스트 resident 를 다른 값으로 갈라 놓았기 때문에, resident 크기 하나로는 게스트가 그 메모리를 지금 쓰고 있는지 알 수 없다. huge page 항목이 보이더라도 그것이 THP(Transparent Huge Pages, 커널이 조건이 맞는 메모리 영역에 큰 페이지를 자동으로 쓰는 기능)로 붙은 것인지 HugeTLB 로 명시 구성된 것인지는 여기서 닫지 않는다. 그 구분은 HugeTLB backing 을 묻는 물음이 받는다. -## 선택지 +## smaps_rollup으로 읽는 방법 ### 1. ps 두 명령만으로 먼저 표를 채운다 @@ -88,7 +76,7 @@ backing 이 anonymous 인지 huge page 인지는 나오지 않는다. 그 항목 ### 2. status 와 smaps_rollup 까지 같은 실행에서 읽는다 -§83 이 「필요하면」으로 둔 두 명령을 처음부터 함께 돌려 anonymous 와 huge page 항목까지 한 번에 적는다. HugeTLB 쪽 물음으로 넘길지 여부가 이 실행에서 정해진다. +`status`와 `smaps_rollup`도 처음부터 함께 받아 anonymous memory와 huge-page 관련 항목을 같은 시점에 남긴다. 이 값에서 명시적 huge page 사용 흔적이 보이면 HugeTLB backing 설정을 이어서 확인한다. 출력이 길어서 어느 값을 표에 옮길지 미리 정해 두어야 한다. 정하지 않으면 파일만 쌓이고 표는 채워지지 않는다. @@ -96,14 +84,8 @@ backing 이 anonymous 인지 huge page 인지는 나오지 않는다. 그 항목 게스트의 free -h 를 읽어 그 값을 호스트가 잡고 있는 크기로 삼자는 방법이다. 접속 한 번으로 끝난다. -§42 가 게스트 사용량과 호스트 resident 를 서로 다른 값으로 갈라 놓았으므로 한쪽으로 다른 쪽을 대신할 수 없다. 게스트 사용량은 설정한 메모리와 지금 쓰는 메모리를 묻는 물음이 이미 받고 있다. +「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 게스트 사용량과 호스트 resident 를 서로 다른 값으로 갈라 놓았으므로 한쪽으로 다른 쪽을 대신할 수 없다. 게스트 사용량은 설정한 메모리와 지금 쓰는 메모리를 묻는 물음이 이미 받고 있다. -## 다음 검증 +## 압박·balloon 실험에서는 같은 RSS 지표를 다시 잰다 -1. ps -ef | grep qemu 로 실행 중인 QEMU 프로세스의 PID 를 찾고 가상 머신 이름과 짝짓는다 (§83 OQ-3). -2. 프로세스마다 ps -o pid,rss,vsz,cmd -p 를 찍는다. -3. cat /proc//status 와 cat /proc//smaps_rollup 을 남겨 anonymous 와 huge page 항목을 읽는다. -4. 같은 접속에서 설정한 메모리와 지금 쓰는 메모리를 묻는 물음의 값을 옆에 놓고 얼마나 벌어져 있는지 적는다. -5. 남기는 조건은 메모리 실험 조건 기준을 따른다. - -닫는 조건 : 가상 머신마다 설정 값 · RSS · VSZ 와 anonymous/huge-page 구성이 한 표에 적히면 닫는다. RSS 가 설정 값에 크게 못 미치면 §42 가 말한 차이를 이 호스트에서 확인한 것이 되므로, 주소 변환 개념 기록의 확인 사례로 넣는다. huge page backing 이 보이면 HugeTLB backing 을 묻는 물음으로 넘긴다. +이후 메모리 압박이나 balloon 실험에서는 같은 `smaps_rollup` 지표를 다시 재서 전후 변화를 별도 실험 기록으로 남긴다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-swap-activity-in-guest-and-host.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-swap-activity-in-guest-and-host.md index 05bc78d..09c8318 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-swap-activity-in-guest-and-host.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-swap-activity-in-guest-and-host.md @@ -7,9 +7,13 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/d3e8501f-e1b5-4f8f-aa9a-89f9c89a308e/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/59-memory-swap-activity.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-6 - final/document.md#63-swap-used만-보고-장애를-판단하면-안-된다 @@ -18,85 +22,64 @@ source: # 지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가 -Swap Used 가 2 GiB 로 나와도 그것이 지금 메모리 압박이 심하다는 뜻은 아니다. 그 값이 과거에 swap-out 된 cold page 때문에 커져 있을 수도 있어서, §63 은 값이 얼마인가 대신 지금 swap-in/out 이 지속되는가를 물으라고 적었다. 이 물음은 그 질문을 이 호스트와 게스트 세 대에서 같은 시각에 던진다. 게스트 swap 과 호스트 swap 은 서로 다른 경로이므로 한쪽만 보고 다른 쪽을 짐작하지 않는다. +2026-09-21 짧은 관측 구간에서 worker guest 둘의 swap은 0이고, host에는 약 260 MiB의 swap 사용량이 남아 있었지만 `vmstat 1 5`의 `si/so`는 host와 worker 둘 모두 계속 0이었다. 따라서 **swap 사용량이 남아 있다는 사실과 현재 swap I/O가 진행 중이라는 사실은 다르다**는 것을 이 host에서 직접 확인했다. -## 관계 +## host와 guest swap 관찰 결과 -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - 게스트 swap 과 호스트 swap 이 왜 다른 경로인지를 그 개념이 설명한다. -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - 호스트 쪽 swap-in 은 호스트 page fault 로 시작하고, 그 계층이 게스트 page fault 와 다르다. -- **호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가** - 압박을 유도하는 실험은 여기서 잰 평상시 상태를 기준값으로 쓴다. -- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가** - §63 이 함께 보라고 든 넷 가운데 major fault 와 storage latency 를 그 물음이 받는다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - Swap Used 값 하나로 판정하지 않는다는 것이 그 기준의 사례다. +- 2026-09-21 재검증에서 Host `swpd`는 약 265836 KiB였지만 5초 동안 `si=0`, `so=0`이었다. `kc-lab-1`과 `kc-lab-2`는 swap 자체가 0이고 같은 구간 `si/so`도 0이었다. edge QEMU process에는 host-level swapped pages가 일부 있었지만 그것만으로 현재 swap activity를 뜻하지 않는다. -## 사실 - -- §63 은 Swap Used = 2 GiB 라는 값만으로 지금 메모리 압박이 심하다고 단정할 수 없다고 적었다. 과거에 swap-out 된 cold page 가 남아 있을 수도 있기 때문이다. -- §63 은 더 중요한 질문으로 넷을 들었다. +- 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 Swap Used = 2 GiB 라는 값만으로 지금 메모리 압박이 심하다고 단정할 수 없다고 적었다. 과거에 swap-out 된 cold page 가 남아 있을 수도 있기 때문이다. +- 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 더 중요한 질문으로 넷을 들었다. 현재 swap-in/out 이 지속되는가 reclaim pressure 가 증가하는가 major fault 가 증가하는가 storage latency 가 같이 증가하는가 -- §63 은 게스트와 호스트를 동시에 확인해야 한다고 적고 확인 명령으로 free -h 와 vmstat 1 을 들었다. -- §83 OQ-6 도 게스트와 호스트 양쪽에 같은 두 명령을 적고, swap-used 값 하나보다 지금의 swap-in/out 활동과 메모리 압박을 함께 보라고 했다. -- §61 은 게스트 swap 을 게스트 애플리케이션에서 시작해 게스트 메모리 압박, 게스트 커널, 게스트 swap, /dev/vda, virtio-blk, QEMU 를 거쳐 호스트 스토리지로 내려가는 경로로 그렸다. -- §61 은 호스트 swap 을 게스트 RAM 이 QEMU 의 메모리 backing 을 거쳐 호스트 메모리 압박을 받고 호스트 커널이 호스트 swap 으로 내리는 경로로 그렸다. 같은 절이 두 경로를 같지 않다고 적고, 게스트가 메모리 여유가 있어 보이는데 호스트에서 swap 이나 reclaim 이 심할 수도 있다고 덧붙였다. +- 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 게스트와 호스트를 동시에 확인해야 한다고 적고 확인 명령으로 free -h 와 vmstat 1 을 들었다. +- 실제 확인에서는 호스트와 worker guest 둘에서 `free`와 `vmstat`을 같은 짧은 구간에 읽어 총 swap 사용량과 현재 swap-in/out 활동을 분리했다. +- 「Guest Swap과 Host Swap」에서는 게스트 swap 을 게스트 애플리케이션에서 시작해 게스트 메모리 압박, 게스트 커널, 게스트 swap, /dev/vda, virtio-blk, QEMU 를 거쳐 호스트 스토리지로 내려가는 경로로 그렸다. +- 「Guest Swap과 Host Swap」에서는 호스트 swap 을 게스트 RAM 이 QEMU 의 메모리 backing 을 거쳐 호스트 메모리 압박을 받고 호스트 커널이 호스트 swap 으로 내리는 경로로 그렸다. 같은 절이 두 경로를 같지 않다고 적고, 게스트가 메모리 여유가 있어 보이는데 호스트에서 swap 이나 reclaim 이 심할 수도 있다고 덧붙였다. - 개념 문서는 vmstat 출력에서 어느 열을 swap-in 과 swap-out 으로 읽는지 적지 않았다. -- 호스트에서 free 를 찍은 기록은 §178 과 §197 에 있다. 2026-09-10 에 test-server 에서 free -m 을 head -2 로 잘라 받은 출력이라 Mem 줄까지만 남아 있고 Swap 줄이 없다. +- 호스트에서 free 를 찍은 기록은 「이 부의 출처와 범위」와 「측정 환경」에 있다. 2026-09-10 에 test-server 에서 free -m 을 head -2 로 잘라 받은 출력이라 Mem 줄까지만 남아 있고 Swap 줄이 없다. - 게스트 세 대에서 free 나 vmstat 를 찍은 기록도, 호스트에서 vmstat 를 돌린 기록도 개념 문서에 없다. -- §187 이 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대다. +- 「단계 01 — 게스트 세 대」에 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대다. -## 가정 +## 동시에 관찰한 조건 - 호스트와 게스트 세 대에 동시에 접속해 같은 구간을 관측할 수 있다고 본다. - 관측하는 동안 실험용 부하를 따로 걸지 않고 평상시 상태를 재는 것으로 둔다. 그 상태가 이 호스트의 대표적인 상태인지는 한 번의 관측으로 알 수 없다. - 게스트와 호스트의 시계가 맞아 두 기록을 같은 시간축에 놓을 수 있다고 전제한다. - 게스트 세 대 모두 swap 영역을 갖고 있다고 보고 게스트 쪽을 읽는다. 설정에 swap 이 없으면 게스트 쪽 관측은 그 사실로 끝난다. -## 미지수 +## 사용량과 활동량은 다르다 -- 관측 구간에서 swap-in 과 swap-out 이 실제로 오가는지, 오간다면 게스트 쪽인지 호스트 쪽인지 둘 다인지. -- Swap Used 가 0 이 아니라면 그 값이 과거에 내려간 cold page 때문인지 지금 진행 중인 swap 활동 때문인지. -- §63 이 든 나머지 셋 가운데 reclaim pressure 와 major fault 를 이 환경에서 어떤 값으로 읽는지. 그 둘을 읽는 명령은 개념 문서에 없다. -- 관측을 얼마나 오래 해야 지속 여부를 말할 수 있는지. 개념 문서는 vmstat 1 만 적고 관측 길이를 적지 않았다. -- 호스트에 swap 영역이 설정돼 있는지. §178 과 §197 의 free 출력이 Mem 줄까지만 잘려 있어 Swap 줄을 보지 못했다. +이번 5초 관측 구간의 swap-in/out 여부는 해소됐다. host와 worker 모두 현재 `si/so=0`이었다. 다만 더 긴 기간의 pressure와 reclaim/major-fault/storage-latency 상관관계는 별도 memory-pressure 질문에 남긴다. -## 제약 +## 짧은 관측 구간의 한계 -- 게스트 값으로 호스트 상태를 말하거나 그 반대로 말하지 않는다. §61 이 두 경로를 갈라 놓았다. +- 게스트 값으로 호스트 상태를 말하거나 그 반대로 말하지 않는다. 「Guest Swap과 Host Swap」에서는 두 경로를 갈라 놓았다. 같은 문서의 결론도 게스트 하나의 free -h 만 보고 메모리 상태를 판단하지 않고 Guest, QEMU, Host, NUMA, Storage 로 이어지는 영향을 같은 시간축에서 관측해야 한다고 적었다. -- Swap Used 값 하나를 결론으로 적지 않는다. §63 이 그 판단을 막았다. -- 부하를 걸어 압박을 만드는 일은 이 물음에 들어 있지 않다. 그 실험은 「호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가」가 받는다. - §84 의 권장 실험 순서가 이미 그렇게 갈라 놓았다. 게스트와 호스트 vmstat 동시 관측이 여섯째이고 memory pressure 실험은 열째, swap 과 storage latency 를 견주는 일은 열한째다. 이 물음은 여섯째까지다. +- Swap Used 값 하나를 결론으로 적지 않는다. 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 그 판단을 막았다. +- 이 질문 자체는 평상시 5초 관측의 swap activity 여부를 답한다. 이후 2026-09-21 별도 memory-pressure 실험에서는 host major fault와 swap occupancy가 증가했지만 zswap 때문에 disk swap-out과 guest latency 증가는 함께 나타나지 않았다. 장기적인 swap activity와 더 강한 pressure 조건은 별도 범위로 남긴다. - 게스트는 가상 머신마다 따로 찍는다. 한 대의 값을 다른 한 대에 옮기지 않는다. -## 선택지 +## si/so를 함께 보는 방법 ### 1. 게스트와 호스트에서 같은 구간을 동시에 관측한다 -호스트와 게스트 세 대, 네 곳에서 free -h 를 한 번 찍어 기준을 남기고 vmstat 1 을 같은 시각에 시작해 같은 길이로 돌린다. §61 이 갈라 놓은 두 경로가 같은 시간축의 값으로 남아 한쪽만 움직이는 경우와 둘 다 움직이는 경우를 구분할 수 있다. +호스트와 게스트 세 대, 네 곳에서 free -h 를 한 번 찍어 기준을 남기고 vmstat 1 을 같은 시각에 시작해 같은 길이로 돌린다. 「Guest Swap과 Host Swap」에서는 갈라 놓은 두 경로가 같은 시간축의 값으로 남아 한쪽만 움직이는 경우와 둘 다 움직이는 경우를 구분할 수 있다. 네 곳에 동시에 붙어야 하고 관측 길이를 먼저 정해야 한다. ### 2. 호스트만 먼저 관측한다 -호스트에서 swap 이 전혀 오가지 않으면 §61 의 두 경로 중 호스트 쪽은 지금 문제가 아니라고 그 관측 하나로 정한다. 접속이 한 곳이라 반복해서 찍기 쉽다. +호스트에서 swap 이 전혀 오가지 않으면 「Guest Swap과 Host Swap」의 두 경로 중 호스트 쪽은 지금 문제가 아니라고 그 관측 하나로 정한다. 접속이 한 곳이라 반복해서 찍기 쉽다. 게스트 쪽 swap 은 호스트 값에 드러나지 않는다. 게스트 커널이 /dev/vda 로 내리는 경로라 호스트에서는 스토리지 I/O 로만 보인다. 그래서 게스트를 다시 찍어야 한다. ### 3. Swap Used 값만 세 곳에서 받아 적는다 — 제외 -free -h 한 번씩으로 끝내는 방법이다. §63 이 그 값만으로 판단하지 말라고 적은 것이 이 물음의 출발점이므로 이 방법으로는 닫히지 않는다. +`free -h` 한 번만 보면 총 swap 사용량은 알 수 있지만 현재 swap I/O가 진행 중인지는 알 수 없다. 그래서 이번 재검증도 `vmstat 1 5`의 `si/so`를 함께 봤다. -## 다음 검증 +## 이 답은 2026-09-21의 짧은 관측 구간에만 해당한다 -1. 호스트와 각 게스트에서 free -h 를 한 번씩 찍어 그 시점의 Swap Used 를 기준으로 남긴다. 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대다. -2. 네 곳에서 vmstat 1 을 같은 시각에 시작해 미리 정한 길이만큼 돌리고, 출력에서 swap-in 과 swap-out 으로 읽은 열의 이름을 함께 적는다. -3. 같은 구간에서 §63 이 든 나머지 셋 가운데 읽을 수 있는 것 — reclaim pressure · major fault · storage latency — 을 어떤 명령으로 읽었는지와 함께 남긴다. -4. 네 기록을 같은 시간축에 놓고 어느 쪽에서 무엇이 움직였는지 적는다. - -닫는 조건 : 관측 구간 내내 게스트와 호스트 모두 swap-in 과 swap-out 이 0 이면 지금은 swap 이 오가지 않는다고 적고 닫는다. Swap Used 가 0 이 아니어도 그렇게 적는다. 한쪽에서 swap 이 오가면 §61 의 두 경로 중 어느 쪽인지를 적고, 그 구간의 스토리지 지연과 게스트 지연을 함께 적어 「호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가」로 넘긴다. +답의 범위는 2026-09-21의 짧은 관측 구간이다. 장기적인 memory pressure 여부는 별도 질문에서 더 긴 시계열로 확인한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-virtio-balloon-configured.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-virtio-balloon-configured.md index c636a7a..5f44c0e 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-virtio-balloon-configured.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-virtio-balloon-configured.md @@ -7,9 +7,14 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/63aef96b-03ef-4dbd-9ba6-9e61c6e695e1/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-8 - final/document.md#65-virtio-balloon-구조 @@ -18,67 +23,54 @@ source: # 이 가상 머신들에 virtio-balloon 이 붙어 있는가 -libvirt 설정에서 balloon 장치를 읽은 기록이 아직 없다. 다만 §198 의 virsh dommemstat 실측에서 kc-lab-2 의 현재 할당이 선언한 4096MB 가 아니라 3120MB 로 나왔다. 근거 문서는 그것을 virtio-balloon 이 회수해 간 것으로 보인다고 적었다. 장치가 없거나 게스트 쪽 드라이버가 올라와 있지 않으면 balloon target 을 바꾸는 실험이 성립하지 않으므로, 설정과 게스트 쪽 상태를 읽는 이 확인이 먼저다. +2026-09-21 세 domain XML 모두 ``를 가지고 있고, worker guest 둘에서도 virtio-balloon driver에 `virtio5` 장치가 bind돼 있었다. 따라서 장치 구성 여부는 확인됐다. 다만 현재 `dommemstat actual`은 configured/current memory와 같아서 **장치가 존재한다는 사실만으로 지금 balloon이 메모리를 회수 중이라고 말할 수는 없다.** -## 관계 +## 세 VM의 balloon 장치 상태 -- **virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식** - 드라이버와 장치가 무엇을 주고받는지를 그 개념이 설명한다. 이 물음은 그 구성이 이 호스트에 있는지만 본다. -- **balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가** - 장치가 붙어 있다는 답이 나와야 그 실험이 시작된다. -- **이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가** - 두 물음이 virsh dommemstat 을 같이 읽으므로 한 번 찍어 나눠 쓴다. +- 2026-09-21 재검증에서 `kc-lab-1`, `kc-lab-2`, `kc-lab-edge` XML에 `memballoon model='virtio'`가 있다. worker guest의 `/sys/bus/virtio/drivers/virtio_balloon`에는 `virtio5`가 bind돼 있었다. 같은 시점 `dommemstat actual`은 각각 5120MiB, 4096MiB, 1024MiB로 configured/current 값과 같았다. -## 사실 - -- §64 는 호스트가 QEMU 의 게스트 RAM backing 을 볼 수 있지만 게스트 내부에서 어떤 메모리가 중요한지 완전히 알지 못한다고 적었다. +- 「Ballooning이 필요한 이유」에서는 호스트가 QEMU 의 게스트 RAM backing 을 볼 수 있지만 게스트 내부에서 어떤 메모리가 중요한지 완전히 알지 못한다고 적었다. 게스트는 자기 메모리를 애플리케이션 working set · JVM heap · page cache · free 로 구분해 알고 있다. -- §64 는 그래서 호스트가 무작정 게스트 backing 을 swap-out 하기보다 게스트 커널과 협력해 불필요한 메모리를 돌려받는 편이 유리할 수 있다고 적고, 대표적인 메커니즘으로 virtio-balloon 을 들었다. -- §65 는 그 구조를 게스트 커널 아래 virtio-balloon 드라이버와 virtqueue, VM 경계 건너편의 QEMU virtio-balloon 장치, 그리고 호스트 메모리 관리로 그렸다. -- §65 는 virtio-balloon 이 게스트 RAM 자체를 제공하는 장치가 아니라고 못 박았다. 이미 존재하는 게스트 RAM backing 을 호스트와 게스트가 협력해 회수하고 반환하는 데 쓰는 가상 장치다. -- §83 OQ-8 은 확인 명령으로 virsh dumpxml 을 들고, 게스트에서도 관련 드라이버나 장치 상태를 확인하라고 적었다. -- §83 OQ-8 은 환경에 따라 드라이버 이름과 표시 방식이 달라질 수 있으므로 실제 장비에서 검증하라는 단서를 달았다. - 그래서 개념 문서에는 게스트 쪽에서 무엇을 찾아야 하는지가 이름으로 적혀 있지 않다. -- §83 OQ-2 는 가상 머신 메모리 확인 명령으로 virsh dominfo · virsh dumpxml · virsh dommemstat 셋을 들었다. -- §198 은 VM 에 준 메모리가 상한이지 점유가 아니라고 적으면서 virtio-balloon 이 안 쓰는 만큼 호스트에 돌려준다고 덧붙였다. -- §198 이 virsh dommemstat 으로 k3s 게스트 두 대를 재서 아래 값을 받았다. k3s 만 떠 있고 Keycloak 은 올리기 전 상태다. +- 「Ballooning이 필요한 이유」에서는 그래서 호스트가 무작정 게스트 backing 을 swap-out 하기보다 게스트 커널과 협력해 불필요한 메모리를 돌려받는 편이 유리할 수 있다고 적고, 대표적인 메커니즘으로 virtio-balloon 을 들었다. +- 「virtio-balloon 구조」에서는 그 구조를 게스트 커널 아래 virtio-balloon 드라이버와 virtqueue, VM 경계 건너편의 QEMU virtio-balloon 장치, 그리고 호스트 메모리 관리로 그렸다. +- 「virtio-balloon 구조」에서는 virtio-balloon 이 게스트 RAM 자체를 제공하는 장치가 아니라고 못 박았다. 이미 존재하는 게스트 RAM backing 을 호스트와 게스트가 협력해 회수하고 반환하는 데 쓰는 가상 장치다. +- 2026-09-21에는 세 domain XML에서 ``를 확인하고, worker guest 둘에서 virtio-balloon driver에 `virtio5`가 bind된 것도 확인했다. +- guest에서는 `/sys/bus/virtio/drivers/virtio_balloon` 아래에 실제로 bind된 장치를 확인했다. 이 환경에서는 해당 장치가 `virtio5`로 보였다. +- 같은 재검증에서 `virsh dominfo`, `dumpxml`, `dommemstat`을 함께 읽어 장치 존재와 현재 `actual` 값을 분리해 확인했다. +- 「자원 — 할당과 실사용은 다르다」에서는 VM 에 준 메모리가 상한이지 점유가 아니라고 적으면서 virtio-balloon 이 안 쓰는 만큼 호스트에 돌려준다고 덧붙였다. +- 「자원 — 할당과 실사용은 다르다」에서는 virsh dommemstat 으로 k3s 게스트 두 대를 재서 아래 값을 받았다. k3s 만 떠 있고 Keycloak 은 올리기 전 상태다. kc-lab-1 : 할당 5120MB · 실사용 353MB kc-lab-2 : 할당 3120MB · 실사용 301MB -- kc-lab-2 는 virt-install --memory 4096 으로 만들었는데 현재 할당이 3120MB 로 나왔다. §198 은 그것을 virtio-balloon 이 회수해 간 것으로 보인다고 적고 단정하지 않았다. -- §198 은 dommemstat 의 actual 이 현재 할당이고 선언한 상한은 virsh dominfo 의 Max memory 에 있다고 적으면서, 이 실험대에서 그 두 값을 나란히 찍어 보지 않았다고 미측정으로 남겼다. -- §187 이 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대이고, §198 의 측정에 kc-lab-edge 는 들어 있지 않다. +- 2026-09-10 historical snapshot에서는 `virt-install --memory 4096`으로 만든 `kc-lab-2`의 `dommemstat actual`이 3120MB였다. 당시 문서는 balloon 가능성을 추론했지만 원인을 검증하지 않았다. 2026-09-21 재검증에서는 actual이 4096MiB로 configured/current와 같았다. +- 「자원 — 할당과 실사용은 다르다」에서는 dommemstat 의 actual 이 현재 할당이고 선언한 상한은 virsh dominfo 의 Max memory 에 있다고 적으면서, 이 실험대에서 그 두 값을 나란히 찍어 보지 않았다고 미측정으로 남겼다. +- 「단계 01 — 게스트 세 대」에 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대이고, 「자원 — 할당과 실사용은 다르다」의 측정에 kc-lab-edge 는 들어 있지 않다. - 이 호스트의 가상 머신 설정에서 balloon 관련 요소를 읽은 기록이 개념 문서에 없다. -## 가정 +## 설정과 driver 확인 조건 - 게스트 세 대 모두 libvirt 로 정의되어 있어 virsh dumpxml 로 설정을 통째로 읽을 수 있다고 본다. -- 설정에 balloon 장치가 있으면 게스트 쪽에도 대응하는 드라이버가 보인다고 전제한다. 그 전제가 이 게스트 배포판에서 맞는지는 확인하지 않았다. +- worker guest 둘에서는 설정된 virtio-balloon 장치와 대응하는 driver binding을 실제로 확인했다. - 게스트에 접속해 장치 목록이나 커널 모듈 상태를 읽을 수 있다고 본다. -## 미지수 +## 장치 존재와 inflation은 다르다 -- 각 가상 머신의 libvirt 설정에 balloon 장치가 있는지. -- 있다면 게스트 안에서 그 드라이버가 실제로 올라와 있는지. -- 이 환경에서 그 드라이버나 장치가 어떤 이름으로 보이는지. 개념 문서가 환경마다 다를 수 있다고만 적고 이름을 남기지 않았다. -- 게스트 쪽 상태를 어떤 명령으로 읽는지. 개념 문서가 게스트 확인 명령을 적지 않아 실행하는 쪽이 정한다. -- kc-lab-2 의 현재 할당이 선언값보다 작은 것이 balloon 회수 때문인지 다른 경로로 정해진 값인지. §332 는 virsh setmem 이 현재 할당을 바꾸는 명령이라고 적었다. §187 은 게스트 메모리를 3584MB 에서 5120MB 와 4096MB 로 재배분했다고 적었다. -- kc-lab-edge 의 값. §198 이 그 게스트를 재지 않았다. +balloon device와 guest driver 존재 여부는 해소됐다. 세 VM 모두 virtio-balloon 장치를 갖는다. 과거 `kc-lab-2 actual=3120MB` 관측은 현재 재검증에서는 재현되지 않았고, 현재는 `actual=4096MB`다. 따라서 과거 값을 현재의 지속적인 balloon 회수 상태처럼 일반화하지 않는다. -## 제약 +## 이 확인의 범위 -- 이 물음에서 balloon target 을 움직이지 않는다. 구성 여부를 적는 것이 전부다. -- §198 의 값은 설정 확인을 대신하지 않는다. 근거 문서가 회수해 간 것으로 보인다고 적은 것을 이 물음이 관측으로 올리지 않는다. -- 설정에 장치가 있다는 것만으로 동작한다고 적지 않는다. §83 OQ-8 이 게스트 쪽 상태도 확인하라고 적었다. -- 설정과 드라이버가 둘 다 보여도 호스트가 backing 을 실제로 언제 회수하는지는 이 확인으로 알 수 없다. §67 이 정확한 Host-side release 동작은 QEMU/KVM 버전, backing 종류 및 설정에 따라 달라질 수 있다고 적고 그 동작을 단정하지 않았다. 개념 문서가 단정하지 않은 것을 이 물음이 대신 단정하지 않는다. +- 이 재검증에서는 balloon target을 움직이지 않았다. 확인한 것은 장치와 driver가 실제로 존재한다는 사실까지다. +- 과거 `kc-lab-2 actual=3120MB` 값만으로 balloon이 회수 중이었다고 단정하지 않는다. 2026-09-21에는 같은 VM의 `actual`이 4096MiB로 configured/current와 같았다. +- 장치가 XML에 있다는 사실과 active inflation은 같은 의미가 아니다. 이번에는 guest driver 존재까지 확인했지만 현재 balloon target 변화는 측정하지 않았다. +- 설정과 드라이버가 둘 다 보여도 호스트가 backing 을 실제로 언제 회수하는지는 이 확인으로 알 수 없다. 「Balloon Page 반환의 의미」에서는 정확한 Host-side release 동작은 QEMU/KVM 버전, backing 종류 및 설정에 따라 달라질 수 있다고 적고 그 동작을 단정하지 않았다. 개념 문서가 단정하지 않은 것을 이 물음이 대신 단정하지 않는다. - 게스트 쪽에서 쓴 명령과 그 출력을 그대로 남긴다. 이름이 환경마다 다르므로 다음 사람이 같은 것을 찾으려면 무엇을 봤는지가 필요하다. - 장치가 없는 것으로 나와도 그것을 결함으로 적지 않는다. 이 실험 기반에서 ballooning 을 쓰기로 한 기록이 개념 문서에 없다. - §70 은 virtio-mem 같은 다른 동적 memory 관리 방식도 존재하므로 모든 동적 VM memory 관리를 ballooning 하나로 일반화하면 안 된다고 적었다. 그래서 balloon 장치가 없다는 답은 이 환경에 동적 메모리 관리가 없다는 뜻이 아니라 이 장치가 없다는 뜻까지다. + 「Ballooning과 Memory Hotplug」에서는 virtio-mem 같은 다른 동적 memory 관리 방식도 존재하므로 모든 동적 VM memory 관리를 ballooning 하나로 일반화하면 안 된다고 적었다. 그래서 balloon 장치가 없다는 답은 이 환경에 동적 메모리 관리가 없다는 뜻이 아니라 이 장치가 없다는 뜻까지다. -## 선택지 +## domain XML과 guest 장치를 함께 확인했다 ### 1. 설정과 게스트 상태를 한 번에 확인한다 -가상 머신마다 virsh dumpxml 을 찍어 balloon 관련 요소를 인용하고, 이어서 각 게스트에서 드라이버나 장치 상태를 읽어 실제로 보이는 이름과 함께 적는다. §83 OQ-8 이 요구한 두 확인이 한 번에 끝난다. +실제 재검증에서는 VM별 domain XML의 balloon 요소와 worker guest의 driver 상태를 같은 묶음에 남겼다. 게스트 세 대에 접속해야 하고, 게스트 쪽 확인 명령을 실행하는 쪽이 정해야 한다. @@ -88,11 +80,6 @@ libvirt 설정에서 balloon 장치를 읽은 기록이 아직 없다. 다만 § 장치가 있는 것으로 나오면 게스트 쪽 드라이버가 올라와 있는지를 확인하러 다시 가야 한다. -## 다음 검증 +## 장치는 붙어 있지만 active inflation과는 별개다 -1. 가상 머신마다 virsh dumpxml 을 남기고 balloon 관련 요소를 그대로 인용한다. 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대다. -2. 각 게스트에서 balloon 관련 드라이버나 장치 상태를 확인하고, 실행한 명령과 실제로 보인 이름을 함께 적는다. -3. 같은 실행에서 virsh dommemstat 과 virsh dominfo 을 나란히 찍어 현재 할당과 Max memory 를 함께 남긴다. §198 이 dommemstat 만 찍어 그 둘을 나란히 보지 않았다. -4. 세 게스트의 값을 같은 표에 적는다. 「이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가」가 같은 출력을 읽는다. - -닫는 조건 : 설정과 게스트 쪽 상태가 둘 다 적히면 닫는다. 붙어 있지 않으면 이 환경에서는 ballooning 이 동작하지 않는다고 적고 「balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가」는 열지 않은 채로 둔다. 장치가 없으면 그 실험이 성립하지 않는다. 붙어 있으면 그 물음으로 넘긴다. +장치가 실제로 붙어 있으므로 다음 단계인 balloon target 변화 실험은 별도 질문으로 분리했다. device 존재와 active inflation을 같은 의미로 쓰지 않는다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-configured-vs-current-memory.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-configured-vs-current-memory.md index 37c8467..e7c3ed4 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-configured-vs-current-memory.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-configured-vs-current-memory.md @@ -7,9 +7,14 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/67285d51-7eaf-4540-9577-cfd0b273b40e/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-2 - final/document.md#42-configured-memory와-실제-physical-ram-사용량은-같지-않을-수-있다 @@ -18,22 +23,13 @@ source: # 이 호스트의 가상 머신들은 설정한 메모리와 지금 잡고 있는 메모리가 얼마나 다른가 -호스트 RAM 11,648MiB 와 게스트 배정 합 10,240MB 가 실측으로 나왔고 배정 합이 더 작다. 게스트가 지금 실제로 쓰는 메모리와 호스트에서 resident 한 물리 메모리는 아직 안 쟀다. 이 물음은 그 두 값을 가상 머신마다 적어 설정 값과 얼마나 벌어지는지를 본다. +2026-09-21 configured/current memory와 guest-visible total, QEMU resident memory를 같은 시점에 다시 읽었다. libvirt current 값은 `kc-lab-1=5120MiB`, `kc-lab-2=4096MiB`, edge=`1024MiB`이고 `dommemstat actual`도 같았다. 반면 guest `free -m` total과 host QEMU RSS는 각각 다른 값이었다. -## 관계 +## 설정값과 현재값 비교 -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - 설정한 값과 resident 값이 왜 갈리는지를 그 기록이 주소 변환 경로로 설명한다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - 설정 총량이 호스트 RAM 을 넘는 구성에서 실제 수요가 함께 오를 때 무엇이 이어지는지를 그 기록이 다룬다. -- **QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가** - 같은 실행에서 값을 받는다. 세 값 가운데 호스트 resident 쪽을 프로세스 단위로 재는 물음이 그쪽이다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 여기서 남기는 값이 이후 메모리 실험의 VM 묶음이 되므로 그 기준을 따라 적는다. +- 2026-09-21 재검증에서 configured/current: kc-lab-1 5120MiB, kc-lab-2 4096MiB, edge 1024MiB. worker guest `free -m` total은 약 4929MiB와 3927MiB였다. QEMU RSS는 약 3.73GiB, 2.91GiB, 0.84GiB로 configured memory와 같지 않았다. -## 사실 - -§42 는 가상 머신에 16 GiB 를 설정했다고 해서 모든 일반 구성에서 시작 순간 실제 호스트 RAM 16 GiB 가 반드시 모두 즉시 물리적으로 점유되는 것은 아니라고 적었다. +「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 가상 머신에 16 GiB 를 설정했다고 해서 모든 일반 구성에서 시작 순간 실제 호스트 RAM 16 GiB 가 반드시 모두 즉시 물리적으로 점유되는 것은 아니라고 적었다. 같은 절은 세 값을 나란히 놓고 서로 같지 않을 수 있다고 밝혔다. @@ -41,29 +37,29 @@ Configured Memory Guest 가 현재 실제 사용하는 Memory Host 에서 현재 resident 한 Physical Memory -세 값을 갈라 놓는 요인으로 §42 가 든 것은 호스트의 demand paging, backing 종류, HugeTLB, memory locking, preallocation, overcommit 정책이다. 그래서 가상 머신 RAM 16 GiB 를 호스트 RAM 에서 고정된 연속 16 GiB 로 단순화하면 안 된다고 같은 절이 적었다. +세 값을 갈라 놓는 요인으로 「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서 든 것은 호스트의 demand paging, backing 종류, HugeTLB, memory locking, preallocation, overcommit 정책이다. 그래서 가상 머신 RAM 16 GiB 를 호스트 RAM 에서 고정된 연속 16 GiB 로 단순화하면 안 된다고 같은 절이 적었다. -설정 용량과 현재 실제 working set 또는 resident 메모리가 같지 않을 수 있기 때문에, 게스트에 설정한 메모리 총량이 호스트 물리 RAM 보다 큰 구성도 가능할 수 있다고 §57 이 적었다. 다만 모든 가상 머신의 실제 수요가 동시에 증가하면 문제가 발생한다고 이어 적었다. +설정 용량과 현재 실제 working set 또는 resident 메모리가 같지 않을 수 있기 때문에, 게스트에 설정한 메모리 총량이 호스트 물리 RAM 보다 큰 구성도 가능할 수 있다고 「Memory Overcommit」에서는 적었다. 다만 모든 가상 머신의 실제 수요가 동시에 증가하면 문제가 발생한다고 이어 적었다. -§83 의 OQ-2 는 확인 명령을 호스트 쪽과 게스트 쪽으로 나눠 적었다. 호스트에서는 virsh dominfo 과 virsh dumpxml , virsh dommemstat 을 쓰고, 게스트에서는 free -h 와 cat /proc/meminfo 를 쓴 뒤 호스트의 QEMU 프로세스 상태와 비교한다. +2026-09-21 재검증에서는 호스트에서 `virsh dominfo`·`dommemstat`·domain XML을 읽고, worker guest에서 `free -m`을 같은 시점에 확인한 뒤 QEMU RSS와 비교했다. -이 호스트의 물리 RAM 은 §178 이 실측으로 적었다. 2026-09-10 에 test-server 에서 free -m 으로 받은 출력의 Mem 줄 total 이 11648 이고, free -m 은 MiB 단위라 11,648MiB 다. +이 호스트의 물리 RAM 은 「이 부의 출처와 범위」에서는 실측으로 적었다. 2026-09-10 에 test-server 에서 free -m 으로 받은 출력의 Mem 줄 total 이 11648 이고, free -m 은 MiB 단위라 11,648MiB 다. -게스트 세 대에 배정한 메모리는 §187 이 적었다. +게스트 세 대에 배정한 메모리는 「단계 01 — 게스트 세 대」에서는 적었다. kc-lab-edge : 1024MB kc-lab-1 : 5120MB kc-lab-2 : 4096MB -배정 합은 10,240MB 다. 호스트 RAM 11,648MiB 보다 작아서 배정률은 10240/11648 = 87.9% 이고, 배정하지 않고 남은 것이 1,408MiB 다. 그래서 「Guest configured memory 총량이 Host physical RAM보다 크다」는 §57 의 조건에 이 배치는 해당하지 않는다. +배정 합은 10,240MB 다. 호스트 RAM 11,648MiB 보다 작아서 배정률은 10240/11648 = 87.9% 이고, 배정하지 않고 남은 것이 1,408MiB 다. 그래서 「Guest configured memory 총량이 Host physical RAM보다 크다」는 「Memory Overcommit」의 조건에 이 배치는 해당하지 않는다. -§57 의 32 GiB 와 16 GiB, §42 의 16 GiB 는 설명을 위한 예시라 이 환경의 값이 아니다. +「Memory Overcommit」의 32 GiB 와 16 GiB, 「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」의 16 GiB 는 설명을 위한 예시라 이 환경의 값이 아니다. -§85 가 실험마다 함께 남기라고 적은 VM 조건에 Configured RAM 과 Current RAM 이 들어 있다. 이 물음이 내는 값은 여기서 한 번 쓰고 마는 것이 아니라 뒤따르는 메모리 실험의 조건 칸으로 그대로 들어간다. +Configured RAM과 Current RAM은 이후 memory pressure나 balloon 실험에서도 시작 조건으로 다시 기록한다. 같은 VM이라도 workload와 balloon 상태가 달라지면 guest-visible memory와 QEMU RSS가 달라질 수 있기 때문이다. -## 가정 +## 세 메모리 값의 의미 -가상 머신들이 libvirt 로 관리되고 있어 virsh 로 값을 읽을 수 있다고 전제한다. §83 이 든 명령이 전부 virsh 인데 이 호스트에서 그 명령을 돌린 기록은 없다. +세 VM은 libvirt로 관리되고 있고 2026-09-21 재검증에서 `virsh` 명령으로 configured/current memory를 직접 읽었다. 측정하는 동안 각 가상 머신이 실행 중이라고 전제한다. 꺼져 있으면 현재 메모리와 게스트 사용량이 나오지 않고 설정 값만 읽힌다. @@ -71,27 +67,23 @@ kc-lab-2 : 4096MB 이 호스트에 있는 가상 머신 전부를 셀 수 있다고 전제한다. 몇 대가 실행 중인지도 개념 문서에 없다. -## 미지수 +## 실사용과 할당은 다르다 -지금 각 게스트가 실제로 쓰고 있는 메모리는 얼마인가. +현재 시점의 configured/current, guest-visible total, QEMU resident 값은 확인됐다. exact 사용량과 RSS는 workload에 따라 변하므로 2026-09-21 관측값으로만 기록하고 고정값으로 일반화하지 않는다. -호스트에서 그 가상 머신 몫으로 resident 한 메모리는 얼마인가. +## 시점값을 읽는 범위 -그 두 값이 배정한 값과 얼마나 벌어져 있는가. +게스트 `free -m`과 QEMU RSS도 2026-09-21에 함께 읽었다. 따라서 configured/current memory, guest-visible total, host resident memory가 서로 같지 않다는 점은 이 호스트에서도 직접 확인됐다. -## 제약 - -게스트 사용량과 호스트 resident 는 이 호스트에서 잰 값이 없다. §42 와 §57 이 든 숫자는 개념을 보이려고 든 예시이므로 이 환경의 값으로 옮겨 쓰지 않는다. - -§84 의 권장 실험 순서는 가상 머신 설정 값 확인과 게스트 free/meminfo 확인을 둘째와 셋째로 나눠 적었다. 여기서는 그 둘을 한 물음으로 묶는다. 이 물음이 답할 것이 세 값의 차이라서 호스트 쪽과 게스트 쪽을 다른 시각에 찍으면 그 차이가 어느 시점의 것인지 말할 수 없다. +세 값은 가능한 한 같은 시점에 읽는다. guest-visible memory와 QEMU RSS는 workload에 따라 움직이므로 서로 다른 시점의 값을 비교하면 차이의 원인을 해석하기 어렵다. 세 값을 서로 다른 시각에 찍으면 비교가 성립하지 않는다. 게스트 사용량은 워크로드가 달라지면 같이 움직인다. -이 물음은 설정한 값과 실제 사용량의 차이를 적는 데까지다. 그 차이가 있을 때 무엇이 일어나는지는 swap 과 호스트 메모리 압박을 다루는 물음들이 받는다. +이 질문에서 확인한 것은 configured/current와 실제 점유가 다르다는 사실까지다. 메모리 압박이 생겼을 때 reclaim·swap·guest latency가 어떻게 변하는지는 별도 pressure 실험에서 본다. QEMU 프로세스 쪽 값은 여기서 닫지 않는다. virsh 가 보고하는 값과 프로세스가 실제로 잡고 있는 크기는 다른 관측이고, 그것은 「QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가」가 받는다. -## 선택지 +## 설정값과 live 값, guest-visible memory를 나란히 봤다 ### 1. 실행 중인 가상 머신 전부를 한 번에 찍는다 @@ -103,7 +95,7 @@ virsh list 로 실행 중인 가상 머신을 세고, 가상 머신마다 호스 한 대에서 다섯 명령을 돌려 세 값을 어디서 읽는지 확정한 다음 나머지에 같은 순서를 적용한다. 값을 잘못 읽어 표를 다시 만드는 일을 줄인다. -두 번 붙어야 하고, 첫 실행과 두 번째 실행 사이에 게스트 사용량이 달라진다. 이 물음에 남은 것이 사용량과 resident 두 값뿐이라 그 차이가 답에 그대로 들어간다. +VM 하나로 표 모양을 먼저 정하는 방법은 가능하지만, VM별 값은 같은 시점에 모아 두는 편이 비교하기 쉽다. ### 3. QEMU 프로세스 값까지 이번에 함께 읽는다 — 제외 @@ -111,12 +103,6 @@ virsh list 로 실행 중인 가상 머신을 세고, 가상 머신마다 호스 QEMU 쪽은 별도의 물음이 이미 받고 있고 그쪽은 anonymous 인지 huge page 인지까지 보기 때문에, 여기서 함께 읽으면 어느 물음의 기준으로 닫혔는지가 남지 않는다. 두 물음의 실행 시각을 맞추고 싶으면 같은 접속에서 순서대로 돌리고 각각의 기록에 남긴다. -## 다음 검증 +## 메모리를 바꾸면 설정값·현재값·guest 값을 다시 비교한다 -1. virsh list 로 실행 중인 가상 머신 이름을 적는다. -2. 가상 머신마다 호스트에서 virsh dominfo 으로 configured/current memory 를, virsh dumpxml 으로 memory backing 설정을, virsh dommemstat 으로 balloon 계열 값을 남긴다 (§83 OQ-2). -3. 같은 시각에 각 게스트에서 free -h 와 cat /proc/meminfo 를 찍는다. -4. 호스트의 free -h 도 같은 시각에 남겨 그 시점의 여유를 적는다. -5. 남기는 조건은 메모리 실험 조건 기준을 따른다. QEMU 프로세스의 resident 값은 QEMU 쪽 물음이 받는다. - -닫는 조건 : 설정 값 · 게스트 사용량 · 호스트 resident 세 값을 가상 머신마다 한 표로 적으면 닫는다. 설정 총량이 호스트 RAM 을 넘는지는 §178 과 §187 이 이미 답했고 넘지 않아서 §57 의 시나리오는 이 환경에 적용되지 않는다. 호스트 메모리가 압박을 받을 때 무엇이 일어나는지는 swap 을 묻는 물음과 호스트 메모리 압박을 묻는 물음이 받는다. +이후 memory pressure나 balloon target을 바꾸는 실험에서는 같은 세 값을 다시 재어 전후 차이로 기록한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-ram-backed-by-hugetlb.md b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-ram-backed-by-hugetlb.md index aa34a2e..65d5f4e 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-ram-backed-by-hugetlb.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/question/question-vm-ram-backed-by-hugetlb.md @@ -7,9 +7,12 @@ topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/f460e9a2-35ef-46ff-81cf-b36627a1b231/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-5 - final/document.md#55-hugetlb @@ -18,61 +21,48 @@ source: # 가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가 -HugeTLB 는 관리자가 미리 잡아 둔 Huge Page pool 을 가상 머신이나 애플리케이션이 명시적으로 지정해 쓰는 방식이다. 이 호스트의 게스트 세 대가 그 방식으로 RAM 을 받고 있는지는 아직 읽지 않았다. §83 OQ-5 가 libvirt 설정을 읽은 뒤 호스트 /proc/meminfo, QEMU smaps 계열과 교차 검증하라고 적어서 설정 한 곳만 봐서는 끝나지 않는다. +2026-09-21 현재 세 VM은 **명시적 HugeTLB backing을 사용하지 않는다.** domain XML에 `memoryBacking/hugepages`가 없고 host는 `HugePages_Total=0`, `Hugetlb=0 kB`다. QEMU `smaps_rollup`의 큰 `AnonHugePages` 값은 THP이며 HugeTLB pool 사용의 증거가 아니다. -## 관계 +## 현재 HugeTLB backing 상태 -- **Huge Page 를 VM 에서 볼 때 갈라지는 세 자리** - §52 가 나눈 세 단계 가운데 호스트 backing 쪽만 이 물음이 확정한다. -- **이 호스트의 THP 정책과 huge page 상태는 무엇인가** - HugePages_Total 과 HugePages_Free 를 그쪽이 읽는다. 그 값이 이 물음의 교차 검증 재료가 된다. -- **QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가** - 두 물음이 같은 smaps_rollup 출력을 읽으므로 한 번 찍어 나눠 쓴다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - memory backing 설정이 그 기준의 VM 조건 목록에 들어 있다. +- 2026-09-21 재검증에서 세 domain XML에서 `memoryBacking/hugepages`가 없었다. Host `/proc/meminfo`는 `HugePages_Total=0`, `HugePages_Free=0`, `Hugetlb=0 kB`였고 QEMU process에는 `AnonHugePages`가 크게 잡혀 있었다. 이는 THP와 HugeTLB를 구분해야 한다는 실제 사례다. -## 사실 - -- §55 는 HugeTLB 를 명시적인 Huge Page pool 을 쓸 수 있는 Linux 메커니즘으로 적었다. +- 「HugeTLB」에서는 HugeTLB 를 명시적인 Huge Page pool 을 쓸 수 있는 Linux 메커니즘으로 적었다. THP 는 애플리케이션이 일반 메모리 할당을 하면 커널이 알아서 Huge Page 를 활용하는 경로이고, HugeTLB 는 관리자가 풀을 준비한 뒤 애플리케이션이나 가상 머신이 명시적으로 쓰는 경로다. -- §55 는 물리 RAM 안에 일반 메모리 영역과 2 MiB 단위 HugeTLB Pool 이 나뉘어 있는 그림으로 그 풀을 그렸다. -- §55 는 사전 확보로 예측 가능성을 높일 수 있지만 일반 메모리 할당의 유연성이 감소하는 trade-off 가 있다고 밝혔다. -- §52 는 가상 머신에 translation 단계가 둘이라 "Huge Page 를 사용한다"는 말만으로는 부족하다고 적고 셋을 구분하라고 했다. +- 「HugeTLB」에서는 물리 RAM 안에 일반 메모리 영역과 2 MiB 단위 HugeTLB Pool 이 나뉘어 있는 그림으로 그 풀을 그렸다. +- 「HugeTLB」에서는 사전 확보로 예측 가능성을 높일 수 있지만 일반 메모리 할당의 유연성이 감소하는 trade-off 가 있다고 밝혔다. +- 「VM에서 Huge Page를 볼 때 주의할 점」에서는 가상 머신에 translation 단계가 둘이라 "Huge Page 를 사용한다"는 말만으로는 부족하다고 적고 셋을 구분하라고 했다. 게스트 page-table 단계에서 큰 페이지를 쓰는가 호스트 backing 이 Huge Page 인가 EPT mapping 에서 큰 mapping 을 활용하는가 -- §52 는 게스트와 호스트의 page-size 선택을 하나의 동일한 설정으로 취급하면 안 된다고 못 박았다. -- §83 OQ-5 는 확인 명령으로 virsh dumpxml 을 들고, libvirt memory backing 관련 설정을 확인한 뒤 호스트 /proc/meminfo, QEMU smaps 계열과 교차 검증하라고 적었다. -- §83 OQ-3 이 QEMU 프로세스 쪽 명령으로 cat /proc//smaps_rollup 을 들었다. - smaps 계열에서 huge page 사용량을 어느 항목 이름으로 읽는지는 개념 문서가 적지 않았다. -- 세 자료 가운데 호스트 쪽은 항목 이름이 적혀 있다. §56 은 호스트 확인 명령을 적으면서 AnonHugePages 와 HugePages_Total 이 같은 의미가 아니라고 못 박았다. §83 OQ-4 도 THP policy · AnonHugePages · HugePages_Total · HugePages_Free · Hugepagesize 를 확인 항목으로 들었다. 이름이 없는 것은 QEMU smaps 쪽 하나다. -- §187 이 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대이고 배정한 메모리는 차례로 1024MB · 5120MB · 4096MB 다. -- §197 이 이 실험대의 libvirt 12.7.0 과 QEMU 11.1.1, 커널 7.2.2-arch1-1 을 적었다. -- 이 호스트의 libvirt 설정을 읽은 기록이 개념 문서에 없다. 호스트 /proc/meminfo 의 huge page 값을 찍은 기록도 없다. huge page 와 THP, HugeTLB 는 SSOT 제2부에서만 서술되고, 실험대를 세우고 값을 잰 제5~9부에는 그 이름이 한 번도 나오지 않는다. 그래서 이 물음이 다시 읽을 기존 출력이 없고 세 자료를 새로 찍어야 한다. +- 「VM에서 Huge Page를 볼 때 주의할 점」에서는 게스트와 호스트의 page-size 선택을 하나의 동일한 설정으로 취급하면 안 된다고 못 박았다. +- 2026-09-21 재검증에서는 세 domain XML과 호스트 `/proc/meminfo`, QEMU `smaps_rollup`을 함께 확인했다. +- QEMU 쪽에서는 `smaps_rollup`의 `AnonHugePages`를 확인했고, 호스트 HugeTLB pool 값과 분리해 해석했다. +- `AnonHugePages`와 `HugePages_Total`은 같은 값이 아니다. 현재 호스트는 `AnonHugePages`가 크지만 `HugePages_Total=0`, `Hugetlb=0 kB`라 THP는 사용 중이어도 명시적 HugeTLB pool은 없다. +- 「단계 01 — 게스트 세 대」에 적은 게스트는 kc-lab-edge · kc-lab-1 · kc-lab-2 세 대이고 배정한 메모리는 차례로 1024MB · 5120MB · 4096MB 다. +- 「측정 환경」에서는 이 실험대의 libvirt 12.7.0 과 QEMU 11.1.1, 커널 7.2.2-arch1-1 을 적었다. +- 2026-09-21 raw evidence에는 세 VM의 domain XML 일부와 호스트 huge page 상태, QEMU `smaps_rollup`이 함께 남아 있다. -## 가정 +## 판정 조건 - 게스트 세 대 모두 libvirt 로 정의되어 있어 virsh dumpxml 로 설정을 통째로 읽을 수 있다고 본다. -- 설정에 memory backing 관련 요소가 없으면 명시적 HugeTLB backing 을 쓰지 않는 것으로 읽는다. 그 해석이 §197 이 적은 libvirt 12.7.0 에서 맞는지는 확인하지 않았다. +- domain XML의 `memoryBacking/hugepages` 유무만 단독으로 보지 않고 host `HugePages_Total`·`Hugetlb`와 QEMU `smaps_rollup`을 함께 대조한다. 2026-09-21에는 세 VM 모두 해당 XML 요소가 없고 host HugeTLB pool도 0이어서 explicit HugeTLB backing이 아니라는 결론과 서로 맞았다. - 세 자료를 같은 시각에 찍으면 같은 순간의 상태를 가리킨다고 전제한다. - QEMU 프로세스 번호를 가상 머신마다 가려낼 수 있다고 본다. -## 미지수 +## THP와 HugeTLB는 다르다 -- 각 가상 머신의 libvirt 설정에 memory backing 항목이 있는지, 있다면 HugeTLB 를 가리키는지. -- 있다면 그 요구량이 호스트 HugePages_Total 및 HugePages_Free 와 맞물리는지. -- QEMU smaps 계열에서 huge page 사용량을 어느 항목으로 읽는지. 개념 문서가 항목 이름을 적지 않아 실행하는 쪽이 정한다. -- 설정과 호스트 값이 어긋나는 상태가 이 호스트에 실제로 있는지. +명시적 HugeTLB backing 여부는 해소됐다. 현재 세 VM은 HugeTLB pool을 사용하지 않는다. QEMU의 `AnonHugePages`는 THP 관측으로 분리한다. -## 제약 +## 명시적 backing만 답한다 -- 게스트 안에서 본 huge page 상태를 호스트 backing 의 증거로 쓰지 않는다. §52 가 두 단계를 구분하라고 적었다. -- 세 자료 중 하나만으로 결론을 적지 않는다. OQ-5 가 교차 검증을 지시했다. +- 게스트 안에서 본 huge page 상태를 호스트 backing 의 증거로 쓰지 않는다. 「VM에서 Huge Page를 볼 때 주의할 점」에서는 두 단계를 구분하라고 적었다. +- 세 자료 중 하나만으로 결론을 적지 않는다. 5번째 확인 항목이 교차 검증을 지시했다. - 이 물음에서 풀을 새로 잡거나 backing 설정을 바꾸지 않는다. 현재 상태를 확정하는 것이 전부다. -- §84 의 권장 실험 순서는 THP/HugeTLB 상태 확인을 다섯째 한 단계로 묶었지만 §83 은 호스트 정책을 OQ-4 로, 가상 머신 backing 을 OQ-5 로 갈라 물었다. 앞의 것은 호스트 하나에 대해 한 번 읽는 값이고 뒤의 것은 가상 머신마다 갈릴 수 있는 설정이다. 이 물음이 받는 것은 뒤쪽이고, 앞쪽 값은 「이 호스트의 THP 정책과 huge page 상태는 무엇인가」가 읽어 여기에 교차 검증 재료로 들어온다. +- 호스트 THP/HugeTLB 상태와 VM별 memory backing은 범위가 다르므로 따로 기록한다. 이번 재검증에서는 두 값을 같은 시점에 확인해 서로 모순이 없는지 대조했다. - 개념 문서가 smaps 항목 이름을 적지 않았으므로 실행한 명령과 출력을 그대로 남겨야 다음 사람이 같은 값을 다시 읽는다. -## 선택지 +## domain XML과 host HugeTLB pool을 따로 확인했다 ### 1. libvirt 설정부터 읽고 backing 항목이 없으면 거기서 끝낸다 @@ -82,7 +72,7 @@ HugeTLB 는 관리자가 미리 잡아 둔 Huge Page pool 을 가상 머신이 ### 2. 세 자료를 한 번에 찍어 나란히 놓는다 -설정과 호스트 /proc/meminfo, QEMU smaps_rollup 을 같은 시각에 받아 나란히 둔다. OQ-5 가 요구한 교차 검증이 한 번의 실행으로 끝나고, 설정과 실제 값이 어긋나는 경우에도 그 어긋남이 같은 시각의 자료로 남는다. +설정과 호스트 /proc/meminfo, QEMU smaps_rollup 을 같은 시각에 받아 나란히 둔다. 5번째 확인 항목이 요구한 교차 검증이 한 번의 실행으로 끝나고, 설정과 실제 값이 어긋나는 경우에도 그 어긋남이 같은 시각의 자료로 남는다. QEMU 프로세스 번호를 먼저 가려내야 하고, 게스트 세 대가 같은 시각에 켜져 있어야 한다. @@ -90,11 +80,6 @@ QEMU 프로세스 번호를 먼저 가려내야 하고, 게스트 세 대가 같 풀이 잡혀 있지 않으면 어떤 가상 머신도 HugeTLB 로 backing 될 수 없으니 그 값 하나로 끝내자는 방법이다. 0 이 아닌 경우에는 그 풀을 쓰는 것이 이 가상 머신들인지 다른 프로세스인지 가리지 못한다. 그 구분이 이 물음이 답해야 하는 내용이다. -## 다음 검증 +## explicit hugepage backing을 넣었을 때만 다시 확인한다 -1. 가상 머신마다 virsh dumpxml 을 남기고 memory backing 관련 요소를 그대로 인용한다. -2. 같은 시각에 호스트에서 grep -i huge /proc/meminfo 를 찍는다. -3. 같은 시각에 각 QEMU 프로세스에 대해 cat /proc//smaps_rollup 을 찍고, huge page 로 읽은 항목의 이름을 함께 적는다. -4. 세 출력을 나란히 놓고 서로 맞는지, 어긋나면 어느 값이 어떻게 다른지 적는다. - -닫는 조건 : 세 자료가 서로 맞으면 이 환경이 어느 쪽으로 backing 되어 있는지를 확정하고 닫는다. 설정에 backing 이 없고 HugePages_Total 도 0 이면 이 가상 머신들은 명시적 HugeTLB backing 을 쓰지 않는다고 적고 닫는다. 그 경우 남는 것은 §54 가 적은 THP 쪽 특성이고, 정책 값은 「이 호스트의 THP 정책과 huge page 상태는 무엇인가」가 읽는다. 설정과 호스트 값이 어긋나면 그 어긋남이 Case 가 된다. +VM에 explicit hugepage backing을 추가하거나 host HugeTLB pool을 구성한 경우에만 다시 확인한다. diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-memory-symptom-needs-layer-separation.md b/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-memory-symptom-needs-layer-separation.md index 789b348..b5386e6 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-memory-symptom-needs-layer-separation.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-memory-symptom-needs-layer-separation.md @@ -20,40 +20,23 @@ source: # 메모리 증상 하나로 계층을 단정하지 않는다 -메모리 지연이나 OOM 이 보이면 「메모리 부족」으로 닫지 말고 §86 의 다섯 갈래로 먼저 가른다. Guest Virtual Memory · Virtualization Translation · Host Memory · Dynamic Memory · NUMA 다섯이다. §63 · §78 · §88 이 따로 요구한 판독도 이 한 절차로 묶었다. +메모리 지연이나 OOM 이 보이면 「메모리 부족」으로 닫지 말고 「문제를 진단할 때의 분류」의 다섯 갈래로 먼저 가른다. Guest Virtual Memory · Virtualization Translation · Host Memory · Dynamic Memory · NUMA 다섯이다. 「Swap Used만 보고 장애를 판단하면 안 된다」· 「NUMA는 실제 장비 topology부터 확인한다」· 「결론」에서는 따로 요구한 판독도 이 한 절차로 묶었다. -## 관계 +## 메모리 증상 하나로 결론내리면 안 되는 이유 -- **VM 에서 page fault 는 세 계층에서 따로 일어난다** - Guest Virtual Memory 갈래와 Virtualization Translation 갈래, Host Memory 갈래가 각각 어떤 fault 로 보이는지를 그 기록이 푼다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - Host Memory 갈래로 좁힌 뒤에 무엇이 이어지는지를 그 기록이 설명한다. -- **virtio-balloon 이 Guest 메모리를 회수하고 돌려주는 방식** - Dynamic Memory 갈래에서 볼 balloon target 과 Guest pressure 가 그 기록에서 나온다. -- **NUMA 에서는 vCPU 배치와 메모리 배치를 함께 본다** - NUMA 갈래로 좁혔을 때 vCPU placement 와 memory placement 를 왜 따로 읽으면 안 되는지를 그 기록이 설명한다. -- **메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다** - 이 기준은 갈래를 좁히는 데까지만 쓰이고, 원인을 확정하는 측정은 그 기준이 요구한 조건과 함께 남긴다. -- **지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가** - 2 번 규칙과 3 번 규칙이 요구한 관측을 이 호스트에서 실제로 수행하는 물음이다. -- **게스트 page fault 증가는 workload 변화를 따라가는가** - Guest Virtual Memory 갈래로 좁힌 증상을 워크로드와 견주는 물음이다. - -## 목적 - -이 기준은 증상 하나를 원인으로 바로 옮기는 판독을 막는다. §86 이 든 예가 메모리 지연과 OOM(Out Of Memory, 커널이 필요한 메모리를 확보하지 못해 프로세스를 종료할 수 있는 상태)인데, 둘 다 다섯 계층 어디서든 나올 수 있다. +이 기준은 증상 하나를 원인으로 바로 옮기는 판독을 막는다. 「문제를 진단할 때의 분류」에서는 든 예가 메모리 지연과 OOM(Out Of Memory, 커널이 필요한 메모리를 확보하지 못해 프로세스를 종료할 수 있는 상태)인데, 둘 다 다섯 계층 어디서든 나올 수 있다. 다섯 갈래를 개념 한 편 안에 넣지 않고 따로 세운 것은 갈래마다 받는 개념이 다르기 때문이다. 어느 한 개념 안에 두면 그 글이 나머지 넷을 가리키지 못한다. -§63 과 §78, §88 을 따로 기준으로 세우지 않은 것은 보는 대상만 다를 뿐 §86 과 같은 말을 하기 때문이다. 규칙이 세 벌이면 판독하는 사람이 어느 것을 따르는지가 갈린다. Swap Used 값 하나로 판단하지 않는 것(§63), 토폴로지를 재기 전에 NUMA 최적화를 정하지 않는 것(§78), 게스트 하나의 free -h 로 닫지 않는 것(§88)은 각각 2 번과 5 번, 6 번 규칙이다. +「Swap Used만 보고 장애를 판단하면 안 된다」와 「NUMA는 실제 장비 topology부터 확인한다」, 「결론」 부분을 따로 기준으로 세우지 않은 것은 보는 대상만 다를 뿐 「문제를 진단할 때의 분류」와 같은 말을 하기 때문이다. 규칙이 세 벌이면 판독하는 사람이 어느 것을 따르는지가 갈린다. Swap Used 값 하나로 판단하지 않는 것(「Swap Used만 보고 장애를 판단하면 안 된다」), 토폴로지를 재기 전에 NUMA 최적화를 정하지 않는 것(「NUMA는 실제 장비 topology부터 확인한다」), 게스트 하나의 free -h 로 닫지 않는 것(「결론」)은 각각 2 번과 5 번, 6 번 규칙이다. -좁히는 것과 확정하는 것을 갈라 둔 이유도 여기 있다. 이 기준은 어느 갈래인지까지만 좁히고, 원인 확정은 §85 의 조건을 함께 남긴 측정이 한다. +좁히는 것과 확정하는 것을 갈라 둔 이유도 여기 있다. 이 기준은 어느 갈래인지까지만 좁히고, 원인 확정은 「실험 시 반드시 같이 기록할 것」의 조건을 함께 남긴 측정이 한다. -## 규칙 +## Guest · Host · cgroup을 나눠 본다 ### 1. 증상을 다섯 갈래로 먼저 가른다 -§86 의 분류는 메모리 지연이나 OOM 을 다섯으로 나누고, 갈래마다 볼 것을 함께 적었다. +「문제를 진단할 때의 분류」의 분류는 메모리 지연이나 OOM 을 다섯으로 나누고, 갈래마다 볼 것을 함께 적었다. Guest Virtual Memory : Page Fault · Guest reclaim · Guest swap · Guest OOM Virtualization Translation : EPT-related event · TLB pressure · Huge-page/mapping 특성 @@ -65,7 +48,7 @@ NUMA : vCPU placement · memory placement · remote access ### 2. Swap Used 값 하나로 메모리 압박을 단정하지 않는다 -§63 은 Swap Used = 2 GiB 라는 값만으로 지금 메모리 압박이 심하다고 단정할 수 없다고 적었다. 과거에 swap-out 된 cold page 가 남아 있을 수도 있기 때문이다. +「Swap Used만 보고 장애를 판단하면 안 된다」에서는 Swap Used = 2 GiB 라는 값만으로 지금 메모리 압박이 심하다고 단정할 수 없다고 적었다. 과거에 swap-out 된 cold page 가 남아 있을 수도 있기 때문이다. 같은 절이 대신 물으라고 한 것은 넷이다. @@ -74,49 +57,49 @@ reclaim pressure 가 증가하는가? major fault 가 증가하는가? storage latency 가 같이 증가하는가? -이 넷은 게스트와 호스트를 동시에 확인해야 한다고 §63 이 못박았고, 확인 명령으로 free -h 와 vmstat 1 을 들었다. +이 넷은 게스트와 호스트를 동시에 확인해야 한다고 「Swap Used만 보고 장애를 판단하면 안 된다」에서는 못박았고, 확인 명령으로 free -h 와 vmstat 1 을 들었다. ### 3. 게스트 스왑과 호스트 스왑을 한 값으로 세지 않는다 -§61 은 두 스왑이 서로 다른 경로라고 적었다. 게스트 스왑은 게스트 메모리 압박에서 시작해 게스트 커널과 게스트 스왑을 지나 /dev/vda 로 내려가고, virtio-blk 와 QEMU 를 거쳐 호스트 스토리지에 닿는다. 호스트 스왑은 게스트 RAM 의 QEMU memory backing 이 호스트 메모리 압박을 만나 호스트 커널의 스왑으로 내려가는 경로다. +「Guest Swap과 Host Swap」에서는 두 스왑이 서로 다른 경로라고 적었다. 게스트 스왑은 게스트 메모리 압박에서 시작해 게스트 커널과 게스트 스왑을 지나 /dev/vda 로 내려가고, virtio-blk 와 QEMU 를 거쳐 호스트 스토리지에 닿는다. 호스트 스왑은 게스트 RAM 의 QEMU memory backing 이 호스트 메모리 압박을 만나 호스트 커널의 스왑으로 내려가는 경로다. 경로가 이렇게 갈리다 보니, 게스트는 메모리에 여유가 있어 보이는데 호스트에서는 스왑과 reclaim 이 심할 수도 있다. ### 4. OOM 은 발생 계층을 확인한 뒤에 부른다 -§72 는 게스트 OOM 과 호스트 OOM 을 갈랐다. 게스트 RAM 이 모자라서 게스트 커널이 프로세스를 죽이면 Keycloak 프로세스 종료 같은 결과가 된다. 호스트 물리 RAM 이 모자라서 호스트 커널이 QEMU 를 victim 으로 고르면 그 VM 전체가 중단될 수 있다. +「Guest OOM과 Host OOM」에서는 게스트 OOM 과 호스트 OOM 을 갈랐다. 게스트 RAM 이 모자라서 게스트 커널이 프로세스를 죽이면 Keycloak 프로세스 종료 같은 결과가 된다. 호스트 물리 RAM 이 모자라서 호스트 커널이 QEMU 를 victim 으로 고르면 그 VM 전체가 중단될 수 있다. cgroup memory limit 이 걸린 환경은 예외로 둔다. 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다고 같은 절이 적었다. ### 5. NUMA 갈래는 토폴로지를 잰 뒤에 순위를 매긴다 -§78 은 호스트가 NUMA node 한 개면 cross-node remote-memory 문제가 주요 이슈가 아닐 수 있어서, 실제 환경에서는 먼저 토폴로지를 재고 NUMA 최적화가 필요한지 판단하라고 했다. +「NUMA는 실제 장비 topology부터 확인한다」에서는 호스트가 NUMA node 한 개면 cross-node remote-memory 문제가 주요 이슈가 아닐 수 있어서, 실제 환경에서는 먼저 토폴로지를 재고 NUMA 최적화가 필요한지 판단하라고 했다. 확인 명령으로는 lscpu 와 numactl --hardware 를 들었다. QEMU 프로세스별 메모리 분포는 numastat -p , vCPU 배치는 virsh vcpupin 과 virsh vcpuinfo 을 들었다. ### 6. 게스트 하나의 free -h 로 닫지 않는다 -§88 은 실제 테스트 서버에서 게스트 하나의 free -h 만 보고 메모리 상태를 판단하지 않는다고 적었다. Guest → QEMU → Host → NUMA → Storage 영향을 같은 시간축에서 관측해야 한다고 했다. +「결론」에서는 실제 테스트 서버에서 게스트 하나의 free -h 만 보고 메모리 상태를 판단하지 않는다고 적었다. Guest → QEMU → Host → NUMA → Storage 영향을 같은 시간축에서 관측해야 한다고 했다. -이 실험대에는 아직 그 시간축의 한쪽만 있다. Prometheus 가 긁는 node-exporter 는 게스트 안에서 돌아 게스트 커널이 내놓는 값을 읽고, 호스트 쪽 지표는 긁지 않는다(§192 · §193). 거기서 나오는 메모리와 스왑 값은 전부 게스트가 본 것이라, 여기서 이 규칙을 지키려면 호스트에서 재는 값을 따로 들고 와야 한다. +Prometheus가 긁는 node-exporter는 게스트 안에서 돌아 게스트 커널이 내놓는 값을 읽고, 물리 host의 메모리 지표까지 자동으로 수집하지는 않는다(「단계 06 — Prometheus 와 Grafana」· 「이 구축이 제1~4부의 어느 구조에 닿나」). 그래서 host 계층은 별도로 측정해야 한다. 2026-09-21 memory pressure 실험에서는 host `vmstat`·fault·`iostat`와 guest OIDC latency를 같은 실행에 묶어 이 시간축을 실제로 만들었다. -## 적용 조건 +## 이 구분이 필요한 증상 메모리 증상을 원인으로 옮기려는 판독 전부에 걸린다. 지연 증가, 스왑 관측, OOM, fault 증가가 여기 들어간다. 가르는 축은 다섯이고, 갈래마다 무엇을 볼지는 1 번 규칙에 적혀 있다. -## 예외 +## 한 층의 값만으로 충분하지 않은 경우 -cgroup memory limit 이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 경계에서 OOM 이 나기 때문에, Host Memory 갈래를 곧바로 지우면 안 된다(§72). +cgroup memory limit 이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 경계에서 OOM 이 나기 때문에, Host Memory 갈래를 곧바로 지우면 안 된다(「Guest OOM과 Host OOM」). -이 실험대의 Keycloak 은 K3s 파드로 돈다. 파드가 죽었을 때 describe 의 Exit Code 가 137 이면 OOM 이나 강제 종료이고 그때 보는 것은 파드의 메모리 한도라고 §191 이 적었는데, 그 한도가 얼마로 걸려 있는지는 매니페스트가 source/ 에 없어 대조할 방법이 지금은 없다(§194). +이 실험대의 Keycloak은 K3s 파드로 돈다. 파드가 종료됐을 때 `kubectl describe`의 Exit Code가 137이면 OOM 또는 강제 종료 가능성을 먼저 확인하고, 그때는 파드의 memory limit도 함께 본다. 다만 현재 저장소에는 해당 매니페스트 원본이 없어 실제 limit 값을 문서와 대조할 수 없다. -NUMA node 가 하나인 호스트에서는 NUMA 갈래의 우선순위를 낮춰도 된다고 §78 이 적었다. 그것도 토폴로지를 잰 뒤의 이야기다. +NUMA node 가 하나인 호스트에서는 NUMA 갈래의 우선순위를 낮춰도 된다고 「NUMA는 실제 장비 topology부터 확인한다」에서는 적었다. 그것도 토폴로지를 잰 뒤의 이야기다. -이 기준은 갈래를 좁힐 뿐 원인을 확정하지 않는다. 확정은 §85 의 조건을 남긴 측정이 한다. +이 기준은 갈래를 좁힐 뿐 원인을 확정하지 않는다. 확정은 「실험 시 반드시 같이 기록할 것」의 조건을 남긴 측정이 한다. -## 예시 +## 증상별로 처음 볼 지표 - 게스트에서 Swap Used 만 보고 「메모리 부족」으로 닫은 판독 : swap-in/out 이 지속되는지를 재지 않았다 - 게스트 free -h 에 여유가 보여 호스트를 보지 않은 판독 : 호스트 reclaim 과 호스트 스왑을 확인하지 않았다 diff --git a/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-record-the-conditions-with-every-memory-experiment.md b/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-record-the-conditions-with-every-memory-experiment.md index de6a7c6..c78a9b5 100644 --- a/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-record-the-conditions-with-every-memory-experiment.md +++ b/docs/virtualization/tech-log-studio/memory-virtualization/reference/reference-record-the-conditions-with-every-memory-experiment.md @@ -17,70 +17,55 @@ source: # 메모리 실험 결과에는 Host · VM · Workload 조건을 함께 남긴다 -메모리 측정은 값만 남기면 다음 사람이 그 값을 어디에 쓸 수 있는지 알 수 없다. §85 는 실험마다 함께 적을 조건을 Host 여덟 · VM 일곱 · Workload 다섯으로 못박았다. 이유도 한 줄로 적었는데, 조건을 남기지 않으면 「Memory pressure에서 느려졌다」는 결과를 다른 환경에 재사용하기 어렵다는 것이다. +메모리 측정은 값만 남기면 다음 사람이 그 값을 어디에 쓸 수 있는지 알 수 없다. 「실험 시 반드시 같이 기록할 것」에서는 실험마다 함께 적을 조건을 Host 여덟 · VM 일곱 · Workload 다섯으로 못박았다. 이유도 한 줄로 적었는데, 조건을 남기지 않으면 「Memory pressure에서 느려졌다」는 결과를 다른 환경에 재사용하기 어렵다는 것이다. -## 관계 - -- **메모리 증상 하나로 계층을 단정하지 않는다** - 증상을 어느 갈래로 좁힐지는 그 기준이 정하고, 좁힌 뒤에 재는 값을 어떤 조건과 함께 남길지는 이 기준이 정한다. -- **Guest 메모리 주소가 물리 RAM 에 닿기까지 — GVA · GPA · HPA** - VM 묶음의 Configured RAM 과 Current RAM 을 왜 따로 적는지가 그 기록의 세 값 구분에서 나온다. -- **Huge Page 를 VM 에서 볼 때 갈라지는 세 자리** - Host 묶음의 THP policy 와 VM 묶음의 Memory backing 설정이 그 기록에서 갈라지는 두 값이다. -- **Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로** - Host 묶음에 Swap 설정과 Physical storage 가 들어간 이유를 그 기록이 설명한다. -- **호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가** - baseline 과 부하 구간을 비교하는 실험이라 세 묶음을 두 시점에 각각 남겨야 한다. -- **NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가** - Host 묶음의 NUMA topology 를 먼저 적지 않으면 이 물음의 결과를 다른 장비에 옮길 수 없다. - -## 목적 +## 조건표가 결과만큼 중요한 이유 이 기준은 두 가지를 막는다. 조건 없이 남긴 측정값을 다른 장비의 판단 근거로 쓰는 일과, baseline 과 부하 구간을 비교해 놓고 두 시점 사이에 무엇이 달라져서 값이 달라졌는지 되짚지 못하는 일이다. -메모리 값은 장비 설정에 크게 기댄다. §53 은 THP(Transparent Huge Pages, 커널이 조건이 맞는 메모리 영역에 큰 page 를 자동으로 쓰는 기능) 정책을 실제 시스템에서 확인하라고 적었다. 정책 값이 커널과 배포판, 호스트 설정에 따라 다르기 때문이다. §78 은 호스트가 NUMA(Non-Uniform Memory Access, 비균일 메모리 접근) node 한 개면 cross-node remote-memory 문제가 주요 이슈가 아닐 수 있다고 적었다. 같은 워크로드를 돌려도 이 두 설정이 다르면 두 측정을 나란히 놓고 읽을 수 없다. +메모리 값은 장비 설정에 크게 기댄다. 「THP: Transparent Huge Pages」에서는 THP(Transparent Huge Pages, 커널이 조건이 맞는 메모리 영역에 큰 page 를 자동으로 쓰는 기능) 정책을 실제 시스템에서 확인하라고 적었다. 정책 값이 커널과 배포판, 호스트 설정에 따라 다르기 때문이다. 「NUMA는 실제 장비 topology부터 확인한다」에서는 호스트가 NUMA(Non-Uniform Memory Access, 비균일 메모리 접근) node 한 개면 cross-node remote-memory 문제가 주요 이슈가 아닐 수 있다고 적었다. 같은 워크로드를 돌려도 이 두 설정이 다르면 두 측정을 나란히 놓고 읽을 수 없다. -## 규칙 +## Host · VM · Workload에 남길 값 ### 1. Host 조건 여덟 항목을 실험마다 적는다 CPU model, Core / Thread 수, RAM, NUMA topology, Swap 설정, Kernel version, THP policy, Physical storage 여덟을 적는다. -이 가운데 넷은 개념 문서가 따로 이유를 적어 두었다. THP policy 는 §53 이 커널과 배포판, 호스트 설정에 따라 다르니 실제 시스템에서 확인하라고 했고, NUMA topology 는 §78 이 최적화가 필요한지 판단하기 전에 먼저 재라고 했다. +이 가운데 넷은 개념 문서가 따로 이유를 적어 두었다. THP policy 는 「THP: Transparent Huge Pages」에서는 커널과 배포판, 호스트 설정에 따라 다르니 실제 시스템에서 확인하라고 했고, NUMA topology 는 「NUMA는 실제 장비 topology부터 확인한다」에서는 최적화가 필요한지 판단하기 전에 먼저 재라고 했다. -Swap 설정과 Physical storage 가 들어간 이유는 §62 가 이어 놓은 경로에 있다. 호스트 메모리 압박이 reclaim 과 스왑을 부르면 그 I/O 가 데이터베이스 I/O, filesystem writeback 과 같은 물리 장치로 몰리기 때문에 애플리케이션 지연까지 올라갈 수 있다. +Swap 설정과 Physical storage 가 들어간 이유는 「Memory Pressure와 Storage Contention의 연결」에서는 이어 놓은 경로에 있다. 호스트 메모리 압박이 reclaim 과 스왑을 부르면 그 I/O 가 데이터베이스 I/O, filesystem writeback 과 같은 물리 장치로 몰리기 때문에 애플리케이션 지연까지 올라갈 수 있다. ### 2. VM 조건 일곱 항목을 적되 Configured RAM 과 Current RAM 을 따로 적는다 vCPU, Configured RAM, Current RAM, Memory backing 설정, Balloon device, Guest swap, Guest kernel 일곱이다. -§42 는 configured memory 와 게스트가 지금 실제로 쓰는 메모리, 호스트에서 지금 resident 인 물리 메모리 셋이 같지 않을 수 있다고 적었다. RAM 을 한 값으로 줄여 적으면 나중에 그 숫자가 셋 가운데 무엇이었는지 알 수 없다. +「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 configured memory 와 게스트가 지금 실제로 쓰는 메모리, 호스트에서 지금 resident 인 물리 메모리 셋이 같지 않을 수 있다고 적었다. RAM 을 한 값으로 줄여 적으면 나중에 그 숫자가 셋 가운데 무엇이었는지 알 수 없다. -Configured RAM 도 한 번 정하고 끝나는 값이 아니다. 이 실험대의 게스트 메모리는 처음 만들 때 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했는데(§187), 언제 재배분했는지는 그 절이 적지 않았다. +Configured RAM 도 한 번 정하고 끝나는 값이 아니다. 이 실험대의 게스트 메모리는 처음 만들 때 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했는데(「단계 01 — 게스트 세 대」), 언제 재배분했는지는 그 절이 적지 않았다. ### 3. Workload 조건 다섯 항목을 적는다 Application, Heap/Memory 설정, Request concurrency, DB workload, 측정 시간 다섯이다. -측정 시간은 §88 이 요구한 관측을 가능하게 한다. 게스트와 QEMU, 호스트, NUMA, 스토리지 영향을 같은 시간축에 놓으려면 각 값이 언제 찍혔는지 알아야 하기 때문이다. +측정 시간은 「결론」에서는 요구한 관측을 가능하게 한다. 게스트와 QEMU, 호스트, NUMA, 스토리지 영향을 같은 시간축에 놓으려면 각 값이 언제 찍혔는지 알아야 하기 때문이다. ### 4. baseline 과 부하 구간을 비교하는 실험은 두 시점 모두에 세 묶음을 남긴다 -세 묶음 안에는 실험 중에 달라지는 항목이 들어 있다. Current RAM 이 그렇고(§42), 게스트 스왑과 호스트 스왑도 부하 구간에서만 오갈 수 있다(§61 · §63). +세 묶음 안에는 실험 중에 달라지는 항목이 들어 있다. Current RAM 이 그렇고(「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」), 게스트 스왑과 호스트 스왑도 부하 구간에서만 오갈 수 있다(「Guest Swap과 Host Swap」· 「Swap Used만 보고 장애를 판단하면 안 된다」). 부하 전 값이 없으면 부하 중 값 하나만으로는 그것이 증가인지 원래 그런 값인지 갈리지 않으니, 두 시점을 모두 남긴다. ### 5. 조건이 먼저 채워지는 순서로 실험을 배치한다 -§84 의 권장 순서는 호스트 물리 메모리와 NUMA 확인에서 시작한다. 이어서 VM configured memory, Guest free/meminfo, QEMU RSS 와 HVA backing 상태, THP/HugeTLB 상태를 차례로 본다. 압박 실험은 열 번째다. +「권장 실험 순서」의 권장 순서는 호스트 물리 메모리와 NUMA 확인에서 시작한다. 이어서 VM configured memory, Guest free/meminfo, QEMU RSS 와 HVA backing 상태, THP/HugeTLB 상태를 차례로 본다. 압박 실험은 열 번째다. 앞의 다섯 단계가 Host 묶음과 VM 묶음을 그대로 채우기 때문에, 순서를 지키면 압박 실험을 시작할 때 조건을 다시 모으지 않아도 된다. -§84 를 따로 뽑아 기록 한 편으로 만들지는 않았다. 그 순서는 어느 물음을 먼저 여느냐를 정할 뿐이라 순서만 읽을 사람이 없고, 조건이 먼저 채워진다는 뜻만 이 규칙으로 옮겼다. +「권장 실험 순서」 부분을 따로 뽑아 기록 한 편으로 만들지는 않았다. 그 순서는 어느 물음을 먼저 여느냐를 정할 뿐이라 순서만 읽을 사람이 없고, 조건이 먼저 채워진다는 뜻만 이 규칙으로 옮겼다. -## 적용 조건 +## 어떤 실험에 이 조건을 붙이나 -메모리 관련 측정을 남기는 실험 전부에 걸린다. §83 의 OQ-1 부터 OQ-14 까지가 여기 들어가고, 이 주제의 열린 물음 열둘도 같은 규칙을 따른다. 세 묶음은 그 물음마다 되풀이하지 않고 여기 한 편에 두었고, 각 물음이 이 기준을 가리킨다. +이 기준은 메모리 관련 측정 전부에 적용한다. 매 실험마다 같은 조건표를 반복해서 새로 정의하지 않고 Host·VM·Workload 조건을 공통 형식으로 남긴다. 남길 조건은 세 묶음이다. @@ -88,19 +73,21 @@ Host : CPU model · Core/Thread 수 · RAM · NUMA topology · Swap 설정 · Ke VM : vCPU · Configured RAM · Current RAM · Memory backing 설정 · Balloon device · Guest swap · Guest kernel Workload : Application · Heap/Memory 설정 · Request concurrency · DB workload · 측정 시간 -## 예외 +## 정적값은 매번 반복하지 않는다 -단일 값을 한 번 읽고 끝나는 확인에는 Workload 묶음이 비어 있어도 된다. THP 정책 문자열 하나를 읽는 §83 OQ-4 가 그렇다. +THP policy처럼 정적 설정값 하나만 읽는 확인에서는 Workload 항목이 비어 있어도 된다. 반대로 pressure·balloon·fault처럼 부하에 따라 값이 달라지는 실험에서는 Workload 조건을 반드시 적는다. baseline 과 부하 구간을 비교하는 실험에서는 세 묶음을 두 시점에 각각 남긴다. 한 번만 남기면 비교한 두 시점 가운데 한쪽의 조건이 빈다. -이 프로젝트는 조건 목록을 측정 하나에 붙여 채운 적이 없다. 값이 아예 없지는 않다 — §178 이 호스트를 i5-1135G7(논리 코어 8) · RAM 11,648MiB · QEMU 11.1.1 · libvirt 12.7.0 으로 적었고 §187 이 게스트 세 대의 vCPU 와 메모리를 적었다. 채우려고 잰 것이 아니라 실험대를 세우며 적힌 값이고, NUMA topology 와 Swap 설정, Kernel version, THP policy, Physical storage 는 아직 없다. +2026-09-21 재검증으로 Host 조건은 상당 부분 실제 값으로 채워졌다. CPU는 i5-1135G7 4 cores / 8 logical CPUs, RAM은 11,648MiB, NUMA는 node0 하나, swap은 8.0GiB, kernel은 `7.2.2-arch1-1`, QEMU는 11.1.1, libvirt는 12.7.0, 물리 스토리지는 Samsung NVMe `nvme0n1`으로 확인됐다. THP policy도 별도 확인 문서에서 실제 sysfs 값을 읽었다. VM 쪽도 configured/current memory, virtio-balloon 장치, worker guest swap 상태까지 확인됐다. -## 예시 +따라서 이제 문제는 "조건값이 없다"가 아니라 **각 부하 실험의 결과 옆에 그 시점의 조건을 함께 붙였는가**다. 정적 값은 공통 환경표에서 재사용하고, Current RAM·swap 활동·workload처럼 시점에 따라 달라지는 값만 실험 구간마다 다시 남긴다. + +## 좋은 기록과 다시 재야 하는 기록 - 호스트 RAM 을 적지 않고 남긴 「부하 중 게스트가 느려졌다」 : 다른 장비에서 다시 쓸 수 없다 - THP 정책 문자열 하나만 읽는 확인 : Workload 묶음을 비워 둔다 -- Configured RAM 만 적고 Current RAM 을 비운 기록 : §42 가 갈라 놓은 값을 하나로 합친 것이라 다시 재야 한다 +- Configured RAM 만 적고 Current RAM 을 비운 기록 : 「Configured Memory와 실제 Physical RAM 사용량은 같지 않을 수 있다」에서는 갈라 놓은 값을 하나로 합친 것이라 다시 재야 한다 - 부하 전 값 없이 부하 중 vmstat 만 남긴 기록 : 증가폭을 적을 수 없다 - 측정 시간을 빼고 게스트 값과 호스트 값을 따로 남긴 기록 : 같은 시간축에 놓을 수 없다 - 권장 순서 1 번부터 5 번까지를 먼저 돌린 뒤 시작한 압박 실험 : Host 묶음과 VM 묶음이 이미 채워져 있다 diff --git a/docs/virtualization/tech-log-studio/network-virtualization/concept/concept-guest-packet-path-to-physical-nic.md b/docs/virtualization/tech-log-studio/network-virtualization/concept/concept-guest-packet-path-to-physical-nic.md index b8c2b1a..824a0b3 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/concept/concept-guest-packet-path-to-physical-nic.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/concept/concept-guest-packet-path-to-physical-nic.md @@ -52,30 +52,6 @@ source: 가상 머신 안의 Keycloak 이 HTTP 요청 하나를 받으려면 그 패킷이 호스트의 물리 NIC 에서 Linux Bridge 와 TAP, vhost-net, virtqueue 를 지나 게스트 커널의 TCP/IP 스택까지 올라와야 한다. virtio-net 은 그 경로에 놓인 프로그램 하나가 아니라 게스트 쪽 프런트엔드 드라이버와 호스트 쪽 백엔드를 잇는 I/O 계약이고, 그 백엔드 자리는 QEMU 사용자 공간이 맡을 수도 호스트 커널의 vhost-net 이 맡을 수도 있다. 가상 머신 두 대로 Keycloak 멀티 노드 실험을 돌리다 요청이 느려지거나 아예 닿지 않으면, 이 경로를 알아야 그 증상을 애플리케이션·저장소 쪽 문제와 네트워크 가상화 계층 문제로 갈라 볼 수 있다. -## 관계 - -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - 이 글이 세운 계층을 그대로 관측 지점으로 쓰는 절차다. 어느 계층까지 패킷이 보였는지로 의심 구간을 좁힌다. -- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다** - 이 경로가 실험의 여러 노드에 공유되기 때문에 생기는 오귀속을 막는 기준이다. -- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가** - 이 글은 Bridge 와 라우팅, NAT 가 각각 무엇을 하는지까지만 적었다. 이 호스트가 NAT 로 돈다는 것은 실험대를 세운 기록이 나중에 적었고, 그 구성에서 프레임이 어느 계층을 지나는지는 그 물음이 받는다. -- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가** - TAP 이 게스트의 이더넷 프레임과 호스트 네트워크를 잇는 접점이라는 설명이 이 물음의 전제다. -- **이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가** - 백엔드가 QEMU 사용자 공간일 수도 vhost-net 일 수도 있다고 적었다. 이 호스트가 어느 쪽인지는 아직 모른다. -- **QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가** - 두 백엔드의 경로 차이는 여기 적었지만, 그 차이가 지연이나 CPU 사용량으로 드러나는지는 재지 않았다. -- **이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가** - 큐를 하나만 쓰면 부하가 몰릴 수 있다고만 적었다. 지금 큐가 몇 개인지는 확인하지 않았다. -- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가** - 여기 그린 경로는 가장 기본적인 조합을 기준으로 한 것이고, 이 테스트 환경의 실제 경로는 추적하지 않았다. -- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가** - vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다는 것까지가 이 글의 범위다. -- **KVM 에서 vCPU 가 물리 CPU 에서 실행되기까지** - QEMU 가 장치를 만들지만 반복 실행은 커널이 맡는다는 구조가 CPU 쪽과 같다. 그쪽 글이 같은 구분을 명령 실행으로 설명한다. - -## 본문 @@ -326,16 +302,18 @@ sudo tcpdump -ni sudo tcpdump -ni ``` -## 이 문서가 확인하지 않은 것 +## 이 호스트에서 확인한 경로와 남은 것 -위의 명령을 이 호스트에서 돌린 출력은 대부분 없다. 네트워크 구성만은 나중에 갈렸다. 실험대를 세운 기록이 이 호스트에 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT 를 골랐다고 적었고, 게스트는 그 NAT 가 만드는 브리지에 붙는다. 브리지를 막은 것은 무선 링크다. 802.11 데이터 프레임은 기본적으로 주소 필드가 3개라, AP(Access Point, 무선 접속 장치) 는 연결된 단말의 MAC 만 알고 있고 그 단말이 자기 것이 아닌 출발지 MAC 을 단 프레임을 보내면 버린다. 브리지된 가상 머신이 보내는 것이 정확히 그런 프레임이다. 우회로 4-address 모드(WDS) 가 있지만 AP 와 클라이언트 드라이버가 모두 지원해야 하고 실제로는 거의 지원되지 않아, 그 기록은 현실적인 우회로 USB 이더넷 어댑터를 들었다. 같은 기록이 NAT 와 브리지와 macvtap 을 견준 표에서 뒤의 둘은 나란히 WiFi 라 불가다. TAP 또는 vnet 인터페이스의 이름과 vhost-net 이 실제로 데이터 경로를 맡는지, multi-queue 가 켜져 있는지는 아직 읽지 않았다. 그래서 이 글은 「이 구조에서는 이렇게 동작한다」까지만 말하고 「이 서버가 그 구조다」라고는 말하지 않는다. QEMU 백엔드와 vhost-net 의 성능 차이가 이 호스트에서 관찰되는지, Keycloak 부하 시험에서 네트워크 가상화가 지연에 영향을 줄 만큼 호스트 CPU 를 쓰는지도 재지 않았다. +2026-09-21 재검증으로 현재 host의 VM network는 libvirt `default` NAT network이고 내부 L2 연결은 `virbr0`가 맡는다는 것을 확인했다. host-side interface는 `kc-lab-edge → vnet13`, `kc-lab-1 → vnet18`, `kc-lab-2 → vnet19`이고 모두 `virbr0` forwarding port다. 세 VM의 QEMU 인자에는 `vhost:true`가 있어 datapath backend는 vhost-net이며, worker 둘의 guest queue는 각각 `rx-0`/`tx-0` 한 쌍이라 현재 single-queue 구성이다. -이 문서가 Keycloak 테스트 환경에 얹어 그린 경로는 그대로 쓰지 못한다. 그 그림은 호스트의 nginx 가 가상 머신 두 대로 프록시하는 모양인데, 실험대는 그 뒤에 nginx 를 게스트 한 대로 옮기고 호스트에는 커널 DNAT(Destination NAT, 목적지 주소 변환) 만 두었다. 게스트도 둘이 아니라 셋이고, 엣지 한 대와 K3s 노드 두 대다. 브리지와 라우팅·NAT, TAP, vhost-net, virtqueue 로 펼친 뒷부분은 TAP 이름과 vhost-net 사용 여부를 확인하기 전의 가정이어서, 재기 전에는 이 글의 그림으로 올리지 않는다. +외부 진입 경로도 packet capture로 확인했다. workmachine의 요청은 `tailscale0`에서 host로 들어와 DNAT과 Tailscale postrouting source rewrite를 거친 뒤 `vnet13`으로 나가 edge guest에 도달했다. edge Nginx는 TLS를 종료하고 `192.168.122.11:80` 또는 `.12:80`으로 새 HTTP 연결을 만들었고, 해당 요청은 `vnet18` 또는 `vnet19`와 worker `enp1s0`에서 확인됐다. 따라서 현재 실험대에서는 generic physical-NIC 그림을 그대로 대입하지 않고 **Tailscale ingress → host NAT → Edge VM → virbr0 L2 forwarding → worker**라는 실제 경로를 기준으로 본다. + +과거의 `Host Nginx → worker VM` 그림은 현재 구성과 다르다. 지금은 nginx가 `kc-lab-edge` 안에 있고 host는 ingress DNAT을 담당한다. 다만 그 아래의 `virbr0 → vnetN → vhost-net → virtqueue → virtio-net → guest NIC` 구조는 현재 VM별 mapping과 QEMU runtime 설정으로 확인됐다. K3s CNI·Service·Pod 내부 경로는 이 문서 범위 밖이므로 worker guest NIC 이후를 곧바로 Keycloak Pod까지 한 줄로 단정하지 않는다. 여기 적은 것은 가장 기본적인 조합 안에서만 성립한다. 실제 환경은 Bridge 와 NAT, routed network, macvtap, SR-IOV, VFIO(Virtual Function I/O) passthrough, Open vSwitch, Kubernetes CNI(Container Network Interface) 에 따라 달라질 수 있다. 이 서술 자체는 판 번호를 달고 있지 않다. 실험대를 잰 기록이 그 호스트의 libvirt 12.7.0 과 QEMU 11.1.1, 커널 7.2.2-arch1-1 을 적었다. 여기 적은 동작은 그 판에서 읽은 것이 아니라 구조를 서술한 것이라, 세 값은 확인할 때의 조건으로 쓴다. 복사 동작 하나만 봐도 커널 버전과 QEMU 버전, vhost 설정, 오프로드, NIC 의 기능에 따라 달라지므로, 버전이 바뀌어 이 서술이 낡았는지는 위 확인 명령을 실제 호스트에서 돌릴 때 드러난다. 가상 머신 위에 올린 K3s 안쪽도 이 문서 밖이다. K3s 의 CNI 와 Service, Pod 네트워크는 이 네트워크 가상화 위에 더해지는 계층이라 따로 분석한다. -확인 순서는 물리 NIC 에서 시작한다. 그다음 libvirt 가상 네트워크와 Bridge·NAT·Route 구성, 가상 머신별 TAP 또는 vnet, virtio-net 장치, vhost-net 사용 여부, 게스트 NIC 와 route 를 차례로 본다. 이어서 호스트 Nginx 에서 가상 머신까지 패킷이 지나는 길을 `tcpdump` 로 추적하고, VM1 과 VM2 사이의 경로와 Keycloak 요청 때의 패킷 흐름을 확인한다. 마지막으로 부하를 걸었을 때 QEMU 와 vhost 의 CPU 사용량을 비교하고 multi-queue 와 오프로드 설정을 본다. 검증되지 않은 항목은 열린 질문으로 두고, 실제 결과가 나오면 재현 조건을 붙인 기록으로 옮긴다. +현재까지 구성·mapping·vhost-net·single queue·실제 ingress와 edge→worker packet path는 확인됐다. 부하 중 네트워크 가상화 CPU 비용도 2026-09-21에 측정했고, 이번 OIDC 부하 수준에서는 vhost/softirq 증가가 host CPU 전체를 지배하는 병목으로 보이지 않았다. 아직 남은 것은 QEMU userspace backend와 vhost-net을 같은 조건으로 비교하는 실험, RSS/RPS/XPS와 offload feature의 실제 상태다. 특히 offload feature 출력은 이번 캡처에서 확보하지 못했으므로 `tcpdump`의 packet size나 checksum을 wire-level 값으로 일반화하지 않는다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-actual-packet-path-nginx-to-keycloak.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-actual-packet-path-nginx-to-keycloak.md index 2974d22..7320653 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-actual-packet-path-nginx-to-keycloak.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-actual-packet-path-nginx-to-keycloak.md @@ -2,14 +2,25 @@ id: 600a2621-f6d8-42df-9629-7db65011545d kind: QUESTION slug: actual-packet-path-nginx-to-keycloak -title: Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가 +title: 외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가 topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/600a2621-f6d8-42df-9629-7db65011545d/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt source: - final/document.md#122-open-question-oq-6 - final/document.md#116-현재-keycloak-k3s-테스트-환경과-연결 @@ -18,83 +29,73 @@ source: - final/document.md#125-최종-기준-구조 --- -# Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가 +# 외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가 -경로가 한 번 바뀌었다. §179 는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT(Destination NAT, 목적지 주소 변환) 만 두었다고 적었다. §116 이 그린 그림은 옮기기 전 모양이고, 네 지점에 tcpdump 를 걸어 본 기록은 아직 없다. +2026-09-21 같은 OIDC discovery 요청을 `tailscale0`, `virbr0`, edge의 `vnet13/enp1s0`, worker의 `vnet18/vnet19/enp1s0`에서 추적했다. 실제 경로는 **Tailscale ingress → host DNAT/source rewrite → edge Nginx → virbr0 L2 forwarding → worker Traefik**으로 확인됐다. edge Nginx가 TLS를 종료한 뒤 worker로 새 HTTP 연결을 만들기 때문에 ingress TLS 연결과 worker HTTP 연결은 같은 TCP flow가 아니다. -## 관계 +## 2026-09-21에 캡처한 실제 경로 -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - §94 와 §125 가 그린 기준 경로를 이 개념이 설명한다. 이 물음은 그 경로가 이 호스트에서도 같은지를 묻는다. -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - §119 가 든 계층별 캡처 방법을 규칙으로 편 기준이다. 요청이 중간에서 끊기면 그쪽이 받는다. -- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가** - 구성이 셋 중 무엇이냐에 따라 캡처를 걸 지점이 달라진다. -- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가** - tcpdump 를 걸 인터페이스의 이름을 그쪽이 댄다. -- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다** - §120 이 요구한 별도 검증에서 이 경로 확인이 첫 항목이 된다. +- 2026-09-21 재검증에서 workmachine의 요청은 `tailscale0`에서 `100.92.240.34:42996 → 100.83.212.4:443`으로 보였다. 같은 TCP sequence가 `vnet13`에서는 `192.168.122.1:42996 → 192.168.122.10:443`으로 보였다. destination DNAT뿐 아니라 source rewrite도 실제로 발생했다. +- host `ip nat`에는 Tailscale의 `ts-postrouting` chain이 있고 fwmark `0x00040000` 패킷을 `MASQUERADE`하는 규칙이 존재했다. 따라서 기존 문서의 “lab_edge에 SNAT 규칙이 없으므로 edge가 원래 Tailscale client IP를 그대로 본다”는 설명은 현재 전체 netfilter 경로를 설명하지 못한다. +- edge Nginx는 요청을 `192.168.122.10: → 192.168.122.11:80` 또는 `.12:80`의 새 HTTP 연결로 전달했다. 6회 요청에서 `worker-1/3/5`는 `vnet18 → kc-lab-1 enp1s0`, `worker-2/4/6`은 `vnet19 → kc-lab-2 enp1s0`에서 동일 GET path가 확인됐다. +- packet capture 전에 `lab-edge-dnat.service`가 active였는데도 libvirt `guest_input`의 generic reject가 allow rule보다 앞에 있어 외부 443가 `connection refused`였다. service를 restart해 allow rule을 chain 앞쪽으로 다시 삽입한 뒤 같은 OIDC 요청이 HTTP 200으로 복구됐다. service active 여부만으로 forwarding 가능 여부를 판단할 수 없다. +- 이번 캡처 시점에는 host와 guest에서 `ethtool` feature 값을 확보하지 못했다. `79-network-offload-state.txt`에도 대상 이름만 남고 feature 출력은 없다. 따라서 `tcpdump`의 packet size/checksum을 wire-level 값으로 일반화하지 않고, 경로 판정에는 주소·포트·동일 HTTP path를 사용했다. -## 사실 - -- §116 이 그린 테스트 환경의 요청 경로 +- 「현재 Keycloak/K3s 테스트 환경과 연결」에서 그린 테스트 환경의 요청 경로 Client → Host Physical NIC → Host Nginx → Host Network → VM1 / VM2 → K3s → Keycloak Node 1 / 2 -- §116 이 가상 머신 네트워크까지 펼친 경로 +- 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 가상 머신 네트워크까지 펼친 경로 Client → Physical NIC → Host Network Stack / Bridge / Route / NAT → TAP(vm1) / TAP(vm2) → vhost-net → virtqueue → virtio-net → Guest Network Stack → K3s networking → Keycloak -- §116 은 그 뒤에 K3s 내부의 CNI · Service · Pod network 가 추가되므로 별도 계층으로 분석한다고 적었다. -- §94 는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 놓고 수신 방향과 송신 방향을 각각 그렸다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 밝혔다. -- §125 는 같은 경로를 vhost-net 을 쓸 때와 QEMU backend 를 쓸 때로 나눠 다시 그렸다. 두 그림은 TAP 다음이 vhost-net 인지 QEMU virtio backend 인지에서 갈리고 나머지 구간은 같다. -- §119 는 경로를 확인하는 방법으로 호스트의 physical NIC · bridge · tap 또는 vnet 세 곳과 게스트의 guest interface 한 곳에 sudo tcpdump -ni 를 걸고, 어디까지 보이는지로 의심 구간을 좁히라고 적었다. -- §119 가 든 판정 예 셋 +- 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 그 뒤에 K3s 내부의 CNI · Service · Pod network 가 추가되므로 별도 계층으로 분석한다고 적었다. +- 「전체 네트워크 계층」에서는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 놓고 수신 방향과 송신 방향을 각각 그렸다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 밝혔다. +- 「최종 기준 구조」에서는 같은 경로를 vhost-net 을 쓸 때와 QEMU backend 를 쓸 때로 나눠 다시 그렸다. 두 그림은 TAP 다음이 vhost-net 인지 QEMU virtio backend 인지에서 갈리고 나머지 구간은 같다. +- 「실제 packet path 추적」에서는 경로를 확인하는 방법으로 호스트의 physical NIC · bridge · tap 또는 vnet 세 곳과 게스트의 guest interface 한 곳에 sudo tcpdump -ni 를 걸고, 어디까지 보이는지로 의심 구간을 좁히라고 적었다. +- 「실제 packet path 추적」에서 든 판정 예 셋 Physical NIC O · Bridge O · TAP X : Guest 내부보다 먼저 Host Bridge/TAP mapping 을 의심한다 TAP O · Guest NIC X : virtio/vhost/Guest NIC 계층을 의심한다 Guest NIC O · Socket X : Guest routing/firewall/listen 상태를 의심한다 -- §122 OQ-6 은 Host NIC · Bridge · TAP · Guest NIC 에서 tcpdump 로 추적한다고만 적었다. 어느 이름의 인터페이스인지는 적혀 있지 않다. -- §116 의 그림은 앞부분과 뒷부분의 근거가 다르다. 호스트 Nginx 아래에 가상 머신 두 대가 있고 그 안에서 K3s 와 Keycloak 노드가 돈다는 앞부분은 §89 가 밝힌 실험 구성이다. 브리지와 라우팅·NAT, TAP, vhost-net 으로 펼친 뒷부분은 OQ-1 과 OQ-2, OQ-3 를 확인하기 전의 가정이다. -- §179 와 §254 는 같은 nginx 를 물리 호스트에서 엣지 게스트로 옮겼다고 적고 전후를 나란히 그렸다. +- 원문의 6번째 확인 항목은 Host NIC · Bridge · TAP · Guest NIC 에서 `tcpdump`로 추적한다고만 적었다. 실제 인터페이스 이름은 적혀 있지 않았다. +- 과거 「현재 Keycloak/K3s 테스트 환경과 연결」 그림은 Host Nginx 배치를 전제로 작성됐다. 그 아래의 Bridge·NAT·TAP·vhost-net 구간도 당시에는 확인 전 가정이 섞여 있었다. 2026-09-21에는 현재 Edge VM 배치에서 network mode·vnet mapping·vhost runtime backend·packet capture를 각각 확인했으므로, 과거 그림은 현재 topology 설명이 아니라 변경 전 기록으로 읽는다. +- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」와 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 같은 nginx 를 물리 호스트에서 엣지 게스트로 옮겼다고 적고 전후를 나란히 그렸다. 전 : `tailnet:443` → 호스트 nginx → Traefik(게스트 .11/.12) 후 : `tailnet:443` → 호스트 커널 DNAT → 엣지 nginx(.10) → Traefik(.11/.12) -- §179 는 그렇게 옮겨도 L7 홉 수는 2홉 그대로라고 관측으로 적었다. 늘어난 것은 커널이 하는 L4 전달 한 번이다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다. -- §179 는 옮긴 이유를 성능이 아니라 더러워지는 층의 격리로 적었다. nginx 설정과 인증서, certbot, deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. 그 대가로 일곱 가지가 새로 필요해졌고 §179 는 그중 DNAT 와 libvirt 방화벽 구멍 둘을 이 이동의 본질로 꼽았다. 그 둘을 본질로 본 것은 추론이라고 밝혔다. -- §254 는 호스트에서 게스트로 가는 요청이 OUTPUT 경로라 필터를 타지 않는다고 적었다. 밖에서 게스트로 들어오는 요청은 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다. -- §207 은 DNAT 파일에 forward 체인을 두지 않은 이유를 그 파일의 주석으로 적어 두었다. libvirt 의 guest_input 체인은 virbr0 으로 나가는 프레임을 reject 하며 끝난다. nftables 에서는 앞 base 체인의 accept 가 뒤 체인의 reject 를 멈추지 못하므로 구멍을 libvirt 체인 맨 앞에 뚫었고, 그래서 그 파일에 forward 체인이 없는 것은 실수가 아니다. -- §207 은 이 DNAT 가 PREROUTING nat 에 있어 라우팅 결정보다 먼저 돌고 호스트의 로컬 소켓보다 이긴다고 적었다. 그래서 엣지를 띄운 채 전환하고, 되돌릴 때는 테이블 하나를 지운다. -- §207 은 DNAT 만 하고 SNAT 는 하지 않는다고 적었다. 게스트의 기본 경로가 호스트여서 응답이 이 경로를 다시 지나고 conntrack 이 변환을 알아서 되돌린다. masquerade 를 붙이면 엣지가 모든 클라이언트를 192.168.122.1 로 보게 된다. -- §208 은 DNAT 유닛의 ExecStartPost 앞에 붙은 하이픈을 설명했다. libvirt_network 테이블은 가상 네트워크가 떠 있어야 존재하는데, 부팅 순서에 따라 이 유닛이 먼저 돌 수 있다. 하이픈이 없으면 그때 규칙 삽입이 실패하면서 DNAT 까지 같이 안 실린다. 하이픈을 두면 DNAT 는 실리고 구멍만 빠진 상태가 되어 systemctl restart 한 번으로 다시 뚫린다. -- §208 은 그 상태에서 유닛이 active 이고 아무 오류도 없다고 적고, 유닛이 active 라는 것은 DNAT 가 실렸다는 뜻이지 구멍이 뚫렸다는 뜻이 아니라고 추론으로 밝혔다. 그 상태를 실제로 재현해 보지는 않았다고 적혀 있다. -- §180 은 구멍이 빠졌을 때의 출력을 관측으로 남겼다. 호스트에서 게스트 주소로 친 curl 은 404 였고, 밖에서 tailnet 주소로 친 curl 은 connection refused 였다. reject 규칙의 카운터는 packets 4 bytes 240 으로 밖에서 친 횟수와 맞았다. -- §254 는 안쪽과 바깥쪽을 한 번씩 쳐서 같은 값이 나오는지 보는 확인을 적었다. 둘 다 404 면 경로가 이어진 것이고, 안쪽만 404 면 nginx 설치 · DNAT · libvirt 구멍 셋 가운데 하나가 빠진 것이다. -- 이 호스트에서 계층마다 패킷을 잡아 본 기록은 없다. §116 이 펼친 경로는 확인한 결과가 아니라 §94 의 기준 구조를 이 환경에 얹은 그림이다. +- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그렇게 옮겨도 L7 홉 수는 2홉 그대로라고 관측으로 적었다. 늘어난 것은 커널이 하는 L4 전달 한 번이다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다. +- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 옮긴 이유를 성능이 아니라 더러워지는 층의 격리로 적었다. nginx 설정과 인증서, certbot, deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. 그 대가로 일곱 가지가 새로 필요해졌고 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 그중 DNAT 와 libvirt 방화벽 구멍 둘을 이 이동의 본질로 꼽았다. 그 둘을 본질로 본 것은 추론이라고 밝혔다. +- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 호스트에서 게스트로 가는 요청이 OUTPUT 경로라 필터를 타지 않는다고 적었다. 밖에서 게스트로 들어오는 요청은 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다. +- 「`lab-edge-dnat.nft` — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 DNAT 파일에 forward 체인을 두지 않은 이유를 그 파일의 주석으로 적어 두었다. libvirt 의 guest_input 체인은 virbr0 으로 나가는 프레임을 reject 하며 끝난다. nftables 에서는 앞 base 체인의 accept 가 뒤 체인의 reject 를 멈추지 못하므로 구멍을 libvirt 체인 맨 앞에 뚫었고, 그래서 그 파일에 forward 체인이 없는 것은 실수가 아니다. +- 「`lab-edge-dnat.nft` — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 이 DNAT 가 PREROUTING nat 에 있어 라우팅 결정보다 먼저 돌고 호스트의 로컬 소켓보다 이긴다고 적었다. 그래서 엣지를 띄운 채 전환하고, 되돌릴 때는 테이블 하나를 지운다. +- 「`lab-edge-dnat.nft` — DNAT 파일이 자기 안에 적어 둔 네 가지」에서는 DNAT 만 하고 SNAT 는 하지 않는다고 적었다. 게스트의 기본 경로가 호스트여서 응답이 이 경로를 다시 지나고 conntrack 이 변환을 알아서 되돌린다. masquerade 를 붙이면 엣지가 모든 클라이언트를 192.168.122.1 로 보게 된다. +- 「`lab-edge-dnat.service` — `ExecStartPost` 앞의 `-` 가 무엇을 봐주나」에서는 초기 설계의 의도를 설명했다. `ExecStartPost` 실패를 무시해 DNAT 자체는 살리고, 필요하면 유닛을 재시작해 accept 규칙을 다시 넣는 방식이었다. 하지만 2026-09-21 재검증에서 **유닛이 이미 active인 뒤 libvirt가 체인을 다시 쓰면 규칙 순서가 깨질 수 있음**이 확인됐다. 따라서 재시작은 현재 상태를 복구하는 수단일 뿐, 이후 libvirt chain rewrite까지 보장하는 persistence 해법으로 보지 않는다. +- 「`lab-edge-dnat.service` — `ExecStartPost` 앞의 `-` 가 무엇을 봐주나」에서는 그 상태에서 유닛이 active 이고 아무 오류도 없다고 적고, 유닛이 active 라는 것은 DNAT 가 실렸다는 뜻이지 구멍이 뚫렸다는 뜻이 아니라고 추론으로 밝혔다. 그 상태를 실제로 재현해 보지는 않았다고 적혀 있다. +- 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 구멍이 빠졌을 때의 출력을 관측으로 남겼다. 호스트에서 게스트 주소로 친 curl 은 404 였고, 밖에서 tailnet 주소로 친 curl 은 connection refused 였다. reject 규칙의 카운터는 packets 4 bytes 240 으로 밖에서 친 횟수와 맞았다. +- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 안쪽과 바깥쪽을 한 번씩 쳐서 같은 값이 나오는지 보는 확인을 적었다. 둘 다 404 면 경로가 이어진 것이고, 안쪽만 404 면 nginx 설치 · DNAT · libvirt 구멍 셋 가운데 하나가 빠진 것이다. +- 2026-09-21에는 host ingress, edge vnet/guest NIC, worker vnet/guest NIC에서 같은 OIDC 요청을 캡처해 실제 경로를 이어 붙였다. 따라서 과거의 기준 구조 그림과 현재 Edge VM 구조를 구분해 읽을 수 있게 됐다. -## 가정 +## capture를 해석한 기준 -- 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낼 수 있고, 그 요청이 두 k3s 노드 가운데 어느 쪽으로 갔는지 확인하는 쪽이 알 수 있다고 본다. -- 네 지점에 동시에 캡처를 걸어 둘 수 있다고 전제한다. 지점마다 따로 걸면 같은 요청을 본 것인지 갈리지 않는다. -- §116 이 그린 뒷부분 가운데 TAP 다음 구간은 지금도 같다고 전제한다. 앞부분은 §179 가 바꿔 놓았고, TAP 뒤쪽 서술이 그 이동으로 달라졌는지는 적힌 것이 없다. +- 재검증에서는 workmachine에서 tailnet 주소로 동일 OIDC discovery 요청을 반복해 보내고, worker 양쪽의 host/guest capture에서 어느 노드로 갔는지 확인했다. +- 요청 path와 주소·포트를 기준으로 host와 guest capture를 대조했다. 두 worker를 번갈아 지나는 요청은 요청 번호와 동일 GET path로 구분했다. +- vhost-net backend와 VM별 vnet mapping은 앞선 재검증에서 확인한 값을 사용했고, 이번 capture로 Edge VM 이후 worker까지의 실제 packet path를 추가로 확인했다. - 오프로드 설정이 캡처하는 동안 바뀌지 않는다. -## 미지수 +## 남은 구간과 offload -- 밖에서 온 요청이 호스트 커널 DNAT 를 지난 뒤 virbr0 에서 어느 TAP 으로 나가 엣지 게스트로 들어가는지. -- 엣지 nginx 가 k3s 노드로 넘기는 두 번째 홉이 virbr0 안에서 L2 로만 도는지, 호스트의 L3/Netfilter 를 지나는지. §119 의 네 지점은 밖에서 게스트로 들어오는 한 홉만 본다. -- 그 두 번째 홉의 TAP 이 kc-lab-1 과 kc-lab-2 가운데 어느 쪽의 인터페이스인지. -- 게스트 안의 인터페이스에서 같은 요청이 보이는지. -- 네 지점의 결과가 §116 이 펼친 그림과 같은지, 다르다면 어느 지점부터 다른지. -- 지금 오프로드 설정이 무엇인지. 캡처에서 본 패킷 크기와 체크섬을 wire 값으로 읽어도 되는지가 이것으로 갈린다. +요청이 어느 인터페이스를 지나 edge와 worker에 도달하는지는 해소됐다. first hop은 `tailscale0 → host NAT → virbr0/vnet13 → edge enp1s0`, second hop은 edge의 새 HTTP 연결이 `vnet13 → virbr0 → vnet18 또는 vnet19 → worker enp1s0`으로 전달된다. 6회 요청에서는 두 worker가 번갈아 선택됐다. -## 제약 +남은 미지수는 이번 캡처 시점의 offload feature 상태다. `ethtool`이 설치돼 있지 않아 읽지 못했으므로 packet size/checksum을 wire-level 값으로 해석하지 않는다. 이 미지수는 주소·포트·HTTP path로 확정한 packet path 자체를 다시 열 이유는 아니다. + +## K3s 내부는 범위 밖이다 - 캡처 지점의 이름을 먼저 확정해야 한다. 어느 브리지와 어느 TAP 인지 모르면 tcpdump 를 걸 곳을 고르지 못한다. 그 이름은 네트워크 구성을 묻는 물음과 인터페이스를 묻는 물음이 댄다. -- K3s 안에서 Keycloak Pod 까지 가는 구간은 이 물음이 닫는 범위 밖이다. §116 이 CNI · Service · Pod network 를 별도 계층으로 미뤄 두었다. -- 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니라 장애다. §119 가 든 세 판정 예를 따라 의심 구간을 적고 계층별 캡처 기준으로 넘긴다. -- §116 의 그림은 엣지를 옮기기 전 모양이다. 지금 구성으로 캡처하면 호스트 nginx 였던 칸에 커널 DNAT 와 엣지 게스트가 들어가므로 캡처 지점이 그만큼 늘어난다. -- 이 호스트에서 잰 값이 없어 §116 의 그림을 확인된 경로로 삼지 않는다. 이 환경이 실제로 그렇다는 주장이라 재기 전에는 Case 도 Concept 도 아니라고 보고 근거가 모자란 후보로 남겨 두었다. OQ-1 과 OQ-2, OQ-3, OQ-6 이 답하면 다시 판정한다. +- K3s 안에서 Keycloak Pod 까지 가는 구간은 이 물음이 닫는 범위 밖이다. 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 CNI · Service · Pod network 를 별도 계층으로 미뤄 두었다. +- 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니라 장애다. 「실제 packet path 추적」에서 든 세 판정 예를 따라 의심 구간을 적고 계층별 캡처 기준으로 넘긴다. +- 「현재 Keycloak/K3s 테스트 환경과 연결」의 그림은 엣지를 옮기기 전 모양이다. 지금 구성으로 캡처하면 호스트 nginx 였던 칸에 커널 DNAT 와 엣지 게스트가 들어가므로 캡처 지점이 그만큼 늘어난다. +- 2026-09-21 재검증으로 NAT network, VM별 `vnetN` mapping, vhost-net backend뿐 아니라 같은 요청의 Host ingress → Edge guest → worker vnet/guest NIC 이동까지 packet capture로 확인했다. 남은 것은 K3s CNI/Service/Pod 내부 경로와 offload feature 분석이다. -## 선택지 +## 경로를 이어 붙인 방법 ### 1. 네 지점에 한 번에 걸고 요청을 한 번 보낸다 -§119 가 든 호스트 세 지점과 게스트 한 지점에 동시에 tcpdump 를 걸어 두고, 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. 같은 요청 하나가 네 지점에서 각각 보이는지로 경로가 확정되기 때문에 실행이 한 번으로 끝난다. +「실제 packet path 추적」에서 든 호스트 세 지점과 게스트 한 지점에 동시에 tcpdump 를 걸어 두고, 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. 같은 요청 하나가 네 지점에서 각각 보이는지로 경로가 확정되기 때문에 실행이 한 번으로 끝난다. 지점 이름을 미리 확정해 두어야 하고 네 곳을 동시에 열어 두어야 한다. @@ -106,20 +107,14 @@ source: ### 3. 두 가상 머신 쪽 TAP 을 모두 열어 놓고 한 번 보낸다 -VM1 과 VM2 의 TAP 을 둘 다 열어 두면 요청이 어느 쪽으로 갔는지까지 같은 실행에서 나온다. §120 이 든 「Node1 요청만 지연」 같은 증상을 나중에 볼 때 어느 경로를 먼저 열어야 하는지도 이 기록에서 나온다. +VM1 과 VM2 의 TAP 을 둘 다 열어 두면 요청이 어느 쪽으로 갔는지까지 같은 실행에서 나온다. 「Keycloak Refresh Token 실험과의 관계」에서 든 「Node1 요청만 지연」 같은 증상을 나중에 볼 때 어느 경로를 먼저 열어야 하는지도 이 기록에서 나온다. 캡처 지점이 다섯으로 늘어난다. ### 4. 제외 — 호스트 Nginx 설정에서 경로를 읽는다 -Nginx 가 어느 주소로 요청을 넘기는지 설정만 읽어도 어느 가상 머신으로 가는지는 알 수 있다. 그러나 이 물음은 설정이 말하는 경로가 아니라 패킷이 실제로 지나는 계층을 묻는다. §116 이 그린 그림이 확인된 것이 아니라는 데서 물음이 시작했으므로, 설정을 읽으면 같은 종류의 근거가 하나 더 늘어난다. +Nginx 가 어느 주소로 요청을 넘기는지 설정만 읽어도 어느 가상 머신으로 가는지는 알 수 있다. 그러나 이 물음은 설정이 말하는 경로가 아니라 패킷이 실제로 지나는 계층을 묻는다. 「현재 Keycloak/K3s 테스트 환경과 연결」에서 그린 그림이 확인된 것이 아니라는 데서 물음이 시작했으므로, 설정을 읽으면 같은 종류의 근거가 하나 더 늘어난다. -## 다음 검증 +## OIDC 요청은 host DNAT와 edge를 거쳐 worker까지 도달했다 -1. 캡처를 걸 지점의 이름을 먼저 확정한다. 어느 브리지와 어느 TAP 인지는 네트워크 구성을 묻는 물음과 인터페이스를 묻는 물음이 답한다. -2. 호스트에서 sudo tcpdump -ni 뒤에 physical NIC 이름 · bridge 이름 · tap 또는 vnet 이름을 넣어 세 곳에 걸고, 게스트에서 같은 명령을 guest interface 이름에 건다 (§122 OQ-6 · §119). 엣지 게스트의 TAP 과 k3s 노드의 TAP 을 함께 열어야 §179 가 적은 두 홉이 한 실행에서 잡힌다. -3. 밖에서 tailnet 주소로 Keycloak 요청을 한 번 보낸다. §179 대로라면 그 요청은 호스트 커널 DNAT 를 지나 엣지 nginx 로 가고, 거기서 다시 k3s 노드로 넘어간다. -4. 네 지점에서 그 요청이 보였는지를 §119 처럼 O 와 X 로 적는다. -5. 캡처하는 동안의 오프로드 상태를 함께 적는다. §113 은 오프로드가 켜져 있으면 tcpdump 에서 보이는 패킷 크기나 체크섬이 실제 wire 에서 보이는 것과 다르게 보일 수 있다고 적었다. - -닫는 조건 : 네 지점의 캡처 결과로 실제 경로를 한 줄로 적으면 닫는다. §116 이 펼친 그림과 같으면 그 그림을 이 호스트에서 확인된 경로로 올리고, §116 을 근거로 삼는 후보를 다시 판정한다. 다르면 어느 지점부터 다른지를 적고 §119 의 판정 예대로 그 구간을 의심 구간으로 넘긴다. 요청이 중간 지점에서 끊기면 그것은 이 물음의 답이 아니므로 계층별 캡처 기준으로 넘긴다. +실제 OIDC discovery 요청의 ingress와 edge→worker 두 번째 홉을 host vnet과 guest NIC에서 확인했다. 앞으로 장애가 나면 같은 지점에 다시 `tcpdump`를 걸어 처음 사라지는 구간을 찾는다. offload 기능의 정확한 상태가 필요한 성능/packet-size 분석은 `ethtool`을 준비한 뒤 별도로 확인한다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-is-vhost-net-actually-in-use.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-is-vhost-net-actually-in-use.md index 20b5e34..09164f8 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-is-vhost-net-actually-in-use.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-is-vhost-net-actually-in-use.md @@ -7,9 +7,12 @@ topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/484fd832-c7d3-413e-897a-97892e4e10ac/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt source: - final/document.md#122-open-question-oq-3 - final/document.md#103-qemu-virtio-device-model의-역할 @@ -22,83 +25,64 @@ source: # 이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가 -§103 은 패킷이 TAP 에서 게스트로 올라오는 길을 둘로 갈라 적었다. QEMU 백엔드를 쓰면 그 사이에 QEMU virtio backend 가 들어가고, vhost-net 을 쓰면 호스트 커널의 vhost-net 이 들어간다. 어느 쪽으로 도는지가 SSOT 에 없어서, 이 물음은 가상 머신 두 대의 데이터 경로 백엔드를 각각 확정한다. +2026-09-21 실제 `test-server`에서 세 VM의 QEMU 실행 인자를 읽었다. `kc-lab-1`·`kc-lab-2`·`kc-lab-edge` 모두 TAP netdev에 `vhost:true`와 `vhostfd`가 설정돼 있었다. 따라서 현재 세 VM의 packet datapath backend는 **vhost-net**이다. `lsmod`에 모듈이 올라와 있다는 사실만으로 결론내리지 않고 VM별 QEMU 구성까지 확인했다. -## 관계 +## runtime에서 확인한 backend -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 그 경로 그림이 vhost-net 을 쓰는 구성을 기준으로 그려져 있어서, 이 호스트가 그 기준에 해당하는지를 이 물음이 정한다. -- **QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가** - 비교하려면 지금 어느 백엔드로 돌고 있는지가 먼저 정해져야 한다. -- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가** - §117.4 가 든 CPU 오버헤드는 QEMU 사용자 공간이 데이터 경로를 직접 처리할 때의 이야기다. -- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가** - TAP 과 virtqueue 사이에 무엇이 있는지가 그 경로 서술의 한 칸을 채운다. +- 2026-09-21 재검증에서 `vhost_net` 모듈이 올라와 있었고, 세 VM의 `virsh domxml-to-native qemu-argv` 모두 `{"type":"tap",...,"vhost":true,"vhostfd":"31"...}`를 냈다. 현재 구성은 `Guest virtio-net ↔ virtqueue ↔ vhost-net ↔ TAP` 경로다. -## 사실 - -- §103 은 QEMU 의 virtio Device Model 이 호스트 사용자 공간의 QEMU 프로세스 안에 있다고 적고, 그 역할을 둘로 나눴다. 하나는 장치 생성/설정/관리이고 다른 하나는 실제로 패킷을 나르는 처리다. -- §103 이 적은 데이터 경로 두 가지는 이렇게 갈린다. +- 「QEMU virtio Device Model의 역할」에서는 QEMU 의 virtio Device Model 이 호스트 사용자 공간의 QEMU 프로세스 안에 있다고 적고, 그 역할을 둘로 나눴다. 하나는 장치 생성/설정/관리이고 다른 하나는 실제로 패킷을 나르는 처리다. +- 「QEMU virtio Device Model의 역할」에 적은 데이터 경로 두 가지는 이렇게 갈린다. QEMU backend 를 직접 쓰는 경우 : TAP → QEMU virtio backend → virtqueue → Guest vhost-net 을 쓰는 경우 : TAP → vhost-net → virtqueue → Guest -- §104 는 TAP → vhost-net → QEMU → virtqueue 를 일반적인 경로로 그리면 안 된다고 못 박았다. vhost-net 의 목적 하나가 데이터 경로에서 QEMU 사용자 공간을 우회하는 것이기 때문이다. -- §106 은 장치를 만들고 관리하는 주체와 실제로 패킷을 나르는 주체가 다르다는 것을 CPU 가상화에 견주어 적었다. QEMU 가 vCPU 를 만들어도 게스트의 ADD · MOV · SUB 를 전부 QEMU 가 실행하지는 않는다. -- §107 은 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간 사이의 전환이 쌓인다고 적었다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다. -- §108 은 vhost-net 을 써도 QEMU 가 남아서 맡는 일을 열거했다. +- 「왜 `TAP → vhost-net → QEMU → virtqueue`라고 일반화하면 안 되는가」에서는 TAP → vhost-net → QEMU → virtqueue 를 일반적인 경로로 그리면 안 된다고 못 박았다. vhost-net 의 목적 하나가 데이터 경로에서 QEMU 사용자 공간을 우회하는 것이기 때문이다. +- 「QEMU가 Userspace인데 packet이 QEMU를 안 거칠 수 있는 이유」에서는 장치를 만들고 관리하는 주체와 실제로 패킷을 나르는 주체가 다르다는 것을 CPU 가상화에 견주어 적었다. QEMU 가 vCPU 를 만들어도 게스트의 ADD · MOV · SUB 를 전부 QEMU 가 실행하지는 않는다. +- 「vhost-net 최적화」에서는 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간 사이의 전환이 쌓인다고 적었다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다. +- 「vhost-net은 QEMU를 제거하지 않는다」에서는 vhost-net 을 써도 QEMU 가 남아서 맡는 일을 열거했다. VM lifecycle · Virtual hardware model · virtio device 생성 Feature negotiation · Queue configuration · Backend 연결 Device reset · Control/configuration handling -- §117.4 는 초당 지나는 패킷이 많은데 QEMU 사용자 공간이 데이터 경로를 직접 처리하면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰 대상으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다. -- 확인 명령으로 §122 OQ-3 과 §118 이 든 것은 lsmod | grep vhost 하나다. §122 OQ-3 은 그 뒤에 QEMU arguments 와 libvirt domain XML 을 추가로 확인한다고 적었지만, 그 둘을 읽는 명령은 제3부 어디에도 적혀 있지 않다. -- §123 은 개념에서 열린 질문을 거쳐 Case 로 가는 순서를 설명하면서 이 물음을 예로 들었다. 개념 자리에 「vhost-net은 QEMU userspace를 우회해 packet datapath를 처리할 수 있다」를, 물음 자리에 「현재 테스트 Host에서 vhost-net이 실제 활성화되어 있는가?」를 놓았다. 답이 나오면 「libvirt/QEMU virtio-net backend 구성 확인 및 vhost-net 사용 검증」이 Case 가 된다고 적었다. -- §178 은 이 실험대의 게스트를 3대로 적었고, §202 의 철거 출력이 그 domain 이름을 kc-lab-edge · kc-lab-1 · kc-lab-2 로 남겼다. §122 OQ-3 이 vm1 과 vm2 로 적은 두 대가 그중 k3s 노드 쪽이다. -- §197 은 이 호스트의 판 번호를 실측으로 적었다. libvirt 12.7.0 · QEMU emulator version 11.1.1 · 커널 7.2.2-arch1-1 이다. 어느 backend 로 도는지는 그 줄에서 나오지 않는다. -- 실험대를 적은 제5부부터 제9부까지 vhost 라는 낱말이 한 번도 나오지 않는다. 두 가상 머신이 어느 백엔드로 도는지도, vhost 모듈이 올라와 있는지도 확인한 기록이 SSOT 에 없다. +- 「vhost-net 미사용 또는 비효율적 datapath」에서는 초당 지나는 패킷이 많은데 QEMU 사용자 공간이 데이터 경로를 직접 처리하면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰 대상으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다. +- 원문의 3번째 확인 항목과 「실제 Linux에서 확인할 명령어」에 적힌 명령은 `lsmod | grep vhost` 하나다. 이어서 QEMU arguments 와 libvirt domain XML 도 확인한다고 적혀 있지만, 그 둘을 읽는 구체적인 명령은 제3부에 없었다. +- 원문은 개념에서 질문을 만들고 실제 환경에서 확인하는 흐름의 예로 이 항목을 들었다. 출발점은 「vhost-net은 QEMU userspace를 우회해 packet datapath를 처리할 수 있다」였고, 실제 환경에서 확인할 내용은 「현재 테스트 Host에서 vhost-net이 실제 활성화되어 있는가?」였다. +- 「이 부의 출처와 범위」에서는 이 실험대의 게스트를 3대로 적었고, 「철거 — 실제 출력 전문」의 철거 출력에는 domain 이름이 kc-lab-edge · kc-lab-1 · kc-lab-2 로 남아 있다. 원문의 `vm1`, `vm2` 표기는 이 가운데 k3s 노드 두 대를 가리킨다. +- 「측정 환경」에서는 이 호스트의 판 번호를 실측으로 적었다. libvirt 12.7.0 · QEMU emulator version 11.1.1 · 커널 7.2.2-arch1-1 이다. 어느 backend 로 도는지는 그 줄에서 나오지 않는다. +- 기존 구축 기록만으로는 backend를 확정할 수 없었지만, 2026-09-21 재검증에서 모듈 적재와 VM별 QEMU 인자를 함께 읽어 세 VM 모두 vhost-net을 사용하는 것을 확인했다. -## 가정 +## 판정 조건 - 호스트에 붙어 lsmod 를 실행하고 libvirt 설정을 읽을 수 있다고 본다. -- 모듈이 올라와 있다는 것과 그 가상 머신이 그 백엔드를 쓴다는 것을 다른 사실로 놓고 물음을 세웠다. §103 은 백엔드 선택을 가상 머신의 구성으로 적었지 모듈 적재로 적지 않았다. +- 모듈이 올라와 있다는 것과 그 가상 머신이 그 백엔드를 쓴다는 것을 다른 사실로 놓고 물음을 세웠다. 「QEMU virtio Device Model의 역할」에서는 백엔드 선택을 가상 머신의 구성으로 적었지 모듈 적재로 적지 않았다. - 두 가상 머신이 같은 백엔드를 쓴다고 전제하지 않는다. 가상 머신마다 따로 읽어 각각 적는다. -- 읽는 동안 가상 머신을 재시작하지 않는다고 전제한다. 백엔드는 §105 가 적은 설정 경로에서 정해지므로 재시작하면 달라질 수 있다. -- 게스트가 떠 있어야 QEMU 실행 인자를 읽는다. SSOT 가 마지막으로 적은 게스트 상태는 §202 의 철거이고 그 뒤 기록이 없다. +- 읽는 동안 가상 머신을 재시작하지 않는다고 전제한다. 백엔드는 「Control Path와 Data Path」에 적은 설정 경로에서 정해지므로 재시작하면 달라질 수 있다. +- 재검증 당시 세 VM이 실행 중인 상태에서 QEMU 실행 인자를 읽었다. 중지된 domain의 정의만 보고 runtime backend를 단정하지 않는다. -## 미지수 +## 현재 미지수는 해소됐다 -- 이 호스트에 vhost 커널 모듈이 올라와 있는지. -- 두 가상 머신의 libvirt domain 설정과 QEMU arguments 가 vhost 백엔드를 쓰도록 되어 있는지. -- 그래서 지금 흐르는 패킷이 §103 이 그린 두 경로 가운데 어느 쪽으로 가는지. -- QEMU arguments 와 libvirt domain XML 을 이 환경에서 어떤 명령으로 읽는지. 제3부가 그 명령을 적지 않아 실행하는 쪽이 정한다. +현재 backend 종류에 대한 미지수는 해소됐다. 세 VM 모두 vhost-net을 사용한다. QEMU userspace backend와 비교했을 때 성능이 얼마나 달라지는지는 별도 질문으로 남긴다. -## 제약 +## backend 사용과 성능은 다르다 - 백엔드가 무엇인지를 확정하는 데서 끊는다. 두 백엔드의 성능 차이는 그것을 비교하는 물음이 받는다. -- 이 호스트에서 읽은 설정이 없어 §94 와 §125 가 기준으로 삼은 vhost-net 구성을 이 호스트의 값으로 쓰지 않는다. -- 명령을 SSOT 가 하나만 주었으므로, 나머지 둘을 무엇으로 읽었는지 실행한 명령과 출력을 함께 남긴다. +- 2026-09-21 이후에는 vhost-net 경로를 이 호스트의 확인된 현재 구성으로 사용할 수 있다. 다만 VM NIC backend 설정을 바꾸면 다시 확인해야 한다. +- 명령을 기존 문서가 하나만 주었으므로, 나머지 둘을 무엇으로 읽었는지 실행한 명령과 출력을 함께 남긴다. -## 선택지 +## QEMU 실행 인자에서 vhost를 확인했다 ### 1. 모듈 적재부터 보고 가상 머신 설정으로 좁힌다 -lsmod | grep vhost 로 호스트에 그 기능이 있는지 먼저 보고, 나오면 가상 머신마다 설정을 읽어 실제로 쓰는지 좁힌다. 모듈이 아예 없으면 두 대 모두 QEMU 백엔드라는 답이 한 번에 나온다. - -모듈이 있을 때는 이 명령만으로 아무것도 정해지지 않아서 결국 가상 머신 설정을 읽어야 한다. +`lsmod | grep vhost`는 host에 vhost 관련 모듈이 적재돼 있는지 보는 보조 확인이다. 출력이 있다고 해서 특정 VM이 vhost-net을 쓴다는 뜻은 아니고, 출력이 없다고 해서 곧바로 QEMU userspace backend라고 단정하지도 않는다. 커널 빌드 방식과 실제 VM별 runtime 구성을 구분해야 하므로 최종 판정은 QEMU 실행 인자와 domain 구성을 함께 본다. ### 2. 가상 머신 설정부터 읽고 모듈 적재로 뒷받침한다 두 가상 머신의 libvirt domain 설정과 QEMU arguments 에서 백엔드 지정을 먼저 읽고, lsmod 출력으로 그 설정이 실제로 성립할 수 있는지 뒷받침한다. 가상 머신마다 다른 답이 나오는 경우까지 한 번에 잡힌다. -설정을 읽는 명령을 SSOT 가 주지 않아서 무엇으로 읽었는지 따로 적어야 한다. +설정을 읽는 명령을 기존 문서가 주지 않아서 무엇으로 읽었는지 따로 적어야 한다. -### 3. §117.4 의 관찰 대상으로 되짚는다 — 제외 +### 3. 「vhost-net 미사용 또는 비효율적 datapath」의 관찰 대상으로 되짚는다 — 제외 -호스트에 vhost 스레드가 보이는지, 부하 중 QEMU CPU 가 어떻게 움직이는지로 백엔드를 역추정하자는 방법이다. 그 관찰은 부하를 걸어야 값이 생기고, §117.4 는 그 목록을 성능 문제를 진단할 때 볼 것으로 적었다. 지금 필요한 것은 설정이 무엇으로 되어 있는가 하나다. 그것은 부하 없이 읽힌다. +호스트에 vhost 스레드가 보이는지, 부하 중 QEMU CPU 가 어떻게 움직이는지로 백엔드를 역추정하자는 방법이다. 그 관찰은 부하를 걸어야 값이 생기고, 「vhost-net 미사용 또는 비효율적 datapath」에서는 그 목록을 성능 문제를 진단할 때 볼 것으로 적었다. 지금 필요한 것은 설정이 무엇으로 되어 있는가 하나다. 그것은 부하 없이 읽힌다. -## 다음 검증 +## vhost 여부는 모듈이 아니라 QEMU 인자로 판단한다 -1. lsmod | grep vhost 로 vhost 커널 모듈이 올라와 있는지 본다. -2. libvirt domain 설정에서 인터페이스의 driver 지정을 읽는다. domain 이름은 §202 가 적은 kc-lab-1 과 kc-lab-2 를 쓰고, 엣지 게스트 kc-lab-edge 도 같이 읽는다. 무엇으로 읽었는지 명령을 함께 적는다. -3. 같은 가상 머신의 QEMU 실행 인자에서 백엔드 지정을 읽는다. 이것도 명령을 함께 적는다. -4. 세 출력을 가상 머신별로 짝지어 적고 실행한 명령과 함께 증거로 남긴다. - -닫는 조건 : 가상 머신 두 대 각각의 데이터 경로 백엔드가 vhost-net 인지 QEMU 사용자 공간인지 설정으로 확정되면 닫는다. vhost-net 이면 §125 의 「Data Path - vhost-net 사용」 이 이 호스트의 경로라고 적고, QEMU 백엔드면 「Data Path - QEMU backend 사용」 쪽이라고 적는다. 어느 쪽이든 그 결과가 QEMU backend 와 vhost-net 을 견주는 물음의 비교 대상 하나를 고정한다. 두 대가 서로 다르게 나오면 그 사실을 적고, 이후 측정에서 둘을 같은 조건으로 묶지 않는다. +VM을 재정의하거나 NIC backend 옵션을 바꾼 경우에만 QEMU 인자의 `vhost` 값을 다시 확인한다. 모듈 적재 여부만으로 이 질문을 다시 판정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-network-virtualization-cpu-cost-under-load.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-network-virtualization-cpu-cost-under-load.md index 2e0e93d..7b28103 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-network-virtualization-cpu-cost-under-load.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-network-virtualization-cpu-cost-under-load.md @@ -7,9 +7,15 @@ topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/79ac61d6-cbe6-483b-9961-02ca8c02b5c2/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt source: - final/document.md#122-open-question-oq-7 - final/document.md#117-이-구조에서-발생할-수-있는-문제-117-7 @@ -20,76 +26,66 @@ source: # 부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가 -§117.7 은 vhost-net 과 QEMU 스레드와 softirq 도 호스트 CPU 를 쓰므로, 네트워크 문제처럼 보이는 것이 CPU 스케줄링 문제일 수 있다고 적었다. 그 셋 가운데 QEMU 스레드와 게스트 쪽 지표는 CPU 가상화를 다루는 물음 둘이 같은 실험 구간에서 이미 재기로 해 두었다. 그래서 여기서는 Keycloak 부하 시험 구간에서 vhost 커널 스레드와 softirq 가 호스트 CPU 를 얼마나 쓰는지, 그 사용량이 네트워크 지연과 같이 움직이는지만 본다. +2026-09-21 외부 `auth.hyeonworks.com` 경로에 OIDC discovery 4000회, concurrency 40 부하를 걸고 host의 vhost thread, QEMU vCPU, `/proc/softirqs`, `/proc/stat`, `vmstat`과 별도 probe latency를 함께 기록했다. 부하 중 vhost CPU와 NET_RX softirq는 실제로 증가했지만 host에는 39~56% idle CPU가 남았다. **현재 부하 수준에서는 network virtualization CPU cost가 관측되지만 host CPU를 포화시켜 지연을 지배했다는 근거는 없다.** -## 관계 +## 부하 중 vhost와 softirq CPU 결과 -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - vhost-net 이 데이터 경로의 어느 구간을 맡는지를 이 개념이 설명한다. 여기서 재려는 커널 스레드가 그 구간을 돌린다. -- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다** - §120 이 요구한 별도 검증을 규칙으로 편 기준이다. 이 측정이 없으면 그 검증을 마쳤다고 적을 수 없다. -- **QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가** - 백엔드를 바꿔 견주는 물음이라 §122 가 든 관찰 대상을 상당 부분 함께 쓴다. 여기서 찍은 기준값을 그쪽이 그대로 받는다. -- **이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가** - 큐가 하나로 나오면 §117.5 가 든 쏠림이 이 측정의 vCPU 별 사용량에서 드러난다. -- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가** - Guest steal time 과 QEMU vCPU 스레드는 그쪽이 잰다. 같은 실험 구간에서 두 기록을 함께 남기고 여기서는 vhost 커널 스레드와 softirq 만 새로 잰다. +- 2026-09-21 재검증에서 baseline에서 `vhost-167796`, `vhost-272123`, `vhost-272149` thread는 `pidstat` 평균 0.00% CPU였다. host는 약 95~97% idle이었다. +- 2026-09-21 재검증에서 외부 OIDC discovery 4000회/concurrency 40 부하는 6.469초에 `rc=0`으로 끝났다. 이 구간 vhost 평균 CPU는 edge 9.75%, `kc-lab-1` 3.62%, `kc-lab-2` 3.75%였다. +- 2026-09-21 재검증에서 같은 구간 host `vmstat`은 가장 바쁜 샘플에서도 idle 약 39~56%를 남겼다. guest 실행을 나타내는 `gu`는 약 31~44%까지 올라 vCPU workload 자체의 CPU 사용이 vhost보다 훨씬 컸다. +- 2026-09-21 재검증에서 `NET_RX` softirq event는 8 CPU 합계로 15,265회 증가했다. 별도 3000회/concurrency 40 실행에서 `/proc/stat` softirq CPU time은 26 tick 증가했고 `CLK_TCK=100`이므로 0.26 CPU-second다. 3.953초 구간에서 한 core 기준 약 6.58%, 전체 8 CPU capacity 기준 약 0.82%에 해당한다. +- 2026-09-21 재검증에서 외부 serial probe latency는 baseline 20회에서 avg 15.2 ms, p95 31.8 ms였다. concurrency 40 부하 중 40개 probe는 avg 33.4 ms, p95 62.9 ms였다. 지연은 올랐지만 같은 구간 guest vCPU 사용량도 크게 올라 network virtualization 비용만의 영향으로 분리되지 않는다. -## 사실 - -- §117.7 은 vhost-net · QEMU thread · softirq 도 호스트 CPU 를 쓰고, 따라서 네트워크 문제처럼 보여도 CPU 스케줄링 문제일 수 있다고 적었다. -- §107 은 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간을 오가는 전환 비용이 쌓인다고 밝혔다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다. -- §111 은 게스트와 호스트가 큐에 새 패킷이나 버퍼가 있음을 서로 알려야 한다고 적었다. 패킷마다 인터럽트나 알림이 지나치게 많이 발생하면 오버헤드가 커지므로 batching · interrupt moderation · queueing 이 중요하다고 밝혔다. -- §120 은 Refresh Token 경쟁 자체가 virtio-net 문제는 아니지만 클라이언트부터 PostgreSQL/Redis 까지 같은 경로를 공유하므로 네트워크 경로를 별도로 검증한다고 적었다. -- §120 이 Refresh Token 경쟁이나 DB lock 으로 오해할 수 있다고 든 다섯 +- 「Host CPU Contention으로 network latency 증가」에서는 vhost-net · QEMU thread · softirq 도 호스트 CPU 를 쓰고, 따라서 네트워크 문제처럼 보여도 CPU 스케줄링 문제일 수 있다고 적었다. +- 「vhost-net 최적화」에서는 QEMU 사용자 공간이 패킷마다 I/O 를 처리하면 호스트 커널과 사용자 공간을 오가는 전환 비용이 쌓인다고 밝혔다. 초당 지나는 패킷이 많아질수록 userspace/kernel transition · scheduling · copy · notification 비용이 커질 수 있다. +- 「Interrupt / Notification 최적화」에서는 게스트와 호스트가 큐에 새 패킷이나 버퍼가 있음을 서로 알려야 한다고 적었다. 패킷마다 인터럽트나 알림이 지나치게 많이 발생하면 오버헤드가 커지므로 batching · interrupt moderation · queueing 이 중요하다고 밝혔다. +- 「Keycloak Refresh Token 실험과의 관계」의 핵심은 refresh 경쟁과 네트워크 가상화 문제를 섞지 않는 것이다. 현재 lab에서는 클라이언트부터 PostgreSQL까지의 경로를 검증하고, Redis를 사용하는 별도 구조에서는 Redis 구간을 추가한다. +- 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁이나 DB lock 으로 오해할 수 있다고 든 다섯 Node1 요청만 지연 VM2 packet loss Host bridge misconfiguration NAT/conntrack issue Host CPU contention으로 vhost 처리 지연 -- §122 OQ-7 이 든 관찰 대상 여섯 +- 같은 시간축에 놓을 값은 여섯이다. QEMU CPU - vhost thread + vhost thread CPU softirq Host CPU Guest CPU network latency -- 이 여섯 가운데 QEMU CPU 와 Guest CPU 는 CPU 가상화 쪽 물음이 같은 실험 구간에서 이미 잰다. §14.7 이 호스트 스레드를 보는 명령으로 적은 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 는 이름이 qemu 인 스레드만 걸러 내므로 vhost 커널 스레드는 그 출력에 나오지 않는다. -- softirq 시간을 읽는 명령이 근거 문서에 없다. §118 의 네트워크 확인 명령 목록에도, CPU 관측 명령을 모아 둔 §14 에도 softirq 항목이 없고 이 낱말은 §117.7 과 §122 OQ-7 두 곳에만 나온다. -- §108 은 vhost-net 을 써도 QEMU 가 VM lifecycle · virtio device 생성 · feature negotiation · queue configuration · backend 연결 · device reset 을 계속 맡는다고 적었다. -- §179 는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT 만 두었다고 관측으로 적었다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다. -- §197 과 §218 은 이 호스트의 논리 코어가 8 이고 게스트 셋에 vCPU 2 · 2 · 1 을 배분했다고 적었다. 부하 구간의 호스트 CPU 사용량은 이 수와 나란히 읽는다. -- §192 가 적은 스크레이프 대상은 keycloak · kubelet · node-exporter · prometheus 넷이고 node-exporter 는 게스트 노드마다 하나씩 붙는다. §193 은 이 실험대가 호스트 쪽 지표를 긁지 않는다고 적었다. -- 이 호스트에서 부하 구간의 vhost 스레드 CPU 사용량이나 softirq 시간을 잰 기록이 없다. +- QEMU CPU와 Guest CPU는 같은 부하 구간의 CPU 가상화 측정값을 재사용한다. `ps ... | grep qemu`는 QEMU 스레드만 남기므로 vhost 커널 스레드는 별도로 찾아야 한다. +- 이번 재검증에서는 `/proc/softirqs`의 `NET_RX` event 증가량과 `/proc/stat`의 softirq CPU time을 함께 사용했다. event 수와 CPU time은 같은 값이 아니므로 둘을 구분해 기록했다. +- 「vhost-net은 QEMU를 제거하지 않는다」에서는 vhost-net 을 써도 QEMU 가 VM lifecycle · virtio device 생성 · feature negotiation · queue configuration · backend 연결 · device reset 을 계속 맡는다고 적었다. +- 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 nginx 를 물리 호스트에서 엣지 게스트로 옮기고 호스트에는 커널 DNAT 만 두었다고 관측으로 적었다. 지금 호스트에는 `:443` 을 듣는 리스너가 없다. +- 「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 호스트의 논리 코어가 8 이고 게스트 셋에 vCPU 2 · 2 · 1 을 배분했다고 적었다. 부하 구간의 호스트 CPU 사용량은 이 수와 나란히 읽는다. +- 「단계 06 — Prometheus 와 Grafana」에 적은 스크레이프 대상은 keycloak · kubelet · node-exporter · prometheus 넷이고 node-exporter 는 게스트 노드마다 하나씩 붙는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 이 실험대가 호스트 쪽 지표를 긁지 않는다고 적었다. +- 2026-09-21 외부 OIDC read-only 부하에서 vhost thread CPU, NET_RX event, softirq CPU time, host idle, guest workload CPU, probe latency를 같은 실행 구간에 기록했다. -## 가정 +## 외부 OIDC 부하 동안 vhost와 softirq를 함께 재었다 -- Keycloak 부하 시험을 돌릴 수 있고, 부하 구간과 그 직전 구간을 나눠 기록할 수 있다고 본다. -- 호스트에서 vhost 커널 스레드를 스레드 단위로 구분해 볼 수 있다고 전제한다. §108 이 vhost-net 을 써도 QEMU 가 설정과 수명 주기를 계속 맡는다고 적었으므로, QEMU 프로세스의 CPU 사용량과 vhost 커널 스레드의 CPU 사용량을 따로 세야 한다. -- 부하 도구가 네트워크 지연을 이미 내고 있다고 전제한다. 그 도구가 어떤 값을 어떤 주기로 내는지는 근거 문서에 적혀 있지 않다. -- 호스트와 게스트 둘의 시각을 맞춰 읽을 수 있다. 시계가 어긋나면 세 값을 같은 부하 구간에 겹쳐 놓지 못한다. -- 엣지 게스트의 nginx 가 쓰는 CPU 는 그 게스트를 돌리는 QEMU 프로세스 쪽에 나타난다고 본다. §179 가 nginx 를 게스트로 옮긴 뒤로 호스트에는 그 프로세스가 없으므로, 부하 구간의 호스트 CPU 상승을 전부 네트워크 가상화 몫으로 읽으면 이 전제가 깨진다. +- baseline과 외부 OIDC load 구간을 나눠 같은 host에서 연속 측정했다. +- vhost kernel thread는 `pidstat`으로 thread별 CPU를 읽고, QEMU/guest workload CPU와 분리했다. +- network latency는 별도 serial probe를 baseline과 load 구간에 각각 실행해 avg/p95를 비교했다. +- host와 guest 절대 시각은 약 90초 어긋나 있었다. 이번 측정은 workmachine이 외부 load를 시작하는 동안 host 측정 프로세스를 동시에 실행해 같은 wall-clock timestamp join 없이도 overlap을 보장했다. +- Edge Nginx workload는 edge guest와 그 QEMU/vCPU 경로의 CPU 사용량에 포함된다. 따라서 host CPU 증가분 전체를 vhost/softirq 비용으로 읽지 않고, vhost thread CPU와 softirq CPU time을 별도로 분리했다. -## 미지수 +## 비용 존재와 병목 여부는 다르다 -- 부하를 걸기 전 vhost 커널 스레드의 CPU 사용량과 softirq 시간. -- 부하 구간에서 그 둘이 얼마나 오르는지. -- 오른 몫이 QEMU vCPU 스레드 사용량과 어떻게 나뉘는지. 게스트가 셋이라 엣지 게스트를 돌리는 QEMU 프로세스의 몫도 k3s 노드 두 대와 갈라 세야 한다. -- vhost 커널 스레드와 softirq 의 움직임이 네트워크 지연과 같은 시간축에서 함께 움직이는지. -- 두 지표가 얼마나 움직여야 실험 결과를 다르게 읽어야 하는지. 그 문턱을 아직 정하지 않았다. -- softirq 시간을 이 환경에서 어떤 도구로 읽는지. 근거 문서가 명령을 적지 않아 실행하는 쪽이 정한다. +현재 OIDC read-only 부하 수준에서 vhost thread CPU, softirq event/time, host idle, guest vCPU 사용량, 외부 latency 변화는 모두 측정됐다. vhost와 softirq 비용은 baseline보다 증가했지만 host CPU capacity를 포화시키지 않았다. -## 제약 +남는 것은 실제 refresh-token/DB workload에서 같은 패턴이 유지되는지와, vhost CPU 배치나 multi-queue 변경이 latency를 개선하는지다. 이 둘은 현재 구조의 비용 존재 여부가 아니라 다른 workload/튜닝 효과를 묻는 별도 실험이다. + +## 현재 packet rate에서의 범위 - 실험 조건을 바꾸지 않고 관찰만 덧붙인다. CPU 가상화 쪽 물음이 같은 실험 구간을 쓰기로 되어 있어 부하 수준을 바꾸면 두 기록을 겹쳐 읽지 못한다. - 기준값을 먼저 찍는다. 부하 구간의 값만 있으면 그것이 평소 값인지 부하 때문에 오른 값인지 판정할 수 없다. -- 이 물음이 새로 만드는 값은 vhost 커널 스레드 사용량과 softirq 시간 둘이다. QEMU CPU 와 Guest CPU 와 steal time 은 CPU 가상화 쪽 기록을 그대로 쓰고, 네트워크 지연은 부하 도구가 낸 값을 쓴다. -- 호스트 쪽 값은 손으로 읽어 남긴다. §192 의 관측 스택은 게스트 안에서 돌고 §193 이 적은 대로 호스트 지표를 긁지 않는다. §193 은 node-exporter 가 게스트 커널이 내놓는 값을 읽으므로 그 값이 전부 게스트가 본 것이고 호스트에서 같은 것을 재면 다른 수가 나올 수 있다고 추론으로 덧붙였다. -- 두 지표가 움직이지 않았다는 결과가 나와도 Refresh Token 실험의 결론이 바뀌지는 않는다. §120 이 Refresh Token 경쟁과 네트워크 가상화를 별개 문제로 놓았기 때문에, 여기서 갈리는 것은 그 실험 결과를 애플리케이션과 저장소 쪽으로 읽어도 되는지 하나다. -- 스레드가 어느 논리 CPU 에서 돌았는지는 §14.7 의 psr 로 읽히지만, 그 번호가 어느 물리 코어인지는 SSOT 에서 나오지 않는다. §197 이 남긴 lscpu 출력이 grep 으로 걸러져 Model name 과 CPU(s), Thread(s) per core, Core(s) per socket 네 줄뿐이기 때문이다. vhost 스레드를 어느 CPU 에 둘지를 나중에 정하려면 그 배치를 호스트에서 다시 읽어야 한다. -- 이 호스트에서 잰 값이 없어 다른 장비의 수치를 근거로 삼지 않는다. +- 새로 추가할 값은 vhost 처리 주체의 CPU 사용량과 softirq다. QEMU CPU·Guest CPU·steal time은 같은 실험의 CPU 측정값을 쓰고, network latency는 부하 도구 값을 쓴다. +- 호스트 쪽 값은 손으로 읽어 남긴다. 「단계 06 — Prometheus 와 Grafana」의 관측 스택은 게스트 안에서 돌고 「이 구축이 제1~4부의 어느 구조에 닿나」에 적은 대로 호스트 지표를 긁지 않는다. 「이 구축이 제1~4부의 어느 구조에 닿나」에서는 node-exporter 가 게스트 커널이 내놓는 값을 읽으므로 그 값이 전부 게스트가 본 것이고 호스트에서 같은 것을 재면 다른 수가 나올 수 있다고 추론으로 덧붙였다. +- 두 지표가 움직이지 않았다는 결과가 나와도 Refresh Token 실험의 결론이 바뀌지는 않는다. 「Keycloak Refresh Token 실험과의 관계」에서는 Refresh Token 경쟁과 네트워크 가상화를 별개 문제로 놓았기 때문에, 여기서 갈리는 것은 그 실험 결과를 애플리케이션과 저장소 쪽으로 읽어도 되는지 하나다. +- 2026-09-21 `lscpu` 전체 출력으로 host가 4 cores / 8 logical CPUs, single socket, single NUMA node임을 확인했다. 향후 vhost affinity를 비교할 때는 이 topology와 `PSR`을 함께 기록한다. +- 2026-09-21 현재 host에서 직접 측정한 값으로 판단한다. 이 수치를 다른 장비나 더 높은 packet rate에 그대로 적용하지 않는다. -## 선택지 +## 어떻게 겹쳐 봤나 ### 1. 실험을 그대로 두고 vhost 스레드와 softirq 만 덧붙여 잰다 @@ -99,22 +95,16 @@ CPU 가상화 쪽 물음이 이미 같은 구간에서 Guest steal time 과 QEMU ### 2. 부하 직전 구간을 기준값으로 따로 찍는다 -부하를 걸기 전에 §122 OQ-7 의 여섯을 한 번 찍어 두면 부하 구간의 값을 견줄 대상이 생긴다. 기준값 없이 부하 구간만 찍으면 vhost 스레드 사용량이 어떤 값으로 나오든 그것이 평소 값인지 부하 때문에 오른 값인지 판정하지 못한다. +부하를 걸기 전에 같은 여섯 지표를 한 번 찍어 baseline을 만든다. 기준값 없이 부하 구간만 찍으면 vhost 스레드 사용량이 어떤 값으로 나오든 그것이 평소 값인지 부하 때문에 오른 값인지 판정하지 못한다. ### 3. network latency 를 같은 시간축에 올려 함께 본다 -vhost 스레드와 softirq 가 올라도 지연이 그대로면 이 부하 수준에서는 지연을 바꾸지 않았다고 적을 수 있다. §122 OQ-7 이 network latency 를 여섯째 관찰 대상으로 둔 이유가 여기에 있다. 대신 호스트와 부하 도구의 시각을 맞춰야 세 값을 겹쳐 놓을 수 있다. +vhost 스레드와 softirq 가 올라도 지연이 그대로면 이 부하 수준에서는 지연을 바꾸지 않았다고 적을 수 있다. 원문의 7번째 확인 항목에서 network latency 를 함께 보도록 한 이유가 여기에 있다. 대신 호스트와 부하 도구의 시각을 맞춰야 세 값을 겹쳐 놓을 수 있다. -### 4. 제외 — 초당 패킷 수를 올려 vhost 처리를 포화시켜 견준다 +### 4. 제외 — 초당 패킷 수를 따로 올려 vhost를 포화시킨다 -§107 은 초당 지나는 패킷이 많아질수록 전환과 복사와 알림 비용이 커질 수 있다고 적었으므로, 그 수를 올리면 vhost 처리 비용이 더 잘 드러난다. 그러나 이 물음은 Keycloak 부하 시험 구간에서 네트워크 가상화가 결과를 흔들었는지를 묻는 것이라, 부하를 다르게 걸고 잰 값은 그 답이 되지 않는다. 포화 구간과 견주는 측정은 별도 부하 Case 로 뺀다. +그렇게 하면 vhost 처리 한계는 보기 쉽지만 현재 Keycloak 부하 시험의 영향 여부와는 다른 실험이 된다. 먼저 실제 Keycloak 부하 조건을 그대로 두고 측정하고, vhost 자체의 한계를 보려면 별도 네트워크 부하 실험으로 분리한다. -## 다음 검증 +## 비용은 보였지만 host CPU 병목으로 보이지 않았다 -1. 부하를 걸기 전 §122 OQ-7 이 든 여섯을 한 번 찍어 기준값으로 둔다. -2. Keycloak 부하 시험을 돌리면서 같은 여섯을 같은 시각에 기록한다. 호스트에서는 QEMU 프로세스와 vhost 커널 스레드의 CPU 사용량을 스레드 단위로, softirq 시간을, 호스트 전체 CPU 를 적는다. -3. 각 게스트의 CPU 사용량과 부하 도구가 낸 네트워크 지연을 같은 구간에서 적는다. -4. vhost 커널 스레드와 softirq 를 읽는 데 쓴 명령을 함께 남긴다. §14.7 의 ps -eLo pid,tid,psr,pcpu,comm | grep qemu 는 qemu 로 걸러 내 vhost 커널 스레드를 내지 않고, softirq 를 읽는 명령은 근거 문서에 없다. -5. Guest steal time 과 QEMU vCPU 스레드 쪽은 「Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가」가 같은 구간에서 재므로, 두 기록을 한 실험에서 함께 남긴다. - -닫는 조건 : 부하 구간의 vhost 커널 스레드 사용량과 softirq 시간이 기준값과 다르지 않고 네트워크 지연도 움직이지 않으면, 이 부하 수준에서는 네트워크 가상화가 지연에 영향을 줄 만큼 호스트 CPU 를 쓰지 않는다고 적고 닫는다. 셋 중 하나라도 움직이면 그 부하 전후 표가 Case 가 되고, vhost 스레드를 어느 CPU 에 둘지나 multi-queue 를 켤지는 그 Case 뒤에 Decision 으로 넘긴다. 어느 쪽이든 이 결과가 없으면 §120 이 경고한 오귀속, 곧 네트워크 지연을 Refresh Token 경쟁으로 읽는 것을 배제했다고 적을 근거가 없다. +현재 외부 OIDC read-only 부하에서는 vhost thread와 NET_RX softirq 비용이 baseline보다 증가하고 request latency도 상승했지만, host에는 39~56% idle CPU가 남았고 vhost CPU는 edge 약 9.75%, worker 각각 약 3.6~3.8%였다. softirq CPU time도 전체 8 CPU capacity의 약 0.82% 수준이었다. 따라서 **network virtualization CPU cost는 실제로 존재하지만, 이 부하에서 host CPU를 포화시켜 지연을 지배하는 병목으로 보이지 않는다.** 실제 refresh workload에서는 같은 지표를 다시 겹쳐 확인한다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-qemu-backend-vs-vhost-net-on-this-host.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-qemu-backend-vs-vhost-net-on-this-host.md index bf6d285..9b793b4 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-qemu-backend-vs-vhost-net-on-this-host.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-qemu-backend-vs-vhost-net-on-this-host.md @@ -8,8 +8,16 @@ topicName: 네트워크 가상화 project: virtualization status: 초안 questionStatus: OPEN +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/bded6560-dc8d-473d-966c-5b037bb84c4c/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt source: - final/document.md#122-open-question-oq-4 - final/document.md#107-vhost-net-최적화 @@ -20,70 +28,65 @@ source: # QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가 -백엔드(backend)는 virtqueue 를 사이에 두고 게스트와 버퍼를 주고받는 호스트 쪽을 가리킨다. §107 은 패킷 처리를 QEMU 사용자 공간(userspace)에서 호스트 커널로 옮기면 컨텍스트 스위치와 사용자 공간 오버헤드가 줄어든다고 적었지만, 방향만 있을 뿐 이 호스트에서 두 백엔드를 나란히 재 본 값은 없다. §110 은 실제로 복사가 일어나는지가 커널 버전과 offload 를 비롯한 여러 조건에 따라 달라질 수 있다고 밝혔으니, 다른 환경의 수치를 이 호스트 값으로 옮겨 쓸 수도 없다. 이 물음은 §122 OQ-4 가 든 여섯 축을 이 호스트에서 나란히 재서 차이가 보이는지 가른다. +현재 세 VM의 packet datapath backend는 vhost-net으로 확인됐다. 2026-09-21 `kc-lab-2`에 libvirt 문서가 설명하는 ``를 persistent XML로 넣고 실제 재부팅까지 했지만, **실행 중 QEMU argv는 여전히 `vhost:true`였다.** 따라서 이 세션에서는 QEMU userspace backend 조건 자체를 만들지 못했고, 두 backend 성능 비교는 아직 수행하지 않았다. XML 설정값만으로 runtime backend 전환을 성공했다고 처리하지 않는다. -## 관계 +## 현재 baseline backend -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 그 경로에서 두 백엔드가 갈리는 곳은 TAP 다음 한 칸이고, 이 물음은 거기서 무엇이 달라지는지를 잰다. -- **이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가** - 지금 어느 쪽으로 돌고 있는지가 정해져야 견줄 두 값 가운데 한쪽이 고정된다. -- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가** - 두 물음이 QEMU CPU 와 Host CPU 를 같은 부하에서 읽으므로 측정을 한 번으로 묶을 수 있다. -- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다** - 백엔드 차이가 지연에 얼마나 들어오는지를 이 물음이 재면, 그 기준이 그 값을 가져다 쓴다. +- 2026-09-21 재검증에서 현재 vhost baseline에서 `kc-lab-2`의 QEMU argv는 `{"type":"tap",...,"vhost":true,"vhostfd":"31"}`였다. host→`.12:80` direct OIDC 2000회/concurrency 20은 `2419.4 rps`, avg `8.07 ms`, p95 `15.07 ms`였다. 이 수치는 vhost 조건의 환경 의존 baseline이다. +- 2026-09-21 재검증에서 inactive domain XML에 ``를 넣는 것은 libvirt가 받아들였고 live XML에도 재부팅 후 그 요소가 남았다. +- 2026-09-21 재검증에서 그러나 실제 재부팅 뒤 `virsh domxml-to-native qemu-argv`는 계속 `vhost:true`와 `vhostfd`를 냈다. 즉 XML 문자열만 보고 userspace backend로 전환됐다고 판단하면 틀린다. +- 설치된 libvirt 문서(`/usr/share/doc/libvirt/html/formatdomain.html`)는 virtio NIC의 `driver name='qemu'`를 user-space backend, `name='vhost'`를 kernel backend로 설명한다. 현재 호스트의 실제 런타임과 문서상 기대는 일치하지 않았다. +- 2026-09-21 재검증에서 실험 후 원본 inactive XML을 다시 `virsh define`했고 live datapath도 계속 기존 vhost-net 상태다. `kc-lab-2`는 `Ready`로 복구됐다. -## 사실 - -- §107 은 QEMU 가 사용자 공간에서 패킷마다 I/O 를 처리하면 호스트 커널과 QEMU 사용자 공간 사이를 오가는 전환이 쌓인다고 적었다. 초당 패킷 수(packet rate)가 높아질수록 사용자 공간과 커널 사이의 전환 · 스케줄링 · 복사 · 알림 비용이 커질 수 있다. -- §107 이 적은 두 구성은 TAP 다음에 무엇이 오는지로 갈린다. +- 「vhost-net 최적화」에서는 QEMU 가 사용자 공간에서 패킷마다 I/O 를 처리하면 호스트 커널과 QEMU 사용자 공간 사이를 오가는 전환이 쌓인다고 적었다. 초당 패킷 수(packet rate)가 높아질수록 사용자 공간과 커널 사이의 전환 · 스케줄링 · 복사 · 알림 비용이 커질 수 있다. +- 「vhost-net 최적화」에 적은 두 구성은 TAP 다음에 무엇이 오는지로 갈린다. QEMU userspace backend : TAP → QEMU → virtqueue vhost-net kernel backend : TAP → vhost-net → virtqueue -- §125 는 최종 기준 구조에 두 Data Path 를 나란히 그렸다. 열한 칸 가운데 다른 곳은 TAP 다음 한 칸이고, 거기에 vhost-net 이 오느냐 QEMU virtio backend 가 오느냐로 갈린다. -- §107 이 든 최적화 방향은 패킷마다 QEMU 사용자 공간이 끼어들던 처리를 커널 백엔드로 옮겨 컨텍스트 스위치와 사용자 공간 오버헤드를 줄이는 것이다. -- §110 은 virtio · virtqueue · vhost 구조가 버퍼 디스크립터(descriptor)로 불필요한 복사와 컨텍스트 스위치를 줄이도록 설계되어 있다고 적었다. 그렇다고 이를 항상 zero-copy 라고 일반화하면 안 된다고 못 박았다. 실제로 복사가 일어나는지는 아래에 따라 달라질 수 있다. +- 「최종 기준 구조」에서는 최종 기준 구조에 두 Data Path 를 나란히 그렸다. 열한 칸 가운데 다른 곳은 TAP 다음 한 칸이고, 거기에 vhost-net 이 오느냐 QEMU virtio backend 가 오느냐로 갈린다. +- 「vhost-net 최적화」에서 든 최적화 방향은 패킷마다 QEMU 사용자 공간이 끼어들던 처리를 커널 백엔드로 옮겨 컨텍스트 스위치와 사용자 공간 오버헤드를 줄이는 것이다. +- 「Data Copy 최적화」에서는 virtio · virtqueue · vhost 구조가 버퍼 디스크립터(descriptor)로 불필요한 복사와 컨텍스트 스위치를 줄이도록 설계되어 있다고 적었다. 그렇다고 이를 항상 zero-copy 라고 일반화하면 안 된다고 못 박았다. 실제로 복사가 일어나는지는 아래에 따라 달라질 수 있다. Kernel version · QEMU version · vhost configuration offload · NIC capability · packet path · GSO/GRO/TSO -- §111 은 게스트와 호스트가 큐에 새 패킷이 들어왔음을 서로 알려야 한다고 적고, 패킷마다 인터럽트와 알림이 지나치게 많이 나가면 오버헤드가 커질 수 있다고 덧붙였다. 그래서 batching 과 interrupt moderation 과 queueing 이 중요하다. -- §117.4 는 초당 패킷 수가 높은 구간에서 QEMU 사용자 공간이 처리 경로를 직접 맡으면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰할 것으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다. -- §122 OQ-4 는 비교할 축 여섯을 적었다. +- 「Interrupt / Notification 최적화」에서는 게스트와 호스트가 큐에 새 패킷이 들어왔음을 서로 알려야 한다고 적고, 패킷마다 인터럽트와 알림이 지나치게 많이 나가면 오버헤드가 커질 수 있다고 덧붙였다. 그래서 batching 과 interrupt moderation 과 queueing 이 중요하다. +- 「vhost-net 미사용 또는 비효율적 datapath」에서는 초당 패킷 수가 높은 구간에서 QEMU 사용자 공간이 처리 경로를 직접 맡으면 CPU 오버헤드가 커질 수 있다고 밝혔다. 관찰할 것으로는 QEMU CPU usage · vhost thread · packet rate · latency · context switch 를 들었다. +- 비교할 축은 여섯이다. Latency Throughput QEMU CPU Host CPU Context Switch Packet rate -- §122 OQ-4 는 축의 이름만 적어 두었고, 여섯을 무슨 도구로 어떻게 재는지는 제3부에 없다. 같은 §122 에서 OQ-1 과 OQ-2 는 돌릴 명령을 그대로 적었고 OQ-3 은 lsmod | grep vhost 를 확인 후보로 들었다. -- §197 은 이 호스트의 판 번호를 실측으로 적었다. +- 이 여섯 값을 어떤 도구로 읽을지는 현재 문서에 고정돼 있지 않으므로, 실행할 때 사용한 명령과 도구 버전을 함께 남긴다. +- 「측정 환경」에서는 이 호스트의 판 번호를 실측으로 적었다. libvirt : 12.7.0 QEMU emulator version : 11.1.1 커널 : 7.2.2-arch1-1 -- 그래서 §110 이 든 조건 여섯 가운데 kernel version 과 QEMU version 은 이제 적을 수 있다. vhost configuration 과 offload, NIC capability 는 이 호스트에서 읽은 값이 없다. -- §202 와 §204 는 게스트를 지우고 다시 세울 때 무엇이 사라지고 무엇이 남는지 적었다. 게스트 디스크와 시드 ISO 는 사라지고 base.qcow2 와 libvirt 의 default 네트워크 정의는 남으며, 재구축해도 IP 가 같다. 다만 백엔드를 바꿔 다시 세운 기록은 없다. -- 이 호스트에서 두 백엔드를 재 본 값은 SSOT 에 없다. +- 그래서 「Data Copy 최적화」에서 든 조건 여섯 가운데 kernel version 과 QEMU version 은 이제 적을 수 있다. vhost configuration 과 offload, NIC capability 는 이 호스트에서 읽은 값이 없다. +- 「철거 — 실제 출력 전문」와 「재구축할 때 무엇이 남아 있나」에서는 게스트를 지우고 다시 세울 때 무엇이 사라지고 무엇이 남는지 적었다. 게스트 디스크와 시드 ISO 는 사라지고 base.qcow2 와 libvirt 의 default 네트워크 정의는 남으며, 재구축해도 IP 가 같다. 다만 백엔드를 바꿔 다시 세운 기록은 없다. +- 이 호스트에서 두 백엔드를 재 본 값은 기존 문서에 없다. -## 가정 +## A/B 비교 조건 -- 같은 가상 머신을 다른 백엔드로 다시 구성해 띄울 수 있다고 본다. 그것이 이 실험 환경에서 되는지는 SSOT 에 적혀 있지 않다. +- 같은 가상 머신을 다른 백엔드로 다시 구성해 띄울 수 있다고 본다. 그것이 이 실험 환경에서 되는지는 기존 문서에 적혀 있지 않다. - 두 구성에 같은 부하를 걸 수 있다고 전제한다. 부하 도구와 요청 구성이 같아야 여섯 축을 견줄 수 있기 때문이다. - 부하를 걸기 전 값과 부하 중 값의 차이가 백엔드 차이보다 작다고 전제하지 않는다. 그래서 부하 전 값을 먼저 찍어 둔다. - 두 구성을 같은 시각에 나란히 돌릴 수 없다고 보고 차례로 잰다. 그 사이에 호스트의 다른 부하가 달라지면 값이 흔들릴 수 있다. -## 미지수 +## 아직 없는 성능 차이 - 같은 부하를 두 백엔드로 돌렸을 때 여섯 축이 실제로 얼마나 달라지는지. - 그 차이가 이 실험의 결과를 다르게 읽어야 할 만큼인지, 아니면 측정 흔들림 안인지. -- 이 호스트가 내는 초당 패킷 수가 §107 이 말한 「높아질수록 비용이 커지는」 구간에 들어가는지. +- 이 호스트가 내는 초당 패킷 수가 「vhost-net 최적화」에서 말한 「높아질수록 비용이 커지는」 구간에 들어가는지. - 여섯 축을 이 환경에서 무엇으로 재는지. 제3부가 도구를 적지 않아 실행하는 쪽이 정한다. -## 제약 +## 다른 환경의 수치는 제외한다 -- 지금 백엔드가 무엇인지는 이 물음이 정하지 않는다. 그것을 확정하는 물음이 닫힌 뒤에 시작한다. §116 은 이 테스트 환경의 경로를 펼치면서 TAP 다음 칸에 vhost-net 을 적어 두었다. 그 칸이 실제로 그런지를 §122 가 OQ-3 으로 아직 묻고 있으므로 그 그림을 지금 백엔드의 근거로 쓰지 않는다. -- §110 이 든 조건들(kernel version · QEMU version · vhost configuration · offload · NIC capability · packet path · GSO/GRO/TSO)을 함께 적지 않으면 이 측정을 다른 환경에 재사용할 수 없다. 앞의 둘은 §197 이 이미 적었으므로 잴 때 나머지를 채운다. +- 현재 baseline backend는 vhost-net으로 확인됐다. 비교 실험은 이 구성을 먼저 측정한 뒤 같은 VM을 QEMU userspace backend로 바꿔 동일 부하를 다시 거는 순서로 진행한다. +- 「Data Copy 최적화」에서 든 조건들(kernel version · QEMU version · vhost configuration · offload · NIC capability · packet path · GSO/GRO/TSO)을 함께 적지 않으면 이 측정을 다른 환경에 재사용할 수 없다. 앞의 둘은 「측정 환경」에서는 이미 적었으므로 잴 때 나머지를 채운다. - 이 호스트에서 잰 값이 없어 다른 장비의 백엔드 비교 수치를 근거로 삼지 않는다. -- 여기서 어느 백엔드로 실험을 고정할지는 정하지 않는다. 그것은 측정 결과가 나온 뒤의 Decision 이다. +- 어느 backend를 기본 구성으로 둘지는 두 조건의 측정 결과를 본 뒤 판단한다. -## 선택지 +## 두 backend를 비교하는 방법 ### 1. 지금 백엔드만 먼저 찍어 나중에 견줄 값을 만든다 @@ -93,20 +96,20 @@ source: ### 2. 두 백엔드로 바꿔 가며 같은 부하를 건다 -§122 OQ-4 가 요구하는 비교가 이것이다. 같은 가상 머신을 다른 백엔드로 다시 구성하고 같은 부하를 양쪽에 걸어 여섯 축을 같은 시각에 기록한다. 차이가 나면 그 표가 그대로 Case 가 된다. +같은 VM을 vhost-net과 QEMU userspace backend로 각각 구성하고 동일한 부하를 걸어 여섯 축을 같은 방식으로 기록한다. 두 실행 사이에는 backend 외의 조건을 바꾸지 않는다. 가상 머신을 다시 구성하고 재시작해야 하므로 그동안 Keycloak 실험을 멈춰야 하고, 두 측정 사이에 호스트 상태가 달라지지 않도록 관리해야 한다. ### 3. 문헌의 백엔드 비교 수치를 가져다 쓴다 — 제외 -§110 은 실제로 복사가 일어나는지가 여러 조건에 따라 달라질 수 있다고 밝혔다. 그 조건은 kernel version · QEMU version · vhost configuration · offload · NIC capability · packet path · GSO/GRO/TSO 다. 조건이 이만큼 걸려 있으니 다른 환경에서 나온 수치는 이 호스트의 값이 되지 못한다. 이 물음은 이 호스트에서 잰 값으로만 닫힌다. +실제 copy 경로와 offload 효과는 kernel·QEMU·vhost 설정·NIC capability·GSO/GRO/TSO에 따라 달라진다. 다른 환경의 수치는 방향을 이해하는 참고 자료일 뿐 이 호스트의 성능 차이를 대신하지 못한다. -## 다음 검증 +## backend를 가르려면 QEMU 인자와 thread를 다시 잡아야 한다 -1. 지금 백엔드가 무엇인지 먼저 확정한다. 그것을 묻는 물음이 닫히기 전에는 견줄 두 값 가운데 한쪽이 무엇인지 알 수 없다. +1. 현재 baseline이 vhost-net임을 2026-09-21 QEMU 인자와 함께 기록한다. 2. 부하를 걸기 전에 여섯 축을 한 번 찍어 둔다. 3. 지금 구성에 부하를 걸고 여섯 축을 같은 시각에 기록한다. Latency 와 Throughput 과 Packet rate 는 부하 도구가 내는 값을 쓰고, QEMU CPU 와 Host CPU 와 Context Switch 는 호스트에서 읽는다. 4. 같은 가상 머신을 다른 백엔드로 구성하고 같은 부하를 걸어 3 을 되풀이한다. -5. 두 구성의 여섯 축을 나란히 적고, §110 이 든 조건들과 실행한 명령을 함께 증거로 남긴다. +5. 두 구성의 여섯 축을 나란히 적고, 「Data Copy 최적화」에서 든 조건들과 실행한 명령을 함께 증거로 남긴다. -닫는 조건 : 두 구성의 여섯 축을 나란히 놓으면 닫는다. 차이가 부하 전 값의 흔들림 안이면 이 호스트가 내는 초당 패킷 수에서는 백엔드 선택이 결과를 바꾸지 않는다고 적고 닫는다. 차이가 나면 그 측정이 Case 가 되고, 어느 백엔드로 실험을 고정할지는 그 Case 뒤에 Decision 으로 넘긴다. +두 구성의 여섯 축을 나란히 놓고 baseline 흔들림보다 큰 차이가 있는지 본다. 차이가 없다면 현재 packet rate에서는 backend 선택 영향이 관측되지 않은 것으로 기록한다. 차이가 반복되면 그 결과를 바탕으로 이후 실험의 backend를 정한다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-tap-interface-to-vm-mapping.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-tap-interface-to-vm-mapping.md index 9294112..b5d0579 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-tap-interface-to-vm-mapping.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-tap-interface-to-vm-mapping.md @@ -7,9 +7,12 @@ topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/397c4789-0272-449b-86d6-2c4a3a122401/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt source: - final/document.md#122-open-question-oq-2 - final/document.md#99-tap의-역할 @@ -19,79 +22,67 @@ source: # VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가 -§99 는 TAP 을 가상 머신의 이더넷 프레임과 호스트 리눅스 네트워크를 잇는 접점으로 놓았다. 그 접점의 이름은 호스트마다 다르게 붙는데, 이 호스트의 두 가상 머신에 무엇이 붙었는지는 SSOT 에 없다. 이름을 모르면 §119 의 계층별 tcpdump 가 대상을 채우지 못하고, §117.1 이 든 「특정 VM 만 통신 불가」도 어느 가상 머신인지 가릴 수 없다. 이 물음은 두 가상 머신의 호스트 쪽 인터페이스 이름과 붙어 있는 곳을 확정한다. +2026-09-21 현재 host 쪽 인터페이스는 `kc-lab-edge → vnet13`, `kc-lab-1 → vnet18`, `kc-lab-2 → vnet19`이고 세 인터페이스 모두 `virbr0`의 forwarding port다. MAC도 DHCP 예약과 일치한다. `vnetN` 번호는 VM 재생성 과정에서 바뀔 수 있으므로 현재 실행의 관측값으로 기록한다. -## 관계 +## 세 VM의 vnet mapping -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 그 경로에서 TAP 이 무엇을 하는지 이미 설명해 두었으므로 이 물음은 거기서 이어진다. -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - 그 기준이 요구하는 캡처 지점의 이름을 이 물음이 댄다. -- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가** - ip link 와 bridge link 를 두 물음이 같이 쓰므로 한 번 찍어 둘을 함께 읽는다. -- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가** - tcpdump 를 어느 인터페이스에 걸지가 이 물음의 답에서 나온다. +- 2026-09-21 재검증에서 `virsh domiflist`, domain XML, `ip -brief link`, `bridge link`를 대조했다. `vnet13/18/19`는 각각 edge/kc-lab-1/kc-lab-2에 대응하며 모두 `master virbr0 state forwarding`이었다. -## 사실 - -- §99 는 TAP 을 호스트 리눅스 커널이 제공하는 가상 이더넷 네트워크 인터페이스로 적었다. 물리 장치가 아니고, 이름의 예로 tap0 과 vnet0 을 들었다. -- §99 가 적은 TAP 의 역할은 가상 머신의 이더넷 프레임과 호스트 리눅스 네트워크를 연결하는 접점이다. +- 「TAP의 역할」에서는 TAP 을 호스트 리눅스 커널이 제공하는 가상 이더넷 네트워크 인터페이스로 적었다. 물리 장치가 아니고, 이름의 예로 tap0 과 vnet0 을 들었다. +- 「TAP의 역할」에 적은 TAP 의 역할은 가상 머신의 이더넷 프레임과 호스트 리눅스 네트워크를 연결하는 접점이다. 수신 : Linux Bridge → TAP → VM 송신 : VM → TAP → Linux Bridge -- §99 는 확인 명령으로 ip link · ip tuntap show · bridge link · virsh domiflist 넷을 들었고, §118 이 같은 명령을 계층별 목록으로 다시 적었다. +- 「TAP의 역할」에서는 확인 명령으로 ip link · ip tuntap show · bridge link · virsh domiflist 넷을 들었고, 「실제 Linux에서 확인할 명령어」에서는 같은 명령을 계층별 목록으로 다시 적었다. TAP/vnet : ip link · ip tuntap show libvirt VM NIC : virsh domiflist 에 domain 이름을 넣는다 Linux Bridge : ip link show type bridge · bridge link · bridge fdb show -- §122 OQ-2 는 이 호스트에서 돌릴 명령을 네 줄로 적었다. +- 원문의 2번째 확인 항목에는 이 호스트에서 돌릴 명령 네 줄이 적혀 있었다. virsh domiflist vm1 virsh domiflist vm2 ip link bridge link -- §99 와 §118 이 TAP 확인 명령으로 든 ip tuntap show 는 OQ-2 의 네 줄에 없다. -- §117.1 은 TAP/Bridge 연결 오류의 증상 셋을 들었다. +- 「TAP의 역할」와 「실제 Linux에서 확인할 명령어」에서는 TAP 확인 명령으로 든 ip tuntap show 는 2번째 확인 항목 의 네 줄에 없다. +- 「TAP/Bridge 연결 오류」에서는 TAP/Bridge 연결 오류의 증상 셋을 들었다. VM 외부 통신 불가 Host ↔ VM 통신 불가 특정 VM 만 통신 불가 -- §117.1 이 그 증상에서 확인하라고 든 명령은 ip link · bridge link · bridge fdb show · virsh domiflist 다. -- §116 은 이 테스트 환경의 경로를 펼치면서 TAP 칸을 TAP(vm1) 과 TAP(vm2) 로 적었다. 호스트에서 읽은 이름은 그 그림에도 없다. -- §178 은 이 실험대의 게스트를 Debian 12 genericcloud 3대로 적었다. 엣지 1대와 k3s 2노드이고, §122 OQ-2 가 vm1 과 vm2 로 적은 두 대가 그중 k3s 노드 쪽이다. -- §202 는 2026-09-10 에 돌린 철거 명령의 출력을 그대로 남겼고, 거기서 libvirt domain 이름이 kc-lab-edge · kc-lab-1 · kc-lab-2 로 확인된다. 한 대분 출력의 첫 줄은 Domain 'kc-lab-edge' destroyed 다. -- §201 과 §247 이 적은 세 게스트의 MAC 주소와 IP 주소 +- 「TAP/Bridge 연결 오류」에서는 그 증상에서 확인하라고 든 명령은 ip link · bridge link · bridge fdb show · virsh domiflist 다. +- 「현재 Keycloak/K3s 테스트 환경과 연결」에서는 이 테스트 환경의 경로를 펼치면서 TAP 칸을 TAP(vm1) 과 TAP(vm2) 로 적었다. 호스트에서 읽은 이름은 그 그림에도 없다. +- 「이 부의 출처와 범위」에서는 이 실험대의 게스트를 Debian 12 genericcloud 3대로 적었다. 엣지 1대와 k3s 2노드이고, 원문의 `vm1`, `vm2` 표기는 그중 k3s 노드 두 대를 가리킨다. +- 「철거 — 실제 출력 전문」에서는 2026-09-10 에 돌린 철거 명령의 출력을 그대로 남겼고, 거기서 libvirt domain 이름이 kc-lab-edge · kc-lab-1 · kc-lab-2 로 확인된다. 한 대분 출력의 첫 줄은 Domain 'kc-lab-edge' destroyed 다. +- 「네트워크 — DHCP 예약의 실제 동작」와 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에 적은 세 게스트의 MAC 주소와 IP 주소 kc-lab-edge : `52:54:00:aa:bb:10` · 192.168.122.10 kc-lab-1 : `52:54:00:aa:bb:11` · 192.168.122.11 kc-lab-2 : `52:54:00:aa:bb:12` · 192.168.122.12 -- §247 은 `52:54:00` 이 QEMU/KVM 에 할당된 OUI(제조사 식별 접두사)라고 적고, 예약의 mac 과 VM 을 만들 때 준 mac 이 정확히 같아야 한다고 밝혔다. 다르면 예약이 조용히 무시되고 게스트가 동적 범위에서 아무 주소나 받는다. -- §201 은 예약과 리스를 다른 것으로 갈라 적었다. virsh net-dumpxml 의 예약은 줄 의도이고 virsh net-dhcp-leases 는 실제로 준 기록이라 둘이 다를 수 있다. 실제로 준 기록에는 `52:54:00:aa:bb:11` 이 192.168.122.11/24 을, `52:54:00:aa:bb:12` 가 192.168.122.12/24 을 각각 kc-lab-1 과 kc-lab-2 이름으로 받은 줄이 남아 있다. -- §178 과 §245 는 게스트가 libvirt 의 default 네트워크에 붙는다고 적었다. §245 는 VM 이 한 대라도 뜨면 그 VM 의 vnetN 인터페이스가 virbr0 에 붙으면서 브리지가 UP 으로 바뀐다고 덧붙였다. -- §201 은 VM 세 대가 돌 때 virbr0 이 UP 이고 전부 철거한 뒤에는 DOWN 이라는 출력을 남겼다. 상태가 갈린 이유를 브리지에 붙은 tap 인터페이스가 하나도 없어서라고 적었다. -- 호스트 쪽 인터페이스의 이름은 SSOT 에 없다. virsh domiflist 를 돌린 출력도 ip link 출력도 없다. +- 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 `52:54:00` 이 QEMU/KVM 에 할당된 OUI(제조사 식별 접두사)라고 적고, 예약의 mac 과 VM 을 만들 때 준 mac 이 정확히 같아야 한다고 밝혔다. 다르면 예약이 조용히 무시되고 게스트가 동적 범위에서 아무 주소나 받는다. +- 「네트워크 — DHCP 예약의 실제 동작」에서는 예약과 리스를 다른 것으로 갈라 적었다. virsh net-dumpxml 의 예약은 줄 의도이고 virsh net-dhcp-leases 는 실제로 준 기록이라 둘이 다를 수 있다. 실제로 준 기록에는 `52:54:00:aa:bb:11` 이 192.168.122.11/24 을, `52:54:00:aa:bb:12` 가 192.168.122.12/24 을 각각 kc-lab-1 과 kc-lab-2 이름으로 받은 줄이 남아 있다. +- 「이 부의 출처와 범위」와 「libvirt `default` 네트워크와 `virbr0`」에서는 게스트가 libvirt 의 default 네트워크에 붙는다고 적었다. 「libvirt `default` 네트워크와 `virbr0`」에서는 VM 이 한 대라도 뜨면 그 VM 의 vnetN 인터페이스가 virbr0 에 붙으면서 브리지가 UP 으로 바뀐다고 덧붙였다. +- 「네트워크 — DHCP 예약의 실제 동작」에서는 VM 세 대가 돌 때 virbr0 이 UP 이고 전부 철거한 뒤에는 DOWN 이라는 출력을 남겼다. 상태가 갈린 이유를 브리지에 붙은 tap 인터페이스가 하나도 없어서라고 적었다. +- 2026-09-21 재검증에서 VM별 host-side `vnetN` 이름과 MAC, `virbr0` 연결을 직접 읽어 대응표를 만들었다. -## 가정 +## mapping 확인 조건 - 호스트에 붙어 virsh 와 ip 계열 명령을 실행할 수 있다고 본다. -- §122 OQ-2 는 명령에 vm1 과 vm2 를 적었지만 §202 의 철거 출력에 찍힌 domain 이름은 kc-lab-1 과 kc-lab-2 다. 그래서 명령에 넣을 이름은 뒤쪽을 쓴다. §99 와 §118 은 같은 명령에 넣을 domain 을 비워 두었다. -- virsh domiflist 출력에 인터페이스 이름과 MAC 주소가 함께 나온다고 전제한다. §99 도 §118 도 이 명령의 출력 형식은 적지 않았다. -- 두 가상 머신이 켜져 있는 동안 읽는다고 전제한다. 꺼진 가상 머신의 TAP 이 호스트에 남아 있는지는 SSOT 에 적혀 있지 않다. +- 원문의 명령에는 `vm1`, `vm2`가 쓰였지만 「철거 — 실제 출력 전문」에 남은 실제 domain 이름은 `kc-lab-1`, `kc-lab-2`다. 따라서 실제 확인 명령에는 뒤쪽 이름을 쓴다. 「TAP의 역할」와 「실제 Linux에서 확인할 명령어」에서는 같은 명령의 domain 이름을 비워 두었다. +- virsh domiflist 출력에 인터페이스 이름과 MAC 주소가 함께 나온다고 전제한다. 「TAP의 역할」도 「실제 Linux에서 확인할 명령어」도 이 명령의 출력 형식은 적지 않았다. +- 두 가상 머신이 켜져 있는 동안 읽는다고 전제한다. 꺼진 가상 머신의 TAP 이 호스트에 남아 있는지는 기존 문서에 적혀 있지 않다. -## 미지수 +## runtime interface 이름의 수명 -- kc-lab-1 과 kc-lab-2 의 호스트 쪽 인터페이스 이름이 각각 무엇인지. 엣지 게스트 kc-lab-edge 의 것도 같이 모른다. -- 각 인터페이스의 NIC model 이 무엇인지. MAC 주소는 §247 의 예약이 대지만 virsh domiflist 가 같은 값을 내는지는 대조해야 갈린다. -- 세 인터페이스가 모두 virbr0 에 붙어 있는지. §245 는 default 네트워크의 VM 들이 이 브리지에 연결된다고 적었고, bridge link 로 포트 목록을 읽은 출력은 없다. -- ip tuntap show 에 나오는 TAP 목록과 virsh domiflist 가 대는 이름이 그대로 맞아떨어지는지. +VM과 host-side vnet 이름, MAC, bridge의 현재 대응은 해소됐다. 이어진 packet-path 재검증에서는 이 mapping을 다시 읽은 뒤 같은 요청이 host ingress에서 edge `vnet13`, worker `vnet18/19`와 guest NIC까지 이동하는 것도 캡처했다. 따라서 host/libvirt 구간에서는 mapping과 실제 흐름이 연결돼 확인됐다. K3s CNI·Service·Pod 내부 경로는 packet-path 질문의 별도 범위로 남는다. -## 제약 +## 재생성 뒤 다시 읽어야 하는 이유 -- 이름과 어디에 붙어 있는지를 적는 데서 끊는다. 그 경로로 패킷이 실제로 흘렀는지는 tcpdump 를 쓰는 물음이 받는다. +- 이 질문의 판정 자체는 이름과 bridge mapping에서 끝낸다. 다만 2026-09-21 후속 packet capture에서 같은 `vnetN`을 관측 지점으로 사용해 실제 요청 흐름과도 대조했다. - 두 가상 머신을 같은 시점에 읽는다. 한쪽을 재시작한 뒤 다른 쪽을 읽으면 이름이 바뀌어도 알 수 없기 때문이다. -- 이 호스트에서 읽은 출력이 없어 tap0 이나 vnet0 같은 §99 의 예시 이름을 이 호스트의 값으로 쓰지 않는다. -- SSOT 가 마지막으로 적은 게스트 상태는 §202 의 철거다. 그 뒤에 다시 세웠는지는 적혀 있지 않으므로 세 게스트가 떠 있는 상태에서 읽는다. 철거된 상태로 읽으면 볼 것이 없다 — §201 은 세 대를 전부 철거한 뒤 virbr0 이 DOWN 인 이유를 브리지에 붙은 tap 인터페이스가 하나도 없어서라고 적었다. +- `vnetN` 이름은 예시가 아니라 2026-09-21 실행 시점의 실제 값으로 기록한다. VM 재생성이나 재연결 뒤에는 번호가 바뀔 수 있으므로 캡처 직전에 다시 읽는다. +- 2026-09-21 재검증은 세 VM이 실행 중일 때 수행했다. domain을 내리거나 다시 만들면 host-side `vnetN` 인터페이스가 사라지거나 번호가 바뀔 수 있다. -## 선택지 +## 어떻게 대조했나 ### 1. libvirt 가 대는 이름을 먼저 받아 호스트에서 대조한다 -virsh domiflist 로 가상 머신마다 붙은 인터페이스를 받고, 그 이름이 ip link 목록에 실재하는지 확인한 뒤 bridge link 로 어느 브리지의 포트인지 잡는다. §122 OQ-2 가 적은 네 줄이 이 순서다. 가상 머신과 인터페이스의 짝이 처음부터 정해져 나오므로 두 대의 것을 헷갈리지 않는다. +`virsh domiflist`로 가상 머신마다 붙은 인터페이스를 받고, 그 이름이 `ip link` 목록에 실제로 있는지 확인한 뒤 `bridge link`로 어느 브리지의 포트인지 잡는다. 원문에 적힌 네 줄도 이 순서다. 가상 머신과 인터페이스의 짝이 처음부터 정해져 나오므로 두 대의 것을 헷갈리지 않는다. libvirt 가 모르는 인터페이스는 이 순서에서 빠진다. @@ -101,15 +92,10 @@ ip link 와 ip tuntap show 로 호스트에 있는 TAP 을 모두 적고, bridge 가상 머신이 두 대뿐인데 호스트에 TAP 이 여럿이면 짝짓는 데 MAC 주소를 다시 대조해야 한다. -### 3. 통신이 안 될 때 §117.1 의 확인 목록으로 함께 본다 — 제외 +### 3. 통신이 안 될 때 「TAP/Bridge 연결 오류」의 확인 목록으로 함께 본다 — 제외 -§117.1 이 증상과 확인 명령을 이미 묶어 두었으니 장애가 났을 때 같이 보자는 방법이다. 지금 필요한 것은 정상일 때의 이름과 붙어 있는 곳이고, 그것이 있어야 장애 때 무엇이 달라졌는지 견줄 수 있다. 증상이 난 뒤에 처음 읽으면 그 값이 원래 그랬는지 그때 바뀐 것인지 가릴 수 없다. +「TAP/Bridge 연결 오류」에서는 증상과 확인 명령을 이미 묶어 두었으니 장애가 났을 때 같이 보자는 방법이다. 지금 필요한 것은 정상일 때의 이름과 붙어 있는 곳이고, 그것이 있어야 장애 때 무엇이 달라졌는지 견줄 수 있다. 증상이 난 뒤에 처음 읽으면 그 값이 원래 그랬는지 그때 바뀐 것인지 가릴 수 없다. -## 다음 검증 +## vnet 번호는 고정값이 아니므로 capture 직전에 다시 매핑한다 -1. virsh domiflist 에 §202 가 적은 domain 이름 kc-lab-1 · kc-lab-2 · kc-lab-edge 를 차례로 넣어 각 가상 머신에 붙은 인터페이스를 읽는다. -2. ip link 로 그 이름이 호스트에 실재하는지 대조한다. -3. bridge link 로 각 인터페이스가 어느 브리지의 포트인지 적는다. -4. 두 가상 머신의 결과를 인터페이스 이름 · MAC 주소 · 붙어 있는 브리지로 나란히 적고, 실행한 명령과 출력을 함께 증거로 남긴다. - -닫는 조건 : 가상 머신마다 인터페이스 이름과 MAC 주소와 붙어 있는 브리지를 적어 두 대를 나란히 놓으면 닫는다. 이 목록이 계층별 캡처 기준이 요구하는 지점의 이름이 되고, 이것이 없으면 실제 패킷 경로를 묻는 물음의 tcpdump 를 어느 인터페이스에 걸지 정할 수 없다. 두 가상 머신이 서로 다른 브리지에 붙어 있으면 §117.1 의 「특정 VM 만 통신 불가」를 진단할 때 그 사실을 먼저 본다고 적는다. +VM 재생성 뒤에는 `vnetN` 이름이 바뀔 수 있으므로 packet capture 직전에 `virsh domiflist`와 `bridge link`를 다시 읽는다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-virtio-net-multi-queue-enabled.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-virtio-net-multi-queue-enabled.md index 5be2c3a..d1fc391 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-virtio-net-multi-queue-enabled.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-virtio-net-multi-queue-enabled.md @@ -7,9 +7,14 @@ topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/1a996f8d-b04e-49d2-88ef-4877e21f7c0e/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt source: - final/document.md#122-open-question-oq-5 - final/document.md#112-multi-queue-최적화 @@ -19,93 +24,72 @@ source: # 이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가 -multi-queue 는 virtio-net 이 송수신 큐를 여러 개 두고 쓰는 구성이다. §112 는 큐를 하나만 쓰면 패킷 처리가 한 vCPU 나 한 처리 경로에 몰릴 수 있어서 이것을 최적화 방향으로 들었을 뿐, 이 가상 머신들의 큐 수는 적지 않았다. 이 물음은 그 쏠림이 실제로 일어나는지를 재지 않고, 두 대가 애초에 큐를 몇 개 쓰도록 구성되어 있는지를 읽는다. +현재 worker 두 대의 virtio-net은 multi-queue가 아니다. 2026-09-21 게스트의 `/sys/class/net/enp1s0/queues`를 직접 읽었고 둘 다 `rx-0`, `tx-0` 한 쌍만 있었다. QEMU/libvirt NIC 설정에도 별도 queue 수 지정이 없다. -## 관계 +## 현재 queue 구성 -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 게스트와 호스트 백엔드가 virtqueue 로 무엇을 주고받는지를 이 개념이 설명한다. 큐를 몇 개 두느냐는 그 구조 위의 설정이다. -- **이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가** - 큐를 실제로 돌리는 백엔드가 어느 쪽이냐에 따라 큐 수를 읽을 곳이 달라진다. -- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가** - 큐가 하나로 나왔을 때 그것이 실제 병목인지는 부하 구간의 vCPU 별 사용량이 답한다. +- 2026-09-21 재검증에서 `kc-lab-1`과 `kc-lab-2`의 queue 디렉터리는 모두 `rx-0`, `tx-0`만 포함했다. `/proc/interrupts`에서 RX와 TX interrupt가 서로 다른 vCPU에 잡힌 순간이 있어도 queue pair 자체는 하나다. -## 사실 - -- §112 는 큐를 하나만 쓰면 특정 vCPU 나 처리 경로에 부하가 몰릴 수 있다고 적었고, virtio-net 이 multi-queue 를 쓸 수 있다고 밝혔다. 든 예는 RX Queue 0 부터 3 까지를 vCPU 0 부터 3 까지에 하나씩 대응시킨 구성이다. -- §112 가 적은 multi-queue 의 목적 셋 +- 「Multi-Queue 최적화」에서는 큐를 하나만 쓰면 특정 vCPU 나 처리 경로에 부하가 몰릴 수 있다고 적었고, virtio-net 이 multi-queue 를 쓸 수 있다고 밝혔다. 든 예는 RX Queue 0 부터 3 까지를 vCPU 0 부터 3 까지에 하나씩 대응시킨 구성이다. +- 「Multi-Queue 최적화」에 적은 multi-queue 의 목적 셋 Packet processing 병렬화 Single queue bottleneck 완화 Multi-core 활용 -- §112 는 그 효과가 workload · CPU affinity · IRQ placement · queue configuration 에 따라 달라진다고 덧붙였다. IRQ(Interrupt Request, 인터럽트 요청)는 장치가 처리할 일이 생겼음을 CPU 에 알리는 신호다. -- §100 은 virtqueue 를 게스트와 호스트 백엔드가 디스크립터(descriptor)를 써서 I/O 버퍼를 주고받는 공유 큐 구조로 놓고, 네트워크에서는 보통 TX/RX 큐를 쓴다고 적었다. TX virtqueue 는 게스트에서 호스트로, RX virtqueue 는 호스트에서 게스트로 버퍼를 넘긴다. -- §117.5 는 single queue bottleneck 을 큐 하나나 vCPU 하나에 패킷 처리가 몰리는 문제로 놓고, 확인 대상 넷을 들었다. +- 「Multi-Queue 최적화」에서는 그 효과가 workload · CPU affinity · IRQ placement · queue configuration 에 따라 달라진다고 덧붙였다. IRQ(Interrupt Request, 인터럽트 요청)는 장치가 처리할 일이 생겼음을 CPU 에 알리는 신호다. +- 「virtqueue의 역할」에서는 virtqueue 를 게스트와 호스트 백엔드가 디스크립터(descriptor)를 써서 I/O 버퍼를 주고받는 공유 큐 구조로 놓고, 네트워크에서는 보통 TX/RX 큐를 쓴다고 적었다. TX virtqueue 는 게스트에서 호스트로, RX virtqueue 는 호스트에서 게스트로 버퍼를 넘긴다. +- 「Single Queue Bottleneck」에서는 single queue bottleneck 을 큐 하나나 vCPU 하나에 패킷 처리가 몰리는 문제로 놓고, 확인 대상 넷을 들었다. virtio multi-queue IRQ distribution per-vCPU CPU usage RSS/RPS/XPS -- §122 OQ-5 가 적은 확인 대상 넷 - QEMU/libvirt NIC configuration - Guest ethtool - queue count - IRQ distribution -- 같은 §122 에서 OQ-1 과 OQ-2 는 돌릴 명령을 그대로 적었고, OQ-5 는 확인 대상 넷의 이름만 적었다. §117.5 가 든 넷도 이름이다. -- §197 과 §218 은 이 실험대의 vCPU 배분을 실측으로 적었다. k3s 노드 kc-lab-1 과 kc-lab-2 가 각각 vCPU 2 이고 엣지 게스트가 1 이며, 합 5 를 논리 코어 8 위에 얹었다. §112 가 큐와 vCPU 를 하나씩 짝지어 든 예는 넷씩이라 이 게스트들의 수와 다르다. -- §247 은 VM 이 부팅하면 게스트 커널이 virtio NIC 를 인식하고 DHCP 클라이언트가 DHCPDISCOVER 를 브로드캐스트한다고 적었다. 이 게스트들의 NIC 가 virtio 라는 것은 거기까지 나온다. -- §201 은 게스트 안에서 본 인터페이스 이름을 한 줄 남겼다. 엣지 게스트가 첫 부팅에서 enp1s0 으로 192.168.122.10/24 을 받았다. ethtool 에 넣을 이름이 그 줄에서 나오지만 k3s 노드 두 대의 인터페이스 이름은 적혀 있지 않다. -- 두 가상 머신에 설정된 큐 수가 SSOT 에 없다. 게스트가 몇 개를 쓰고 있는지도, IRQ 가 어느 vCPU 에 붙어 있는지도 적혀 있지 않다. -- §126 이 적은 실습 순서 열둘 가운데 multi-queue / offload 확인은 마지막 열두째다. -- 네트워크 계층의 확인 명령을 모아 둔 §118 에는 큐 수나 IRQ 분포를 읽는 명령이 없다. Guest NIC 항목에 적힌 것은 ip link · ip addr · ip route · ip neigh 이고, virtio 장치 항목은 lspci 와 lsmod | grep virtio 다. ethtool 은 Physical NIC 항목에서 인터페이스 이름을 받는 형태로만 나온다. +- 현재 queue 구성을 확인할 때는 QEMU/libvirt NIC 설정, guest queue count, IRQ distribution을 함께 본다. queue 수만 보고 병목까지 단정하지 않는다. +- 「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 실험대의 vCPU 배분을 실측으로 적었다. k3s 노드 kc-lab-1 과 kc-lab-2 가 각각 vCPU 2 이고 엣지 게스트가 1 이며, 합 5 를 논리 코어 8 위에 얹었다. 「Multi-Queue 최적화」에서는 큐와 vCPU 를 하나씩 짝지어 든 예는 넷씩이라 이 게스트들의 수와 다르다. +- 「DHCP 예약 (`ip-dhcp-host`)과 MAC `52:54:00`」에서는 VM 이 부팅하면 게스트 커널이 virtio NIC 를 인식하고 DHCP 클라이언트가 DHCPDISCOVER 를 브로드캐스트한다고 적었다. 이 게스트들의 NIC 가 virtio 라는 것은 거기까지 나온다. +- 「네트워크 — DHCP 예약의 실제 동작」에서는 게스트 안에서 본 인터페이스 이름을 한 줄 남겼다. 엣지 게스트가 첫 부팅에서 enp1s0 으로 192.168.122.10/24 을 받았다. ethtool 에 넣을 이름이 그 줄에서 나오지만 k3s 노드 두 대의 인터페이스 이름은 적혀 있지 않다. +- 2026-09-21 재검증에서 worker 둘의 guest queue count와 IRQ 상태를 직접 읽었다. 둘 다 single RX/TX queue 구성이다. +- 「다음 실습 순서」에 적은 실습 순서 열둘 가운데 multi-queue / offload 확인은 마지막 열두째다. +- 네트워크 계층의 확인 명령을 모아 둔 「실제 Linux에서 확인할 명령어」에는 큐 수나 IRQ 분포를 읽는 명령이 없다. Guest NIC 항목에 적힌 것은 ip link · ip addr · ip route · ip neigh 이고, virtio 장치 항목은 lspci 와 lsmod | grep virtio 다. ethtool 은 Physical NIC 항목에서 인터페이스 이름을 받는 형태로만 나온다. -## 가정 +## host와 guest 확인 조건 - 두 가상 머신의 구성과 게스트 내부를 지금 읽을 수 있다고 본다. -- §112 가 든 RX Queue 넷과 vCPU 넷의 짝은 multi-queue 를 설명하려고 든 예시이지 이 호스트에서 읽은 값이 아니다. -- 설정에 적힌 큐 수와 게스트가 실제로 쓰는 큐 수를 따로 읽어야 한다고 전제한다. 설정에 여럿을 적어 두면 게스트 드라이버가 그만큼 쓴다는 서술이 근거 문서에 없기 때문이다. -- 큐를 여럿 두어도 IRQ 를 한 vCPU 가 몰아서 받으면 처리가 한쪽에 몰린다고 본다. §117.5 는 IRQ distribution 을 확인 대상으로 들었을 뿐 그렇게 된다고 적지는 않았다. +- 「Multi-Queue 최적화」에서 든 RX Queue 넷과 vCPU 넷의 짝은 multi-queue 를 설명하려고 든 예시이지 이 호스트에서 읽은 값이 아니다. +- 설정에 적힌 큐 수와 게스트가 실제로 쓰는 큐 수를 따로 읽어야 한다. 설정에 여러 큐를 적었다고 해서 게스트 드라이버가 모두 사용한다고 볼 근거는 원문에 없기 때문이다. +- 큐를 여럿 두어도 IRQ 를 한 vCPU 가 몰아서 받으면 처리가 한쪽에 몰린다고 본다. 「Single Queue Bottleneck」에서는 IRQ distribution 을 확인 대상으로 들었을 뿐 그렇게 된다고 적지는 않았다. - 두 가상 머신의 NIC 구성이 확인하는 동안 바뀌지 않는다. -## 미지수 +## single queue가 뜻하지 않는 것 -- 두 가상 머신의 virtio-net 에 설정된 큐 수. -- 게스트가 실제로 쓰고 있는 큐 수, 그리고 그 수가 설정값과 같은지. -- 각 큐의 IRQ 가 여러 vCPU 에 흩어져 있는지 한 vCPU 에 몰려 있는지. -- 설정된 큐 수와 vCPU 수의 관계. vCPU 는 §218 이 두 노드 모두 2 로 적었으므로, 큐가 몇이면 §112 가 든 하나씩 대응이 되는지는 큐 수를 읽어야 갈린다. -- 이 환경의 RSS/RPS/XPS 설정. §117.5 가 확인 대상으로 들었지만 값을 읽는 방법은 적지 않았다. +현재 queue 수에 대한 미지수는 해소됐다. worker 둘은 single RX/TX queue 구성이다. 이것이 실제 병목인지와 multi-queue를 켰을 때 latency/CPU가 개선되는지는 별도 성능 실험으로 남긴다. RSS/RPS/XPS 튜닝 상태도 그 성능 실험에서 함께 읽는다. -## 제약 +## 성능 병목은 별도 질문이다 -- 이 호스트에서 잰 값이 하나도 없다. 근거는 개념을 정리한 문서 한 편이고 §112 의 큐 넷과 vCPU 넷은 예시 숫자다. +- 현재 queue 수는 이 호스트에서 직접 확인했다. 다만 single queue가 실제 성능 병목인지는 부하 실험 전에는 알 수 없다. - 이 물음은 큐 구성이 무엇인지까지만 답한다. 쏠림이 실제 병목인지는 부하를 걸어야 갈리고, 그 부하 측정은 다른 물음이 가져간다. - 확인하는 동안 NIC 구성을 바꾸지 않는다. 큐 수를 늘려 놓고 읽으면 지금 실험이 어떤 구성에서 돌았는지 못 본다. -- 게스트 안에서 읽는 항목이 둘이라 게스트가 떠 있어야 한다. SSOT 가 마지막으로 적은 게스트 상태는 §202 의 철거이고, 그 뒤 다시 세웠는지는 적혀 있지 않다. -- §118 이 큐 수와 IRQ 분포를 읽는 명령을 적지 않았으므로, 실행한 명령과 그 출력을 함께 증거로 남겨야 다음 사람이 같은 값을 다시 읽는다. +- 2026-09-21 재검증은 worker guest 둘이 실행 중일 때 수행했다. NIC를 재정의하거나 guest를 다시 만들면 queue 구성을 다시 읽는다. +- 「실제 Linux에서 확인할 명령어」에서는 큐 수와 IRQ 분포를 읽는 명령을 적지 않았으므로, 실행한 명령과 그 출력을 함께 증거로 남겨야 다음 사람이 같은 값을 다시 읽는다. -## 선택지 +## queue를 읽는 방법 ### 1. 호스트 쪽 설정값만 먼저 읽는다 -libvirt 와 QEMU 쪽 NIC 구성에 큐 수가 적혀 있는지부터 본다. §90.2 가 libvirt 의 관리 대상 예로 든 여덟은 vCPU · Memory · Disk · NIC model · MAC address · Virtual network · Bridge · QEMU arguments 이고, 큐 수는 그 목록에 없다. 가상 머신에 들어가지 않고 호스트에서 끝나고, 큐가 하나로 적혀 있으면 그 구성은 single queue 로 확정된다. +libvirt 와 QEMU 쪽 NIC 구성에 큐 수가 적혀 있는지부터 본다. 「libvirt」에서는 libvirt 의 관리 대상 예로 든 여덟은 vCPU · Memory · Disk · NIC model · MAC address · Virtual network · Bridge · QEMU arguments 이고, 큐 수는 그 목록에 없다. 가상 머신에 들어가지 않고 호스트에서 끝나고, 큐가 하나로 적혀 있으면 그 구성은 single queue 로 확정된다. 설정에 큐를 여럿 적어 두었을 때 게스트가 그만큼 쓰는지는 이 확인으로 알 수 없다. ### 2. 설정값과 게스트 쪽 채널 수를 함께 읽는다 -§122 OQ-5 가 든 넷 가운데 앞의 셋에 해당한다. 호스트의 NIC 구성과 게스트 안에서 본 채널 수를 같이 적으면 둘이 어긋나는 경우까지 잡힌다. 가상 머신 두 대에 각각 들어가야 해서 실행 횟수가 늘어난다. +원문의 5번째 확인 항목에 적힌 네 가지 가운데 앞의 셋에 해당한다. 호스트의 NIC 구성과 게스트 안에서 본 채널 수를 같이 적으면 둘이 어긋나는 경우까지 잡힌다. 가상 머신 두 대에 각각 들어가야 해서 실행 횟수가 늘어난다. ### 3. IRQ 분포까지 한 번에 읽는다 -큐가 여럿이어도 IRQ 가 한 vCPU 에 몰려 있으면 §117.5 가 든 쏠림은 그대로 생길 수 있다. §122 OQ-5 가 IRQ distribution 을 넷째 확인 대상으로 둔 이유가 여기에 있다. 세 항목을 한 번에 받아 적으면 큐 수만으로 판정을 끝내지 않게 된다. +큐가 여럿이어도 IRQ 가 한 vCPU 에 몰려 있으면 「Single Queue Bottleneck」에서 든 쏠림은 그대로 생길 수 있다. 그래서 원문의 5번째 확인 항목도 IRQ distribution 을 따로 확인하도록 했다. 큐 수와 IRQ 분포를 함께 보면 큐 개수만으로 판정을 끝내는 일을 피할 수 있다. ### 4. 제외 — 큐 수를 바꿔 가며 견준다 -multi-queue 를 켜고 끄면서 재면 이 환경에서 큐 수가 무엇을 바꾸는지 바로 보인다. 그러나 지금 물음은 실험이 어떤 구성에서 돌고 있는지를 읽는 것이라, 구성을 바꾸고 잰 값은 답이 되지 않는다. 켜고 끈 두 구성을 견주는 측정은 별도 Case 로 뺀다. +multi-queue를 켜고 끄면 성능 영향까지 볼 수 있지만, 현재 질문은 실행 중인 구성이 single queue인지 확인하는 데까지만 다룬다. queue 수 변경 전후의 latency·CPU 비교는 별도 성능 실험으로 분리한다. -## 다음 검증 +## single-queue라는 사실만으로 병목이라고 보지 않는다 -1. 호스트에서 두 가상 머신의 libvirt/QEMU NIC configuration 을 열어 큐 수가 적혀 있는지 읽는다. §122 에서 libvirt domain XML 을 확인하라고 적은 곳은 OQ-3 이고 OQ-5 에는 그 문장이 없다. §118 이 이 확인의 명령을 적지 않았으므로 무엇을 실행했는지 함께 기록한다. -2. 각 게스트에서 ethtool 로 채널 수를 읽고, 실제 queue count 를 그 옆에 적는다. §122 OQ-5 가 Guest ethtool 과 queue count 를 나눠 적었으므로 둘을 따로 남긴다. -3. 각 게스트의 IRQ 분포를 읽어 큐마다 어느 vCPU 에 붙어 있는지 적는다. -4. 두 가상 머신의 결과를 vCPU 수와 나란히 한 표로 정리한다. - -닫는 조건 : 가상 머신마다 설정된 큐 수 · 게스트가 쓰는 큐 수 · IRQ 분포를 한 표로 적으면 닫는다. 큐가 하나로 나오면 §117.5 가 든 single queue bottleneck 이 이 환경에서도 일어날 수 있는 구성이라고 적는다. 그것이 실제 병목인지는 부하를 건 뒤 vCPU 별 CPU 사용량이 답하기 때문에 「부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가」로 넘긴다. 큐가 여럿이고 IRQ 도 흩어져 있으면 이 항목은 지금 실험에서 우선순위를 낮추고 닫는다. +NIC 설정을 바꾼 경우에만 queue 디렉터리와 QEMU/libvirt NIC 인자를 다시 대조한다. 현재 single-queue라는 사실만으로 성능 병목이라고 단정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/question/question-vm-network-mode-bridge-nat-or-routed.md b/docs/virtualization/tech-log-studio/network-virtualization/question/question-vm-network-mode-bridge-nat-or-routed.md index 16373ca..35dd745 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/question/question-vm-network-mode-bridge-nat-or-routed.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/question/question-vm-network-mode-bridge-nat-or-routed.md @@ -7,9 +7,12 @@ topic: network-virtualization topicName: 네트워크 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/38716d7f-1aa1-48d8-ab4c-3fc505332128/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt source: - final/document.md#122-open-question-oq-1 - final/document.md#96-linux-bridge의-역할 @@ -21,73 +24,61 @@ source: # 이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가 -이 실험대는 NAT(Network Address Translation, 네트워크 주소 변환) 를 쓴다. 이더넷 없이 WiFi 만 있어 브리지를 못 쓴다고 §178 이 관측으로 적었다. §249 가 세 모드를 견준 표에서 브리지와 macvtap 은 둘 다 「WiFi라 불가」이고 채택 표시는 NAT 한 줄에만 붙어 있다. 감수한 것도 같은 표에 적혀 있다 — VM 주소가 사설이라 LAN 에서 VM 으로 바로 들어가지 못하고 포워딩이 필요하다. 엣지를 게스트로 옮긴 뒤 호스트 커널 DNAT(Destination NAT, 목적지 주소 변환) 와 libvirt 체인의 구멍이 새로 필요해진 것이 그 포워딩이다. 다만 §122 OQ-1 이 요구한 다섯 명령의 출력이 없어 virbr0 에 무엇이 붙어 있고 라우팅이 어떻게 걸려 있는지는 아직 적지 못한다. +2026-09-21 실제 libvirt network 정의를 읽었다. 이 실험대는 게스트를 `virbr0` Linux bridge에 붙이고 `default` network의 `forward mode='nat'`를 사용한다. 따라서 libvirt 분류로는 NAT network이고, 계층을 정확히 쓰면 **guest L2 연결은 bridge, 외부 egress는 NAT**다. -## 관계 +## 현재 libvirt network 구조 -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 그 경로 그림에서 TAP 과 Physical NIC 사이에 놓인 계층이 이 물음이 확정하려는 부분이다. -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - 구성이 무엇이냐에 따라 캡처를 걸 계층의 이름이 달라진다. -- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가** - ip link 와 bridge link 를 두 물음이 같이 쓰므로 한 번 찍어 둘을 함께 읽는다. -- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가** - 이 물음이 닫혀야 그 추적에서 tcpdump 를 걸 대상이 정해진다. +- 2026-09-21 재검증에서 `virsh net-dumpxml default`에 ``와 ``가 함께 있었다. `bridge link`에서는 `vnet13/18/19`가 `virbr0`에 붙고, `ip route`에는 `192.168.122.0/24 dev virbr0`와 `default via 192.168.0.1 dev wlo1`가 있었다. -## 사실 - -- §96 은 Linux Bridge 를 호스트 커널 안의 L2 소프트웨어 스위치로 적었다. 이더넷 프레임의 Destination MAC 을 보고 어느 포트로 보낼지 정하고, MAC learning 을 하며, 여러 가상 포트와 물리 포트를 잇는다. -- §97 은 Routing 을 L3 에서 IP 를 보고 내리는 결정으로 놓았다. Bridge 가 같은 이더넷 네트워크를 잇는 것과 달리 Routing 은 서로 다른 IP 네트워크를 잇고, 목적지 IP 를 보고 어느 인터페이스나 next-hop 으로 보낼지 정한다. -- §98 은 NAT 을 패킷의 IP 와 포트 정보를 바꾸는 것으로 놓고, 가상 머신이 사설 서브넷을 쓰면 호스트가 NAT 게이트웨이처럼 동작할 수 있다는 예를 들었다. +- 「Linux Bridge의 역할」에서는 Linux Bridge 를 호스트 커널 안의 L2 소프트웨어 스위치로 적었다. 이더넷 프레임의 Destination MAC 을 보고 어느 포트로 보낼지 정하고, MAC learning 을 하며, 여러 가상 포트와 물리 포트를 잇는다. +- 「Routing의 역할」에서는 Routing 을 L3 에서 IP 를 보고 내리는 결정으로 놓았다. Bridge 가 같은 이더넷 네트워크를 잇는 것과 달리 Routing 은 서로 다른 IP 네트워크를 잇고, 목적지 IP 를 보고 어느 인터페이스나 next-hop 으로 보낼지 정한다. +- 「NAT의 역할」에서는 NAT 을 패킷의 IP 와 포트 정보를 바꾸는 것으로 놓고, 가상 머신이 사설 서브넷을 쓰면 호스트가 NAT 게이트웨이처럼 동작할 수 있다는 예를 들었다. VM : 192.168.122.10 Host NAT 를 지난 뒤 : 203.0.113.10 -- §96 과 §97 은 절 끝에 확인 명령을 달았다. §96 은 bridge link · bridge fdb show · ip link show type bridge 를, §97 은 ip route 를 들었다. 셋을 구분하라고 적은 §98 에는 확인 명령이 없다. -- §114 는 Bridge 가 단순 L2 forwarding 만 하는 구성이면 프레임이 호스트의 일반적인 L3 TCP/IP 스택을 지나지 않고 다른 TAP 으로 나갈 수 있다고 적었다. 호스트가 Routing · NAT · Host-local termination · Firewall 을 맡으면 그때는 L3/Netfilter 경로가 끼어든다. -- 그래서 §114 는 Physical NIC → Host TCP/IP Stack → Bridge 를 고정된 패킷 경로로 보면 안 되고, 실제 경로는 bridge/routing/NAT 구성에 따라 달라진다고 못 박았다. -- §94 는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 적었다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 덧붙였다. -- 확인할 명령은 §122 OQ-1 이 다섯 줄로 적어 두었다. +- 「Linux Bridge의 역할」와 「Routing의 역할」에서는 절 끝에 확인 명령을 달았다. 「Linux Bridge의 역할」에서는 bridge link · bridge fdb show · ip link show type bridge 를, 「Routing의 역할」에서는 ip route 를 들었다. 셋을 구분하라고 적은 「NAT의 역할」에는 확인 명령이 없다. +- 「Linux Bridge가 항상 Host TCP/IP Stack을 거치는 것은 아니다」에서는 Bridge 가 단순 L2 forwarding 만 하는 구성이면 프레임이 호스트의 일반적인 L3 TCP/IP 스택을 지나지 않고 다른 TAP 으로 나갈 수 있다고 적었다. 호스트가 Routing · NAT · Host-local termination · Firewall 을 맡으면 그때는 L3/Netfilter 경로가 끼어든다. +- 그래서 「Linux Bridge가 항상 Host TCP/IP Stack을 거치는 것은 아니다」에서는 Physical NIC → Host TCP/IP Stack → Bridge 를 고정된 패킷 경로로 보면 안 되고, 실제 경로는 bridge/routing/NAT 구성에 따라 달라진다고 못 박았다. +- 「전체 네트워크 계층」에서는 이 문서가 기준으로 삼은 구조를 virtio-net + vhost-net + TAP + Linux Bridge 로 적었다. 실제 환경은 Bridge · NAT · Routed Network · macvtap · SR-IOV · VFIO passthrough · Open vSwitch · Kubernetes CNI 에 따라 달라질 수 있다고 덧붙였다. +- 원문의 1번째 확인 항목에는 확인 명령 다섯 줄이 적혀 있었다. 정의된 가상 네트워크 열거 : virsh net-list --all 그 가상 네트워크의 정의 읽기 : virsh net-dumpxml 에 이름을 넣는다 호스트 인터페이스 목록 : ip link 어느 인터페이스가 어느 브리지의 포트인지 : bridge link 라우팅 테이블 : ip route -- §118 이 같은 계층에 든 명령 가운데 virsh net-info 와 ip rule 은 OQ-1 의 다섯 줄에 없다. -- §178 은 이 실험대의 대상 환경을 관측으로 적었다. test-server 는 Arch Linux 이고 이더넷 없이 WiFi 만 있어 브리지를 못 쓴다. 그래서 libvirt NAT(virbr0) 과 호스트 진입 구조를 택했고, 게스트는 Debian 12 genericcloud 3대로 엣지 1대와 k3s 2노드다. -- §250 은 WiFi 에서 브리지가 안 되는 이유를 적었다. 802.11 데이터 프레임은 기본적으로 주소 필드가 3개다(3-address 모드). AP(Access Point, 무선 접속 장치)는 연결(association)된 단말(station)의 MAC 만 알고 있어서, 그 단말이 자기 것이 아닌 출발지 MAC 을 단 프레임을 보내면 버린다. 브리지된 가상 머신은 자기 MAC 을 출발지로 쓰므로 정확히 그런 프레임을 보낸다. -- §250 이 든 우회 수단은 둘이다. +- 「실제 Linux에서 확인할 명령어」에서는 같은 계층에 든 명령 가운데 virsh net-info 와 ip rule 은 1번째 확인 항목 의 다섯 줄에 없다. +- 「이 부의 출처와 범위」에서는 이 실험대의 대상 환경을 관측으로 적었다. test-server 는 Arch Linux 이고 이더넷 없이 WiFi 만 있어 브리지를 못 쓴다. 그래서 libvirt NAT(virbr0) 과 호스트 진입 구조를 택했고, 게스트는 Debian 12 genericcloud 3대로 엣지 1대와 k3s 2노드다. +- 「WiFi에서 브리지가 안 되는 이유」에서는 WiFi 에서 브리지가 안 되는 이유를 적었다. 802.11 데이터 프레임은 기본적으로 주소 필드가 3개다(3-address 모드). AP(Access Point, 무선 접속 장치)는 연결(association)된 단말(station)의 MAC 만 알고 있어서, 그 단말이 자기 것이 아닌 출발지 MAC 을 단 프레임을 보내면 버린다. 브리지된 가상 머신은 자기 MAC 을 출발지로 쓰므로 정확히 그런 프레임을 보낸다. +- 「WiFi에서 브리지가 안 되는 이유」에서 든 우회 수단은 둘이다. 4-address 모드(WDS) : AP 와 클라이언트 드라이버가 모두 지원해야 하는데 실제로는 거의 지원되지 않는다 USB 이더넷 어댑터를 꽂는 것 : 현실적인 우회 -- §250 은 test-server 에 이더넷이 없고 wlo1 만 있어서 「VM 에 LAN IP 를 직접 주자」는 계획이 물리적으로 성립하지 않는다고 적었다. 이 제약 하나가 토폴로지 전체를 NAT + 호스트 nginx 로 확정시켰다고 밝혔다. 이더넷 인터페이스가 있는지는 ip -brief link 로 보고 무선 인터페이스 정보는 iw dev 로 본다고 확인 명령을 달았다. -- §249 는 세 모드를 한 표로 놓고 이 실험대가 무엇을 골랐는지 적었다. +- 「WiFi에서 브리지가 안 되는 이유」에서는 test-server 에 이더넷이 없고 `wlo1`만 있어 VM에 LAN IP를 직접 주는 bridge 구성을 택하지 못했다고 적었다. 이 제약이 **libvirt NAT network 선택**에 영향을 줬다. 초기에는 Host Nginx를 함께 썼지만 이후 Nginx는 Edge VM으로 옮겼으므로, Wi‑Fi 제약과 현재 L7 배치를 같은 결정으로 묶지 않는다. 이더넷 인터페이스는 `ip -brief link`, 무선 인터페이스는 `iw dev`로 확인한다. +- 「NAT vs 브리지 vs macvtap」에서는 세 모드를 한 표로 놓고 이 실험대가 무엇을 골랐는지 적었다. NAT(virbr0) : VM 주소는 192.168.122.x 사설, LAN 에서 VM 접근 불가, 채택 브리지(br0) : LAN 에서 직접 IP, WiFi 라 불가 macvtap : LAN 에서 직접 IP(호스트↔VM 은 제외), WiFi 라 불가 -- §245 는 libvirt 의 default 네트워크를 소프트웨어 브리지 virbr0 과 거기 붙은 NAT 규칙으로 적었다. 기본 대역은 192.168.122.0/24 이고 호스트가 .1 을 가지며, VM 들은 이 브리지에 연결되어 서로 직접 통신하고 외부로 나갈 때만 호스트 IP 로 마스커레이딩된다. NAT 가 막는 것은 외부에서 VM 으로 들어오는 방향이다. -- §201 은 이 호스트에서 ip -br addr show virbr0 을 돌린 출력을 남겼다. VM 세 대가 돌 때는 virbr0 이 UP 이고 192.168.122.1/24 을 갖고, 전부 철거한 뒤에는 주소는 그대로인 채 DOWN 이다. -- §180 과 §255 는 밖에서 게스트로 들어오는 방향이 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다고 적었다. 그 체인이 oif "virbr0" reject 로 끝나 게스트 대역으로 새로 들어오는 연결을 거절했고, 밖에서 친 curl 은 connection refused 를 받았다. 호스트 안에서 같은 게스트 주소로 친 curl 은 OUTPUT 경로라 forward 를 타지 않아 404 로 응답했다. 그 reject 줄을 범인으로 확정한 것은 카운터다. 밖에서 curl 을 네 번 쳤을 때 그 줄에 packets 4 bytes 240 이 찍혀 있었다. -- 이 호스트에서 §122 OQ-1 의 다섯 명령을 돌린 출력은 SSOT 에 없다. +- 「libvirt `default` 네트워크와 `virbr0`」에서는 libvirt 의 default 네트워크를 소프트웨어 브리지 virbr0 과 거기 붙은 NAT 규칙으로 적었다. 기본 대역은 192.168.122.0/24 이고 호스트가 .1 을 가지며, VM 들은 이 브리지에 연결되어 서로 직접 통신하고 외부로 나갈 때만 호스트 IP 로 마스커레이딩된다. NAT 가 막는 것은 외부에서 VM 으로 들어오는 방향이다. +- 「네트워크 — DHCP 예약의 실제 동작」에서는 이 호스트에서 ip -br addr show virbr0 을 돌린 출력을 남겼다. VM 세 대가 돌 때는 virbr0 이 UP 이고 192.168.122.1/24 을 갖고, 전부 철거한 뒤에는 주소는 그대로인 채 DOWN 이다. +- 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」와 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 밖에서 게스트로 들어오는 방향이 FORWARD 경로라 libvirt 의 guest_input 체인을 지난다고 적었다. 그 체인이 oif "virbr0" reject 로 끝나 게스트 대역으로 새로 들어오는 연결을 거절했고, 밖에서 친 curl 은 connection refused 를 받았다. 호스트 안에서 같은 게스트 주소로 친 curl 은 OUTPUT 경로라 forward 를 타지 않아 404 로 응답했다. 그 reject 줄을 범인으로 확정한 것은 카운터다. 밖에서 curl 을 네 번 쳤을 때 그 줄에 packets 4 bytes 240 이 찍혀 있었다. +- 2026-09-21 재검증에서 `net-dumpxml`, `bridge link`, `ip route`를 직접 읽어 NAT network와 `virbr0` 내부 L2 연결을 확인했다. -## 가정 +## bridge와 NAT를 같이 읽는 기준 - 호스트에 붙어 virsh 와 ip 계열 명령을 실행할 수 있다고 본다. -- §201 과 §247 이 virsh net-update default 로 DHCP 예약을 넣었으므로 이 호스트의 가상 머신이 libvirt 의 default 네트워크를 쓴다고 본다. 그 네트워크 말고 다른 정의가 더 있는지는 열거해 봐야 갈린다. +- 2026-09-21에는 `default` network 정의와 실제 `virbr0` 포트 구성을 함께 확인했다. 현재 세 VM은 이 NAT network에 붙어 있다. - 확인하는 동안 네트워크 구성이 바뀌지 않는다고 전제한다. -- 셋 가운데 하나로 갈린다고 보고 물음을 세웠다. 다만 §114 가 Bridge 구성에도 Routing 과 NAT 과 Firewall 이 함께 걸릴 수 있다고 적었으므로, 하나로 갈리지 않으면 걸린 것을 모두 적는다. +- 셋 가운데 하나로 갈린다고 보고 물음을 세웠다. 다만 「Linux Bridge가 항상 Host TCP/IP Stack을 거치는 것은 아니다」에서는 Bridge 구성에도 Routing 과 NAT 과 Firewall 이 함께 걸릴 수 있다고 적었으므로, 하나로 갈리지 않으면 걸린 것을 모두 적는다. -## 미지수 +## 현재 모드는 확인됐다 -- §178 과 §249 가 NAT 이라고 적은 것이 libvirt 네트워크 정의의 forward mode 로도 그렇게 적혀 있는지. virsh net-dumpxml default 를 통째로 찍은 출력이 SSOT 에 없고, §247 이 인용한 것은 그 정의의 dhcp 절뿐이다. -- default 말고 정의된 가상 네트워크가 더 있는지. virsh net-list --all 의 출력이 없다. -- virbr0 에 어느 인터페이스가 포트로 붙어 있는지, 그리고 이 호스트의 라우팅 테이블이 무엇인지. bridge link 와 ip route 의 출력이 없다. -- 게스트끼리 오가는 프레임과 게스트가 밖으로 나가는 프레임이 호스트의 L3/Netfilter 경로를 지나는지. 밖에서 게스트로 들어오는 방향만 §180 이 FORWARD 로 관측했다. +이 host의 기본 VM network 방식은 해소됐다. libvirt `default`는 NAT network이고 내부 연결에는 `virbr0` bridge가 사용된다. 동일 패킷이 실제로 어떤 netfilter hook을 통과하는지는 packet-path 질문으로 분리한다. -## 제약 +## 구성이 바뀌면 다시 볼 것 - 구성이 셋 중 무엇인지를 확정하는 데서 끊는다. 그 구성이 지연에 얼마나 영향을 주는지는 부하 중 호스트 CPU 사용을 보는 물음이 받는다. -- SSOT 에 남은 출력은 §201 의 virbr0 주소와 상태뿐이다. 나머지 네 명령은 다른 장비에서 읽은 값으로 대신하지 않는다. -- 돌릴 명령은 §122 OQ-1 이 정해 두었다. 실행한 명령과 출력을 함께 남겨야 다음 사람이 같은 값을 다시 읽는다. +- 현재 판단은 2026-09-21 `test-server`에서 직접 읽은 libvirt network 정의, bridge port, route를 근거로 한다. 다른 장비의 값을 가져와 대체하지 않는다. +- 돌릴 명령은 원문의 1번째 확인 항목에 이미 정리돼 있었다. 실행한 명령과 출력을 함께 남겨야 다음 사람이 같은 값을 다시 읽을 수 있다. -## 선택지 +## libvirt 정의와 host route를 함께 읽었다 ### 1. libvirt 쪽부터 읽는다 @@ -99,19 +90,12 @@ libvirt 로 정의하지 않고 호스트 브리지에 직접 붙인 구성이 ip link 로 실재하는 인터페이스를 세우고, bridge link 로 어느 인터페이스가 어느 브리지의 포트인지를 잡고, ip route 로 L3 결정을 본다. libvirt 로 정의했든 안 했든 호스트에 실재하는 것을 읽으므로 구성 방식과 무관하게 답이 나온다. -forward mode 라는 이름으로 적힌 의도는 나오지 않으므로, NAT 이 걸려 있는지는 routing 과 방화벽 규칙을 따로 봐야 한다. §117.3 이 NAT/Firewall 오류에 든 것은 nftables · iptables · NAT rules · IP forwarding 이라는 확인 대상 이름이고 돌릴 명령이 아니다. 방화벽 쪽 명령은 §255 가 대신 적어 두었다 — libvirt 체인 하나를 열어 보는 sudo nft -a list chain ip libvirt_network guest_input 이다. 그 명령이 통하는 것은 이 호스트가 nftables 백엔드이기 때문이고, §180 은 libvirt 의 firewall_backend 가 iptables 일 때도 같은지는 재지 않았다고 적었다. +forward mode 라는 이름으로 적힌 의도는 나오지 않으므로, NAT 이 걸려 있는지는 routing 과 방화벽 규칙을 따로 봐야 한다. 「NAT/Firewall 오류」에서는 NAT/Firewall 오류에 든 것은 nftables · iptables · NAT rules · IP forwarding 이라는 확인 대상 이름이고 돌릴 명령이 아니다. 방화벽 쪽 명령은 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 대신 적어 두었다 — libvirt 체인 하나를 열어 보는 sudo nft -a list chain ip libvirt_network guest_input 이다. 그 명령이 통하는 것은 이 호스트가 nftables 백엔드이기 때문이고, 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 libvirt 의 firewall_backend 가 iptables 일 때도 같은지는 재지 않았다고 적었다. -### 3. tcpdump 로 경로부터 잡는다 — 제외 +### 3. tcpdump 는 mode 판정 뒤 실제 경로를 확인할 때 쓴다 -§119 는 Host NIC · Bridge · TAP · Guest NIC 에서 tcpdump 로 패킷을 추적하는 순서를 적어 두었다. 다만 그 추적은 캡처를 걸 인터페이스 이름을 이미 알고 있을 때 성립한다. 브리지 이름은 §245 와 §201 이 virbr0 으로 적었지만 TAP 이름은 아직 없으므로 게스트 쪽 대상을 채울 수 없다. §126 의 실습 순서에서도 Bridge/NAT/Route 확인이 셋째이고 Host Nginx → VM packet path tcpdump 는 여덟째다. 이 방법은 이 물음이 닫힌 뒤 실제 패킷 경로를 묻는 물음이 받는다. +network mode 자체는 `net-dumpxml`·`bridge link`·`ip route`로 먼저 확정한다. 2026-09-21 후속 재검증에서는 VM별 `vnetN` mapping까지 확인한 뒤 `tailscale0`, `virbr0`, edge/worker의 host-side `vnetN`, guest `enp1s0`에 capture를 걸어 실제 요청 경로도 이어 붙였다. 따라서 tcpdump는 더 이상 “인터페이스 이름이 없어 제외한 방법”이 아니라, **구성 판정 뒤 실제 packet flow를 검증하는 다음 단계**다. -## 다음 검증 +## 네트워크 정의가 바뀌면 libvirt와 route를 다시 읽는다 -1. virsh net-list --all 로 정의된 가상 네트워크를 열거한다. -2. 나온 이름마다 virsh net-dumpxml 에 그 이름을 넣어 forward mode 와 bridge 이름을 읽는다. -3. ip link 로 호스트의 인터페이스 목록을 적는다. -4. bridge link 로 어느 인터페이스가 어느 브리지에 붙어 있는지 적는다. -5. ip route 로 라우팅 테이블을 적는다. -6. 다섯 출력을 실행한 명령과 함께 증거로 남긴다. - -닫는 조건 : 세 구성 가운데 무엇인지가 출력으로 확정되면 닫는다. Bridge 로 나오면 §96 과 §114 의 L2 forwarding 서술이 이 호스트에 적용된다고 적는다. NAT 으로 나오면 §98 의 주소 변환이 경로에 들어가고, Routing 으로 나오면 §97 의 L3 결정이 들어간다. 어느 쪽이든 그 결과로 실제 패킷 경로를 묻는 물음의 캡처 지점이 정해진다. §94 가 기준으로 삼은 구조와 다르게 나오면 제3부의 서술 가운데 이 호스트에 적용되지 않는 절을 함께 적는다. +libvirt network 정의나 VM NIC source를 바꾼 경우에만 `net-dumpxml`, `bridge link`, `ip route`를 다시 읽는다. diff --git a/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-bisect-the-packet-path-with-capture-points.md b/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-bisect-the-packet-path-with-capture-points.md index 71ba41e..c1f2b03 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-bisect-the-packet-path-with-capture-points.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-bisect-the-packet-path-with-capture-points.md @@ -23,22 +23,9 @@ source: # packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다 -가상 머신이 밖과 통신하지 못하면 게스트부터 뒤지지 말고 패킷이 지나야 할 네 지점에 캡처를 걸어 어디까지 보였는지로 구간을 좁힌다. 호스트의 물리 NIC(Network Interface Card) 와 브리지, 가상 머신에 붙은 TAP, 게스트 안의 인터페이스가 그 지점이다. 보이지 않은 첫 지점의 앞 구간이 의심 구간이 된다. +가상 머신이 밖과 통신하지 못하면 게스트부터 뒤지지 말고 패킷이 지나야 할 지점에 캡처를 걸어 어디까지 보였는지로 구간을 좁힌다. 첫 지점은 물리 NIC일 수도 있고 `tailscale0` 같은 host ingress 인터페이스일 수도 있다. 그 뒤로 브리지, 가상 머신에 붙은 TAP/vnet, 게스트 인터페이스를 따라간다. 보이지 않은 첫 지점의 앞 구간이 의심 구간이 된다. -## 관계 - -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 이 절차가 관측 지점으로 쓰는 계층을 세운 글이다. 어느 계층이 무엇을 하는지는 그쪽에 있다. -- **Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다** - 그 기준은 문제가 네트워크인지 아닌지를 가르고, 이 절차는 네트워크 안에서 어느 구간인지를 가른다. -- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가** - 캡처 지점 이름을 확정하는 첫 규칙이 그대로 이 물음의 확인 절차다. -- **VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가** - TAP 이름을 모르면 이 절차의 세 번째 지점에 캡처를 걸 수 없다. -- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가** - 그 경로를 처음 확인할 때 쓰는 절차다. - -## 목적 +## capture point를 나눠야 하는 이유 이 기준은 두 가지를 막는다. @@ -46,13 +33,13 @@ source: 오프로드 때문에 실제 wire 와 다르게 보이는 정상 패킷을 결함으로 판정하는 일이 다른 하나다. -이 순서는 물음 셋이 함께 쓴다. 이 호스트의 가상 머신 네트워크가 무엇으로 구성돼 있는지, TAP 인터페이스가 무엇인지, 호스트 Nginx 에서 Keycloak 까지 패킷이 어디를 지나는지 셋이 모두 이 순서 위에서 돈다. 그래서 세 곳에 같은 절차를 되풀이하지 않고 한 편에 두었다. +이 순서는 여러 네트워크 질문이 함께 쓴다. VM network mode와 host-side `vnetN` mapping을 먼저 확인하고, 실제 요청은 현재 진입점인 `tailscale0 → host DNAT → edge VM → worker VM` 순서로 캡처한다. 과거 Host Nginx 배치와 현재 Edge VM 배치를 섞지 않고, 각 시점의 실제 ingress 인터페이스에서 시작한다. -## 규칙 +## 바깥에서 안쪽으로 경로를 자른다 ### 1. 캡처할 지점의 이름을 먼저 확정한다 -관측 지점은 넷이다. 호스트의 물리 NIC, 호스트의 브리지, 가상 머신에 붙은 tap 또는 vnet, 그리고 게스트 안의 인터페이스. +기본 관측 지점은 host ingress 인터페이스, host bridge, 가상 머신에 붙은 tap 또는 vnet, 그리고 게스트 안의 인터페이스다. 현재 실험대의 외부 진입점은 물리 NIC가 아니라 `tailscale0`이다. 이름을 모른 채 시작하면 없는 인터페이스에 캡처를 걸어 놓고 패킷이 안 보인다고 판정하게 된다. @@ -65,14 +52,14 @@ libvirt 가 만든 가상 네트워크가 무엇인지는 virsh net-list --all ### 2. 네 지점에 같은 요청을 흘리면서 캡처를 건다 -호스트에서는 물리 NIC 와 브리지, tap 또는 vnet 에 각각 tcpdump -ni 로 캡처를 건다. +호스트에서는 실제 ingress 인터페이스와 브리지, tap 또는 vnet에 각각 `tcpdump -ni`로 캡처를 건다. 게스트에서는 게스트 인터페이스에 같은 방식으로 건다. ### 3. 보이지 않은 첫 지점의 앞 구간을 의심 구간으로 삼는다 판독은 어느 지점까지 보였는가로만 한다. -물리 NIC 에 보이고 브리지에도 보이는데 tap 에 안 보이면, 게스트 내부보다 먼저 호스트의 브리지와 tap 연결을 의심한다. +host ingress에 보이고 브리지에도 보이는데 tap에 안 보이면, 게스트 내부보다 먼저 호스트의 브리지와 tap 연결을 의심한다. tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스트 NIC 계층을 의심한다. @@ -88,7 +75,7 @@ tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스 가상 머신에서 인터넷으로 나가지 못하거나 외부에서 가상 머신에 접근하지 못하거나 특정 포트만 실패하면 nftables 와 iptables, NAT(Network Address Translation) 규칙, IP(Internet Protocol) forwarding 설정을 확인 대상으로 둔다. -이 실험대가 가장 오래 막힌 지점도 여기였다. 밖에서 온 요청만 엣지 게스트에 닿지 않았고, 거절한 것은 libvirt 가 자기 테이블의 guest_input 체인 끝에 둔 reject 규칙이었다(§180). +이 실험대가 가장 오래 막힌 지점도 여기였다. 밖에서 온 요청만 엣지 게스트에 닿지 않았고, 거절한 것은 libvirt 가 자기 테이블의 guest_input 체인 끝에 둔 reject 규칙이었다(「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」). 증상 셋을 각각 다른 기준으로 나누지 않은 것은 셋이 모두 어느 지점에서 끊겼는가 하나로 모이기 때문이다. 따로 적으면 같은 규칙의 부분 증상이 셋으로 늘어난다. @@ -108,7 +95,7 @@ tap 에는 보이는데 게스트 NIC 에 안 보이면 virtio 와 vhost, 게스 이 절차가 가르는 것은 패킷이 어디서 끊겼는가다. 끊기지 않고 느리기만 하면 다른 기준으로 넘긴다. -## 적용 조건 +## packet path를 의심할 때 KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외부와 통신하지 못할 때. @@ -116,7 +103,7 @@ KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외 실제 패킷 경로를 처음 확인할 때. -## 예외 +## capture만으로 답이 안 되는 경우 오프로드가 켜진 구성에서는 패킷 크기와 체크섬이 그대로 증거가 되지 않는데, 다섯 번째 규칙이 그 경우다. @@ -124,13 +111,13 @@ KVM(Kernel-based Virtual Machine)/QEMU/libvirt 로 만든 가상 머신이 외 네 지점이 모두 보이는데 느린 경우는 이 기준이 다루지 않는다. 「Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다」 쪽으로 넘긴다. -이 저장소에는 아직 이 절차를 실제로 돌린 출력이 없다. 여기 적은 판독은 원문 문서가 서술한 것이고 이 호스트의 캡처로 확인한 것이 아니다. +2026-09-21에는 실제 요청을 여러 지점에서 캡처해 이 절차를 다시 확인했다. 따라서 아래 판독은 개념 설명만이 아니라 현재 실험대에서 확보한 패킷 캡처와 함께 읽는다. -§180 의 사건에서도 구간을 좁힌 것은 네 지점 캡처가 아니었다. 호스트에서 친 curl 은 404 를 받는데 밖에서 친 curl 만 connection refused 를 받았다는 차이가 단서였고, 범인은 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 횟수와 맞아떨어져서 확정했다. +「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」의 사건에서도 구간을 좁힌 것은 네 지점 캡처가 아니었다. 호스트에서 친 curl 은 404 를 받는데 밖에서 친 curl 만 connection refused 를 받았다는 차이가 단서였고, 범인은 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 횟수와 맞아떨어져서 확정했다. -## 예시 +## 어디서 끊겼는지 판정하는 예 -- 물리 NIC 에 보이고 브리지에도 보이는데 tap 에 안 보임 : 호스트의 브리지와 tap 연결을 먼저 확인한다 +- host ingress 에 보이고 브리지에도 보이는데 tap 에 안 보임 : 호스트의 브리지와 tap 연결을 먼저 확인한다 - tap 에 보이는데 게스트 NIC 에 안 보임 : virtio 와 vhost, 게스트 NIC 계층을 확인한다 - 게스트 NIC 에 보이는데 소켓까지 안 옴 : 게스트의 라우팅과 방화벽, listen 상태를 확인한다 - 특정 가상 머신만 통신 불가 : ip link 와 bridge link, virsh domiflist 로 그 가상 머신의 tap 이 브리지에 붙어 있는지 본다 diff --git a/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-verify-the-network-path-before-blaming-the-application.md b/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-verify-the-network-path-before-blaming-the-application.md index 5b6ab84..60f44fd 100644 --- a/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-verify-the-network-path-before-blaming-the-application.md +++ b/docs/virtualization/tech-log-studio/network-virtualization/reference/reference-verify-the-network-path-before-blaming-the-application.md @@ -20,22 +20,9 @@ source: # Keycloak 실험 결과를 애플리케이션 원인으로 읽기 전에 network 계층을 따로 검증한다 -Refresh Token 경쟁 자체는 virtio-net 문제가 아니다. 다만 그 실험에서는 클라이언트에서 Nginx 와 가상 머신, K3s, Keycloak 을 거쳐 PostgreSQL 또는 Redis 까지 가는 경로를 여러 노드가 함께 쓴다. 그 경로 위의 네트워크 가상화 문제는 애플리케이션 동시성 문제와 비슷한 증상으로 나타난다. +Refresh Token 경쟁 자체는 virtio-net 문제가 아니다. 현재 Keycloak lab에서는 클라이언트에서 Edge Nginx와 가상 머신, K3s, Keycloak을 거쳐 PostgreSQL까지 가는 경로를 여러 노드가 함께 쓴다. Redis를 사용하는 별도 패턴 실험이라면 그 구간을 추가한다. 그 경로 위의 네트워크 가상화 문제는 애플리케이션 동시성 문제와 비슷한 증상으로 나타난다. -## 관계 - -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - 이 기준이 「따로 검증한다」고 말하는 계층을 세운 글이다. -- **packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다** - 이 기준이 문제가 네트워크인지 아닌지를 가른다면, 그 절차는 네트워크 안에서 어느 구간인지를 가른다. -- **Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가** - 검증 순서의 첫 항목이다. 경로를 모르면 무엇을 관측할지도 정해지지 않는다. -- **부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가** - 검증 순서의 마지막 항목이고, 네트워크 처리와 CPU 경쟁을 가르는 관측이다. -- **Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가** - 같은 실험을 CPU 쪽에서 본 물음이다. 두 계층이 같은 지연으로 보이므로 함께 기록한다. - -## 목적 +## 애플리케이션 원인으로 바로 읽지 않는 이유 이 기준은 실험 결과를 잘못된 원인에 붙이는 일을 막는다. @@ -45,15 +32,15 @@ Keycloak 멀티 노드 실험에서 관측되는 지연과 실패에는 네트 이 분리는 실험 결과를 보고 나서 세운 규칙이 아니다. 원문 문서는 이 실험 기반으로 검증하려는 항목을 일곱 개 적어 두었고, 그 마지막이 「네트워크 계층 문제와 애플리케이션/저장소 문제의 분리」였다. -## 규칙 +## 경로 · 노드 · CPU 비용을 따로 확인한다 ### 1. 실험이 지나는 경로를 먼저 적고 시작한다 -요청은 클라이언트에서 Nginx 로 가고, 거기서 가상 머신 두 대 중 하나로, 그 안의 K3s 를 지나 Keycloak 으로, 다시 PostgreSQL 또는 Redis 로 간다. 이 경로를 노드들이 공유한다. +현재 실험대의 진입 경로는 `Client → Tailscale ingress → Host DNAT/source rewrite → Edge Nginx → virbr0 → worker VM → Traefik`까지 실제 packet capture로 확인됐다. Edge Nginx가 TLS를 종료하고 worker로 새 HTTP 연결을 만들기 때문에 첫 번째 TLS flow와 두 번째 HTTP flow를 같은 연결로 보지 않는다. K3s CNI·Service·Pod 내부와 Keycloak 이후 PostgreSQL 구간은 별도 계층으로 남긴다. Redis는 현재 lab에는 없으므로 Redis를 포함한 별도 실험에서만 추가한다. 경로를 적지 않으면 어느 관측이 어느 구간을 덮는지 정해지지 않는다. -이 실험대에서 그렇게 어긋난 확인이 한 번 있었다. 04 단계의 확인 명령을 엣지 가상 머신 안에서 tailnet 주소로 쳤더니 connection refused 가 돌아왔는데, 엣지에서 나간 패킷은 호스트의 virbr0 으로 들어가고, 들어온 패킷의 도착지 주소를 바꿔 넘기는 호스트의 DNAT(Destination NAT, 도착지 주소 변환) 규칙은 tailscale0 으로 들어온 것만 매칭해서 안 걸렸기 때문이다(§190 · §182). 「설정 문제가 아니라 친 위치 문제다」가 그 단계가 남긴 한 줄이다. +이 실험대에서 그렇게 어긋난 확인이 한 번 있었다. 04 단계의 확인 명령을 엣지 가상 머신 안에서 tailnet 주소로 쳤더니 connection refused 가 돌아왔는데, 엣지에서 나간 패킷은 호스트의 virbr0 으로 들어가고, 들어온 패킷의 도착지 주소를 바꿔 넘기는 호스트의 DNAT(Destination NAT, 도착지 주소 변환) 규칙은 tailscale0 으로 들어온 것만 매칭해서 안 걸렸기 때문이다(「단계 04 — Let's Encrypt 와 인증서 갱신」· 「이 구축에서 드러난 문서 결함의 공통 원인」). 「설정 문제가 아니라 친 위치 문제다」가 그 단계가 남긴 한 줄이다. ### 2. 노드 하나에서만 나는 증상을 애플리케이션 동시성으로 먼저 읽지 않는다 @@ -73,13 +60,13 @@ vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다. 그래서 부하 실험을 돌릴 때 QEMU 와 vhost 의 CPU 사용량, 호스트와 게스트의 CPU, 네트워크 지연을 같은 시간축에 남긴다. 나중에 따로 재면 그때의 부하를 다시 만들어야 한다. -### 5. 세 가지 검증을 마친 뒤에 원인을 적는다 +### 5. 경로와 CPU 비용을 분리해서 확인한 뒤 원인을 적는다 -경로가 무엇인지, 그 경로가 끊기지 않았는지, 네트워크 처리가 호스트 CPU 를 얼마나 쓰는지 셋을 확인한다. +2026-09-21 재검증으로 Host ingress부터 Edge와 worker NIC까지의 실제 packet path는 확인됐다. 따라서 이후 장애에서는 같은 capture point에 패킷이 보이는지부터 비교하면 된다. -첫째는 호스트 Nginx 에서 Keycloak 까지의 실제 패킷 경로를 추적해서, 둘째는 계층마다 캡처해서, 셋째는 부하 중 CPU 사용량을 재서 답한다. +부하 중 네트워크 가상화 CPU 비용도 2026-09-21에 따로 측정했다. 외부 OIDC 부하에서 vhost와 softirq 사용량은 증가했지만 host CPU에는 여유가 남았고, 이번 부하 수준에서 네트워크 가상화 비용이 host CPU를 지배했다고 볼 근거는 없었다. 다만 guest workload 자체도 함께 증가했으므로 지연 변화를 네트워크 가상화 하나의 원인으로 귀속하지 않는다. -## 적용 조건 +## 이 검증이 필요한 실험 여러 노드가 같은 네트워크 경로를 공유하는 실험의 결과를 원인에 귀속할 때. @@ -89,22 +76,22 @@ vhost-net 과 QEMU 스레드, softirq 도 호스트 CPU 를 쓴다. 그래서 부하 구간에서만 커지는 지연을 애플리케이션 동시성이나 저장소 lock 으로 결론내려 할 때. -## 예외 +## network가 깨끗해도 분석은 끝나지 않는다 애플리케이션 쪽 관측을 늘리는 것으로는 이 기준을 적용할 수 없다. Keycloak 이 게스트 소켓 위에서만 동작하므로 애플리케이션 로그로는 이 계층이 원인인지 가릴 수 없다. -네트워크 계층이 깨끗하다고 해서 이 기준이 애플리케이션 결함을 배제해 주지는 않는다. 여기서 나오는 것은 네트워크가 원인이 아니라는 것까지다. +네트워크 계층에서 뚜렷한 이상을 찾지 못했다고 해서 애플리케이션 결함이 증명되는 것은 아니다. 여기서 얻는 것은 **관측한 경로와 부하 범위에서는 네트워크 쪽 원인 후보가 줄었다**는 정도다. 가상 머신 위 K3s 안쪽은 이 기준의 범위 밖이다. CNI(Container Network Interface) 와 Service, Pod 네트워크는 별도 계층으로 두고 따로 분석한다. -원문 문서가 이 테스트 환경에 얹어 그린 경로는 확인된 것이 아니라 기준 구조를 그대로 옮겨 놓은 그림이다. 이 저장소에는 이 기준으로 원인을 실제로 가른 실험이 아직 없다. +과거 문서의 `Host Nginx → worker VM` 그림은 현재 구조와 달랐지만, 2026-09-21에는 실제 OIDC discovery 요청을 `tailscale0`, Edge/worker의 host-side `vnetN`, guest `enp1s0`에서 추적해 현재 경로를 확인했다. 이 검증은 애플리케이션 원인을 증명한 것이 아니라 **네트워크 경로 자체를 독립적으로 검증할 수 있게 된 것**이다. -가까운 것은 실험대를 세울 때 한 번 있었다. 밖에서 온 요청만 엣지에 닿지 않았는데 원인은 게스트 안이 아니라 호스트의 libvirt 방화벽 규칙이었고, 그때 엣지 nginx 는 호스트에서 친 요청에 404 로 응답하고 있었다(§180). +가까운 것은 실험대를 세울 때 한 번 있었다. 밖에서 온 요청만 엣지에 닿지 않았는데 원인은 게스트 안이 아니라 호스트의 libvirt 방화벽 규칙이었고, 그때 엣지 nginx 는 호스트에서 친 요청에 404 로 응답하고 있었다(「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」). -## 예시 +## Keycloak 실험에 적용하는 방법 - Keycloak 노드 하나만 응답이 느림 : 그 노드가 있는 가상 머신까지의 경로부터 확인한다 - 가상 머신 하나에서만 요청이 실패 : 호스트 브리지 구성과 그 가상 머신의 tap 연결을 본다 - 부하를 올릴수록 지연이 커짐 : QEMU 와 vhost 의 CPU 사용량을 같은 시간축에서 함께 본다 - 동시 갱신 실험에서 두 번째 요청이 거부됨 : 네트워크 검증 셋을 마친 뒤에 Refresh Token 경쟁으로 적는다 -- 네트워크 검증이 전부 깨끗함 : 네트워크가 원인이 아니라는 것까지만 적고 애플리케이션 쪽을 계속 본다 +- 네트워크 검증에서 이상을 찾지 못함 : 관측한 범위에서 네트워크 원인 후보를 낮추고 애플리케이션 쪽을 계속 본다 diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-guest-block-io-path-to-virtqueue.md b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-guest-block-io-path-to-virtqueue.md index 1dd0969..196df37 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-guest-block-io-path-to-virtqueue.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-guest-block-io-path-to-virtqueue.md @@ -37,24 +37,6 @@ source: 가상 머신 안의 PostgreSQL 이 파일에 데이터를 기록하면, 그 요청은 게스트 Linux 안에서만 VFS 와 ext4·XFS, 페이지 캐시, 블록 I/O 계층, virtio-blk 를 지난 뒤에야 virtqueue 에 실려 가상 머신 경계에 닿는다. 계층마다 무엇을 하고 무엇이 바뀌는지 차례로 살펴본다. 계층 이름과 게스트·호스트 구분을 아는 사람을 독자로 둔다. Keycloak 멀티 노드 실험을 가상 머신 두 대 위에서 돌리고 있다 보니, 이 경로를 알아 두면 게스트에서 본 저장소 지연을 애플리케이션 문제와 가상 머신 경계 아래의 문제로 갈라 볼 수 있다. -## 관계 - -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 이 글은 virtqueue 까지만 따라간다. 그 요청을 받은 QEMU 가 무엇에 연결돼 있는지는 그 글이 이어받는다. -- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존** - 여기서는 write() 성공이 SSD 영속화가 아니라는 데까지만 적었다. 그 응답이 어디까지 보장하는지는 그 글이 나눈다. -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - 게스트 블록 계층과 같은 이름의 계층이 호스트에도 한 번 더 있고, 그쪽에서는 다른 가상 머신의 요청과 섞인다. -- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다** - 게스트에 /dev/vda 가 보인다는 관측이 그 규칙의 근거가 된다. -- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가** - 이 글은 게스트가 보는 이름까지만 말한다. 이 장비에서 그 이름에 무엇이 붙는지는 그 물음이 출력으로 확정한다. -- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가** - 경로는 적었지만 각 구간의 지연을 이 호스트에서 재지 않았다. -- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge** - virtqueue 라는 같은 구조를 패킷 쪽에서 설명한 글이다. - -## 본문 @@ -86,7 +68,7 @@ VFS(Virtual File System, 가상 파일 시스템)는 Linux 커널 안에서 여 SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저장장치가 보는 것은 번호가 붙은 블록 단위 공간인데 사람과 프로그램이 보는 것은 파일과 디렉터리 계층이다. 그 둘을 잇는 계층이 `ext4` 나 `XFS` 같은 파일시스템이다. 파일시스템이 관리하는 것은 파일 이름과 디렉터리 구조, 파일 크기, 소유자와 권한, 시각 정보, `inode` 와 메타데이터, 파일 데이터가 저장될 블록, 남은 공간, 파일시스템 일관성이다. -`inode` 는 파일 메타데이터와 저장 위치 정보를 관리하는 자료구조다. 디렉터리 항목이 파일 이름을 `inode` 번호로 옮기고, 그 `inode` 가 소유자와 권한, 크기, 시각 정보, 파일 데이터가 저장된 블록 정보를 들고 있다. 그래서 파일 이름과 `inode` 는 같은 것이 아니다. 어디까지 들어갈지는 SSOT 가 직접 그어 두었다. +`inode`는 파일 메타데이터와 저장 위치 정보를 관리하는 자료구조다. 디렉터리 항목이 파일 이름을 `inode` 번호로 연결하고, 그 `inode`가 소유자와 권한, 크기, 시각 정보, 파일 데이터가 저장된 블록 정보를 들고 있다. 여기서는 filesystem이 파일과 block을 연결한다는 수준까지만 다룬다. > Storage 가상화를 이해하기 위해 inode 내부 구현까지 파고들 필요는 없지만, filesystem이 파일과 block을 연결한다는 점은 알아야 한다. @@ -102,7 +84,7 @@ SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저 파일시스템이 파일과 블록 할당을 관리하면, Linux 의 블록 I/O 서브시스템이 그 요청을 아래의 블록 장치 드라이버가 처리할 수 있는 I/O 요청으로 바꿔 전달한다. 파일시스템 세계에서 내려오는 것은 `/users/data.db` 의 오프셋 8192 에 4KB 를 쓰라는 요청이다. 블록 장치 세계에서는 그것이 `/dev/vda` 의 특정 위치에 `READ` 나 `WRITE`, `FLUSH` 를 거는 요청이 된다. 대표 요청은 넷이다 — `READ`, `WRITE`, `FLUSH`, `DISCARD`. -이 계층 안에는 `bio` 와 `request`, `queue`, `blk-mq` 가 실제로 있다. SSOT 는 `blk-mq` 의 tag allocator 같은 내부 구현을 별도 문서로 미뤘고 이 글도 이름까지만 적는다. +이 계층 안에는 `bio`, `request`, `queue`, `blk-mq`가 실제로 있다. 여기서는 각 구조의 내부 구현까지 내려가지 않고 블록 요청이 다음 계층으로 전달된다는 점까지만 본다. ## /dev/vda 는 게스트가 보는 이름이다 @@ -112,16 +94,16 @@ SSD 는 `/var/lib/postgresql/data` 같은 디렉터리 구조를 모른다. 저 lsblk ``` -```text label="SSOT 가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다" +```text label="기존 문서가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다" NAME SIZE TYPE MOUNTPOINT vda 100G disk ├─vda1 1G part /boot └─vda2 99G part / ``` -게스트에 이렇게 보여도 그 장치가 호스트의 실제 SSD 인지는 게스트 안에서 알 수 없는데, 이 장비의 `/dev/vda` 에 무엇이 붙어 있는지를 `virsh domblklist` 로 읽은 출력도 아직 없다. 게스트가 보는 것은 `/dev/vda` 에서 파티션으로, 파티션에서 파일시스템으로, 파일시스템에서 마운트 지점으로 이어지는 연결까지다. `cd /var/lib/postgresql` 로 디렉터리를 옮기는 동작은 파일시스템 세계를 지나고, `lsblk` 의 `vda` 는 블록 장치 세계를 보여 준다. +게스트만 봐서는 `/dev/vda` 뒤에 무엇이 붙어 있는지 알 수 없다. 2026-09-21 재검증에서는 host의 `virsh domblklist --details`와 live XML을 대조해 세 VM의 `vda`가 각각 qcow2 overlay 파일에 연결돼 있음을 확인했다. guest는 `/dev/vda → partition → filesystem → mount point`까지만 보고, 그 아래 host backend는 host에서 확인해야 한다. -SSOT 의 실험대 배치 절이 2026-09-03 에 그려 둔 이 실험대의 게스트는 위 예시와 다르게 생겼다. `vda` 는 20G 이고 루트를 `ext4` 로 담아 거기서 부팅하는데, 그 옆의 `vdb` 는 370K 짜리 `iso9660` 이고 레이블이 `CIDATA` 라 마운트되지 않는다. `/dev/vdb` 가 붙어 있다고 게스트가 그것을 파일시스템으로 쓰는 것은 아니다. +이 실험대의 worker guest는 `vda`를 주 디스크로 사용하고 `vdb`에는 cloud-init seed ISO가 붙는다. `vdb`가 block device로 보인다고 해서 애플리케이션 데이터용 파일시스템으로 쓰는 것은 아니다. 이름 둘이 가리키는 대상도 다르다. `/dev/vda` 가 게스트 Linux 에 보이는 블록 장치를 가리키고, `virtio-blk` 는 그 가상 블록 장치를 제어하는 게스트 커널 드라이버를 가리킨다. 네트워크 쪽의 `ens3` 와 `virtio-net` 이 같은 짝이다. @@ -152,12 +134,12 @@ SSOT 의 실험대 배치 절이 2026-09-03 에 그려 둔 이 실험대의 게 | Guest TCP/IP Stack | Guest VFS/Filesystem/Block Layer | | send/recv | read/write/fsync | -SSOT 는 이 표를 학습용 대응으로 두었고, 두 열의 각 요소가 `1:1` 로 같은 종류라는 데까지는 말하지 않는다. +이 표는 계층을 비교하기 위한 대응표다. 두 열의 각 요소가 내부 구현까지 `1:1`로 같은 종류라는 뜻은 아니다. -## 확인하지 못한 것과 범위 밖으로 둔 것 +## 이 호스트에서 확인한 것과 범위 밖으로 둔 것 -SSOT 는 이 부에서 다룰 것과 미룰 것을 먼저 갈라 두었다. `qcow2` 내부의 L1/L2 테이블과 `blk-mq` 의 tag allocator, NVMe 의 submission/completion 큐는 필요할 때 별도 문서에서 다루기로 했다. +2026-09-21 재검증에서 세 VM의 `vda`는 모두 qcow2 overlay file backend이고, 각 overlay는 공통 `base.qcow2`를 backing store로 사용한다는 것을 확인했다. 따라서 이 환경에서 guest `/dev/vda` 아래에 QEMU block backend와 host filesystem/block stack이 이어진다는 연결은 실제 구성과 맞는다. -이 경로를 이 호스트에서 재 본 값은 없다. 게스트의 `/dev/vda` 가 호스트에서 무엇에 붙어 있는지는 SSOT 가 적어 둔 열린 질문 가운데 첫 번째인데, `virsh domblklist` 로 그 대응을 읽은 출력이 아직 없다. 게스트 쪽 파일시스템으로 남아 있는 것은 SSOT 의 실험대 배치 절이 `vda` 의 루트를 `ext4` 로 적어 둔 2026-09-03 스냅샷 하나뿐이고, 이 글은 `ext4` 와 `XFS` 가 같은 계층을 지난다는 데까지만 말한다. 요청 수나 지연을 재려면 게스트의 `fsync()` 지연과 호스트 저장소 지연을 같은 시간축에서 함께 보는 관찰이 먼저 돌아야 한다. +다만 이 문서는 guest `write()`가 virtqueue에 실리기까지의 계층을 설명하는 데 집중한다. qcow2 L1/L2 table, `blk-mq` tag allocator, NVMe submission/completion queue 내부 구현은 범위 밖이다. 2026-09-21에는 guest `fsync()`와 host `iostat`을 같은 구간에 놓고 재서, guest fsync가 느려질 때 host NVMe의 `w_await`·`%util`·iowait도 함께 상승하는 구간을 실제로 확인했다. 이 결과는 경로의 존재를 보여 주지만, 모든 fsync 지연을 host storage 하나의 원인으로 일반화하지 않는다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-host-block-stack-under-the-vm.md b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-host-block-stack-under-the-vm.md index 3533a83..08852d6 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-host-block-stack-under-the-vm.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-host-block-stack-under-the-vm.md @@ -29,26 +29,8 @@ source: # VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe -게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 가상 머신 두 대와 호스트의 Nginx 와 나머지 프로세스를 같은 큐로 받는다. 그 큐에서 blk-mq 와 I/O 스케줄러를 지나 NVMe 로 나가기까지를 따라가고, 거기서 생기는 스토리지 경쟁(Storage Contention)을 다투는 자원이 다른 CPU 경쟁과 갈라 놓는다. 블록 계층과 스케줄러 이름을 아는 사람을 독자로 둔다. 가상 머신 위에서 Keycloak 의 지연을 볼 때 이 계층을 CPU 계층과 갈라 두면 어느 쪽을 재야 하는지가 먼저 정해진다. +게스트가 디스크라고 부르는 것이 호스트에서는 qcow2 나 RAW 파일일 수 있고, 그러면 QEMU 의 쓰기는 호스트 파일시스템을 거쳐 호스트 블록 I/O 가 된다. 호스트 블록 계층은 그 요청이 가상 머신에서 왔는지 호스트 프로세스에서 왔는지 구분해 처리하는 계층이 아니라, 여러 QEMU 프로세스와 host의 SSH·관측·파일 작업 같은 I/O를 같은 아래쪽 장치로 받는다. 그 큐에서 blk-mq 와 I/O 스케줄러를 지나 NVMe 로 나가기까지를 따라가고, 거기서 생기는 스토리지 경쟁(Storage Contention)을 다투는 자원이 다른 CPU 경쟁과 갈라 놓는다. 블록 계층과 스케줄러 이름을 아는 사람을 독자로 둔다. 가상 머신 위에서 Keycloak 의 지연을 볼 때 이 계층을 CPU 계층과 갈라 두면 어느 쪽을 재야 하는지가 먼저 정해진다. -## 관계 - -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - virtqueue 까지가 게스트 쪽 경로이고, 이 글은 그 요청이 가상 머신 경계를 넘어온 뒤를 잇는다. -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 백엔드가 파일인지 블록 장치인지에 따라 이 글이 설명하는 계층 위에 호스트 파일시스템이 한 겹 더 놓인다. -- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존** - 같은 계층을 영속성 쪽에서 본 글이다. 이 글은 요청이 어떻게 줄을 서고 누구와 섞이는지를 본다. -- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다** - 이 글이 가른 두 경쟁을 진단 순서로 편 규칙이다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 이 호스트의 디스크 이미지 아래를 마운트와 파티션과 장치까지 잇는 출력을 그 물음이 낸다. -- **이 호스트의 I/O Scheduler 는 무엇인가** - 스케줄러 값을 읽는 방법은 여기 적었고, 이 호스트의 값은 그 질문이 확인한다. -- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가** - 스토리지 경쟁은 이 글에서 구조로만 설명했다. 이 환경에서 실제로 겹치는지는 그 질문이 잰다. - -## 본문 @@ -69,9 +51,11 @@ source: ## 한 NVMe 로 여러 곳의 요청이 들어온다 -가상 머신 둘의 QEMU 프로세스와 호스트의 Nginx, 그리고 호스트의 다른 프로세스에서 동시에 I/O 가 들어올 수 있다. VM1 이 X 를 쓰고 Y 를 읽고 Z 를 쓰는 동안 VM2 는 A 를 읽고 B 를 쓰고, 호스트 프로세스는 C 를 읽는 식이다. 이 요청들은 호스트 블록 계층의 큐에서 관리되다가 장치로 나간다. +가상 머신들의 QEMU 프로세스와 호스트의 다른 프로세스에서 동시에 I/O가 들어올 수 있다. VM1 이 X 를 쓰고 Y 를 읽고 Z 를 쓰는 동안 VM2 는 A 를 읽고 B 를 쓰고, 호스트 프로세스는 C 를 읽는 식이다. 이 요청들은 호스트 블록 계층의 큐에서 관리되다가 장치로 나간다. -![VM1 QEMU 와 VM2 QEMU, Nginx, Host 기타 네 곳에서 나온 화살표가 하나의 Host Block Layer 로 모이고 거기서 NVMe 로 dispatch 되는 수렴 흐름도. VM1 QEMU 아래에는 WRITE X 와 READ Y, WRITE Z 가, VM2 QEMU 아래에는 READ A 와 WRITE B 가 적혀 있고, Host Block Layer 는 그것들을 모두 Host block request 로 다룬다.](../../../final/assets/diagrams/vms-sharing-one-nvme/vms-sharing-one-nvme.svg) +이 그림의 `Nginx`는 현재 실험대의 배치를 뜻하지 않는다. 원래 개념 문서가 host process의 한 예로 둔 이름이다. 현재 Nginx는 Edge VM 안에 있으므로 실제 I/O 경로에서는 edge QEMU 쪽으로 들어온다. + +![VM1 QEMU 와 VM2 QEMU, 호스트의 Nginx와 다른 프로세스에서 나온 화살표가 하나의 Host Block Layer 로 모이고 거기서 NVMe 로 dispatch 되는 개념 흐름도. VM1 QEMU 아래에는 WRITE X 와 READ Y, WRITE Z 가, VM2 QEMU 아래에는 READ A 와 WRITE B 가 적혀 있다.](../../../final/assets/diagrams/vms-sharing-one-nvme/vms-sharing-one-nvme.svg) ## `blk-mq` 는 CPU 마다 큐를 둔다 @@ -91,9 +75,7 @@ cat /sys/block/nvme0n1/queue/scheduler 출력이 `[none] mq-deadline` 이면 대괄호 안의 `none` 이 지금 선택된 스케줄러다. SATA 나 SCSI 장치라면 `cat /sys/block/sda/queue/scheduler` 처럼 장치 이름을 바꿔 읽는다. -위에 적은 `[none] mq-deadline` 은 SSOT 가 읽는 법을 보이려고 든 출력이다. 이 호스트에서 그 명령을 아직 돌리지 않아서 이 장비의 스케줄러가 무엇인지는 이 글이 말하지 않는다. - -넣을 이름도 아직 정해져 있지 않다. SSOT 의 측정 환경 절이 2026-09-10 에 `df -h /` 로 받은 이 호스트의 루트는 `/dev/nvme0n1p3` 인데, 위 경로에 든 예시 이름은 `nvme0n1` 과 `sda` 처럼 파티션이 아니라 장치 쪽이다. 어느 쪽을 넣어야 하는지는 이미지 아래를 `lsblk` 로 따라 내려가 상위 장치를 본 뒤에 갈린다. +2026-09-21 재검증에서 이미지가 놓인 상위 장치는 `nvme0n1`로 확인됐고, `/sys/block/nvme0n1/queue/scheduler`는 `[none] mq-deadline kyber bfq`를 냈다. 현재 선택값은 `none`이다. 같은 장치의 `rotational`은 `0`이었다. ## NVMe 드라이버는 호스트 커널의 장치 드라이버다 @@ -115,8 +97,10 @@ Storage Contention CPU 경쟁은 호스트 논리 CPU 의 실행 시간을 두고 벌어지고, 스토리지 경쟁은 IOPS 와 대역폭, 큐, 장치 처리시간을 두고 벌어진다. 애플리케이션에서는 둘 다 「느리다」로 관찰되지만 다투는 자원이 달라서 따로 잰다. -## 이 호스트에서 확인하지 않은 것 +## 이 호스트에서 확인한 공유 스토리지와 contention -이 글에도 이 테스트 호스트에서 잰 값은 없다. 이 호스트의 I/O 스케줄러는 `/sys/block` 아래를 읽은 출력이 없어 무엇으로 설정돼 있는지 알 수 없고, 디스크 이미지 아래를 마운트에서 파티션과 장치까지 이은 출력도 없다. 가상 머신 두 대와 호스트 프로세스의 I/O 가 이 환경에서 실제로 같은 시간에 겹치는지도 재지 않았다. VM1 의 대량 I/O 가 VM2 의 스토리지 지연을 올린다는 것은 이 계층 구성에서 나오는 가능성이고 이 서버에서 관측한 값이 아니다. 이 글은 요청이 호스트에서 어떤 순서로 어느 계층을 지나는지까지 설명하고, 이 서버가 그 계층에서 실제로 막히는지는 재지 않았다. +2026-09-21 `findmnt`와 `lsblk`로 base와 세 overlay가 모두 `/dev/nvme0n1p3`의 ext4 루트 파일시스템 위에 있고, 상위 물리 장치가 `SAMSUNG MZVLQ256HAJD-00000` NVMe `nvme0n1`임을 확인했다. 현재 scheduler는 `none`이다. 따라서 세 VM의 주 디스크 I/O가 같은 host block stack과 같은 물리 NVMe를 공유한다는 점은 실제 구성으로 확인됐다. + +2026-09-21에는 contention도 baseline·load·recovery로 나눠 직접 재현했다. VM1에 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 대기 시간이 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 실행에서는 공유 NVMe의 load와 다른 VM의 지연이 함께 악화되는 경로를 확인했다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-qemu-block-backend-forms.md b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-qemu-block-backend-forms.md index beed411..b2a4d05 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-qemu-block-backend-forms.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-qemu-block-backend-forms.md @@ -30,34 +30,16 @@ source: 게스트 안에서 /dev/vda 를 보는 것만으로는 호스트에 무엇이 있는지 알 수 없다. 가상 머신 경계를 넘으면 QEMU 의 virtio-blk 장치 모델과 블록 백엔드가 그 요청을 받는데, 그 백엔드는 qcow2 파일일 수도, RAW 파일일 수도, 호스트의 실제 블록 장치일 수도 있다. 파일 백엔드면 게스트 스토리지 계층 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓이고, qcow2 면 게스트가 보는 크기와 호스트가 실제로 쓰는 크기가 갈린다. 무엇에 붙어 있는지는 게스트가 아니라 호스트에서 virsh domblklist 로 확인한다. 가상 머신에 디스크를 붙여 본 사람을 독자로 둔다. -## 관계 - -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - 게스트 안에서 virtqueue 까지 내려온 요청을 이 글이 이어받는다. -- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존** - 파일 백엔드면 호스트 페이지 캐시가 한 겹 더 생기고, 그 위에서 완료가 무엇을 보장하는지가 갈린다. -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - 이 글은 백엔드 형태까지만 본다. 그 아래에서 요청이 어떻게 줄을 서는지는 그 글이 본다. -- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다** - 이 글이 적은 세 갈래가 그 규칙의 근거다. -- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가** - 세 갈래 가운데 어느 것인지를 그 물음이 이 장비에서 출력으로 확정한다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - 이 글이 든 크기 차이는 SSOT 의 예시 값이고, 이 장비의 값은 그 질문이 잰다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 파일 백엔드라면 그 파일이 놓인 호스트 장치까지 따라가야 경로가 끝난다. - -## 본문 -![Guest의 /dev/vda가 virtio-blk와 virtqueue를 지나 QEMU block backend에 도착한 뒤 qcow2 파일, RAW 파일, Host block device 세 갈래로 나뉘는 구조도. 그 아래 Host block stack은 별도 Concept이 맡아 이 그림에서는 다시 합치지 않는다.](../../../final/assets/diagrams/qemu-block-backend-forms/qemu-block-backend-forms.svg) +![Guest의 /dev/vda가 virtio-blk와 virtqueue를 지나 QEMU block backend에 도착한 뒤 qcow2 파일, RAW 파일, Host block device 세 갈래로 나뉘는 구조도. 그 아래 Host block stack은 별도 개념 문서가 맡아 이 그림에서는 다시 합치지 않는다.](../../../final/assets/diagrams/qemu-block-backend-forms/qemu-block-backend-forms.svg) ## 가상 머신 경계를 넘으면 QEMU 가 받는다 게스트의 `virtio-blk` 가 `virtqueue` 에 게시한 요청은 가상 머신 경계를 넘어 호스트 사용자 공간의 QEMU 로 간다. QEMU 안에서는 `virtio-blk` 장치 모델과 블록 백엔드가 그 요청을 받는다. QEMU 는 게스트에게 가상 블록 장치를 노출하고, 게스트의 가상 I/O 를 호스트 백엔드에 연결한다. -SSOT 는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하나로 따로 뽑아 두었다. +기존 문서는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하나로 따로 뽑아 두었다. > Guest는 `/dev/vda`를 실제 block device처럼 보지만, Host에서는 그 disk가 qcow2 파일, RAW 파일, 또는 실제 block device에 연결되어 있을 수 있다. @@ -73,7 +55,7 @@ SSOT 는 제4부의 전체 구조를 그린 뒤 이 갈림을 핵심 문장 하 ## qcow2 는 게스트가 보는 크기와 호스트가 쓰는 크기가 다르다 -`qcow2` 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수 있다. SSOT 가 든 예시에서는 게스트가 `/dev/vda` 를 100 GB 로 보는 동안 호스트의 `vm1.qcow2` 가 3GB 를 쓴다. 게스트가 데이터를 기록하면서 가상 크기 100GB 는 그대로인 채 실제 할당량이 1GB 에서 10GB 로, 다시 40GB 로 늘 수 있다. 이 숫자들은 SSOT 가 설명하려고 든 값이고 이 호스트에서 잰 값이 아니다. +`qcow2`는 가상 디스크 크기와 실제 host allocation이 다를 수 있다. 예를 들어 virtual size를 100GB로 잡아도 실제로 기록한 block이 적다면 host에서는 훨씬 적은 공간만 차지할 수 있다. guest가 데이터를 쓰면 virtual size는 그대로인 채 host allocation이 늘어난다. ```bash label="qcow2 의 virtual size 와 실제 할당량" qemu-img info vm1.qcow2 @@ -81,21 +63,21 @@ qemu-img info vm1.qcow2 출력의 `virtual size` 와 실제 할당량은 서로 다른 값이다. -SSOT 의 실측 절이 2026-09-10 에 이 호스트의 바닥 이미지에 그 명령을 돌린 출력을 남겼다. `file format: qcow2` 에 `virtual size: 3 GiB (3221225472 bytes)` 이고 `disk size: 335 MiB` 다. 같은 절의 목록에서 20GB 로 선언한 게스트 오버레이 둘은 `1521025024` 와 `697499648` 바이트, 곧 1.4 GiB 와 665 MiB 였다. +2026-09-21에는 실행 중 VM을 끄지 않고 `qemu-img info --force-share`, `du -h`, `ls -lh`를 같은 이미지에 이어서 실행했다. `base.qcow2`는 virtual 3GiB / disk 323MiB, `kc-lab-1.qcow2`는 20GiB / 3.43GiB, `kc-lab-2.qcow2`는 20GiB / 2.66GiB, `kc-lab-edge.qcow2`는 10GiB / 345MiB였다. 세 overlay 모두 `base.qcow2`를 qcow2 backing file로 가리켰다. -바닥 쪽 차이가 안 쓴 공간만으로 생기지는 않는다. SSOT 의 qcow2 내부 절이 같은 파일에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간을 606개, 전체를 1236개로 셌다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 zlib 로 압축해 324 MiB 가 된다. 배포본 이미지가 배포 시점에 이미 압축된 채로 오기 때문이고, 게스트가 그 클러스터에 쓰면 압축하지 않은 형태로 오버레이에 새로 할당된다. 바닥은 작은데 오버레이가 상대적으로 커 보이는 이유 가운데 하나가 그것이라고 SSOT 는 적었다. +base image가 작은 이유가 sparse allocation 하나뿐인 것은 아니다. 기존 `qemu-img map --output=json` 결과에서는 compressed extent와 hole이 함께 존재했다. 배포본 base image는 압축된 block을 포함할 수 있고, guest가 새로 쓰는 내용은 overlay에 별도 cluster로 쌓이므로 base와 overlay의 host 사용량은 같은 방식으로 증가하지 않는다. ## RAW 와 qcow2 를 성능으로 먼저 가르지 않는다 RAW 는 `qcow2` 보다 구조가 단순하다. 게스트의 블록 요청이 `qcow2` 에서는 QEMU 의 매핑과 메타데이터 처리를 지나 `qcow2` 파일 I/O 가 되고, RAW 에서는 상대적으로 직접적인 오프셋 대응을 지나 RAW 파일 I/O 가 된다. `qcow2` 는 Copy-on-Write 와 sparse allocation, 스냅샷에 유리하지만 그 대신 매핑과 메타데이터 처리가 붙는다. -그렇다고 RAW 가 무조건 빠르고 `qcow2` 가 무조건 느리다고 일반화하면 안 된다. SSOT 는 실제 성능이 캐시 모드와 스토리지 백엔드, 작업 부하 패턴, 큐 깊이, 스냅샷 체인, 그 아래 파일시스템, 물리 장치에 영향을 받는다고 적었다. 형식 이름만으로는 어느 쪽이 빠른지 정해지지 않는다. +그렇다고 RAW가 무조건 빠르고 `qcow2`가 무조건 느리다고 일반화하면 안 된다. 실제 성능은 cache mode, storage backend, workload pattern, queue depth, snapshot chain, host filesystem, physical device에 함께 영향을 받는다. 형식 이름만으로 어느 쪽이 빠른지 정해지지 않는다. -그 목록 가운데 스냅샷 체인이 왜 걸리는지는 SSOT 의 qcow2 내부 절이 따로 풀었다. 매핑 항목이 0 인 클러스터를 만날 때마다 한 층 아래로 내려가야 해서 체인이 깊으면 읽기가 느려지고, 그래서 이 실험대는 층을 두세 겹 넘게 쌓지 않는다. 굳힐 때는 `qemu-img commit` 으로 아래층에 병합하거나 `qemu-img convert` 로 단일 파일로 평탄화한다. +그 목록 가운데 스냅샷 체인이 왜 걸리는지는 기존 문서의 qcow2 내부 절이 따로 풀었다. 매핑 항목이 0 인 클러스터를 만날 때마다 한 층 아래로 내려가야 해서 체인이 깊으면 읽기가 느려지고, 그래서 이 실험대는 층을 두세 겹 넘게 쌓지 않는다. 굳힐 때는 `qemu-img commit` 으로 아래층에 병합하거나 `qemu-img convert` 로 단일 파일로 평탄화한다. ## 백엔드가 파일이 아니라 호스트 블록 장치일 수도 있다 -백엔드는 파일이 아니어도 된다. 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 호스트의 `/dev/nvme0n1p3` 같은 블록 장치에 바로 연결될 수 있고, SSOT 가 그린 이 경로에는 호스트 파일시스템이 없다. 같은 이름 아래에서 경로가 세 갈래로 갈리기 때문에, 게스트에 `/dev/vda` 가 있다는 정보만으로는 백엔드 구조를 알 수 없다. +백엔드는 파일이 아니어도 된다. 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 호스트의 `/dev/nvme0n1p3` 같은 블록 장치에 바로 연결될 수 있고, 기존 문서가 그린 이 경로에는 호스트 파일시스템이 없다. 같은 이름 아래에서 경로가 세 갈래로 갈리기 때문에, 게스트에 `/dev/vda` 가 있다는 정보만으로는 백엔드 구조를 알 수 없다. ## 세 갈래가 각각 바꾸는 것 @@ -103,7 +85,7 @@ RAW 는 `qcow2` 보다 구조가 단순하다. 게스트의 블록 요청이 `qc |---|---| | `qcow2` 파일 | 게스트 파일시스템 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓인다. Copy-on-Write 와 sparse allocation, 스냅샷을 쓸 수 있고 매핑과 메타데이터 처리가 붙는다. 게스트가 보는 가상 크기와 호스트 실제 할당량이 갈린다 | | RAW 파일 | 게스트 파일시스템 아래에 호스트 파일시스템과 블록 계층이 한 겹 더 놓인다. 블록 위치가 파일 오프셋에 상대적으로 직접 대응한다 | -| 호스트 블록 장치 | SSOT 가 그린 경로에 호스트 파일시스템이 없다 | +| 호스트 블록 장치 | QEMU가 파일을 통하지 않고 block device를 backend로 쓰므로 host filesystem 계층이 빠진다 | ## 무엇에 붙어 있는지는 호스트에서 확인한다 @@ -117,7 +99,7 @@ lsblk virsh domblklist ``` -```text label="SSOT 가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다" +```text label="기존 문서가 든 출력 예시. 이 호스트에서 실행한 결과가 아니다" Target Source ----------------------------------------------- vda /var/lib/libvirt/images/vm1.qcow2 @@ -125,12 +107,12 @@ vda /var/lib/libvirt/images/vm1.qcow2 이 출력이 나오면 게스트의 `/dev/vda` 가 `virtio-blk` 와 QEMU 를 지나 `/var/lib/libvirt/images/vm1.qcow2` 에 닿는 연결이 확인된다. -## 확인하지 못한 것 +## 이 호스트에서 확인한 것과 남은 것 -이 글은 백엔드가 셋으로 갈린다는 데까지 말하고, 이 호스트가 그중 무엇인지는 여기서 정하지 않는다. SSOT 의 실험대 구축 절과 실측 절이 게스트마다 `base.qcow2` 위의 오버레이 파일을 붙였다고 적었으므로 파일 쪽 갈래이지만, 그 대응을 `virsh domblklist` 로 읽은 출력은 아직 없다. 형식이 무엇인지, 가상 크기와 실제 사용량이 얼마나 다른지, 그 이미지가 어느 호스트 블록 장치 위에 있는지는 관계로 걸어 둔 질문 셋이 출력으로 확정한다. +2026-09-21 재검증에서 세 VM의 `vda` source는 모두 qcow2 overlay file이고, 각 overlay는 공통 `base.qcow2`를 backing store로 사용한다는 것을 확인했다. host block device passthrough 구성은 아니다. base와 overlay의 format, virtual size, allocated disk size, file length도 같은 시점에 읽어 virtual size와 실제 host 점유가 다르다는 점을 실제 값으로 확인했다. -앞에서 든 100 GB 와 3GB, 1GB 에서 40GB 까지의 증가는 SSOT 가 설명하려고 든 예시 값이고 이 호스트에서 잰 값이 아니다. 이 호스트에서 `qemu-img info` 가 돌아간 것은 바닥 `base.qcow2` 하나여서, 오버레이 둘은 `ls -l` 의 파일 크기로만 남아 있고 그 안의 `virtual size` 는 읽히지 않았다. +또한 이 이미지들은 모두 host ext4 `/dev/nvme0n1p3` 위에 있고 상위 장치는 `nvme0n1`이다. 따라서 이 실험대의 현재 경로는 `Guest /dev/vda → virtio-blk → QEMU qcow2 backend → host ext4 → host block layer → NVMe`로 정리할 수 있다. -`qcow2` 와 RAW 의 성능 비교도 이 저장소에 없다. SSOT 는 실제 성능을 가르는 조건만 열거했고 어느 쪽이 이 환경에서 빠른지는 재지 않았다. +남은 것은 성능 비교다. `qcow2`와 RAW를 동일 workload로 비교한 측정은 없으므로 현재 qcow2 구성이 RAW보다 빠르다거나 느리다고 결론내리지 않는다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-write-completion-is-not-durability.md b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-write-completion-is-not-durability.md index 5f5e4de..2d51607 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-write-completion-is-not-durability.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/concept/concept-write-completion-is-not-durability.md @@ -34,22 +34,6 @@ source: buffered I/O 에서 write() 는 페이지 캐시까지만 내려가고, 가상 머신에서는 그 페이지 캐시가 게스트와 호스트 양쪽에 두 번 나타날 수 있다. 게스트가 성공을 돌려받은 데이터가 호스트 메모리에 머무는 동안 호스트 전원이 나가면 물리 SSD 에는 이전 상태가 남는다. 그래서 완료라는 말이 네 단계로 갈린다 — write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 영속성. Direct I/O 와 QEMU 캐시 모드가 이 가운데 어디까지 가는지를 바꾼다. 페이지 캐시와 fsync 를 아는 사람을 독자로 둔다. Keycloak 과 PostgreSQL 을 가상 머신 위에서 돌리는 실험에서는 이 구분을 먼저 세워야 지연을 재는 것과 데이터가 남는지를 재는 것이 한 실험에 섞이지 않는다. -## 관계 - -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - 게스트 쪽 경로를 VFS 부터 virtqueue 까지 이어 그린 글이다. 이 글은 그 경로 위에서 완료 응답이 무엇을 보장하는지만 본다. -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 백엔드가 파일이면 게스트 파일시스템 아래에 호스트 파일시스템과 호스트 페이지 캐시가 한 겹 더 놓인다. 두 번째 페이지 캐시가 왜 생기는지를 그 글이 설명한다. -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - fsync 요구가 호스트로 내려간 뒤 어느 계층을 지나는지는 그 글이 맡는다. -- **빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다** - 이 개념이 세운 네 경계를 설정 선택과 성능 개선의 판정에 적용하는 규칙이다. -- **이 VM 들의 QEMU disk cache mode 는 무엇인가** - 이 호스트가 cache=none 구성인지 cache=writeback 구성인지 SSOT 에 적혀 있지 않다. -- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가** - fsync() 지연 값은 그 질문이 게스트와 호스트를 같은 시간축으로 잰 뒤에 이 글에 들어온다. - -## 본문 @@ -104,7 +88,7 @@ FLUSH 반영하고 완료 상태를 보장해라" ``` -실제 순서 보장과 영속성의 의미는 이 두 줄보다 복잡하다. SSOT 도 그렇게 밝혀 두었고, 이 글은 두 요청의 구분까지만 말한다. +실제 순서 보장과 영속성의 의미는 이 두 줄보다 복잡하다. 여기서는 `WRITE`와 `FLUSH`가 요구하는 계약이 다르다는 수준까지만 구분한다. ## Direct I/O 가 우회하는 대상은 페이지 캐시다 @@ -121,13 +105,13 @@ QEMU 와 libvirt 로 정의한 디스크에서 대표적으로 볼 수 있는 호스트 페이지 캐시를 우회한다고 해서 쓰기가 곧바로 영속 매체에 반영되지는 않는다. `cache=writeback` 으로 두어도 게스트의 `fsync()` 와 `FLUSH` 가 무시되지 않는다. 정상적인 계층이라면 게스트의 `fsync` 와 `FLUSH` 가 virtio `FLUSH` 로 이어진다. QEMU 와 백엔드에서 호스트 동기화와 플러시로 이어지고, 저장장치에서 필요한 완료를 확인한 뒤 게스트 완료로 돌아온다. -`cache=writeback` 을 위험하다는 한 낱말로 줄이지 않으려고 SSOT 는 정확한 표현을 따로 적어 두었다. +`cache=writeback`을 단순히 "위험하다"로 줄이면 부정확하다. > writeback caching에서는 volatile cache가 존재할 수 있으므로, Guest의 flush/fsync semantics가 전체 backend/storage stack에서 올바르게 보존되는지가 중요하다. 그래서 확인할 것은 게스트가 요구한 영속성이 게스트 파일시스템에서 게스트 블록 계층과 virtio, QEMU 와 백엔드, 호스트 스토리지를 지나 장치까지 가는 동안 그 의미가 깨지지 않는지다. -두 설정 가운데 어느 쪽을 쓸지 이 프로젝트는 정하지 않았다. SSOT 는 두 설정의 뜻과 각각의 오해를 갈라 놓기만 했고, 어느 쪽을 쓰기로 했다고도 그렇게 해서 무엇을 감수했다고도 적지 않았다. 게스트를 만든 `virt-install` 세 줄을 SSOT 의 실험대 구축 절이 그대로 옮겨 적었는데 거기에도 캐시 옵션이 없다. 디스크는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 와 시드 볼륨 둘로만 지정돼 있어서, 이 호스트의 디스크 정의에 값이 적혀 있는지부터가 확인되지 않았다. 관계로 걸어 둔 질문이 그것에 먼저 답한다. +현재 세 VM의 주 qcow2 디스크는 2026-09-21 QEMU monitor `info block`에서 모두 `Cache mode: writeback`으로 확인됐다. domain XML에는 `cache=` 속성이 명시되지 않았기 때문에 XML 기본값을 추정하지 않고 runtime 값을 기준으로 삼는다. 이 사실은 현재 구성을 설명할 뿐, `writeback`을 계속 쓸지에 대한 선택까지 대신하지 않는다. 변경 여부는 실제 `fsync()`/FLUSH latency와 durability 조건을 함께 본 뒤 판단한다. ## 호스트 페이지 캐시를 우회해도 장치 안에 캐시가 있다 @@ -141,7 +125,7 @@ Device에 command가 전달됐다 전원이 끊겨도 살아남는 상태가 됐다 ``` -운영에서는 장치의 플러시와 FUA(Force Unit Access) 의미, 전원 손실 보호(power-loss protection)를 갖췄는지도 확인 대상이 된다. SSOT 는 그것이 중요할 수 있다고만 적었고, 이 호스트의 장치가 무엇을 갖췄는지는 적지 않았다. +운영에서는 장치의 flush/FUA(Force Unit Access) 의미와 power-loss protection 지원 여부도 확인 대상이다. 현재 host storage가 `nvme0n1`이라는 점과 QEMU runtime cache가 `writeback`이라는 점까지는 확인했지만, 장치의 전원 손실 보호와 flush/FUA 동작을 장애 실험으로 검증하지는 않았다. ## 거짓 완료는 성능 문제가 아니다 @@ -161,8 +145,10 @@ COMMIT; PostgreSQL 은 WAL(Write-Ahead Log) 등의 영속성 프로토콜을 쓰며 필요한 시점에 스토리지 동기화를 수행한다. WAL 쓰기는 게스트 페이지 캐시와 `fsync` 를 지나 게스트 파일시스템과 게스트 블록 계층, `virtio-blk`, QEMU, 호스트 스토리지를 거쳐 물리 저장장치까지 간다. 그 완료가 되돌아와야 필요한 영속성 조건이 충족됐다고 보고 `COMMIT` 을 성공으로 처리한다. 가상 머신 스토리지 계층이 플러시와 `fsync` 의 의미를 제대로 보존하지 않으면, PostgreSQL 의 영속성 가정과 실제 저장장치 동작이 어긋날 수 있다. -## 이 호스트에서 확인하지 않은 것 +## 이 호스트에서 확인한 것과 아직 확인하지 않은 것 -이 글에 이 테스트 호스트에서 잰 값은 하나도 없다. 두 가상 머신의 디스크 캐시 모드가 무엇으로 설정돼 있는지 SSOT 에 없어서, 이 호스트가 `cache=none` 구성인지 `cache=writeback` 구성인지 여기서 말하지 않는다. 거짓 완료가 이 환경에서 실제로 일어나는지도 재현하지 않았다. 장치의 플러시와 FUA 의미가 어떻게 동작하는지, 전원 손실 보호를 갖췄는지도 확인하지 않았다. `fsync()` 지연 값은 관계로 걸어 둔 질문이 게스트 지연과 호스트 스토리지 지연을 같은 시간축으로 잰 뒤에 이 글에 들어온다. 이 글은 이 구조에서 완료 응답이 무엇을 보장하는지까지 설명하고, 이 서버가 그 보장을 지키는지는 재지 않았다. +2026-09-21 현재 주 디스크 backend는 qcow2이고 QEMU runtime cache mode는 세 VM 모두 `writeback`이다. 이미지가 놓인 host block device는 `nvme0n1`, scheduler는 `none`으로 확인됐다. 따라서 이 문서에서 설명한 **guest page cache + host page cache가 함께 존재할 수 있는 구성**과 현재 환경이 맞닿아 있다. + +2026-09-21에는 guest `fsync()` latency와 host storage latency를 같은 구간에 놓고 측정했고, cross-VM load에서 둘이 함께 악화됐다가 부하 종료 후 회복되는 것을 확인했다. 하지만 이것은 latency 경로를 확인한 결과이지 durability 끝단을 검증한 결과는 아니다. 장치가 flush/FUA를 어떤 의미로 처리하는지, power-loss 상황에서 완료 응답 뒤 데이터가 실제로 살아남는지는 여전히 별도 검증이 필요하다. 현재 `writeback`이라는 값만으로 거짓 완료가 일어난다고 단정하지 않는다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-disk-image-format-and-actual-host-usage.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-disk-image-format-and-actual-host-usage.md index 830d5c2..6f5fb57 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-disk-image-format-and-actual-host-usage.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-disk-image-format-and-actual-host-usage.md @@ -7,9 +7,12 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/ae69e2e1-1a3b-4ae3-ae2a-572af07b95d7/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-3 - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-2 @@ -20,20 +23,12 @@ source: # 이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가 -§199 가 2026-09-10 에 이 호스트에서 읽어 둔 값이 있다. 바닥 이미지 `base.qcow2` 의 형식은 qcow2 이고, 20GB 로 선언한 게스트 오버레이 둘의 실제 파일은 1.4 GiB 와 665 MiB 였다. 오버레이마다 세 명령을 돌려 형식과 세 크기를 나란히 읽은 값은 아직 없다. 이 물음은 이미지마다 그것을 한 표로 적는 데서 끝나고, 성능 판단은 여기서 하지 않는다. +2026-09-21 실행 중 VM을 끄지 않고 `qemu-img info --force-share`, `du -h`, `ls -lh`를 같은 이미지에 이어서 실행했다. base와 세 overlay는 모두 qcow2이고, guest가 보는 virtual size와 host의 실제 allocation/file length는 크게 다르다. 이 값은 workload가 쓰는 블록 양에 따라 계속 변하므로 현재 관측값으로 기록한다. -## 관계 +## base와 overlay의 실제 크기 -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 형식이 어디에서 갈리고 각 형식이 무엇을 더 하는지를 그 글이 설명한다. -- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다** - 이 물음이 그 기준의 형식 확인과 용량 확인 항목을 이 호스트에서 채운다. -- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가** - 명령을 돌릴 경로를 그 물음이 확정한다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 같은 경로를 받아 그 파일 아래를 잇는 물음이다. - -## 사실 +- 2026-09-21 재검증에서 `base.qcow2`는 virtual 3 GiB / disk 323 MiB, `kc-lab-1.qcow2`는 virtual 20 GiB / disk 3.43 GiB, `kc-lab-2.qcow2`는 virtual 20 GiB / disk 2.66 GiB, `kc-lab-edge.qcow2`는 virtual 10 GiB / disk 345 MiB였다. 세 overlay 모두 `base.qcow2`를 qcow2 backing file로 가리켰다. +- 2026-09-21 재검증에서 `qemu-img info`의 disk size와 `ls -lh`의 file length도 같지 않았다. 예를 들어 edge overlay는 disk size 345 MiB, file length 420 MiB였다. sparse allocation과 qcow2 metadata 때문에 서로 다른 값을 센다. - 개념 문서는 같은 대상이 호스트에서는 파일 하나이고 게스트에서는 /dev/vda 라는 디스크이며 둘 다 맞다고 놓았다. - qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수 있다. 개념 문서가 든 그림은 게스트가 보는 공간 100 GB 에 호스트 실제 할당 3GB 였다. @@ -45,38 +40,35 @@ source: 형식과 크기 : qemu-img info 실제 점유량 : du -h 파일 크기 : ls -lh -- 백엔드가 파일이라는 것은 §187 의 `virt-install` 세 줄과 §199 의 `ls -l` 출력이 보여 준다. -- 형식과 바닥 이미지의 크기는 §199 가 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다. +- 백엔드가 파일이라는 것은 「단계 01 — 게스트 세 대」의 `virt-install` 세 줄과 「디스크 — 오버레이는 얼마나 쓰나」의 `ls -l` 출력이 보여 준다. +- 형식과 바닥 이미지의 크기는 「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `test-server` 에서 재 두었다. `qemu-img info /var/lib/libvirt/images/base.qcow2` 가 낸 값은 `file format: qcow2`, `virtual size: 3 GiB (3221225472 bytes)`, `disk size: 335 MiB` 다. - 같은 절의 `ls -l /var/lib/libvirt/images/` 가 선언한 크기와 파일 크기를 나란히 보인다. base.qcow2 : 351404032 (335 MiB) kc-lab-1.qcow2 : 1521025024 (1.4 GiB) — 선언 20GB kc-lab-2.qcow2 : 697499648 (665 MiB) — 선언 20GB 시드 ISO 두 장 : 각 378880 (370 KiB) -- §199 는 그 결과를 한 줄로 정리했다. 20GB 씩 둘, 합쳐 40GB 를 선언했지만 실제로는 2.1GB 를 썼다. -- §199 는 두 오버레이가 두 배 넘게 갈린 이유도 함께 적었다. k3s server 가 agent 보다 두 배 이상 쓰는 것은 컨트롤 플레인 바이너리와 SQLite 때문이다. 그래서 오버레이 크기는 이미지 형식이 아니라 그 게스트가 무엇을 도는지를 따라간다. -- §231 은 같은 바닥 이미지에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, 바닥 쪽 차이에는 희소 할당과 압축이 겹쳐 있다. 오버레이에 쌓이는 클러스터는 압축되지 않는다. +- 「디스크 — 오버레이는 얼마나 쓰나」에서는 그 결과를 한 줄로 정리했다. 20GB 씩 둘, 합쳐 40GB 를 선언했지만 실제로는 2.1GB 를 썼다. +- 「디스크 — 오버레이는 얼마나 쓰나」에서는 두 오버레이가 두 배 넘게 갈린 이유도 함께 적었다. k3s server 가 agent 보다 두 배 이상 쓰는 것은 컨트롤 플레인 바이너리와 SQLite 때문이다. 그래서 오버레이 크기는 이미지 형식이 아니라 그 게스트가 무엇을 도는지를 따라간다. +- 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 같은 바닥 이미지에 `qemu-img map --output=json` 을 돌려 `compressed: True` 인 구간이 606개이고 전체가 1236개라고 적었다. 3 GiB 가운데 2.01 GiB 가 구멍이고 남은 1010 MiB 를 압축해 324 MiB 가 된다. 배포본 qcow2 는 배포 시점에 이미 zlib 로 압축돼 있어서, 바닥 쪽 차이에는 희소 할당과 압축이 겹쳐 있다. 오버레이에 쌓이는 클러스터는 압축되지 않는다. -## 가정 +## virtual size와 host 사용량은 같은 시점에 재었다 -- §199 가 목록으로 보인 경로가 지금도 그 가상 머신들이 쓰는 이미지라고 본다. 도메인 정의와 대조한 출력은 없다. -- 오버레이도 바닥과 같은 qcow2 라고 본다. §187 이 `backing_store` 로 만들었다고 적었지만 오버레이에 `qemu-img info` 를 돌린 출력은 없다. §232 는 그 출력의 `backing file:` 줄이 없으면 바닥 이미지이고 있으면 오버레이라고 적었으므로, 오버레이에 한 번 돌리면 형식과 이 가정이 같은 출력에서 함께 갈린다. +- 2026-09-21에는 live domain mapping과 이미지 경로를 함께 확인했으므로 현재 세 overlay 경로를 실제 VM disk source로 사용할 수 있다. +- 2026-09-21 `qemu-img info --force-share`로 base와 세 overlay를 직접 읽었다. 모두 qcow2이고 세 overlay는 공통 `base.qcow2`를 backing file로 가리킨다. - 세 명령을 같은 시점에 돌린다고 본다. 실제 사용량은 게스트가 기록하면서 늘 수 있어서, 시점이 벌어지면 한 표에 서로 다른 시각의 값이 들어간다. -## 미지수 +## virtual size와 host allocation은 다르다 -- 오버레이 `kc-lab-1.qcow2` 와 `kc-lab-2.qcow2` 의 `qemu-img info` 값. 형식과 virtual size, disk size 를 이미지마다 읽은 기록이 없고, §199 가 읽은 것은 바닥 `base.qcow2` 하나다. -- `du -h` 의 실제 점유량이 §199 의 `ls -l` 바이트 수와 얼마나 벌어지는지. 두 명령은 서로 다른 것을 센다. -- 엣지 게스트의 이미지. §199 는 엣지를 만들기 전 시점이라 목록에 `kc-lab-edge.qcow2` 가 없다. -- 지금 시점의 값. §199 는 2026-09-10 값이고 그 뒤로 오버레이가 얼마나 자랐는지는 재지 않았다. 증가를 볼 수 있는 구간은 그 앞 한 주뿐이다 — §215 가 2026-09-03 에 그린 배치에서 `kc-lab-1.qcow2` 는 264M 이고 일주일 뒤 §199 의 같은 파일이 1.4 GiB 다. 두 값은 어긋난 것이 아니라 다른 날의 것이라고 §211 이 스냅샷 날짜로 못박았다. +현재 이미지 형식과 virtual size, allocated disk size, file length는 해소됐다. 값은 2026-09-21 관측 시점의 스냅샷이며 VM이 쓰기를 계속하면 달라진다. `qemu-img info --force-share`는 실행 중 이미지를 읽기 위해 사용했고, `cleanly shut down: no`가 나온 overlay에 수정 작업은 하지 않았다. -## 제약 +## 수치를 읽는 범위 - 성능 결론을 여기서 내지 않는다. 형식만으로 일반화하지 말라고 개념 문서가 적었고, 성능은 부하와 지연을 재는 다른 물음들이 받는다. - 한 시점의 세 값만 적는다. 그 차이가 시간에 따라 어떻게 자라는지는 별도 측정으로 넘긴다. -- qcow2 파일 안이 어떻게 생겼는지는 여기서 다루지 않는다. 매핑표와 클러스터와 refcount 는 §231 이 맡고, 이 물음은 명령이 내놓는 값만 받는다. -- 개념 문서는 형식을 묻는 물음과 세 크기를 묻는 물음을 따로 적었는데 여기서는 하나로 받았다. 형식은 qemu-img info 출력의 첫 줄이고 세 값을 견주는 일의 전제라 같은 출력으로 함께 닫힌다. 같은 측정으로 닫히는 물음을 두 편으로 두지 않는다. +- qcow2 파일 안이 어떻게 생겼는지는 여기서 다루지 않는다. 매핑표와 클러스터와 refcount 는 「qcow2 파일 내부는 어떻게 생겼나 — 매핑표가 전부다」에서는 맡고, 이 물음은 명령이 내놓는 값만 받는다. +- format과 virtual size, allocated disk size는 같은 `qemu-img info`에서 함께 나오므로 한 표에서 비교한다. `du`와 `ls` 값까지 붙여 같은 파일을 서로 다른 기준으로 센 결과를 구분한다. -## 선택지 +## 세 크기를 읽은 방법 ### 1. 이미지마다 세 명령을 이어서 돌리고 한 표로 남긴다 @@ -96,10 +88,6 @@ qemu-img info 한 번이면 file format 이 나오므로 qcow2 인지 RAW 인지 그 값에는 이미지가 아닌 파일도 함께 들어가 있어서 이미지 하나가 얼마를 쓰는지 갈라 주지 않는다. 개념 문서가 비교하라고 한 것은 같은 이미지에 대한 세 값이고, 합계로는 virtual size 와의 차이도 나오지 않는다. -## 다음 검증 +## qcow2의 virtual size와 host 점유량은 서로 달랐다 -1. 앞선 물음이 확정한 Source 경로마다 qemu-img info 를 돌려 file format 과 virtual size 와 disk size 를 적는다. -2. 같은 경로에 du -h 와 ls -lh 를 돌려 두 값을 나란히 적는다. -3. 가상 머신이 여럿이면 이미지마다 한 행으로 한 표에 모으고 세 명령의 출력을 그대로 증거로 둔다. - -닫는 조건 : 이미지마다 형식과 세 크기가 한 표로 적히면 닫는다. qcow2 이고 세 값이 벌어져 있으면 개념 문서가 예시로만 든 차이가 이 호스트에서 얼마인지 확정한 것이고, 그 차이가 자라는 모습은 별도 측정으로 넘긴다. RAW 이면 그 갈래가 이 환경이라고 적고 sparse 인지 아닌지만 세 값의 차이로 판정한다. +형식은 모두 qcow2이고 virtual size와 host allocation/file length의 차이를 실제 값으로 확인했다. 이후에는 용량 증가 추세를 볼 필요가 있을 때 같은 세 명령을 다시 실행해 시점별 스냅샷으로 비교한다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-guest-fsync-latency-vs-host-storage-latency.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-guest-fsync-latency-vs-host-storage-latency.md index 732e770..64e3f8f 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-guest-fsync-latency-vs-host-storage-latency.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-guest-fsync-latency-vs-host-storage-latency.md @@ -7,9 +7,16 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/be3c2c58-1ed4-4eae-876a-3114faa61c94/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-8 - final/document.md#150-fsync-가-필요한-이유 @@ -21,86 +28,67 @@ source: # Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가 -게스트 안의 fsync() 는 게스트 파일시스템, 블록 계층, virtio-blk, QEMU 를 지나 호스트 스토리지까지 의미가 전달되어야 하는 요청이다. 그 전달이 이 호스트에서 실제로 이어지는지는 두 계열을 같은 시간축에 놓고 봐야 갈린다. 이 물음은 게스트 쪽 애플리케이션 지연과 호스트 쪽 스토리지 지연을 같은 타임스탬프로 남겨, 둘이 함께 움직이는지를 확인한다. +2026-09-21 `kc-lab-2`에서 256 KiB write 뒤 `fsync()`를 128회 반복하고 host `nvme0n1`의 `iostat -xz 1`을 같은 실행에서 기록했다. VM2 단독 구간의 fsync 평균은 약 8~9 ms였다. 같은 NVMe를 쓰는 VM1에 controlled write+fdatasync 부하를 겹치자 VM2 첫 실행의 fsync 평균이 58.46 ms, p95 314 ms, max 631 ms까지 증가했고 host `w_await`도 수십~184 ms, `%util` 92~98%로 함께 상승했다. VM1 부하 종료 뒤 VM2 fsync는 다시 약 8 ms로 회복했다. -## 관계 +## guest fsync와 host NVMe가 함께 오른 구간 -- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존** - 게스트가 받은 완료 응답이 어느 뜻인지를 그 개념이 가른다. -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - fsync() 가 전달되어야 하는 앞쪽 경로를 그 개념이 단계로 설명한다. -- **빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다** - 두 계열이 갈렸을 때 지연을 줄이는 방향으로 가려면 그 기준을 지나야 한다. -- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다** - 게스트 지연이 올랐을 때 CPU 가 아니라 스토리지를 먼저 보는 순서를 그 기준이 요구한다. -- **이 VM 들의 QEMU disk cache mode 는 무엇인가** - 그 값이 이 측정의 조건이므로 같은 기록에 함께 적는다. -- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가** - 같은 호스트 지표를 보지만 그쪽은 다른 가상 머신의 부하가 넘어오는지를 묻는다. -- **호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가** - 호스트 쪽에서 스토리지를 미는 다른 원인을 그 물음이 따로 본다. +- 2026-09-21 재검증에서 VM2 단독 fsync 반복 3회의 평균은 `8.2397 / 8.2676 / 9.1264 ms`였다. 첫 단독 실행의 p95는 11.18 ms였다. +- 2026-09-21 재검증에서 VM1 storage load와 겹친 VM2 첫 실행은 평균 `58.4576 ms`, p95 `314.0799 ms`, max `631.0144 ms`였다. VM1 load가 끝난 뒤 이어진 VM2 run 2/3은 평균 `7.9038 / 8.0636 ms`로 회복했다. +- 2026-09-21 재검증에서 겹침 구간 host `nvme0n1`은 `w_await` 약 50~184 ms, `%util` 약 92~98%, host `%iowait` 약 18~23% 구간이 나타났다. 단독 VM2 fsync 구간은 `w_await`이 주로 약 1 ms, flush await 약 2~3 ms였다. +- 2026-09-21 재검증에서 host clock은 guest보다 약 90초 빠르고 `NTPSynchronized=no`였다. 따라서 절대 timestamp끼리 직접 join하지 않고, 한 host shell이 VM1 load 시작→VM2 fsync 실행→iostat 종료를 orchestration한 실행 순서로 overlap을 판정했다. -## 사실 - -- §150 은 write(fd, data, size) 의 성공만으로는 정전 이후 생존을 보장하지 않고, 필요한 시점에 fsync(fd) 로 변경 내용을 필요한 영속성 경계까지 반영하도록 요청한다고 적었다. -- §150 은 가상 머신에서 그 요청이 지나야 하는 경로를 이렇게 그렸다. +- 「`fsync()`가 필요한 이유」에서는 write(fd, data, size) 의 성공만으로는 정전 이후 생존을 보장하지 않고, 필요한 시점에 fsync(fd) 로 변경 내용을 필요한 영속성 경계까지 반영하도록 요청한다고 적었다. +- 「`fsync()`가 필요한 이유」에서는 가상 머신에서 그 요청이 지나야 하는 경로를 이렇게 그렸다. PostgreSQL, fsync(), Guest Filesystem, Guest Block Layer, FLUSH 등, virtio-blk, QEMU/Backend, Host Storage Stack, Physical Storage -- §148 은 write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 durability 가 서로 같지 않다고 못박았다. -- §170 은 PostgreSQL 이 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다고 적었다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 PostgreSQL 이 전제한 영속성과 실제 스토리지 동작이 어긋날 수 있다. -- §171 은 모든 쓰기에서 스토리지 동기화를 기다리면 지연이 커질 수 있고, 특히 DB 부하에서는 fsync() 지연이 트랜잭션 지연과 연결될 수 있다고 적었다. -- §171 은 더 적극적인 캐싱으로 쓰기 지연을 개선할 수 있지만 durability semantics 는 반드시 보존해야 한다고 덧붙였다. fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다. -- §169 는 호스트 관측으로 iostat -xz 1 과 iotop 을 들고, 게스트 쪽 확인 명령으로 lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1 을 적었다. -- §175 OQ-8 은 게스트의 애플리케이션 지연과 호스트 iostat 를 시간축으로 함께 관찰하라고 했다. -- 이 호스트에서 두 계열을 재 본 값은 개념 문서에 없다. +- 「`write()` 완료와 영속화는 다르다」에서는 write() 완료, writeback 완료, fsync/flush 완료, 전원 장애에도 안전한 durability 가 서로 같지 않다고 못박았다. +- 「PostgreSQL 예시: WAL과 Durability」에서는 PostgreSQL 이 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다고 적었다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 PostgreSQL 이 전제한 영속성과 실제 스토리지 동작이 어긋날 수 있다. +- 「성능과 Durability의 Trade-off」에서는 모든 쓰기에서 스토리지 동기화를 기다리면 지연이 커질 수 있고, 특히 DB 부하에서는 fsync() 지연이 트랜잭션 지연과 연결될 수 있다고 적었다. +- 「성능과 Durability의 Trade-off」에서는 더 적극적인 캐싱으로 쓰기 지연을 개선할 수 있지만 durability semantics 는 반드시 보존해야 한다고 덧붙였다. fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다. +- 「Storage 관측 명령어」에서는 호스트 관측으로 iostat -xz 1 과 iotop 을 들고, 게스트 쪽 확인 명령으로 lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1 을 적었다. +- guest 애플리케이션 또는 DB 지연과 host `iostat -xz 1`을 같은 시간축에 기록해야 guest-side 대기와 host storage 대기를 비교할 수 있다. +- 2026-09-21 `kc-lab-2`의 synthetic fsync workload와 host `iostat -xz 1`을 같은 orchestration 구간에 기록해 guest fsync latency와 host NVMe latency/util 변화를 직접 비교했다. -## 가정 +## guest fsync와 host NVMe를 같은 시간축에 놓았다 -- 게스트에서 애플리케이션이나 데이터베이스의 지연을 시간축으로 기록할 수 있다고 본다. 그 기록에 fsync() 자체의 지연이 따로 나오는지, 아니면 트랜잭션 지연으로만 보이는지는 해 보기 전에 알 수 없다. -- 호스트와 게스트의 시계가 맞아 두 계열을 같은 타임스탬프에 놓을 수 있다고 전제한다. 어긋나 있으면 함께 움직였다는 판정 자체가 성립하지 않는다. -- 부하가 없는 구간과 있는 구간을 만들 수 있고, 두 구간에서 같은 방법으로 잴 수 있다고 본다. -- 측정 중에 캐시 모드를 비롯한 디스크 설정이 바뀌지 않는다고 두고 두 구간을 견준다. -- 같은 장치를 쓰는 다른 가상 머신이나 호스트 프로세스의 입출력이 섞일 수 있다고 보고, 어느 프로세스가 입출력을 내는지 iotop 으로 함께 남긴다. +- 이번 실행에서는 애플리케이션 전체 latency 대신 guest 안에서 256KiB write + `fsync()` 128회를 직접 측정해 durability path의 지연을 분리했다. PostgreSQL WAL/transaction latency는 후속 실제 workload에서 별도로 본다. +- 실제 확인 결과 host와 guest의 절대 시계는 약 90초 어긋나 있었다. 이 실험은 절대 timestamp join 대신 한 host shell에서 load와 measurement를 순서대로 시작·종료해 overlap을 보장했다. 장시간 분산 시계열 분석 전에 host NTP 동기화는 별도로 해결해야 한다. +- VM2 단독 baseline과 VM1 storage load가 겹친 구간, load 종료 뒤 recovery 구간을 같은 fsync microbenchmark와 host `iostat`으로 비교했다. +- 측정 동안 backend는 qcow2, runtime cache mode는 `writeback`, host device는 `nvme0n1`, scheduler는 `none`으로 유지했다. +- interference source를 명확히 하기 위해 VM1에 별도 임시 파일 write+fdatasync workload를 걸고 종료 뒤 파일을 삭제했다. -## 미지수 +## 두 latency가 같은 숫자일 필요는 없다 -- 게스트의 fsync() 나 트랜잭션 지연이 커지는 구간과 호스트 스토리지 지연이 커지는 구간이 시간축에서 겹치는지. -- 겹친다면 두 값이 같은 크기로 움직이는지, 게스트 쪽이 더 크게 벌어지는지. -- 게스트 지연은 오르는데 호스트 스토리지 지연이 따라 오르지 않는 구간이 있는지. 있다면 그 차이가 게스트 쪽 대기에서 생기는지 QEMU 와 백엔드 쪽에서 생기는지. -- 이때 걸려 있던 캐시 모드가 무엇인지. 그 값은 별도 물음이 읽는다. -- 게스트 쪽 지연을 무엇으로 어떤 단위로 기록할지. §169 가 게스트 쪽에 적은 명령은 장치 입출력과 마운트를 보는 것이라, 애플리케이션이나 트랜잭션 지연은 거기서 나오지 않는다. +현재 synthetic fsync workload에서는 guest fsync latency 상승과 host NVMe latency/util 상승이 같은 controlled overlap 구간에서 함께 나타났다. 두 값의 크기는 같지 않았다. guest fsync는 guest filesystem, virtio/QEMU/qcow2, host flush까지 포함하는 end-to-end latency이고 `iostat`의 `w_await`은 host block device request 관점의 값이므로 동일 수치일 필요가 없다. -## 제약 +남은 것은 PostgreSQL WAL 같은 실제 application workload에서 같은 상관이 어느 정도 재현되는지이며, 이는 이 질문의 경로 확인을 넘어 애플리케이션 성능 실험으로 분리한다. -- 이 물음은 영속성을 줄여 지연을 낮추는 방향을 검토하지 않는다. §171 이 fsync() 를 없애 빨라진 것을 최적화로 부르지 말라고 적었고, 그런 방향은 별도 기준을 지나야 한다. -- 두 계열을 같은 시각에 남기지 못하면 이 물음은 닫히지 않는다. 나중에 따로 잰 값을 겹쳐 놓고 함께 올랐다고 적지 않는다. +## durability를 줄이지 않는 범위 + +- 이 물음은 영속성을 줄여 지연을 낮추는 방향을 검토하지 않는다. 「성능과 Durability의 Trade-off」에서는 fsync() 를 없애 빨라진 것을 최적화로 부르지 말라고 적었고, 그런 방향은 별도 기준을 지나야 한다. +- 두 계열은 반드시 같은 구간에서 남긴다. 서로 다른 시점의 값을 나중에 겹쳐 놓고 상관관계가 있다고 판단하지 않는다. - 측정 조건에 캐시 모드와 백엔드 형식과 장치 이름을 함께 적는다. 이 셋이 없으면 같은 값을 다른 환경과 견줄 수 없다. - 측정하는 동안 다른 스토리지 실험을 같은 장치 위에서 겹쳐 돌리지 않는다. - 호스트 지연이 오른 이유까지 이 물음이 가르지 않는다. 다른 가상 머신의 부하인지 호스트 메모리 압박인지는 그것을 재는 두 물음이 받는다. -- 그 가운데 메모리 압박 쪽 물음과는 호스트 스토리지 지표를 같이 본다. 그래도 한 물음으로 합치지 않았다. 그쪽은 호스트에서 major fault 를 유도해 그것이 스토리지를 미는지를 보고, 이쪽은 게스트의 fsync() 가 호스트까지 전달되는지를 본다. 유도 방법도 견주는 계열도 달라서 한 실행으로 닫히지 않는다. +- host memory pressure 실험에서도 storage 지표를 보지만 목적이 다르다. 그쪽은 major fault/reclaim이 storage를 밀어 올리는지 보고, 여기서는 guest `fsync()`/DB write 구간이 host storage latency와 연결되는지를 본다. -## 선택지 +## 어떻게 겹쳐 봤나 ### 1. 부하 없는 구간과 있는 구간을 각각 찍어 두 계열을 겹친다 -게스트 쪽 애플리케이션과 데이터베이스의 지연을 기록하면서 같은 시각에 호스트에서 iostat -xz 1 을 돌린다. 두 구간을 같은 방법으로 남기면 부하가 들어왔을 때 두 계열이 함께 움직였는지 그 자료에서 읽힌다. §175 OQ-8 이 적은 방법 그대로다. +guest 애플리케이션과 DB 지연을 기록하면서 같은 시각에 host에서 `iostat -xz 1`을 돌린다. baseline과 write-heavy load 구간을 같은 방법으로 남기면 두 계열이 같은 시점에 움직였는지 비교할 수 있다. 게스트 쪽 지연을 무엇으로 기록할지 먼저 정해야 한다. ### 2. 데이터베이스 트랜잭션 부하만 걸고 fsync 쪽만 본다 -§170 이 그린 WAL 경로를 따라 쓰기 위주의 트랜잭션을 돌리면 fsync() 가 지연에 직접 걸리는 구간을 만들기 쉽다. 두 계열이 어긋나는 구간을 찾기에도 이 부하가 낫다. +「PostgreSQL 예시: WAL과 Durability」에서 그린 WAL 경로를 따라 쓰기 위주의 트랜잭션을 돌리면 fsync() 가 지연에 직접 걸리는 구간을 만들기 쉽다. 두 계열이 어긋나는 구간을 찾기에도 이 부하가 낫다. -읽기 위주 구간에서는 어떻게 움직이는지 못 본다. §171 은 DB 부하를 예로 들었을 뿐 다른 부하를 배제하지 않았다. +읽기 위주 구간에서는 어떻게 움직이는지 못 본다. 「성능과 Durability의 Trade-off」에서는 DB 부하를 예로 들었을 뿐 다른 부하를 배제하지 않았다. ### 3. 제외 — 캐시 모드를 바꿔 가며 두 계열을 비교한다 -cache=none 과 cache=writeback 에서 두 계열이 어떻게 달라지는지 보면 전달 경로의 모양이 더 뚜렷해진다. 그러나 지금 필요한 것은 현재 구성에서 경로가 이어지는지 하나이고, 설정을 바꾸면 두 구간이 서로 다른 구성에서 나온 값이 된다. 현재 값이 무엇인지도 아직 읽지 않았다. +현재 runtime mode는 `writeback`으로 확인됐다. 먼저 이 구성에서 guest와 host 지연의 관계를 측정한다. `cache=none`과 비교하면 다른 질문이 되므로 durability 조건과 변경 비용을 정한 뒤 별도 실험으로 분리한다. -## 다음 검증 +## storage pressure 동안 guest fsync와 host 지연이 함께 올랐다 -1. 캐시 모드를 묻는 물음의 결과를 측정 조건으로 먼저 적는다. 함께 적을 것은 백엔드 형식과 이미지가 놓인 장치 이름이다. -2. 게스트에서 애플리케이션이나 데이터베이스의 지연을 시간축으로 기록한다. 무엇으로 어떻게 기록했는지 함께 남긴다. -3. 같은 시각에 호스트에서 iostat -xz 1 을 돌려 두 계열을 같은 타임스탬프로 남긴다 (§175 OQ-8). -4. 부하가 없는 구간과 있는 구간을 모두 찍고, 어느 프로세스가 입출력을 내는지 iotop 으로 함께 적는다 (§169). - -닫는 조건 : 두 계열이 같은 구간에서 함께 오르면 §150 이 그린 전달 경로가 이 환경에서 이어진다는 것을 확인한 것이고, 그 시계열이 Case 가 된다. 게스트의 fsync() 지연은 오르는데 호스트 스토리지 지연이 따라 오르지 않으면 그 차이가 어느 계층에서 생기는지 — 게스트 쪽 대기인지 QEMU 와 백엔드 쪽인지 — 를 다음 물음으로 넘기고 닫는다. 어느 쪽이든 성능을 위해 영속성을 줄이는 방향은 「빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다」를 지나야 한다. +현재 qcow2/writeback 구성에서 guest `fsync()` latency와 host NVMe latency/util이 controlled storage-pressure 구간에서 함께 상승하고, pressure가 사라지면 guest fsync latency도 baseline 수준으로 회복하는 것을 확인했다. 실제 DB WAL workload에서의 크기는 별도 성능 실험으로 남긴다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-block-device-under-the-disk-image.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-block-device-under-the-disk-image.md index d138982..e96cf7d 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-block-device-under-the-disk-image.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-block-device-under-the-disk-image.md @@ -7,9 +7,12 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/eead2379-94fe-463a-9e5e-06a01bf2105d/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-5 - final/document.md#158-host-block-layer @@ -20,67 +23,50 @@ source: # disk image 는 최종적으로 어느 Host block device 위에 있는가 -이 호스트의 루트가 `/dev/nvme0n1p3` 이고 이미지가 `/var/lib/libvirt/images/` 에 모여 있다는 것까지는 §197 과 §199 가 적었다. 남은 것은 그 디렉터리가 그 파티션 위에 있다는 것을 `findmnt` 와 `lsblk` 출력으로 잇는 일이다. 두 가상 머신의 이미지가 같은 장치를 쓰는지가 거기서 갈리고, 그 출력에 나온 장치 이름이 스케줄러를 묻는 물음의 입력이 된다. +세 VM의 qcow2와 공통 base는 모두 host 루트 파일시스템의 `/dev/nvme0n1p3` 위에 있다. 그 파티션은 `SAMSUNG MZVLQ256HAJD-00000` NVMe 장치 `nvme0n1`의 ext4 파티션이다. 따라서 현재 세 VM의 주 디스크 I/O는 같은 물리 NVMe를 공유한다. -## 관계 +## image 아래의 실제 block device -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - 이미지 파일 아래에서 무엇이 그 입출력을 받는지를 그 개념이 설명한다. -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 백엔드가 파일인지 장치인지에 따라 여기서 따라 내려갈 경로의 시작이 달라진다. -- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가** - 그 물음이 확정한 Source 경로가 이 확인의 입력이다. -- **이 호스트의 I/O Scheduler 는 무엇인가** - 여기서 확정한 장치 이름을 넣어야 그 물음의 명령이 완성된다. -- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가** - 두 가상 머신이 같은 장치를 쓰는지가 그 실험의 전제다. -- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다** - 게스트 쪽 이름에서 물리 장치를 추정하지 않고 호스트에서 따라 내려가는 순서를 그 기준이 요구한다. +- 2026-09-21 재검증에서 `findmnt -T /var/lib/libvirt/images/kc-lab-1.qcow2`는 `/dev/nvme0n1p3 ext4 /`를 냈고, `lsblk`에서 상위 장치는 `nvme0n1`, 모델은 `SAMSUNG MZVLQ256HAJD-00000`이었다. base와 세 overlay는 모두 같은 `/var/lib/libvirt/images/` 아래에 있다. -## 사실 - -- §141 은 백엔드가 qcow2 파일이면 QEMU 가 결국 호스트 리눅스에 파일 입출력을 요청한다고 적었다. +- 「QEMU가 물리 SSD를 직접 제어하는 것은 아니다」에서는 백엔드가 qcow2 파일이면 QEMU 가 결국 호스트 리눅스에 파일 입출력을 요청한다고 적었다. 그 요청은 Host Kernel, Host Filesystem, Host Block Layer, NVMe Driver 를 지나 Physical NVMe 로 내려간다. 게스트의 스토리지 스택 아래에 호스트의 스토리지 스택이 한 번 더 존재할 수 있다. -- §158 은 qcow2 와 RAW 의 파일 입출력이 호스트 파일시스템을 거쳐 실제 호스트 블록 입출력이 된다고 적고 경로를 이렇게 그렸다. +- 「Host Block Layer」에서는 qcow2 와 RAW 의 파일 입출력이 호스트 파일시스템을 거쳐 실제 호스트 블록 입출력이 된다고 적고 경로를 이렇게 그렸다. QEMU, vm1.qcow2, Host ext4/XFS, Host Block Layer, /dev/nvme0n1 -- §158 은 Host Block Layer 가 그 입출력을 가상 머신 안의 PostgreSQL 이 냈는지 호스트 프로세스가 냈는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 모두 호스트의 블록 요청이다. -- §159 는 VM1 의 QEMU 와 VM2 의 QEMU 와 Nginx 와 호스트의 다른 프로세스가 같은 Host Block Layer 를 지나 하나의 NVMe 로 간다고 그렸다. -- §175 OQ-5 는 확인 명령으로 lsblk 와 findmnt 를 들었다. -- §169 의 호스트 관측 명령 목록에도 lsblk 가 들어 있다. -- §158 의 vm1.qcow2 와 /dev/nvme0n1 은 경로를 설명하려고 든 예시 이름이고 이 호스트에서 읽은 값이 아니다. -- §197 은 2026-09-10 에 `df -h /` 를 돌려 `/dev/nvme0n1p3 226G 9.9G 204G 5% /` 를 받았다. 이 호스트의 루트 파일시스템이 그 파티션 위에 있다. -- §199 의 `ls -l` 은 이미지가 `/var/lib/libvirt/images/` 아래에 모여 있는 것을 보였고, 같은 절의 `virsh pool-info default` 는 Capacity 225.31 GiB, Allocation 7.84 GiB, Available 217.46 GiB 를 냈다. §199 는 그 Allocation 이 풀 전체, 곧 호스트 루트 파일시스템의 사용량이라고 적었다. +- 「Host Block Layer」에서는 Host Block Layer 가 그 입출력을 가상 머신 안의 PostgreSQL 이 냈는지 호스트 프로세스가 냈는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 모두 호스트의 블록 요청이다. +- 「여러 VM이 하나의 NVMe를 공유하면」의 핵심은 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer와 물리 NVMe로 수렴한다는 점이다. 초기 그림에는 Host Nginx가 따로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 그 I/O도 edge QEMU 경로에 포함된다. +- 「실제 테스트 서버에서 확인할 확인할 항목」의 5번째 확인 항목에서는 확인 명령으로 lsblk 와 findmnt 를 들었다. +- 「Storage 관측 명령어」의 호스트 관측 명령 목록에도 lsblk 가 들어 있다. +- 「Host Block Layer」의 vm1.qcow2 와 /dev/nvme0n1 은 경로를 설명하려고 든 예시 이름이고 이 호스트에서 읽은 값이 아니다. +- 「측정 환경」에서는 2026-09-10 에 `df -h /` 를 돌려 `/dev/nvme0n1p3 226G 9.9G 204G 5% /` 를 받았다. 이 호스트의 루트 파일시스템이 그 파티션 위에 있다. +- 「디스크 — 오버레이는 얼마나 쓰나」의 `ls -l` 은 이미지가 `/var/lib/libvirt/images/` 아래에 모여 있는 것을 보였고, 같은 절의 `virsh pool-info default` 는 Capacity 225.31 GiB, Allocation 7.84 GiB, Available 217.46 GiB 를 냈다. 「디스크 — 오버레이는 얼마나 쓰나」에서는 그 Allocation 이 풀 전체, 곧 호스트 루트 파일시스템의 사용량이라고 적었다. - 그래서 `default` 풀이 루트 파일시스템 위에 있고 게스트 두 대의 오버레이가 같은 디렉터리에 있다. -- `findmnt` 와 `lsblk` 출력은 SSOT 에 없다. 이미지 경로가 어느 마운트에 속하고 그 마운트의 장치가 어느 파티션과 상위 장치에 걸려 있는지를 명령으로 확인한 기록이 없다. +- 2026-09-21 재검증에서 이미지 경로를 `findmnt`로 루트 ext4 파티션까지 잇고, `lsblk`로 상위 NVMe 장치와 모델을 확인했다. -## 가정 +## 경로 확인 조건 - 이미지 경로가 앞 물음에서 이미 확정되어 있다고 보고 그 경로에서 시작한다. 백엔드가 파일이 아니라 호스트 블록 장치면 이 확인은 장치 이름에서 시작한다. - 확인하는 동안 마운트 구성과 이미지 위치가 바뀌지 않는다고 전제한다. - findmnt 가 보여 주는 source 이름이 물리 장치 이름과 다를 수 있다고 보고, 어느 상위 장치에 속하는지까지 lsblk 로 이어서 읽는다. - 호스트에 붙어 두 명령을 같은 시각에 돌릴 수 있다고 본다. -## 미지수 +## 세 VM이 공유하는 장치 -- `/var/lib/libvirt/images/` 가 `/` 마운트에 속한다는 것을 `findmnt` 출력으로 확인한 기록. §199 는 풀을 설명하며 그렇게 적었을 뿐 명령 출력을 남기지 않았다. -- `nvme0n1p3` 위에 파티션이 어떻게 놓여 있고 그것이 어느 상위 장치에 속하는지. `lsblk` 출력이 없다. -- 이미지를 담은 파일시스템이 무엇인지. §158 은 ext4 와 XFS 를 예로 들었을 뿐 이 호스트의 값을 적지 않았다. -- 엣지 게스트의 이미지도 같은 장치에 있는지. §199 의 목록은 엣지를 만들기 전 시점이라 그 파일이 없다. -- `base.qcow2` 가 오버레이와 같은 장치에 있는지. §231 은 오버레이의 매핑 항목이 0 인 클러스터를 읽으면 바닥 파일의 같은 위치를 읽는다고 적었고 §215 는 게스트 둘이 그 바닥 하나를 공유한다고 그렸다. 그래서 따라 내려갈 경로가 오버레이 하나로 끝나지 않는다. +현재 image 파일들이 어느 host block device를 공유하는지에 대한 미지수는 해소됐다. base와 세 overlay 모두 ext4 `/dev/nvme0n1p3`를 거쳐 같은 `nvme0n1`을 사용한다. 이 공유가 실제 cross-VM latency 간섭으로 이어지는지는 별도 부하 실험으로 남긴다. -## 제약 +## 공유와 contention은 다른 질문이다 - 확인만 한다. 마운트를 바꾸거나 이미지를 다른 장치로 옮기지 않는다. 배치를 바꾸면 지금 구성에서 무엇을 공유하는지 못 본다. -- §158 이 예로 든 이름을 이 호스트의 값으로 옮겨 적지 않는다. 출력에 나온 이름만 적는다. +- 「Host Block Layer」에서는 예로 든 이름을 이 호스트의 값으로 옮겨 적지 않는다. 출력에 나온 이름만 적는다. - 여기서 나온 장치 이름이 다음 두 물음의 입력이므로, 가상 머신마다 한 행으로 남기고 어느 이미지에서 나온 이름인지 함께 적는다. - 장치를 나눌지 말지는 이 물음이 정하지 않는다. 공유하고 있다는 사실과 그것이 지연을 실제로 밀어 올리는지는 다른 물음이 받는다. -- 백엔드를 묻는 앞 물음과 이어서 돌리게 되지만 한 물음으로 합치지 않았다. 그쪽은 게스트의 장치가 어느 Source 에 붙어 있는지까지 확정하고 이 물음은 그 경로가 놓인 물리 장치까지 내려간다. 닫는 명령이 다르고 그 출력이 여는 다음 물음도 다르다. +- VM의 `vda → qcow2` mapping과 `qcow2 → host block device` mapping은 서로 다른 계층이다. 앞쪽은 libvirt/QEMU 설정으로, 뒤쪽은 host mount와 block topology로 확인한다. -## 선택지 +## 어떻게 따라 내려갔나 ### 1. 이미지 경로마다 findmnt 로 마운트를 읽고 lsblk 로 그 아래를 잇는다 -경로 하나에서 시작해 마운트, source device, 파티션, 상위 장치까지 한 줄기로 내려간다. §175 OQ-5 가 든 두 명령 그대로이고, 이미지가 여럿이면 경로마다 같은 순서를 되풀이한다. +경로 하나에서 시작해 마운트, source device, 파티션, 상위 장치까지 한 줄기로 내려간다. 「실제 테스트 서버에서 확인할 확인할 항목」의 5번째 확인 항목에서는 든 두 명령 그대로이고, 이미지가 여럿이면 경로마다 같은 순서를 되풀이한다. 가상 머신이 늘어난 만큼 실행 횟수도 늘어난다. @@ -94,11 +80,6 @@ source: 한 대만 따라 내려가도 경로의 모양은 확인된다. 그러나 이 물음이 답해야 하는 것에는 가상 머신들이 같은 장치를 공유하는지가 들어 있는데, 그것은 한 대의 출력만으로는 갈리지 않는다. -## 다음 검증 +## image 경로가 바뀌면 아래 block device도 다시 잇는다 -1. 백엔드를 묻는 앞 물음이 확정한 Source 경로를 그대로 가져온다. -2. 경로마다 findmnt 로 그 경로가 속한 마운트와 source device 를 적는다 (§175 OQ-5). -3. 같은 경로에 lsblk 를 돌려 그 장치에 파티션이 어떻게 나뉘어 있고 어느 상위 장치에 속하는지 적는다. -4. 이미지 경로, 마운트, 파티션, 장치를 가상 머신마다 한 행으로 남긴다. 게스트 둘이 공유하는 `base.qcow2` 도 한 행으로 함께 적는다. - -닫는 조건 : 이미지마다 최종 블록 장치 이름이 확정되면 닫는다. 가상 머신들이 같은 장치를 공유하면 §159 가 그린 상황이 이 환경이라고 적고, 그것이 지연으로 이어지는지는 VM1 부하와 VM2 지연을 재는 물음이 받는다. 서로 다른 장치면 그 사실을 적고 그 물음의 전제가 이 환경에 없다고 함께 적는다. 어느 쪽이든 여기서 확정한 장치 이름을 I/O Scheduler 를 묻는 물음으로 넘긴다. +libvirt storage pool 위치나 mount 구성이 바뀌면 각 image 경로에서 `findmnt`와 `lsblk`를 다시 잇는다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-io-scheduler.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-io-scheduler.md index 3d26ce5..74cbf30 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-io-scheduler.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-host-io-scheduler.md @@ -7,9 +7,12 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/77aa0188-5c2b-4f47-bda7-7c66b084968d/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-6 - final/document.md#161-i-o-scheduler @@ -20,22 +23,13 @@ source: # 이 호스트의 I/O Scheduler 는 무엇인가 -여러 가상 머신과 호스트 프로세스가 낸 입출력은 같은 호스트 블록 계층으로 들어와 장치로 dispatch 되는데, 그 순서를 정하는 정책이 스케줄러다. 정책이 무엇인지에 따라 부하 구간의 지연을 읽는 조건이 달라진다. 값을 읽는 데는 파일 하나를 보면 되고, 그 파일 이름에 넣을 장치는 이미지 아래를 따라 내려간 물음이 확정한다. +이미지가 올라간 host 장치는 `nvme0n1`이고, 2026-09-21 `/sys/block/nvme0n1/queue/scheduler`의 현재 선택값은 **`none`**이다. 같은 출력에 `mq-deadline`, `kyber`, `bfq`가 선택지로 보였다. -## 관계 +## 현재 nvme0n1 scheduler -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - 스케줄러가 그 스택의 어디에서 무엇을 정하는지를 그 개념이 설명한다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 그 물음이 확정한 장치 이름을 넣어야 이 확인 명령이 완성된다. -- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가** - 여기서 읽은 정책이 그 실험의 결과를 읽는 조건이 된다. -- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다** - 그 기준이 요구하는 스토리지 쪽 조건 가운데 하나를 이 값이 채운다. +- 2026-09-21 재검증에서 scheduler 출력은 `[none] mq-deadline kyber bfq`였고 같은 장치의 `rotational`은 `0`이었다. qcow2가 놓인 물리 장치는 NVMe `nvme0n1`이다. -## 사실 - -§161 은 여러 입출력 요청이 있다고 해서 항상 들어온 순서 그대로 장치에 전달되지는 않고 I/O Scheduler 가 dispatch 정책을 갖는다고 적었다. 대표적으로 볼 수 있는 것으로 셋을 들었다. +「I/O Scheduler」에서는 여러 입출력 요청이 있다고 해서 항상 들어온 순서 그대로 장치에 전달되지는 않고 I/O Scheduler 가 dispatch 정책을 갖는다고 적었다. 대표적으로 볼 수 있는 것으로 셋을 들었다. none mq-deadline @@ -43,23 +37,23 @@ bfq 스케줄러마다 목적과 정책이 다르다. -§162 는 none 을 복잡한 스케줄링 정책을 최소화해 비교적 직접 장치 쪽으로 dispatch 하는 방향으로 설명했다. NVMe 처럼 장치 자체가 강한 병렬성과 큐 기능을 가진 경우 이런 단순한 정책이 적합할 수 있다. 다만 none 이 블록 계층이 아무 일도 하지 않는다는 상태를 뜻하지는 않는다. +「`none`」에서는 none 을 복잡한 스케줄링 정책을 최소화해 비교적 직접 장치 쪽으로 dispatch 하는 방향으로 설명했다. NVMe 처럼 장치 자체가 강한 병렬성과 큐 기능을 가진 경우 이런 단순한 정책이 적합할 수 있다. 다만 none 이 블록 계층이 아무 일도 하지 않는다는 상태를 뜻하지는 않는다. -§160 은 blk-mq 를 CPU 마다 큐를 두어 여러 CPU 가 병렬로 블록 입출력을 처리하는 구조로 그렸고, 스토리지 처리도 CPU 스케줄링과 완전히 독립된 세계는 아니라고 덧붙였다. +「blk-mq: Multi-Queue Block Layer」에서는 blk-mq 를 CPU 마다 큐를 두어 여러 CPU 가 병렬로 블록 입출력을 처리하는 구조로 그렸고, 스토리지 처리도 CPU 스케줄링과 완전히 독립된 세계는 아니라고 덧붙였다. -§163 은 호스트 확인 명령으로 cat /sys/block/nvme0n1/queue/scheduler 를 들고 예시 출력을 이렇게 보였다. +「실제 I/O Scheduler 확인」에서는 호스트 확인 명령으로 cat /sys/block/nvme0n1/queue/scheduler 를 들고 예시 출력을 이렇게 보였다. [none] mq-deadline 대괄호 안이 현재 선택된 스케줄러다. SATA/SCSI device 라면 cat /sys/block/sda/queue/scheduler 처럼 확인한다. -§175 OQ-6 은 같은 파일을 장치 이름을 넣어 읽으라고 했다. +「실제 테스트 서버에서 확인할 확인할 항목」의 6번째 확인 항목에서는 같은 파일을 장치 이름을 넣어 읽으라고 했다. -§197 은 2026-09-10 에 `df -h /` 를 돌려 이 호스트의 루트가 `/dev/nvme0n1p3` 위에 있는 것을 받았고, §199 는 이미지가 `/var/lib/libvirt/images/` 아래에 있다고 적었다. 명령에 넣을 장치 이름의 후보가 거기서 나온다. 다만 §197 이 낸 이름은 파티션이고 §163 이 경로에 넣어 보인 것은 nvme0n1 과 sda 처럼 장치 쪽 이름이다. 둘 가운데 무엇이 들어가는지는 앞 물음의 lsblk 가 상위 장치를 보인 뒤에 갈린다. +「측정 환경」에서는 2026-09-10 에 `df -h /` 를 돌려 이 호스트의 루트가 `/dev/nvme0n1p3` 위에 있는 것을 받았고, 「디스크 — 오버레이는 얼마나 쓰나」에서는 이미지가 `/var/lib/libvirt/images/` 아래에 있다고 적었다. 명령에 넣을 장치 이름의 후보가 거기서 나온다. 다만 「측정 환경」에서는 낸 이름은 파티션이고 「실제 I/O Scheduler 확인」에서는 경로에 넣어 보인 것은 nvme0n1 과 sda 처럼 장치 쪽 이름이다. 둘 가운데 무엇이 들어가는지는 앞 물음의 lsblk 가 상위 장치를 보인 뒤에 갈린다. -이 호스트의 스케줄러 값은 SSOT 에 없다. `/sys/block` 아래의 파일을 읽은 출력이 어디에도 없고, §163 의 nvme0n1 과 sda 는 명령의 모양을 보이려고 든 예시 이름이다. +2026-09-21에는 실제 이미지가 놓인 상위 장치가 `nvme0n1`임을 먼저 확인한 뒤 `/sys/block/nvme0n1/queue/scheduler`를 읽어 현재 선택값 `none`을 확인했다. -## 가정 +## 장치를 고르는 기준 호스트에 붙어 sysfs 아래의 파일을 읽을 수 있다고 본다. @@ -67,25 +61,21 @@ bfq 읽는 시점의 값이 부하를 걸 때도 같다고 전제하는데, 측정 사이에 누가 값을 바꾸면 이 전제가 깨진다. -## 미지수 +## 현재값과 최적값은 다르다 -이미지를 담고 있는 장치의 현재 스케줄러가 무엇인지. +현재 image가 놓인 장치의 scheduler에 대한 미지수는 해소됐다. `nvme0n1`은 `none`을 사용한다. 다른 scheduler가 이 workload에 더 나은지는 이 질문에서 평가하지 않는다. -그 장치에서 선택할 수 있는 목록에 무엇이 들어 있는지. §161 이 든 셋과 같은지도 확인해야 안다. +## 변경 전후 측정이 필요한 이유 -이미지가 놓인 장치가 여럿일 때 장치마다 값이 다른지. - -## 제약 - -스케줄러를 바꿀지 말지는 이 물음이 정하지 않고, 바꾼 전후를 비교한 측정이 나온 뒤에 결정으로 넘긴다. +여기서는 현재 scheduler가 `none`이라는 사실만 확인한다. 다른 scheduler를 적용할지는 동일 workload의 변경 전후 측정이 있을 때 판단한다. 읽기만 한다. 값을 바꾸면 지금 구성에서 부하가 어떻게 처리되는지 못 본다. -§163 의 예시 이름을 이 호스트의 장치 이름으로 옮겨 적지 않고, 앞 물음이 확정한 이름을 넣는다. +「실제 I/O Scheduler 확인」의 예시 이름을 이 호스트의 장치 이름으로 옮겨 적지 않고, 앞 물음이 확정한 이름을 넣는다. -개념 문서가 명령과 출력 읽는 법을 다 적어 두어서 비어 있는 것은 이 호스트의 값 하나다. 그래서 이 물음이 정할 것은 어느 장치에 그 명령을 돌릴지뿐이고, 그 이름은 이 물음이 스스로 내지 않는다. +중요한 것은 파티션 이름이 아니라 이미지가 실제로 올라간 상위 block device를 먼저 찾는 것이다. 현재 환경에서는 그 장치가 `nvme0n1`로 확인됐다. -## 선택지 +## 어떻게 읽었나 ### 1. 이미지를 담은 장치만 읽는다 @@ -99,11 +89,6 @@ bfq 지금 판단에 쓰이지 않는 장치의 값까지 남게 된다. -## 다음 검증 +## scheduler를 바꿀 때만 다시 측정한다 -1. 이미지 아래를 따라 내려간 물음이 확정한 장치 이름을 가져온다. -2. 그 이름을 넣어 /sys/block 아래의 queue/scheduler 파일을 읽고 출력을 그대로 적는다 (§175 OQ-6). NVMe 면 cat /sys/block/nvme0n1/queue/scheduler 와 같은 모양이고, SATA/SCSI device 면 cat /sys/block/sda/queue/scheduler 와 같은 모양이다. -3. 대괄호가 붙은 값을 현재 선택된 스케줄러로 적고, 대괄호 밖의 이름은 선택지로 함께 적는다. -4. 이미지가 놓인 장치가 여럿이면 장치마다 되풀이한다. - -닫는 조건 : 장치마다 현재 스케줄러와 선택지가 출력으로 적히면 닫는다. none 이면 §162 의 서술이 이 호스트에 적용된다고 적는다. mq-deadline 이나 bfq 면 dispatch 정책이 개입한다는 사실을 VM1 부하와 VM2 지연을 재는 물음의 해석 조건으로 넘긴다. +scheduler를 변경하거나 kernel/block-device 구성이 바뀐 경우에만 다시 확인한다. 성능 비교가 필요하면 변경 전후를 별도 실험 기록으로 남긴다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-qemu-disk-cache-mode.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-qemu-disk-cache-mode.md index fa41772..74f0521 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-qemu-disk-cache-mode.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-qemu-disk-cache-mode.md @@ -7,9 +7,13 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/480f86ac-86fb-4290-9bf5-584763aa1363/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-4 - final/document.md#153-qemu-cache-mode @@ -21,74 +25,59 @@ source: # 이 VM 들의 QEMU disk cache mode 는 무엇인가 -이름만 보고 none 을 캐시가 아예 없는 구성으로, writeback 을 무조건 위험한 구성으로 읽으면 부정확하다고 개념 문서가 못박았다. 다만 그 문서는 두 설정이 Host Page Cache 와 완료·flush 의 뜻을 어떻게 바꾸는지까지만 갈라 놓았고, 이 호스트의 가상 머신들이 지금 어느 값으로 돌고 있는지는 적지 않았다. 그래서 이 물음은 값을 고르지 않는다. 지금 걸려 있는 값을 읽고, 그 값이 이 환경에서 무엇을 뜻하는지까지 적는다. +2026-09-21 실행 중 QEMU monitor의 `info block`을 읽었다. 세 VM의 주 qcow2 디스크는 모두 `Cache mode: writeback`이다. libvirt XML에는 cache 속성이 명시되지 않았기 때문에 XML만 보고 기본값을 추정하지 않고 런타임 값을 확인했다. -## 관계 +## 세 VM의 runtime cache mode -- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존** - cache 값이 바꾸는 것이 그 네 가지 가운데 어디까지인지를 그 개념이 가른다. -- **빨라진 구성이 durability contract 를 지운 것은 아닌지 먼저 가른다** - 읽은 값을 근거로 설정을 바꾸려 할 때 그 기준을 지나야 한다. -- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가** - 그 측정의 조건으로 여기서 읽은 값을 함께 기록한다. -- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가** - 그 물음이 확정한 Source 를 같은 행에 두어야 이 값이 어떤 backend 위의 값인지 읽힌다. +- 2026-09-21 재검증에서 `kc-lab-1`·`kc-lab-2`·`kc-lab-edge`의 QEMU monitor `info block`을 읽었다. 주 qcow2 디스크 모두 `Cache mode: writeback`과 `Backing file: /var/lib/libvirt/images/base.qcow2 (chain depth: 1)`가 나왔고, domain XML의 ``에는 `cache=` 속성이 없었다. -## 사실 +「QEMU Cache Mode」에서는 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. 이름만 보고 none = cache 자체가 없음 · writeback = 무조건 위험으로 해석하면 부정확하다. 핵심은 QEMU 가 Host Page Cache 와 write completion/flush semantics 를 어떤 방식으로 사용할 것인가라고 적었다. -§153 은 QEMU/libvirt 디스크에서 대표적으로 볼 수 있는 설정으로 cache=none 과 cache=writeback 둘을 들었다. 이름만 보고 none = cache 자체가 없음 · writeback = 무조건 위험으로 해석하면 부정확하다. 핵심은 QEMU 가 Host Page Cache 와 write completion/flush semantics 를 어떤 방식으로 사용할 것인가라고 적었다. +「`cache=none`」에서는 cache=none 을 개념적으로 Host Page Cache 를 우회하는 방향의 I/O 구성으로 놓았다. 이중 caching 은 줄일 수 있지만, Host Page Cache 우회가 무조건 즉시 durable media 반영을 뜻하지는 않는다. -§154 는 cache=none 을 개념적으로 Host Page Cache 를 우회하는 방향의 I/O 구성으로 놓았다. 이중 caching 은 줄일 수 있지만, Host Page Cache 우회가 무조건 즉시 durable media 반영을 뜻하지는 않는다. +「`cache=writeback`」에서는 cache=writeback 을 Host Page Cache 를 사용할 수 있는 구성으로 놓았다. 일반 write 는 Host RAM 에서 빠르게 완료될 수 있고, 나중에 Host RAM 에서 Storage 로 내려간다. 이 설정이어도 Guest 의 fsync()/FLUSH 가 무시되지는 않는다. 정상적인 stack 이라면 durability 요구가 Guest fsync/FLUSH 에서 virtio FLUSH, QEMU/backend, Host sync/flush, Storage 를 지난다. 거기서 필요한 완료 확인을 받아 Guest completion 까지 전달되어야 한다고 적었다. -§155 는 cache=writeback 을 Host Page Cache 를 사용할 수 있는 구성으로 놓았다. 일반 write 는 Host RAM 에서 빠르게 완료될 수 있고, 나중에 Host RAM 에서 Storage 로 내려간다. 이 설정이어도 Guest 의 fsync()/FLUSH 가 무시되지는 않는다. 정상적인 stack 이라면 durability 요구가 Guest fsync/FLUSH 에서 virtio FLUSH, QEMU/backend, Host sync/flush, Storage 를 지난다. 거기서 필요한 완료 확인을 받아 Guest completion 까지 전달되어야 한다고 적었다. +「`writeback = 위험`이라고 단정하면 안 되는 이유」에서는 그래서 정확한 표현을 이렇게 적었다. writeback caching 에서는 volatile cache 가 존재할 수 있으므로, Guest 의 flush/fsync semantics 가 전체 backend/storage stack 에서 올바르게 보존되는지가 중요하다. -§156 은 그래서 정확한 표현을 이렇게 적었다. writeback caching 에서는 volatile cache 가 존재할 수 있으므로, Guest 의 flush/fsync semantics 가 전체 backend/storage stack 에서 올바르게 보존되는지가 중요하다. +「VM에서는 Page Cache가 두 번 나타날 수 있다」에서는 Guest buffered I/O 와 Host file-backed disk 와 Host Page Cache 를 함께 쓰는 구성을 들었다. 그러면 같은 데이터가 Guest RAM 과 Host RAM 양쪽에 cache 될 수 있다고 밝혔다. -§147 은 Guest buffered I/O 와 Host file-backed disk 와 Host Page Cache 를 함께 쓰는 구성을 들었다. 그러면 같은 데이터가 Guest RAM 과 Host RAM 양쪽에 cache 될 수 있다고 밝혔다. +「실제 테스트 서버에서 확인할 확인할 항목」의 4번째 확인 항목에서는 확인 방법으로 virsh dumpxml 을 들고, disk driver 설정의 cache 관련 값을 확인하라고 했다. -§175 OQ-4 는 확인 방법으로 virsh dumpxml 을 들고, disk driver 설정의 cache 관련 값을 확인하라고 했다. +「단계 01 — 게스트 세 대」에서는 게스트를 만든 `virt-install` 세 줄을 그대로 적었는데 거기에 cache 옵션이 없다. 디스크는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 와 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 둘로만 지정했다. -§187 은 게스트를 만든 `virt-install` 세 줄을 그대로 적었는데 거기에 cache 옵션이 없다. 디스크는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 와 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 둘로만 지정했다. +「이 부의 출처와 범위」와 「측정 환경」에서는 이 호스트의 판을 적었다. QEMU 11.1.1 과 libvirt 12.7.0 이고 커널은 `7.2.2-arch1-1` 이다. 값이 적혀 있지 않을 때 무엇이 적용되는지는 그 판들이 정한다. -§178 과 §197 이 이 호스트의 판을 적었다. QEMU 11.1.1 과 libvirt 12.7.0 이고 커널은 `7.2.2-arch1-1` 이다. 값이 적혀 있지 않을 때 무엇이 적용되는지는 그 판들이 정한다. +기존 구축 기록만으로는 cache mode를 확정할 수 없었지만, 2026-09-21 런타임 QEMU monitor에서 세 VM 모두 `writeback`을 사용하는 것을 직접 확인했다. -이 호스트의 disk 요소에 어느 값이 걸려 있는지도, 어느 값을 쓰기로 정했다는 기록도 SSOT 에 없다. `virsh dumpxml` 출력이 없다. - -## 가정 +## XML과 runtime을 구분한다 호스트에 붙어 가상 머신마다 virsh dumpxml 을 돌릴 수 있다고 본다. -받아 낸 XML 이 지금 돌고 있는 가상 머신에 실제로 적용된 설정과 같다고 전제한다. 정의만 고치고 다시 시작하지 않은 가상 머신이 있으면 이 전제가 깨진다. +XML에 `cache=`가 명시되지 않은 경우에는 정의만으로 runtime mode를 추정하지 않는다. 현재 적용값은 QEMU monitor에서 직접 확인한다. 가상 머신에 디스크가 여럿이면 디스크마다 값이 다를 수 있어서 요소 단위로 읽는다. 값이 적혀 있지 않은 디스크에도 실제로 적용되는 동작이 있다고 전제한다. 개념 문서는 값이 없을 때 무엇이 적용되는지를 다루지 않았다. -## 미지수 +## writeback이 뜻하는 것과 아닌 것 -각 가상 머신의 disk driver 에 cache 값이 명시되어 있는지. +현재 세 VM의 주 디스크 cache mode에 대한 미지수는 해소됐다. 모두 `writeback`이다. seed ISO도 같은 monitor 출력에서 `writeback`으로 보였지만 read-only seed의 성능 특성은 이 질문의 대상이 아니다. -명시되어 있다면 그 값이 none 인지 writeback 인지, 아니면 §153 이 들지 않은 다른 값인지. +`writeback`이 이 workload에서 더 빠른지, durability 요구를 실제로 어떻게 만족하는지는 cache mode 이름만으로 판단하지 않고 `fsync()`/FLUSH 실험으로 분리한다. -명시가 없을 때 이 환경에서 실제로 적용되는 값이 무엇이고 그것을 무엇으로 읽는지. 개념 문서가 확인 방법을 적지 않아서 실행하는 쪽이 정한다. +## durability 판단은 별도다 -디스크가 여럿인 가상 머신에서 값이 디스크마다 갈리는지. +이 물음은 cache 값을 정하지 않는다. 「`writeback = 위험`이라고 단정하면 안 되는 이유」에서는 이름만 보고 단정하지 말라고 적었을 뿐 어느 쪽을 쓰라고 하지 않았고, 감수할 비용도 개념 문서에 없다. 무엇으로 둘지는 값을 읽고 fsync 쪽 측정이 나온 뒤에 정한다. -읽은 값이 §147 이 그린 이중 caching 이 이 호스트에 있는지를 가르는지. 게스트 쪽 I/O 가 buffered 인지까지 함께 봐야 답이 나온다. +현재 값이 `writeback`이라는 사실과 앞으로 어떤 cache mode를 선택할지는 별개다. 변경 여부는 fsync/FLUSH semantics와 실제 workload 지연을 함께 측정한 뒤 판단한다. -## 제약 - -이 물음은 cache 값을 정하지 않는다. §156 은 이름만 보고 단정하지 말라고 적었을 뿐 어느 쪽을 쓰라고 하지 않았고, 감수할 비용도 개념 문서에 없다. 무엇으로 둘지는 값을 읽고 fsync 쪽 측정이 나온 뒤에 정한다. - -이 프로젝트는 어느 쪽으로 둘지를 아직 결정으로 올리지 않고 미결로 남겨 두었다. 권고가 없는 서술을 결정으로 올리면 그런 설정이 있다는 것을 그것을 고른 이유로 바꾸는 셈이기 때문이다. 게다가 지금 걸려 있는 값조차 확인되지 않았고, 그 확인이 이 물음이다. - -읽은 값 하나로는 §156 이 요구한 것 — Guest 의 flush/fsync semantics 가 전체 chain 에서 보존되는가 — 에 답하지 못한다. +읽은 값 하나로는 「`writeback = 위험`이라고 단정하면 안 되는 이유」에서 요구한 것 — Guest 의 flush/fsync semantics 가 전체 chain 에서 보존되는가 — 에 답하지 못한다. 읽는 동안 디스크 설정을 바꾸지 않는다. 바꾸고 받은 XML 은 지금 구성의 값이 아니기 때문이다. -이 호스트에서 확인한 값이 없으므로 다른 장비의 기본값을 이 호스트의 값으로 옮겨 적지 않는다. +현재 값은 다른 장비의 기본값이 아니라 2026-09-21 `test-server`의 QEMU monitor에서 직접 읽은 `writeback`이다. -## 선택지 +## live block 정보에서 cache mode를 읽었다 ### 1. 가상 머신마다 dumpxml 을 받아 disk 요소를 출력 그대로 인용한다 @@ -106,10 +95,6 @@ source: none 과 writeback 을 번갈아 걸고 지연을 재면 이 환경에서 무엇이 걸려 있는지 바로 보인다. 그러나 지금 필요한 답은 현재 값 하나이고, 설정을 바꾸는 순간 그 뒤에 읽은 값은 지금 구성의 값이 아니다. 값을 바꿔 비교하는 실험은 durability 쪽 기준을 지난 뒤에 따로 잡는다. -## 다음 검증 +## XML이 아니라 런타임 cache mode까지 다시 확인한다 -1. 가상 머신마다 virsh dumpxml 을 돌리고 disk 요소의 driver 설정을 출력 그대로 남긴다 (§175 OQ-4). -2. cache 관련 값을 가상 머신·디스크 단위로 한 행씩 적는다. 값이 적혀 있지 않으면 없다고 적는다. -3. 같은 행에 그 디스크의 Source 와 형식을 둔다. 두 값은 앞의 두 물음이 확정한다. - -닫는 조건 : 가상 머신마다 cache 값이 출력으로 확정되면 닫는다. cache=none 이면 §154 의 서술이, cache=writeback 이면 §155 의 서술이 이 호스트에 적용된다고 적는다. 어느 쪽이든 §156 이 요구한 flush/fsync semantics 보존 여부는 이 값만으로 답하지 않는다고 함께 적는다. 값이 명시되어 있지 않으면 그 사실을 적고, 실제 적용 값을 확인할 방법은 다음 검증으로 넘긴다. +domain disk 설정이나 QEMU/libvirt 버전이 바뀌면 XML만 보지 말고 `virsh qemu-monitor-command --hmp 'info block'`으로 런타임 cache mode를 다시 확인한다. `writeback`의 성능·durability 비교가 필요하면 별도 실험 기록으로 남긴다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm-disk-backend-mapping.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm-disk-backend-mapping.md index 613b74b..d9b7e87 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm-disk-backend-mapping.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm-disk-backend-mapping.md @@ -7,9 +7,12 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/1f76d54b-bb17-4174-8128-0c2d71d4256f/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-1 - final/document.md#135-dev-vda-guest가-보는-가상-block-device @@ -20,78 +23,61 @@ source: # 이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가 -게스트 안에서 보이는 디스크 이름 하나는 서로 다른 세 가지 호스트 구성 위에서 똑같이 나온다. qcow2 파일일 수도 있고, RAW 파일일 수도 있고, Host block device 를 그대로 붙인 것일 수도 있다. 그래서 이 물음은 성능이나 용량을 재기 전에 이 호스트의 가상 머신이 그중 어느 구성인지부터 출력으로 확정한다. 여기서 갈린 결과가 이 주제의 다음 물음 둘이 이 환경에 적용되는지를 정한다. +2026-09-21 현재 세 VM의 `vda`는 host의 qcow2 overlay 파일에 연결돼 있고, 각 overlay는 공통 `/var/lib/libvirt/images/base.qcow2`를 backing store로 사용한다. `vdb`는 cloud-init용 raw seed ISO다. host block device를 직접 passthrough한 구성이 아니다. -## 관계 +## vda에서 qcow2까지의 mapping -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 이 물음이 가르려는 세 갈래를 그 글이 설명한다. -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - 게스트가 보는 그 이름이 어디에서 나왔는지를 그 글이 설명한다. -- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다** - 이 확인을 반복 적용할 기준으로 편 글이고, 이 물음이 그 기준의 첫 항목을 이 호스트에서 채운다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - Source 가 파일로 나왔을 때 이어지는 물음이다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 같은 조건에서 그 파일 아래를 잇는 물음이다. +- 2026-09-21 재검증에서 `virsh domblklist --details`와 live domain XML을 대조했다. `kc-lab-1/2/edge`의 `vda` source는 각각 `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, `kc-lab-edge.qcow2`이고 format은 qcow2, bus는 virtio였다. 각 `backingStore`는 공통 `base.qcow2`다. -## 사실 +「`/dev/vda`: Guest가 보는 가상 Block Device」에서는 virtio-blk 를 쓰는 가상 머신에서 /dev/vda 나 /dev/vdb 같은 이름이 흔히 보인다고 적었다. Guest Linux 는 그 이름을 하나의 block device 로 인식하지만, 그것이 호스트의 실제 SSD 를 뜻하지는 않는다. -§135 는 virtio-blk 를 쓰는 가상 머신에서 /dev/vda 나 /dev/vdb 같은 이름이 흔히 보인다고 적었다. Guest Linux 는 그 이름을 하나의 block device 로 인식하지만, 그것이 호스트의 실제 SSD 를 뜻하지는 않는다. +백엔드가 반드시 파일일 필요도 없다. 「Host Block Device를 직접 backend로 사용 가능」에서는 그 아래에 qcow2 파일, RAW 파일, Host block device 셋이 올 수 있다고 갈라 적고, 게스트에 그 이름이 있다는 정보만으로는 백엔드 구조를 알 수 없다고 못박았다. -백엔드가 반드시 파일일 필요도 없다. §145 는 그 아래에 qcow2 파일, RAW 파일, Host block device 셋이 올 수 있다고 갈라 적고, 게스트에 그 이름이 있다는 정보만으로는 백엔드 구조를 알 수 없다고 못박았다. +「VM Boundary를 넘으면 QEMU가 등장」에서는 가상 머신 경계를 넘으면 QEMU 가 등장한다고 그렸다. QEMU 의 `virtio-blk` 장치 모델과 블록 백엔드가 게스트의 가상 I/O 를 호스트 백엔드에 연결한다. -§140 은 가상 머신 경계를 넘으면 QEMU 가 등장한다고 그렸다. QEMU 의 `virtio-blk` 장치 모델과 블록 백엔드가 게스트의 가상 I/O 를 호스트 백엔드에 연결한다. +확인 방법으로는 「실제 연결 확인」와 「실제 테스트 서버에서 확인할 확인할 항목」의 1번째 확인 항목에서는 같은 둘을 든다. 게스트에서는 lsblk 를 돌리고, 호스트에서는 virsh domblklist 을 돌린다. -확인 방법으로는 §146 과 §175 OQ-1 이 같은 둘을 든다. 게스트에서는 lsblk 를 돌리고, 호스트에서는 virsh domblklist 을 돌린다. +「실제 연결 확인」의 예시 출력은 Target vda 에 Source /var/lib/libvirt/images/vm1.qcow2 가 붙은 한 행이었다. 그 대응이 나오면 게스트의 /dev/vda 에서 virtio-blk 와 QEMU 를 지나 그 파일까지 이어진다. 그 경로는 대응이 어떻게 읽히는지 보이려고 든 예시이지 이 호스트에서 읽은 값이 아니다. -§146 의 예시 출력은 Target vda 에 Source /var/lib/libvirt/images/vm1.qcow2 가 붙은 한 행이었다. 그 대응이 나오면 게스트의 /dev/vda 에서 virtio-blk 와 QEMU 를 지나 그 파일까지 이어진다. 그 경로는 대응이 어떻게 읽히는지 보이려고 든 예시이지 이 호스트에서 읽은 값이 아니다. - -이 호스트의 가상 머신은 libvirt 로 정의되어 있다. §187 이 게스트를 만든 `virt-install` 세 줄을 그대로 적었고 §199 가 `virsh pool-info default` 출력을 남겼다. +이 호스트의 가상 머신은 libvirt 로 정의되어 있다. 「단계 01 — 게스트 세 대」에서는 게스트를 만든 `virt-install` 세 줄을 그대로 적었고 「디스크 — 오버레이는 얼마나 쓰나」에서는 `virsh pool-info default` 출력을 남겼다. 그 `virt-install` 세 줄은 게스트마다 디스크를 둘씩 붙인다. 하나는 `--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2` 로 만든 오버레이이고, 다른 하나는 `--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on` 으로 붙인 시드 볼륨이다. 엣지만 `--disk size=10` 이다. -§215 는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대가 그 바닥 하나를 공유한다. +「VM 한 대의 디스크 구성」에서는 그 결과를 게스트 쪽 이름으로 그렸다. `vda` 는 20G 이고 ext4 로 마운트돼 거기서 부팅한다. `vdb` 는 370K 이고 레이블이 CIDATA 인 iso9660 이라 마운트되지 않는다. `vda` 뒤에 `kc-lab-1.qcow2` 가 있고 그 아래 backing 으로 `base.qcow2` 가 있어서, 게스트 두 대가 그 바닥 하나를 공유한다. -§199 는 2026-09-10 에 `ls -l /var/lib/libvirt/images/` 를 돌린 출력을 남겼고 거기에 `base.qcow2`, `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, 시드 ISO 둘이 파일로 보이므로 이 호스트의 백엔드는 §145 가 가른 셋 가운데 파일 쪽이다. +「디스크 — 오버레이는 얼마나 쓰나」에서는 2026-09-10 에 `ls -l /var/lib/libvirt/images/` 를 돌린 출력을 남겼고 거기에 `base.qcow2`, `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, 시드 ISO 둘이 파일로 보이므로 이 호스트의 백엔드는 「Host Block Device를 직접 backend로 사용 가능」에서는 가른 셋 가운데 파일 쪽이다. -§234 는 그 파일들이 게스트에 어떻게 붙는지를 한 줄로 적었다. 이 실험대의 게스트는 `vda`(qcow2 오버레이)와 `vdb`(raw 시드 ISO) 두 디스크다. 그래서 한 게스트 안에서도 Target 둘의 형식이 갈리고, 한 행만 읽고 백엔드를 정하면 나머지 한 행이 빠진다. +「그래서 마이그레이션과 스냅샷이 된다」에서는 그 파일들이 게스트에 어떻게 붙는지를 한 줄로 적었다. 이 실험대의 게스트는 `vda`(qcow2 오버레이)와 `vdb`(raw 시드 ISO) 두 디스크다. 그래서 한 게스트 안에서도 Target 둘의 형식이 갈리고, 한 행만 읽고 백엔드를 정하면 나머지 한 행이 빠진다. -시드에 `bus=virtio` 가 붙은 이유는 §237 이 확정된 함정으로 적어 두었다. `virt-install --cloud-init` 은 시드 ISO 를 SATA CD-ROM 으로 붙이는데 Debian `genericcloud` 변종에는 물리 하드웨어 드라이버가 빠져 있어 게스트가 그 장치를 보지 못하고, 오류 메시지는 어디에도 남지 않은 채 hostname 이 `localhost` 로 남는 것으로만 드러난다. 그래서 §237 은 이 확인의 성공 판정을 시드 ISO 가 `sda` 가 아니라 `vdb` 로 보이는 것이라고 적었다. Target 이름 자체가 판정 대상이다. +시드에 `bus=virtio` 가 붙은 이유는 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 확정된 함정으로 적어 두었다. `virt-install --cloud-init` 은 시드 ISO 를 SATA CD-ROM 으로 붙이는데 Debian `genericcloud` 변종에는 물리 하드웨어 드라이버가 빠져 있어 게스트가 그 장치를 보지 못하고, 오류 메시지는 어디에도 남지 않은 채 hostname 이 `localhost` 로 남는 것으로만 드러난다. 그래서 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 이 확인의 성공 판정을 시드 ISO 가 `sda` 가 아니라 `vdb` 로 보이는 것이라고 적었다. Target 이름 자체가 판정 대상이다. -`virsh domblklist` 출력은 SSOT 에 없다. Target 과 Source 를 한 행으로 이어 보인 출력이 없고, §215 의 배치는 게스트가 두 대이던 2026-09-03 스냅샷이라 지금 도메인 정의와 대조되지 않았다. +2026-09-21에는 `virsh domblklist --details`와 live XML을 직접 읽어 Target·Source·format·backing chain을 현재 세 VM 기준으로 다시 확인했다. -## 가정 +## mapping 확인 조건 호스트와 각 게스트에 붙어 명령을 돌릴 수 있다고 본다. 확인하는 동안 디스크 구성이 바뀌지 않는다고 본다. -§215 가 그린 배치가 지금도 그대로라고 보고 대조할 대상으로 삼는다. §211 은 그 그림이 2026-09-03 값이고 그 뒤에 엣지 게스트가 늘었다고 적었다. +과거 2026-09-03 배치를 그대로 전제하지 않고, 2026-09-21 live domain 상태를 현재 기준으로 사용한다. -## 미지수 +## 현재 backend 구조 -지금 돌고 있는 도메인에 붙은 디스크가 §187 이 만들 때 준 둘과 같은지. +현재 VM의 block backend mapping은 해소됐다. 세 VM의 주 디스크는 qcow2 file backend이며, `vdb`는 raw seed ISO다. guest 내부 파티션 배치는 재생성 이미지에 따라 달라질 수 있지만 host backend 종류에 대한 질문에는 영향이 없다. -각 Target 의 Source 경로가 `virsh domblklist` 출력에 무엇으로 나오는지. - -게스트 안에서 `lsblk` 로 본 장치와 파티션이 §215 가 그린 `vda` 와 `vdb` 에 그대로 대응하는지. - -엣지를 더한 뒤의 배치. §215 는 게스트 두 대였을 때의 그림이고 §178 은 지금 게스트가 셋이라고 적었다. - -## 제약 +## 성능은 여기서 판정하지 않는다 이 물음은 백엔드가 무엇인지까지 답한다. 형식과 크기는 다음 물음이 받고, 성능은 여기서 판정하지 않는다. -게스트 안에서 본 이름은 답이 되지 않는다. §145 가 그 추론을 명시적으로 막았기 때문이다. +게스트 안에서 본 이름은 답이 되지 않는다. 「Host Block Device를 직접 backend로 사용 가능」에서는 그 추론을 명시적으로 막았기 때문이다. -다른 장비의 디스크 구성을 근거로 삼지 않는다. 이 호스트에서 얻은 출력은 §199 의 `ls -l` 과 `virsh pool-info default` 뿐이고, Target 과 Source 의 대응은 그 안에 없다. +다른 장비의 디스크 구성을 근거로 삼지 않는다. 현재 mapping은 2026-09-21 `test-server`의 `domblklist --details`와 live XML을 근거로 한다. -## 선택지 +## 어떻게 대조했나 ### 1. 게스트와 호스트를 한 번씩 돌고 한 표로 남긴다 -§146 이 든 두 명령을 그대로 돌린다. 각 게스트에서 lsblk 로 보이는 block device 와 파티션을 받고, 호스트에서 가상 머신마다 virsh domblklist 을 돌려 Target 과 Source 를 받는다. 두 출력이 있으면 게스트가 보는 이름과 호스트의 실제 대상이 가상 머신마다 한 행으로 이어진다. +「실제 연결 확인」에서 든 두 명령을 그대로 돌린다. 각 게스트에서 lsblk 로 보이는 block device 와 파티션을 받고, 호스트에서 가상 머신마다 virsh domblklist 을 돌려 Target 과 Source 를 받는다. 두 출력이 있으면 게스트가 보는 이름과 호스트의 실제 대상이 가상 머신마다 한 행으로 이어진다. 로그인할 수 없는 가상 머신이 있으면 그쪽은 호스트 출력만 얻고, 게스트가 그 디스크를 어떤 파티션으로 나눠 쓰는지는 비게 된다. @@ -101,16 +87,10 @@ virsh domblklist 는 호스트에서만 돌아가고 Target 과 Source 를 한 대신 게스트가 그 디스크를 어떤 이름과 파티션으로 보고 있는지가 빠진다. 나중에 게스트 안에서 잰 스토리지 수치를 이 표에 붙이려면 그때 대응을 다시 확인해야 한다. -### 3. libvirt 정의 전문을 받아 disk 요소를 읽는다 — 제외 +### 3. libvirt 정의 전문도 함께 읽는다 -virsh dumpxml 은 disk 요소에 source 와 driver 를 함께 담고 있어서 백엔드 경로와 cache 설정을 한 번에 볼 수 있다. +`virsh dumpxml`은 disk source와 driver, backing 정보를 한 번에 보여 준다. 실제 재검증에서는 `domblklist --details`와 live XML을 함께 사용해 짧은 mapping 표와 상세 설정을 교차 확인했다. cache mode는 XML에 값이 없을 수 있으므로 런타임 monitor에서 별도로 확인한다. -§175 는 dumpxml 을 cache mode 를 확인하는 항목에 두었고, 연결 확인에는 §146 과 같은 domblklist 를 들었다. 여기서 dumpxml 을 쓰면 한 출력으로 두 물음이 닫히게 되어 어느 확인이 무엇을 근거로 끝났는지가 흐려진다. cache 값은 그 물음이 받는다. +## disk source가 바뀌면 live mapping을 다시 읽는다 -## 다음 검증 - -1. 각 게스트에서 lsblk 를 돌려 보이는 block device 와 파티션을 적는다. -2. 호스트에서 가상 머신마다 virsh domblklist 을 돌려 Target 과 Source 를 적는다. -3. 가상 머신마다 한 행으로 정리하고 두 명령의 출력을 그대로 증거로 둔다. - -닫는 조건 : 가상 머신마다 Target 과 Source 의 대응이 출력으로 확정되면 닫는다. Source 가 파일이면 형식과 실제 사용량을 묻는 물음과 그 파일이 올라간 Host block device 를 묻는 물음으로 이어진다. Host block device 면 §145 가 적은 그 갈래가 이 환경이라고 적고, qcow2 를 전제한 후속 물음 둘은 이 호스트에 적용되지 않는다고 함께 적는다. +VM의 disk source나 `virt-install --disk` 구성이 바뀌면 `virsh domblklist --details`와 live XML을 다시 읽는다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm1-storage-load-vs-vm2-latency.md b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm1-storage-load-vs-vm2-latency.md index dccde7e..cb8531e 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm1-storage-load-vs-vm2-latency.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/question/question-vm1-storage-load-vs-vm2-latency.md @@ -7,9 +7,14 @@ topic: storage-virtualization topicName: 스토리지 가상화 project: virtualization status: 초안 -questionStatus: OPEN +questionStatus: RESOLVED +lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/ed64d4ff-aa01-48cc-ae68-6a683b025cde/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 +evidence: + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt + - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt source: - final/document.md#175-실제-테스트-서버에서-확인할-open-questions-oq-7 - final/document.md#167-storage-contention @@ -19,85 +24,70 @@ source: # VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가 -한 물리 NVMe 를 나눠 쓰는 구성에서 VM1 이 I/O 를 쏟아내면 VM2 의 지연이 오를 수 있다고 개념 문서가 적었다. 개념 문서가 적은 것은 거기까지이고, 이 호스트에서 재 본 값은 없다. 그래서 이 물음은 VM1 에 controlled I/O load 를 걸고 VM2 의 애플리케이션 지연과 Host storage 지표를 같은 시간축에 놓아, 그 경쟁이 이 구성에서 실제로 관측되는지를 가른다. +2026-09-21 VM1(`kc-lab-1`)에서 64 MiB 임시 파일을 반복 overwrite한 뒤 `fdatasync`하는 controlled I/O load를 약 10초간 걸고, 같은 NVMe를 공유하는 VM2(`kc-lab-2`)에서 128회 `fsync()` microbenchmark를 실행했다. VM2 단독 평균은 약 8~9 ms였지만 VM1 load와 겹친 첫 run은 평균 58.46 ms, p95 314 ms, max 631 ms까지 상승했다. VM1 load가 끝난 뒤 다음 두 run은 다시 약 8 ms로 회복했다. **현재 환경에서 한 VM의 storage 부하가 다른 VM의 durability latency를 실제로 밀어 올릴 수 있음을 확인했다.** -## 관계 +## VM1 load가 VM2 fsync를 밀어 올린 결과 -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - 두 가상 머신의 I/O 가 어디서 만나는지를 그 개념이 설명한다. -- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다** - 부하 구간에 CPU 와 스토리지 지표를 함께 찍는 이유가 그 기준이다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 두 가상 머신이 같은 장치를 쓰는지가 이 실험의 전제이고, 그 물음이 그것을 확정한다. -- **이 호스트의 I/O Scheduler 는 무엇인가** - dispatch 정책이 무엇인지가 부하 구간의 값을 읽는 조건이 된다. -- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가** - 같은 호스트 지표를 보지만 그쪽은 Guest 가 요구한 durability 가 전달되는지를 묻는다. -- **가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가** - 부하를 거는 모양이 닮았지만 재는 자원이 CPU 라 같은 측정으로 닫히지 않는다. 그래서 하나로 합치지 않고 관계로만 이었다. +- 2026-09-21 재검증에서 VM2 isolated fsync 평균은 반복 3회에서 `8.2397 / 8.2676 / 9.1264 ms`였다. +- 2026-09-21 재검증에서 VM1 load는 64 MiB 파일을 10초 동안 20회 overwrite+fdatasync했다. 같은 시간 VM2 first run은 평균 `58.4576 ms`, p95 `314.0799 ms`, max `631.0144 ms`였다. +- 2026-09-21 재검증에서 VM1 load 종료 후 VM2 run 2/3 평균은 `7.9038 / 8.0636 ms`로 baseline 수준으로 즉시 회복했다. +- 2026-09-21 재검증에서 overlap 구간 host `nvme0n1`은 `%util` 약 92~98%, `w_await` 약 50~184 ms, host `%iowait` 약 18~23%를 보였다. 이후 VM1 load가 사라지자 `w_await`은 약 1 ms 수준으로 내려갔다. +- 2026-09-21 재검증에서 테스트 파일 `/var/tmp/reval-vm1-load.bin`, `/var/tmp/reval-fsync.bin`은 실행 후 모두 삭제됐고 운영 데이터에는 쓰지 않았다. -## 사실 +「여러 VM이 하나의 NVMe를 공유하면」의 요지는 여러 QEMU와 host 프로세스의 I/O가 같은 Host Block Layer queue로 들어와 하나의 device로 dispatch된다는 것이다. 초기 그림에는 Host Nginx가 별도 주체로 있었지만 현재 Nginx는 Edge VM 안에 있으므로 edge QEMU의 I/O로 들어온다. VM1의 WRITE와 VM2의 READ/WRITE, host의 다른 파일 I/O가 아래쪽 장치를 공유한다는 구조는 그대로다. -§159 는 VM1 QEMU 와 VM2 QEMU 와 Nginx 와 Host 기타 프로세스가 같은 Host Block Layer queue 로 들어와 device 로 dispatch 된다고 그렸다. VM1 의 WRITE X · READ Y · WRITE Z 와 VM2 의 READ A · WRITE B 와 Host process 의 READ C 가 그 queue 에서 함께 관리된다. - -§167 은 여러 가상 머신이 동일한 Physical NVMe 를 사용하면 storage resource 경쟁이 발생할 수 있고, VM1 에서 대량 I/O 가 발생하면 VM2 의 storage latency 가 증가할 수 있다고 적었다. 그러면서 두 경쟁을 이렇게 갈랐다. +「Storage Contention」에서는 여러 가상 머신이 동일한 Physical NVMe 를 사용하면 storage resource 경쟁이 발생할 수 있고, VM1 에서 대량 I/O 가 발생하면 VM2 의 storage latency 가 증가할 수 있다고 적었다. 그러면서 두 경쟁을 이렇게 갈랐다. CPU Contention : Host logical CPU 실행 시간 경쟁 Storage Contention : IOPS / bandwidth / queue / device 처리시간 경쟁 -§168 은 PostgreSQL 이 storage completion 을 기다리는 동안 CPU usage 가 높지 않을 수 있다고 적고, CPU 30% 인데 Request latency 2초 인 상황을 들었다. 그래서 CPU 지표만으로 지연의 원인을 판단하면 안 된다고 했다. +「CPU가 정상이어도 Storage 때문에 느릴 수 있다」에서는 PostgreSQL 이 storage completion 을 기다리는 동안 CPU usage 가 높지 않을 수 있다고 적고, CPU 30% 인데 Request latency 2초 인 상황을 들었다. 그래서 CPU 지표만으로 지연의 원인을 판단하면 안 된다고 했다. -§169 는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다. +「Storage 관측 명령어」에서는 device I/O 관측으로 iostat -xz 1 을, 어떤 프로세스가 I/O 를 발생시키는지 볼 때는 iotop 을 들었다. iostat 에서 볼 대상으로 read/write throughput, IOPS, request latency, queue 상태, device utilization 성격의 지표를 적었다. -§175 OQ-7 이 적은 실험은 한 문장이다. VM1 에서 별도의 테스트 파일이나 디스크로 controlled I/O load 를 발생시키고 VM2 의 애플리케이션 지연과 Host storage 지표를 동시에 본다. 부하를 무엇으로 만들지, 얼마나 크게 얼마나 오래 걸지는 그 한 문장에 없어서 재는 쪽이 정한다. +실험의 핵심은 VM1의 별도 테스트 파일이나 디스크에 controlled I/O load를 만들고, 같은 시간에 VM2 latency와 host `iostat`을 보는 것이다. 부하 도구·크기·지속 시간은 재현 조건으로 명시해야 한다. -이 호스트의 배치는 §197 과 §199 가 적었다. 루트가 `/dev/nvme0n1p3` 위에 있고 게스트 이미지가 전부 `/var/lib/libvirt/images/` 아래에 있다. `virsh pool-info default` 가 낸 Capacity 225.31 GiB 는 §199 가 호스트 루트 파일시스템이라고 적은 그 풀의 값이다. 그 디렉터리가 그 파티션 위에 있다는 것을 `findmnt` 로 확인한 출력은 없다. +2026-09-21 `findmnt`와 `lsblk`로 `/var/lib/libvirt/images/`가 `/dev/nvme0n1p3`의 ext4 루트 파일시스템에 있고, 상위 물리 장치가 `nvme0n1`임을 확인했다. 세 VM의 주 디스크가 같은 장치를 공유한다는 전제는 더 이상 가정이 아니다. -이 호스트에서 부하를 걸고 두 값을 나란히 재 본 결과는 SSOT 에 없다. §168 의 30% 와 2초도 CPU 와 지연이 어긋날 수 있다는 것을 보이려고 든 예시 값이다. +2026-09-21에는 VM1 controlled write+fdatasync와 VM2 fsync microbenchmark, host `iostat`을 같은 orchestration 구간에 놓아 실제 cross-VM interference를 재현했다. 기존의 `CPU 30% / latency 2초` 같은 숫자는 설명용 예시였지만, 이번 문서의 결론은 실제 측정값을 근거로 한다. -## 가정 +## controlled load 조건 -두 가상 머신의 이미지가 같은 block device 위에 있다고 보고 실험을 짠다. 같은 디렉터리에 있다는 것까지는 §199 가 보였고, 그 디렉터리 아래를 장치까지 이은 출력은 앞 물음이 낸다. +두 VM의 이미지가 같은 `nvme0n1` 위에 있다는 2026-09-21 확인값을 실험 조건으로 둔다. -VM1 에 controlled I/O load 를 걸었다가 걷을 수 있고, 걷은 뒤 상태가 부하 이전의 기준 구간으로 돌아온다고 본다. 돌아오는지는 세 번째 구간에서 확인한다. +VM1에 controlled I/O load를 약 10초간 걸고 종료한 뒤 VM2 latency가 baseline으로 돌아오는 recovery까지 실제로 확인했다. -VM2 의 애플리케이션 지연을 세 구간에서 같은 방법으로 잴 수 있다고 전제한다. +VM2 쪽은 같은 128회 fsync microbenchmark를 isolated baseline, overlap, post-load 구간에 반복 적용했다. -호스트와 두 게스트의 시계가 맞아서 지연과 iostat 값을 같은 시간축에 놓을 수 있다고 본다. +host와 guest clock은 실제로 약 90초 어긋나 있었다. 따라서 절대 timestamp 비교 대신 한 host shell이 VM1 load 시작, VM2 fsync, host iostat 종료를 orchestration해 overlap을 보장했다. 장시간 분산 분석 전에는 host NTP를 먼저 맞춰야 한다. 부하를 거는 동안 가상 머신 구성과 VM2 의 워크로드가 바뀌지 않는다고 두고 세 구간을 견준다. -호스트 쪽 Nginx 와 다른 프로세스도 같은 장치를 쓰는데, 부하 구간의 스토리지 지표를 전부 VM1 몫으로 읽으면 이 전제가 깨진다. 그래서 어느 프로세스가 I/O 를 내는지 iotop 으로 함께 찍는다. +다른 host workload도 같은 NVMe를 사용할 수 있으므로 host device 지표 전체를 VM1 몫으로 단정하지 않는다. 다만 이번 실험은 VM1 load의 시작·종료와 VM2 지연의 상승·회복이 같은 순서로 나타났고, overlap 구간에서 host `w_await/%util/%iowait`도 함께 상승했다. -## 미지수 +## load 종료 뒤 회복한 값 -VM1 에 부하를 걸었을 때 VM2 의 애플리케이션 지연이 기준 구간과 달라지는지. +이번 controlled load에서 VM1 storage pressure가 VM2 fsync latency를 크게 밀어 올리고, host storage latency/util도 같은 overlap 구간에서 상승하며, load 종료 직후 VM2 지연이 baseline 수준으로 회복하는 것까지 확인됐다. -달라진다면 같은 구간의 Host storage 지표 — IOPS, throughput, request latency, queue 상태 — 가 같은 방향으로 움직이는지. +어느 IOPS/throughput 임계점부터 간섭이 시작되는지와 실제 Keycloak/PostgreSQL request latency가 얼마나 영향을 받는지는 별도 단계 부하 실험으로 남긴다. -그 변화가 CPU 쪽 지표와 무관한지. §168 은 CPU 가 한가해도 지연이 커질 수 있다고 적었다. +## 완화책은 아직 선택하지 않는다 -어느 정도의 부하에서 VM2 의 지연이 움직이기 시작하는지. 개념 문서는 부하의 크기와 지속 시간을 적지 않았다. - -부하를 걷은 뒤 VM2 의 지연이 기준 구간으로 돌아오는지, 돌아온다면 얼마나 걸리는지. - -## 제약 - -controlled I/O load 는 VM1 안의 별도 테스트 파일이나 디스크에 건다 (§175 OQ-7). VM1 의 운영 데이터에 걸면 부하를 되돌릴 수 없다. +controlled I/O load는 VM1 안의 별도 테스트 파일이나 전용 테스트 디스크에 건다. 운영 데이터에 직접 부하를 걸지 않는다. 세 구간 모두 같은 명령으로 찍는다. 구간마다 다른 도구로 재면 값이 달라진 것인지 도구가 다른 것인지 갈리지 않기 때문이다. -지연이 올랐다는 관측만으로 원인을 스토리지 경쟁으로 확정하지 않는다. 같은 구간의 CPU 지표를 함께 놓고 §167 이 가른 두 경쟁 가운데 어느 쪽인지 본다. +지연이 올랐다는 관측만으로 원인을 스토리지 경쟁으로 확정하지 않는다. 같은 구간의 CPU 지표를 함께 놓고 「Storage Contention」에서는 가른 두 경쟁 가운데 어느 쪽인지 본다. -장치를 나눌지, 스케줄러를 바꿀지, I/O 를 제한할지는 이 물음이 정하지 않는다. 재고 나온 표가 그 결정의 근거가 된다. +장치 분리, scheduler 변경, I/O 제한은 측정 전에 정하지 않는다. baseline·load·recovery 표가 나온 뒤 실제 간섭이 확인될 때만 검토한다. 측정하는 동안 다른 실험을 같은 장치 위에서 돌리지 않는다. 시간을 나눈다. -## 선택지 +## baseline · load · recovery 비교 ### 1. 기준 · 부하 · 회복 세 구간을 한 번에 돌린다 -VM2 의 애플리케이션 지연과 호스트의 iostat -xz 1 과 CPU 를 기준 구간에서 한 번 찍고, VM1 에 부하를 건 구간에서 다시 찍고, 부하를 걷은 뒤 세 번째로 찍는다. 세 구간이 한 표에 들어가면 지연이 어느 지표와 함께 움직였는지 그 표에서 읽힌다. §175 OQ-7 이 적은 순서 그대로다. +VM2 애플리케이션 지연과 host `iostat -xz 1`, CPU를 baseline에서 기록하고, VM1 load 구간과 recovery 구간에서 같은 방식으로 반복한다. 세 구간을 한 표에 두면 VM2 지연이 어떤 storage 지표와 함께 움직였는지 비교할 수 있다. 부하를 만드는 방법과 크기를 먼저 정해야 하고, VM2 에 같은 부하를 세 번 거는 준비가 필요하다. @@ -109,14 +99,8 @@ VM2 의 애플리케이션 지연과 호스트의 iostat -xz 1 과 CPU 를 기 ### 3. 제외 — 호스트에서 직접 I/O 부하를 만들어 대신한다 -VM1 대신 호스트 프로세스로 부하를 만들면 준비가 짧다. §159 는 Host process 의 I/O 도 같은 queue 로 들어온다고 그렸으므로 장치 쪽 경쟁은 비슷하게 만들 수 있다. 그러나 이 물음이 묻는 것은 VM1 의 부하가 VM2 로 이어지는지이고, 호스트에서 만든 부하는 QEMU 를 지나지 않아서 같은 경로가 아니다. +VM1 대신 호스트 프로세스로 부하를 만들면 준비가 짧다. 「여러 VM이 하나의 NVMe를 공유하면」에서는 Host process 의 I/O 도 같은 queue 로 들어온다고 그렸으므로 장치 쪽 경쟁은 비슷하게 만들 수 있다. 그러나 이 물음이 묻는 것은 VM1 의 부하가 VM2 로 이어지는지이고, 호스트에서 만든 부하는 QEMU 를 지나지 않아서 같은 경로가 아니다. -## 다음 검증 +## VM1의 write load가 VM2 fsync latency를 끌어올렸다 -1. 두 가상 머신의 이미지가 같은 block device 를 쓰는지 먼저 확정한다. -2. 기준 구간에서 VM2 의 애플리케이션 지연과 호스트의 iostat -xz 1 과 CPU 를 같은 시각에 기록한다. -3. VM1 에서 별도의 테스트 파일이나 디스크로 controlled I/O load 를 발생시킨다. 무엇으로 어느 정도의 부하를 얼마나 오래 걸었는지 함께 적는다 (§175 OQ-7). -4. 부하 구간에서 2번의 셋을 같은 방법으로 다시 기록하고, 어느 가상 머신이 I/O 를 내는지 iotop 으로 함께 남긴다 (§169). -5. 부하를 걷고 회복 구간을 세 번째로 찍는다. - -닫는 조건 : 세 구간 표에서 부하 구간에만 VM2 의 지연과 Host storage 지표가 함께 오르면 §167 이 그린 경쟁이 이 환경에서 이어진다는 것을 확인한 것이고, 그 시계열이 Case 가 된다. VM1 부하 중에도 VM2 의 지연이 기준 구간과 다르지 않으면 이 구성과 이 부하 수준에서는 경쟁이 관측되지 않는다고 적고 닫는다. 장치를 나눌지 · 스케줄러를 바꿀지 · I/O 를 제한할지는 그 Case 가 나온 뒤 결정으로 넘긴다. +현재 공용 `nvme0n1` 위의 qcow2 구성에서 VM1의 sustained write+fdatasync load가 VM2의 fsync latency를 baseline 대비 크게 증가시키고, load 종료 뒤 다시 baseline으로 회복시키는 cross-VM storage contention을 재현했다. 장치 분리·I/O 제한 같은 완화책의 효과는 별도 실험에서 비교한다. diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-a-speedup-that-removed-durability-is-not-an-optimization.md b/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-a-speedup-that-removed-durability-is-not-an-optimization.md index f367b98..6bcbb54 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-a-speedup-that-removed-durability-is-not-an-optimization.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-a-speedup-that-removed-durability-is-not-an-optimization.md @@ -24,20 +24,7 @@ source: durability 는 전원이 나가도 데이터가 남아 있는 영속성을 말한다. 쓰기 지연이 줄면 그 변경은 성능 개선으로 기록되지만, 무엇을 더 이상 보장하지 않게 됐는지는 아무 데도 적히지 않는다. 개념 문서는 fsync() 를 없애서 빨라졌다면 그것이 최적화가 아니라 durability contract 를 제거한 것일 수 있다고 적었다. 게스트가 요청한 FLUSH 에 완료로 응답했는데 데이터는 호스트 RAM 에만 있는 상태도 성능 문제가 아니라 correctness 문제로 놓았다. 이 기준은 빨라진 구성을 평가할 때 어느 단계가 빠졌는지를 먼저 적게 한다. -## 관계 - -- **완료라는 말의 네 가지 뜻 — write · writeback · flush · 전원 장애 생존** - 이 기준이 갈라 적으라고 하는 네 단계를 그 글이 설명한다. -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 영속성을 어느 백엔드 위에서 이야기하는지 그 글이 설명한다. -- **이 VM 들의 QEMU disk cache mode 는 무엇인가** - 이 기준이 걸리는 설정 값을 이 환경에서 읽는 물음이다. -- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가** - 영속성을 지킨 상태의 지연이 얼마인지 이 환경에서 재는 물음이다. -- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다** - 같은 스토리지 판독에 쓰는 기준이고, 그쪽은 자원을 가르고 이쪽은 보장을 가른다. - -## 목적 +## 빠름과 durability를 분리하는 이유 스토리지 설정을 바꿔 쓰기 지연이 줄었을 때 그것을 성능 항목으로만 적으면 어떤 실패에 노출됐는지가 기록에 남지 않는다. 개념 문서가 가장 위험한 상황으로 든 것은 거짓 완료다. 게스트가 WRITE 와 FLUSH 를 요청했는데 데이터는 호스트 RAM 에 있고 물리 스토리지에는 옛 데이터가 있는 상태인데도 게스트에게 FLUSH 완료라고 응답하는 경우다. 그러면 PostgreSQL 은 영속성이 확보되었다고 판단하고, 직후 호스트 전원이 나가면 RAM 의 데이터가 사라진다. @@ -45,7 +32,7 @@ durability 는 전원이 나가도 데이터가 남아 있는 영속성을 말 완료의 네 단계를 설명하는 개념 기록 안에 각주로 두지 않고 따로 뺀 것은 이 기준이 필요해지는 때가 다르기 때문이다. 개념을 읽을 때가 아니라 설정을 고르고 성능 개선을 평가할 때 걸리는데, 각주로 두면 다음에 같은 판단을 하는 사람이 그때 이것을 찾지 못한다. -## 규칙 +## 성능 비교 전에 지킬 계약 ### 1. 완료를 네 단계로 갈라 어디까지 보장되는지 적는다 @@ -63,13 +50,13 @@ FLUSH 완료 응답을 받은 쪽은 그 데이터가 살아남는다고 가정 개념 문서는 none 을 캐시 자체가 없음으로, writeback 을 무조건 위험으로 읽는 것이 부정확하다고 적었다. cache=writeback 을 골라도 정상적인 스택이라면 게스트의 fsync 와 FLUSH 는 virtio FLUSH 와 QEMU 와 백엔드를 지나 호스트의 sync 와 flush 로 전달된다. 필요한 완료 확인 뒤에 게스트로 완료가 돌아간다. 개념 문서는 정확한 표현을 이렇게 적었다 — writeback caching 에서는 volatile cache 가 존재할 수 있으므로 Guest 의 flush/fsync semantics 가 전체 backend/storage stack 에서 올바르게 보존되는지가 중요하다. -그래서 이 기준은 어느 캐시 모드를 쓰라고 말하지 않는다. 개념 문서는 두 설정의 뜻과 각각의 오해를 갈라 놓기만 했고 어느 쪽으로 정했다고 적지 않았으며 감수한 비용도 적지 않았다. 이 호스트가 지금 무엇을 쓰고 있는지도 아직 읽지 않았다. 이 저장소에 남은 것은 게스트를 만든 virt-install 세 줄에 캐시 옵션이 없다는 것까지다. +그래서 이 기준은 어느 캐시 모드를 쓰라고 말하지 않는다. 2026-09-21 runtime 구성을 확인했을 때 세 VM의 주 디스크는 모두 `cache=writeback`이었다. 이 값은 현재 구성을 말해 줄 뿐, 전원 장애에도 안전하다는 뜻은 아니다. 실제 durability는 guest의 flush/fsync 의미가 QEMU·host filesystem·device까지 보존되는지 별도로 확인해야 한다. ### 5. DB 부하에서는 애플리케이션이 쓰는 영속성 규약을 함께 적는다 PostgreSQL 은 WAL 등의 durability protocol 을 사용하며 필요한 시점에 스토리지 동기화를 수행한다. 가상 머신의 스토리지 계층이 flush 와 fsync 의 의미를 제대로 보존하지 않으면 애플리케이션이 전제한 영속성과 실제 스토리지 동작이 어긋난다. 그래서 설정만 적지 않고 그 위에서 도는 애플리케이션이 무엇을 언제 동기화하는지도 같이 적는다. -## 적용 조건 +## 쓰기 성능을 비교할 때 - 스토리지 관련 설정이나 코드를 바꿔 쓰기 지연이나 커밋 지연이 줄었을 때 - QEMU 의 캐시 모드를 고르기 전 @@ -77,14 +64,14 @@ PostgreSQL 은 WAL 등의 durability protocol 을 사용하며 필요한 시점 - fsync() 호출을 더하거나 뺄 때 - 파일시스템의 마운트 옵션을 고를 때 -## 예외 +## 빨라도 제외해야 하는 구성 - 영속성을 실제로 포기해도 되는 데이터가 있다. 다시 만들 수 있는 캐시나 파생 파일이 그렇고, 그때는 빨라진 것이 정당한 선택이다. 이 기준이 요구하는 것은 포기를 막는 것이 아니라 무엇을 포기했는지 적게 하는 것이다. - cache=none 이나 Direct I/O 를 골랐다고 영속성이 확보되지도 않는다. 개념 문서는 Direct I/O 의 핵심이 페이지 캐시 우회이며 호스트 페이지 캐시를 우회하는 것이 즉시 durable media 반영을 뜻하지 않는다고 적었고, 그 뒤에 스토리지 컨트롤러나 장치가 휘발성 쓰기 캐시를 가질 수 있다고 덧붙였다. - 개념 문서는 실제 순서 보장과 영속성의 의미가 더 복잡하다고 밝혔다. 그래서 이 기준으로 특정 설정이 안전하다는 결론을 내지 않는다. 실제 운영에서는 장치의 flush 와 FUA semantics, power-loss protection 여부도 함께 본다. - 이 저장소에는 영속성을 실제로 재 본 실험이 없다. 여기 적은 것은 개념 문서가 서술한 구분이고 이 호스트에서 확인된 동작이 아니다. -## 예시 +## fsync를 줄였을 때 확인할 것 - write() 완료 : 애플리케이션 호출이 돌아온 상태 - writeback 완료 : 캐시에서 아래로 내려간 것까지다 diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-confirm-the-disk-backend-on-the-host.md b/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-confirm-the-disk-backend-on-the-host.md index 04ce5c6..93f167f 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-confirm-the-disk-backend-on-the-host.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-confirm-the-disk-backend-on-the-host.md @@ -23,22 +23,7 @@ source: 백엔드는 게스트가 디스크로 쓰는 그 장치를 호스트 쪽에서 실제로 대 주는 것을 말한다. 게스트에 로그인해 lsblk 를 돌리면 /dev/vda 와 그 파티션이 나오고, 거기까지는 물리 머신과 같은 화면이다. 개념 문서는 그 이름이 호스트의 실제 SSD 를 뜻하지 않으며 아래에 qcow2 파일과 RAW 파일과 호스트 블록 장치 셋이 올 수 있다고 적었다. 이 기준은 용량과 성능과 영속성을 판단하기 전에 호스트 쪽에서 무엇에 붙어 있는지를 먼저 확정하게 한다. -## 관계 - -- **/dev/vda 뒤에 있는 것 — qcow2 · RAW · Host block device** - 이 기준이 가르라고 하는 세 갈래를 그 글이 설명한다. -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - 게스트가 본 그 디스크 이름이 어디에서 나왔는지를 그 글이 설명한다. -- **이 호스트의 /dev/vda 는 어떤 backend 에 붙어 있는가** - 이 기준의 첫 확인을 이 환경에서 실제로 돌리는 물음이다. -- **이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가** - 백엔드가 파일로 확정됐을 때 형식과 크기를 읽는 물음이다. -- **disk image 는 최종적으로 어느 Host block device 위에 있는가** - 그 파일이 놓인 파일시스템과 블록 장치까지 잇는 물음이다. -- **지연 원인을 CPU 로 읽기 전에 storage 계층을 따로 잰다** - 그 기준의 호스트 쪽 관측은 여기서 확정한 백엔드를 전제한다. - -## 목적 +## Guest의 vda만으로 부족한 이유 게스트 안의 이름을 호스트의 저장 구조로 읽으면 그 위에서 하는 판단이 모두 어긋난다. 개념 문서는 게스트 리눅스가 /dev/vda 를 하나의 블록 장치로 인식하지만 그것이 호스트의 실제 SSD 를 뜻하지는 않는다고 적었다. 같은 대상을 호스트 관점에서 보면 파일 하나이고 게스트 관점에서 보면 디스크이며, 둘 다 맞다. @@ -46,7 +31,7 @@ source: 개념 문서가 실제 서버에서 확인하라고 적어 둔 물음 가운데 넷이 이 확정 위에서 돌아간다. 백엔드가 무엇인지, 형식이 무엇인지, 크기가 얼마나 벌어져 있는지, 그 아래가 어느 장치인지다. 넷마다 같은 절차를 되풀이해 적지 않고 한 편으로 두었으므로 각 물음이 여기를 가리킨다. -## 규칙 +## vda에서 Source와 Host device까지 잇는다 ### 1. 게스트의 장치 이름을 호스트의 저장 장치로 옮겨 읽지 않는다 @@ -54,7 +39,7 @@ source: ### 2. Target 과 Source 를 이어 붙인 뒤에 판독을 시작한다 -게스트에서 lsblk 로 보이는 블록 장치와 파티션을 적고, 호스트에서 virsh domblklist 로 Target 과 Source 를 적는다. 개념 문서가 든 예시에서는 Target vda 에 Source /var/lib/libvirt/images/vm1.qcow2 가 붙어 있었다. 이 대응이 있어야 게스트의 /dev/vda 에서 virtio-blk 와 QEMU 를 지나 그 파일까지 이어진다. 그 경로는 개념 문서가 예시로 붙여 둔 이름이다. 두 명령을 이 호스트에서 돌린 출력은 아직 없다. +게스트에서 `lsblk`로 보이는 block device와 host의 `virsh domblklist --details `를 이어 본다. 2026-09-21 재검증에서는 `kc-lab-1/2/edge`의 `vda`가 각각 `kc-lab-1.qcow2`, `kc-lab-2.qcow2`, `kc-lab-edge.qcow2`에 연결돼 있었다. live domain XML에서도 format은 qcow2, bus는 virtio였고 세 overlay는 공통 `base.qcow2`를 backing store로 사용했다. ### 3. Source 가 파일인지 호스트 블록 장치인지 확정한다 @@ -72,25 +57,29 @@ qcow2 는 가상 디스크 크기와 실제 호스트 할당량이 다를 수 적을 파일이 하나가 아닐 수 있다. qemu-img info 출력에 backing file 줄이 있으면 그 파일은 오버레이이고, 자기가 들고 있지 않은 클러스터를 읽을 때마다 바닥 파일을 읽는다. 바닥까지 같은 항목으로 적어야 그 게스트가 실제로 읽는 파일이 모두 덮인다. -## 적용 조건 +## backend를 먼저 확인해야 하는 작업 - 가상 머신의 디스크 성능이나 용량이나 영속성을 판단하기 전 - 게스트 안에서 잰 스토리지 수치를 해석하기 전 - 저장 공간 계획을 세우거나 이미지를 옮기기 전 - 가상 머신 여러 대가 같은 물리 장치를 쓰는지 확인할 때 -## 예외 +## backend가 block device면 달라지는 점 - 백엔드가 호스트 블록 장치면 qcow2 쪽 확인은 걸리지 않는다. 가상 크기와 실제 할당량의 차이도, 매핑과 메타데이터 처리도 그 구성에는 없다. - 백엔드를 확정해도 성능은 예측되지 않는다. 개념 문서는 RAW 는 무조건 빠르고 qcow2 는 무조건 느리다는 식으로 일반화하지 말라고 못박고, 실제 성능은 캐시 모드, 스토리지 백엔드, 부하 패턴, 큐 깊이, 스냅숏 체인, 그 아래 파일시스템, 물리 장치에 영향을 받는다고 적었다. 이 기준은 무엇 위에서 재고 있는지까지만 확정한다. -- 이 절차를 처음부터 끝까지 돌린 출력은 이 저장소에 없다. 네 번째 규칙의 qemu-img info 는 바닥 이미지 하나에만 돌렸고, virsh domblklist 와 게스트 lsblk 의 출력은 아직 없다. 나머지는 개념 문서가 서술한 확인 순서이고 이 호스트에서 나온 값이 아니다. +- 2026-09-21에는 이 절차의 host-side 핵심 연결을 실제로 확인했다. VM별 `vda → qcow2 overlay`, overlay → `base.qcow2`, image directory → `/dev/nvme0n1p3` ext4 → `nvme0n1` 순서가 이어진다. `qemu-img info --force-share`, `du`, `ls`도 base와 세 overlay 모두에 실행해 virtual size와 실제 host allocation 차이를 확인했다. +- 이 확인으로 backend 구조는 확정되지만 성능까지 예측되지는 않는다. cache mode·scheduler·workload·queue depth·다른 VM의 load는 별도 조건으로 봐야 한다. -## 예시 +## 현재 host에서 확인한 mapping - 게스트에서 보이는 것 : /dev/vda 와 그 파티션 - 호스트에서 이어 붙일 것 : Target 과 Source 의 대응 - Source 의 세 갈래 : qcow2 파일 · RAW 파일 · 호스트 블록 장치 - 용량 : virtual size 와 실제 allocation 을 따로 적는다 - 파일이면 더 볼 것 : 그 파일이 올라간 파일시스템과 블록 장치 -- 이 호스트에서 돌린 qemu-img info : o — 바닥 이미지 하나뿐이다 -- 이 호스트에서 돌린 virsh domblklist : x +- 이 호스트에서 확인한 backend : 세 VM 모두 qcow2 overlay file +- 공통 backing file : `base.qcow2` +- host filesystem : `/dev/nvme0n1p3`의 ext4 +- physical device : `nvme0n1` +- runtime cache mode : 세 VM 주 디스크 모두 `writeback` diff --git a/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-read-storage-before-blaming-cpu-for-latency.md b/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-read-storage-before-blaming-cpu-for-latency.md index 66ca438..c52e32f 100644 --- a/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-read-storage-before-blaming-cpu-for-latency.md +++ b/docs/virtualization/tech-log-studio/storage-virtualization/reference/reference-read-storage-before-blaming-cpu-for-latency.md @@ -21,28 +21,13 @@ source: 요청이 느린데 CPU 사용률이 낮으면 CPU 는 원인이 아니라고 읽고 다음 후보로 넘어가기 쉬운데, 그 사이에 스토리지 대기는 어느 지표에도 나타나지 않는다. 개념 문서는 애플리케이션이 스토리지 완료를 기다리는 동안 CPU 사용률이 높지 않을 수 있다고 적고 CPU 30% 인데 요청 지연 2초인 조합을 들었다. 이 기준은 자원을 CPU 와 스토리지로 가르는 순서와, 그때 같은 시간축에 무엇을 남길지를 고정한다. -## 관계 - -- **VM 아래에 한 번 더 있는 Host block stack — blk-mq · I/O Scheduler · NVMe** - 이 기준이 함께 보라고 하는 호스트 쪽 지표가 어느 계층에서 나오는지를 그 글이 설명한다. -- **Guest 의 write() 가 virtqueue 에 실리기까지 — VFS · Filesystem · Page Cache · Block Layer · virtio-blk** - 게스트 안에서 잰 입출력 지연이 어디까지의 시간인지를 그 글이 설명한다. -- **Guest 안에서 본 disk 로 backend 를 단정하지 않는다** - 무엇 위에서 재고 있는지를 먼저 확정하는 기준이다. 이 기준의 호스트 쪽 관측은 그 확정을 전제한다. -- **VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가** - 다른 가상 머신의 스토리지 부하를 함께 보라는 항목을 이 환경에서 재는 물음이다. -- **Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가** - 게스트 지표와 호스트 지표를 같은 시간축에 놓으라는 항목을 이 환경에서 재는 물음이다. -- **메모리 증상 하나로 계층을 단정하지 않는다** - 같은 형태의 판독 기준이고, 그쪽은 메모리 증상 안에서 계층을 가른다. - -## 목적 +## CPU가 낮다고 storage가 정상인 것은 아니다 CPU 사용률 하나로 지연 원인을 자원에 귀속하면 스토리지 대기가 후보에서 빠진다. 개념 문서는 그 조합을 그대로 적었다. PostgreSQL 이 스토리지 완료를 기다리고 있으면 CPU 사용률이 높지 않을 수도 있어서, CPU 30% 인데 요청 지연 2초가 가능하다. CPU 경쟁과 스토리지 경쟁은 경쟁하는 자원이 다르다. 개념 문서는 앞의 것을 호스트 논리 CPU 실행 시간 경쟁으로, 뒤의 것을 IOPS 와 대역폭과 큐와 장치 처리시간 경쟁으로 갈라 두었다. 두 자원을 한 지표로 대신 읽으면 어느 쪽이 밀렸는지 갈리지 않는다. -## 규칙 +## 같은 시간축에 둘 storage 지표 ### 1. CPU 사용률이 낮다는 이유로 스토리지를 후보에서 빼지 않는다 @@ -65,7 +50,7 @@ I/O Scheduler NVMe 다른 VM 의 Storage load -앞의 셋은 시간에 따라 변하는 값이라 같은 시각에 함께 찍어야 짝이 맞다. 뒤의 다섯은 그때의 구성이라 한 번 적어 두면 그 측정 구간 전체에 붙는다. 이 여덟을 이 호스트에서 한 시간축에 모아 찍은 기록은 아직 없다. +앞의 셋은 시간에 따라 변하는 값이라 같은 시각에 함께 찍어야 짝이 맞다. 뒤의 다섯은 구성값이라 측정 구간 시작에 한 번 확인하면 된다. 2026-09-21에는 정적 조건뿐 아니라 cross-VM contention도 같은 시간축에서 확인했다. QEMU backend는 qcow2 file, runtime cache mode는 `writeback`, host scheduler는 `none`, physical device는 `nvme0n1`이었고, VM1 쓰기 부하와 VM2 fsync 지연, host NVMe `w_await`·`%util`·iowait를 함께 기록했다. ### 4. 게스트 안에서 잰 값만으로 스토리지 성능을 결론내지 않는다 @@ -80,25 +65,26 @@ NVMe Guest : lsblk · mount · df -h · cat /proc/mounts · iostat -xz 1 Host : virsh domblklist · qemu-img info 에 disk image 경로 · lsblk · /sys/block 아래 그 device 의 queue/scheduler · iostat -xz 1 · iotop -## 적용 조건 +## storage 대기를 의심할 상황 - 요청 지연이나 처리량 저하의 원인을 자원에 귀속하려는 판독 전부 - CPU 사용률이 낮은데 요청 지연이 큰 구간 - 데이터베이스가 요청 경로에 들어 있는 서비스 - 가상 머신 여러 대가 한 물리 장치를 함께 쓰는 환경 -## 예외 +## iostat 하나로 결론내리지 않는다 - 이 기준은 어느 자원인지를 좁힐 뿐 원인을 확정하지 않는다. 스토리지 지표가 깨끗하게 나와도 CPU 쪽을 배제하려면 vCPU 경쟁과 steal time 을 따로 본다. 그것은 CPU 가상화 쪽 기준이 받는다. - iostat -xz 1 이 보여 주는 device utilization 성격의 지표는 NVMe 처럼 병렬성이 큰 장치에서 포화도로 그대로 읽히지 않는다. 개념 문서가 NVMe 는 높은 병렬성과 큐 깊이를 지원한다고 적었다. 이 저장소의 실측 기록은 이 호스트의 루트를 /dev/nvme0n1p3 로 적었고 게스트 이미지가 전부 그 아래에 모여 있다고 적었으므로, 이 예외는 이 환경에 그대로 걸린다. - 호스트에서 잰 값은 어느 가상 머신의 입출력인지 갈라 주지 않는다. 개념 문서는 Host Block Layer 가 그 입출력을 가상 머신 안의 프로세스가 시작했는지 호스트 프로세스가 시작했는지 본질적으로 구분해서 처리하는 계층이 아니라고 밝혔다. 가상 머신별로 가르려면 iotop 이나 게스트 쪽 관측을 같은 시각에 함께 찍는다. -- 이 저장소에는 이 기준으로 원인을 실제로 가른 측정이 없다. 여기 적은 것은 개념 문서가 서술한 판독 순서이고 이 호스트에서 확인된 값이 아니다. +- static storage path와 runtime cache/scheduler는 실제 host에서 확인됐다. 2026-09-21에는 cross-VM storage contention도 baseline·load·recovery 구간으로 나눠 측정했다. VM1에서 쓰기 부하를 겹친 동안 VM2의 fsync 지연과 host NVMe의 `w_await`·`%util`·iowait가 함께 상승했고, 부하가 끝난 뒤 VM2 지연도 baseline 수준으로 돌아왔다. 따라서 이 환경에서는 같은 NVMe를 공유하는 다른 VM의 storage load가 guest latency와 함께 악화되는 경로를 실제로 확인했다. -## 예시 +## 현재 host에서 확인한 조건 - CPU 30% · 요청 지연 2초 : 스토리지 대기가 후보에 남는 조합 - CPU Contention : 호스트 논리 CPU 실행 시간 경쟁 - Storage Contention : IOPS · 대역폭 · 큐 · 장치 처리시간 경쟁 - 같은 시각에 함께 찍는 값 : Guest I/O latency · Host I/O queue · Host storage latency - 측정 구간에 한 번 적어 두는 구성 : QEMU backend · cache mode · I/O Scheduler · NVMe -- 이 호스트에서 잰 값 : x +- 이 호스트에서 이미 확인한 구성 : qcow2 backend · `cache=writeback` · scheduler `none` · NVMe `nvme0n1` +- 2026-09-21에 함께 확인한 값 : VM2 fsync latency · Host queue/storage latency · VM1 Storage load diff --git a/docs/virtualization/tech-log-studio/tech-log-tree.json b/docs/virtualization/tech-log-studio/tech-log-tree.json index 10c18e8..3f28599 100644 --- a/docs/virtualization/tech-log-studio/tech-log-tree.json +++ b/docs/virtualization/tech-log-studio/tech-log-tree.json @@ -2,9 +2,9 @@ "schemaVersion": 4, "project": "virtualization", "ssot": "final/document.md", - "ssotSha256": "8c4ecc64c8cea9a4450ed7131fdd9cb2048dc092b66cd969f6346ed77887c210", + "ssotSha256": "1962c7c37368ee500e43d318398c33c3a73be98b85ccd61852c445d760b69ddd", "sourceRevision": "no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다", - "generatedAt": "2026-09-21", + "generatedAt": "2026-09-22", "sourceRepository": [ { "name": "반입한 개념 문서 (제1~4부)", @@ -505,7 +505,10 @@ "studioId": "eba4a877-276a-4050-9a97-d32614546c71", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt" + ] }, { "title": "Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가", @@ -558,7 +561,9 @@ "studioId": "4a2d3332-81c3-44fa-a4fb-216a41abb504", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/65-cpu-edge-idle-vs-load.txt" + ] }, { "title": "실제 작업에서 주로 발생하는 VM Exit 은 무엇인가", @@ -584,7 +589,14 @@ "studioId": "61b7486f-5dab-41df-8f4f-e8fc21d88617", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt" + ] }, { "title": "pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가", @@ -611,7 +623,11 @@ "studioId": "cd58d35d-3a93-4682-82b8-b64ce3a8813c", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/53-cpu-qemu-vcpu-threads.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/55-cpu-vcpu-thread-psr-sample.txt" + ] }, { "title": "운영 서버는 CPU 가상화 계층의 영향을 받는 구조인가", @@ -663,7 +679,10 @@ "studioId": "2d058fb5-01f1-4be8-80bb-0e377868573c", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/63-cpu-two-vm-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/64-cpu-two-vm-load.txt" + ] }, { "title": "vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가", @@ -715,7 +734,11 @@ "studioId": "116b806c-b176-401c-9363-1489fffb721c", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/108-cpu-cgroup-throttling-probe.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/109-cpu-host-contention-vs-cgroup.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/110-cpu-host-contention-restore.txt" + ] }, { "title": "CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가", @@ -741,7 +764,16 @@ "studioId": "62319064-17ef-4b2f-bf8b-e363cd0e36a6", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-cpu-pinning-baseline-host.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-cpu-pinning-baseline-load.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-cpu-pinning-apply.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-host.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/103-cpu-pinning-pinned-load.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/104-cpu-pinning-restore.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/105-cpu-pinning-unpinned-repeat-load.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/106-cpu-pinning-pinned-repeat-load.txt" + ] }, { "title": "Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가", @@ -767,7 +799,14 @@ "studioId": "d103bb81-45df-402f-86e5-e41d66ed7f8d", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/87-host-perf-install.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/93-cpu-perf-kvm-kc1-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/94-cpu-perf-kvm-kc1-cpu-bound.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/95-cpu-perf-kvm-kc1-io-heavy.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/91-cpu-perf-kvm-keycloak-normal-requests.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/92-cpu-perf-kvm-keycloak-load.txt" + ] }, { "title": "이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가", @@ -791,7 +830,9 @@ "studioId": "688c6c02-c1bd-4cd2-a615-2396db145386", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt" + ] } ], "decision": [] @@ -1145,7 +1186,11 @@ "studioId": "67285d51-7eaf-4540-9577-cfd0b273b40e", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt" + ] }, { "title": "QEMU 프로세스가 실제로 붙잡고 있는 호스트 메모리는 얼마이고 어떻게 나뉘어 있는가", @@ -1174,7 +1219,9 @@ "studioId": "fa5b3782-9fcf-4113-8f51-a55c8023b2db", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt" + ] }, { "title": "이 호스트의 THP 정책과 huge page 상태는 무엇인가", @@ -1201,7 +1248,11 @@ "studioId": "50730203-df5f-4604-8535-7e93ab6fb724", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt" + ] }, { "title": "가상 머신 RAM 이 HugeTLB 로 명시적으로 backing 되어 있는가", @@ -1229,7 +1280,9 @@ "studioId": "f460e9a2-35ef-46ff-81cf-b36627a1b231", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt" + ] }, { "title": "지금 게스트와 호스트에서 swap 이 실제로 오가고 있는가", @@ -1258,7 +1311,10 @@ "studioId": "d3e8501f-e1b5-4f8f-aa9a-89f9c89a308e", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/59-memory-swap-activity.txt" + ] }, { "title": "호스트 메모리 압박이 게스트 애플리케이션 지연을 실제로 밀어 올리는가", @@ -1288,7 +1344,16 @@ "studioId": "a05fe2a6-eb7c-4bcc-a7da-58e729436468", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-host-baseline-vmstat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/100-memory-guest-latency-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-generator.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-guest-latency-pressure.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-guest-latency-recovery.txt" + ] }, { "title": "이 가상 머신들에 virtio-balloon 이 붙어 있는가", @@ -1315,7 +1380,11 @@ "studioId": "63aef96b-03ef-4dbd-9ba6-9e61c6e695e1", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/57-memory-kc1.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/58-memory-kc2.txt" + ] }, { "title": "balloon target 을 바꾸면 게스트가 쓸 수 있는 메모리는 어떻게 따라 움직이는가", @@ -1344,7 +1413,9 @@ "studioId": "6a60abe7-ea2c-46c2-bb9f-8281bfbe9644", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/62-memory-balloon-target-roundtrip.txt" + ] }, { "title": "QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가", @@ -1373,7 +1444,10 @@ "studioId": "1b59e6de-16f1-42b2-81bb-01d6198e34bf", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt" + ] }, { "title": "NUMA remote access 가 이 작업의 지연을 실제로 바꾸는가", @@ -1401,7 +1475,10 @@ "studioId": "380d4975-3be5-451d-aede-2e24c5a2a09e", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt" + ] }, { "title": "게스트 page fault 증가는 workload 변화를 따라가는가", @@ -1429,7 +1506,9 @@ "studioId": "074a1cb4-cea8-4dad-bc4c-899692ff9aa9", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/82-memory-guest-page-fault-demand-paging.txt" + ] }, { "title": "호스트 major fault 와 스토리지 지연은 같은 시간축에서 함께 움직이는가", @@ -1458,7 +1537,13 @@ "studioId": "a2cbc828-59ab-4e70-916a-d053e71960ae", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-pre.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-post.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-vmstat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/101-memory-pressure-iostat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/102-memory-recovery-post.txt" + ] } ], "decision": [] @@ -1638,7 +1723,9 @@ "studioId": "38716d7f-1aa1-48d8-ab4c-3fc505332128", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt" + ] }, { "title": "VM1 과 VM2 의 TAP/vnet interface 는 무엇이고 어디에 붙어 있는가", @@ -1667,7 +1754,9 @@ "studioId": "397c4789-0272-449b-86d6-2c4a3a122401", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt" + ] }, { "title": "이 호스트에서 vhost-net 이 실제로 packet datapath 를 맡고 있는가", @@ -1699,7 +1788,9 @@ "studioId": "484fd832-c7d3-413e-897a-97892e4e10ac", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt" + ] }, { "title": "QEMU backend 와 vhost-net 의 차이가 이 호스트에서 실제로 보이는가", @@ -1729,7 +1820,14 @@ "studioId": "bded6560-dc8d-473d-966c-5b037bb84c4c", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/113-network-vhost-baseline-direct-node.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/114-network-qemu-backend-define-precheck.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/119-network-qemu-backend-boot.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/120-network-qemu-driver-not-effective.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/121-network-qemu-driver-restore-original.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/123-libvirt-interface-driver-doc-excerpt.txt" + ] }, { "title": "이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가", @@ -1757,10 +1855,14 @@ "studioId": "1a996f8d-b04e-49d2-88ef-4877e21f7c0e", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt" + ] }, { - "title": "Host Nginx 에서 Keycloak 까지 packet 은 실제로 어디를 지나는가", + "title": "외부 요청은 Host DNAT와 Edge Nginx를 거쳐 Keycloak까지 어디를 지나는가", "kind": "question", "slug": "actual-packet-path-nginx-to-keycloak", "readiness": "OPEN", @@ -1788,7 +1890,17 @@ "studioId": "600a2621-f6d8-42df-9629-7db65011545d", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/66-dnat-reconcile-before-packet-capture.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/71-network-packet-path-capture-focused.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/72-network-packet-path-focused-request.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/74-tailscale-postrouting-nat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/75-network-worker-host-capture.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/76-network-kc1-guest-capture.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/77-network-kc2-guest-capture.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/78-network-worker-capture-requests.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/79-network-offload-state.txt" + ] }, { "title": "부하 중 network 가상화가 지연을 바꿀 만큼 호스트 CPU 를 쓰는가", @@ -1819,7 +1931,12 @@ "studioId": "79ac61d6-cbe6-483b-9961-02ca8c02b5c2", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/96-network-host-cpu-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/97-network-host-cpu-under-load.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/98-network-external-load-probes.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/99-network-softirq-cpu-time-under-load.txt" + ] } ], "decision": [] @@ -2146,7 +2263,9 @@ "studioId": "1f76d54b-bb17-4174-8128-0c2d71d4256f", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt" + ] }, { "title": "이 disk image 는 qcow2 인가 RAW 인가, 그리고 Guest 가 보는 크기와 Host 가 실제로 쓰는 크기는 얼마나 다른가", @@ -2176,7 +2295,9 @@ "studioId": "ae69e2e1-1a3b-4ae3-ae2a-572af07b95d7", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt" + ] }, { "title": "이 VM 들의 QEMU disk cache mode 는 무엇인가", @@ -2207,7 +2328,10 @@ "studioId": "480f86ac-86fb-4290-9bf5-584763aa1363", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/51-storage-qemu-cache-runtime.txt" + ] }, { "title": "disk image 는 최종적으로 어느 Host block device 위에 있는가", @@ -2239,7 +2363,9 @@ "studioId": "eead2379-94fe-463a-9e5e-06a01bf2105d", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt" + ] }, { "title": "이 호스트의 I/O Scheduler 는 무엇인가", @@ -2269,7 +2395,9 @@ "studioId": "77aa0188-5c2b-4f47-bda7-7c66b084968d", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/50-storage-backend-state.txt" + ] }, { "title": "VM1 의 storage 부하가 VM2 의 지연을 실제로 밀어 올리는가", @@ -2300,7 +2428,11 @@ "studioId": "ed64d4ff-aa01-48cc-ae68-6a683b025cde", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt" + ] }, { "title": "Guest 의 fsync() 지연과 Host storage 지연은 같이 오르는가", @@ -2334,7 +2466,13 @@ "studioId": "be3c2c58-1ed4-4eae-876a-3114faa61c94", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/82-storage-host-iostat-baseline.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/83-storage-guest-fsync-vs-host-iostat.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/84-storage-cross-vm-contention.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/85-clock-skew-host-guests.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/86-storage-vm2-fsync-isolated-repeats.txt" + ] } ], "decision": [] @@ -2381,7 +2519,7 @@ "evidenceFiles": [] }, { - "title": "5120MB 를 줬는데 353MB 를 쓰고 있었다 — 선언한 양과 실제로 드는 양", + "title": "메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다", "kind": "case", "slug": "declared-memory-and-disk-are-ceilings-not-occupancy", "readiness": "READY", @@ -2393,8 +2531,8 @@ "final/document.md#195-이-부의-출처와-범위", "final/document.md#211-이-부의-출처와-범위" ], - "classification": "제7부가 이 호스트에서 **자원의 양**을 처음 잰 자리다. 제1~4부에는 이 호스트에서 잰 값이 하나도 없고(문서 머리말이 그렇게 선언한다) 제5·6부는 버전·주소·명령까지만 관측했다. **물음은 하나다** — 선언한 양과 실제로 드는 양이 얼마나 다른가. **관측 넷이 같은 답에 닿는다**(observed, 2026-09-10 · `test-server`). ① 메모리 — k3s 만 떠 있고 Keycloak 은 안 올린 상태에서 `kc-lab-1` 은 할당 5120MB 에 실사용 353MB(7%), `kc-lab-2` 는 할당 3120MB 에 실사용 301MB 다. 합계 8240MB 를 할당했는데 실제 점유는 654MB 다. ② 디스크 — 20GB 를 두 장 선언했는데 실제 파일은 `kc-lab-1.qcow2` 1.4GiB, `kc-lab-2.qcow2` 665MiB 이고 바닥 `base.qcow2` 는 `virtual size` 3GiB 에 `disk size` 335MiB 다. 40GB 를 선언해 2.1GB 를 썼다. ③ 철거 — 게스트 셋을 지우니 `df -h /` 가 11G 에서 **7.9G** 로 내려 3.1GB 가 회수됐다(내역은 1.4GB + 665MB + 시드 ISO 셋). ④ 그래서 11,648MB·226GB 짜리 호스트 한 대에서 게스트 세 대가 무리 없이 돈다. **진단** — `virt-install --memory 4096` 으로 만든 `kc-lab-2` 의 할당이 3120 으로 보이는 것이 이 관측의 매듭이다. `dommemstat` 의 `actual` 은 **현재 할당**이지 선언한 상한이 아니고 상한은 `virsh dominfo` 의 `Max memory` 에 있다. 줄어든 원인은 virtio-balloon 회수로 보인다(inferred). **결론** — 선언은 상한이지 점유가 아니다. `free` 의 `available`(6005MB)이 `free`(2599MB)보다 훨씬 큰 것도 같은 이유이고 **VM 을 얼마나 더 띄울 수 있는지는 `free` 가 아니라 `available` 로 본다.** 같은 문장의 세 번째 함정이 `virsh pool-info` 의 `Allocation 7.84 GiB` 인데 그것은 풀이 얹힌 호스트 루트 파일시스템 전체의 사용량이지 VM 만의 사용량이 아니다. **읽을 때의 전제 둘** — 원본이 표기 규약을 스스로 밝혔다(추정값·예상값이 없고 없는 값은 「미측정」이다). 그리고 SSOT 안에 같은 대상의 스냅샷이 두 벌 있다 — §218 은 2026-09-03 값(`RAM 7.4Gi` · `kc-lab-1` `3584M` · 게스트 2대)이고 이 기록은 2026-09-10 값이다. 그 사이에 호스트 RAM 이 8GB→12GB 로 물리 증설되고 게스트 메모리가 재배분됐다(§332). **두 값이 어긋나 보이면 틀린 것이 아니라 다른 날이다.** 중첩 가상화는 켜져 있지만(`nested` 가 `Y`) 이 실험대는 쓰지 않는다 — 시간을 재는 실험에서 측정값을 왜곡하기 때문이다.", - "missing-verification": "**이 호스트 한 대의 한 시점이다.** ① 이 값은 k3s 만 떠 있는 상태의 것이고 Keycloak 2 파드 + PostgreSQL + Redis + Prometheus 가 올라간 뒤의 값은 재지 않았다(미측정). 원본이 §198 에서 그렇게 밝힌다. ② `dommemstat` 의 `actual` 과 `dominfo` 의 `Max memory` 를 **나란히 찍어 보지 않았다**(미측정). 그래서 3120 이 balloon 회수의 결과라는 것은 관측이 아니라 추론이다(inferred). ③ `kc-lab-edge` 의 디스크 크기는 재 두지 않았다(미측정) — 3.1GB 회수 합계에서 역산하면 1GB 안팎이다. ④ 디스크 값은 엣지를 만들기 **전**, k3s 2노드만 있던 시점의 것이라 ③과 시점이 다르다. ⑤ QEMU 프로세스 쪽 RSS 는 이 기록이 재지 않았다 — question:qemu-resident-memory-distribution 이 그것을 받는다. **아직 열려 있는 물음과의 관계** — question:vm-configured-vs-current-memory 가 묻는 세 값(configured · Guest 사용량 · Host resident) 가운데 앞의 둘이 여기서 나왔고 셋째가 비어 있다. question:disk-image-format-and-actual-host-usage 가 묻는 `qemu-img info`·`du`·`ls` 세 값 가운데 `qemu-img info` 와 `ls` 가 나왔고 `du` 가 비어 있다. **둘 다 닫히지 않았다** — 이 기록은 그 물음들에 부분으로 답한 것이고 닫는 것은 그 Question 이 적은 절차다. ⑥ 이 저장소의 `final/evidence/` 에는 이 명령들의 출력 원문이 없다 — 근거가 SSOT 본문의 코드 블록이지 `raw/` 의 파일이 아니다.", + "classification": "제7부가 이 호스트에서 **자원의 양**을 처음 잰 자리다. 제1~4부에는 이 호스트에서 잰 값이 하나도 없고(문서 머리말이 그렇게 선언한다) 제5·6부는 버전·주소·명령까지만 관측했다. **물음은 하나다** — 선언한 양과 실제로 드는 양이 얼마나 다른가. **관측 넷이 같은 답에 닿는다**(observed, 2026-09-10 · `test-server`). ① 메모리 — k3s 만 떠 있고 Keycloak 은 안 올린 상태에서 `kc-lab-1` 은 할당 5120MB 에 실사용 353MB(7%), `kc-lab-2` 는 할당 3120MB 에 실사용 301MB 다. 합계 8240MB 를 할당했는데 실제 점유는 654MB 다. ② 디스크 — 20GB 를 두 장 선언했는데 실제 파일은 `kc-lab-1.qcow2` 1.4GiB, `kc-lab-2.qcow2` 665MiB 이고 바닥 `base.qcow2` 는 `virtual size` 3GiB 에 `disk size` 335MiB 다. 40GB 를 선언해 2.1GB 를 썼다. ③ 철거 — 게스트 셋을 지우니 `df -h /` 가 11G 에서 **7.9G** 로 내려 3.1GB 가 회수됐다(내역은 1.4GB + 665MB + 시드 ISO 셋). ④ 그래서 11,648MB·226GB 짜리 호스트 한 대에서 게스트 세 대가 무리 없이 돈다. **진단** — `virt-install --memory 4096` 으로 만든 `kc-lab-2` 의 할당이 3120 으로 보이는 것이 이 관측의 매듭이다. `dommemstat` 의 `actual` 은 **현재 할당**이지 선언한 상한이 아니고 상한은 `virsh dominfo` 의 `Max memory` 에 있다. 2026-09-10의 3120MB 원인은 당시 검증되지 않았고, 2026-09-21에는 configured/current/actual이 모두 4096MiB여서 과거 값을 balloon 회수로 귀속하지 않는다. **결론** — 선언은 상한이지 점유가 아니다. `free` 의 `available`(6005MB)이 `free`(2599MB)보다 훨씬 큰 것도 같은 이유이고 **VM 을 얼마나 더 띄울 수 있는지는 `free` 가 아니라 `available` 로 본다.** 같은 문장의 세 번째 함정이 `virsh pool-info` 의 `Allocation 7.84 GiB` 인데 그것은 풀이 얹힌 호스트 루트 파일시스템 전체의 사용량이지 VM 만의 사용량이 아니다. **읽을 때의 전제 둘** — 원본이 표기 규약을 스스로 밝혔다(추정값·예상값이 없고 없는 값은 「미측정」이다). 그리고 SSOT 안에 같은 대상의 스냅샷이 두 벌 있다 — §218 은 2026-09-03 값(`RAM 7.4Gi` · `kc-lab-1` `3584M` · 게스트 2대)이고 이 기록은 2026-09-10 값이다. 그 사이에 호스트 RAM 이 8GB→12GB 로 물리 증설되고 게스트 메모리가 재배분됐다(§332). **두 값이 어긋나 보이면 틀린 것이 아니라 다른 날이다.** 중첩 가상화는 켜져 있지만(`nested` 가 `Y`) 이 실험대는 쓰지 않는다 — 시간을 재는 실험에서 측정값을 왜곡하기 때문이다.", + "missing-verification": "**이 호스트 한 대의 한 시점이다.** ① 2026-09-10 값은 k3s만 떠 있던 historical snapshot이다. 2026-09-21에는 재구축된 Keycloak·관측 스택 상태에서 configured/current memory와 QEMU RSS를 다시 측정했다. ② 2026-09-21에는 `dommemstat`과 `dominfo`를 나란히 읽어 `kc-lab-2`가 4096MiB로 일치함을 확인했다. 다만 2026-09-10의 3120MB가 왜 만들어졌는지는 여전히 UNVERIFIED다. ③ 2026-09-10 철거 시점의 `kc-lab-edge` 디스크 크기는 직접 재지 않아 당시 역산값은 추정이었다. 2026-09-21에는 별도 current snapshot으로 edge qcow2 virtual 10GiB / disk size 약 345MiB를 직접 측정했다. ④ 디스크 값은 엣지를 만들기 **전**, k3s 2노드만 있던 시점의 것이라 ③과 시점이 다르다. ⑤ 2026-09-21에는 QEMU RSS를 다시 측정해 대략 `kc-lab-1=3.73GiB`, `kc-lab-2=2.91GiB`, edge=`0.84GiB`를 기록했다. 이 값은 시점값이다. **아직 열려 있는 물음과의 관계** — question:vm-configured-vs-current-memory 가 묻는 세 값(configured · Guest 사용량 · Host resident) 가운데 앞의 둘이 여기서 나왔고 셋째가 비어 있다. question:disk-image-format-and-actual-host-usage 가 묻는 `qemu-img info`·`du`·`ls` 세 값 가운데 `qemu-img info` 와 `ls` 가 나왔고 `du` 가 비어 있다. 두 Question은 2026-09-21 재검증으로 RESOLVED됐다. historical 2026-09-10 값은 덮어쓰지 않고 current snapshot과 분리해서 유지한다. ⑥ 이 저장소의 `final/evidence/` 에는 이 명령들의 출력 원문이 없다 — 근거가 SSOT 본문의 코드 블록이지 `raw/` 의 파일이 아니다.", "relations": [ "question:vm-configured-vs-current-memory", "question:disk-image-format-and-actual-host-usage", @@ -2410,7 +2548,10 @@ "studioId": "", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/61-storage-image-size-force-share.txt" + ] } ], "concept": [ @@ -2914,7 +3055,10 @@ "studioId": "", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/111-virsh-save-5g.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/112-virsh-save-4g.txt" + ] }, { "title": "WiFi 전용 호스트에서 대용량 qcow2 를 옮기는 데 실제로 몇 시간이 걸리는가", @@ -2943,7 +3087,9 @@ "studioId": "", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/111-qcow2-wifi-transfer-edge.txt" + ] }, { "title": "이 실험대의 certbot 은 HTTP-01 로 받고 있는가 DNS-01 로 받고 있는가", @@ -2991,8 +3137,8 @@ "final/document.md#180-nftables-는-앞-체인의-accept-로-뒤-체인의-reject-를-막지-못한다" ], "decision-evidence": "§178 가 이 실험대의 현재 상태를 observed 로 적었다 — `test-server`(Arch Linux, i5-1135G7 논리 코어 8, RAM 11,648MiB, QEMU 11.1.1 · libvirt 12.7.0) 위에 Debian 12 genericcloud 게스트 3대가 있고 그중 1대가 엣지(nginx·certbot), 나머지 둘이 k3s 노드다. 즉 바뀐 구성이 이미 서 있다. 설정 원본은 §178 가 `../source/deploy/lab/edge/` 로, 구축 순서는 `../source/docs/guides/` 의 기반 7단계 가이드로 가리킨다. §179 은 전/후 경로를 나란히 적었다 — 전은 `tailnet:443 ─▶ [호스트 nginx] ─────────────▶ Traefik(게스트 .11/.12)`, 후는 `tailnet:443 ─▶ [호스트 커널 DNAT] ─▶ [엣지 nginx(.10)] ─▶ Traefik(.11/.12)` 다. 이 저장소에 남은 것은 그 문서와 설정 원본이고, 전환 전후를 같은 부하로 잰 측정은 없다.", - "grounds": "§179 이 이유를 직접 적었다 — 「바꾼 이유는 성능이 아니라 더러워지는 층의 격리다」. nginx 설정·인증서·certbot·deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. 성능을 근거로 삼지 않은 이유도 같은 절이 댄다 — L7 홉 수는 전후 모두 2홉 그대로이고(observed) 늘어난 것은 커널이 하는 L4 전달 한 번뿐이라 `X-Forwarded-*` 계약이 그대로 성립한다. 이 결정은 무엇을 빠르게 하려는 것이 아니라 무엇을 지울 수 있게 하려는 것이다. 앞선 제약은 하드웨어가 걸었다 — §178 가 적었듯 이 호스트에는 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT(`virbr0`) + 호스트 진입 구조를 택했다. 브리지였다면 밖에서 게스트로 바로 들어오므로 아래 감수한 비용 가운데 2·3번이 생기지 않는다. SSOT 가 적지 않은 대안을 지어내지 않는다 — 비교된 것은 「호스트에 두기」와 「게스트로 옮기기」 둘이고, 브리지 대 NAT 는 고른 것이 아니라 이더넷이 없어 하나만 남은 것이다.", - "classification": "감수한 비용은 §179 의 표가 일곱 줄로 적었고 그 절이 스스로 둘로 갈랐다(★, inferred). 구조적으로 생긴 것은 둘이다 — (2) **DNAT**: 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. (3) **libvirt 방화벽에 구멍**: 호스트→게스트는 OUTPUT 경로라 필터를 안 탔지만 밖→게스트는 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이라는 것이 이 이동의 본질이다. 같은 계열의 가드레일이 (4) SNAT 금지 명시다 — L4 를 한 번 더 타면서 masquerade 를 붙이고 싶어지는데 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 본다. 나머지 넷은 배포판이 달라서 생긴 잡무다 — (1) nginx 설치(새 게스트의 cloud-init 은 `curl`·`nftables` 만 깐다), (5) `sites-available` 관례(호스트는 Arch 라 그 디렉터리가 없어 `nginx.conf` 에 include 를 직접 넣었고 게스트는 Debian 이라 기본으로 있다), (6) nginx 버전 차이(Arch 1.30 vs Debian 12 의 1.22, `http2 on;` 지시어가 1.25.1 이상이다), (7) certbot·인증서·갱신 훅이 게스트로(인증서를 읽는 주체가 nginx 이기 때문이다). 이 결정이 실제로 얼마를 물렸는지는 case:nftables-accept-did-not-stop-the-libvirt-reject 가 보여 준다 — 3번을 뚫는 것이 이 구축에서 가장 오래 막힌 지점이었다.", + "grounds": "§179 이 이유를 직접 적었다 — 「바꾼 이유는 성능이 아니라 더러워지는 층의 격리다」. nginx 설정·인증서·certbot·deploy 훅은 자주 갈아엎는 것들인데 호스트에 있으면 초기화가 불가능하고, 엣지 장애 실험이 SSH 까지 위험하게 만든다. 성능을 근거로 삼지 않은 이유도 같은 절이 댄다 — L7 홉 수는 전후 모두 2홉 그대로이고(observed) 늘어난 것은 커널이 하는 L4 전달 한 번이다. 그러나 2026-09-21 packet capture에서 Tailscale MASQUERADE가 edge 앞의 source를 `192.168.122.1`로 바꾸는 것이 확인돼, 홉 수가 같다는 사실만으로 `X-Forwarded-*` 계약이 그대로 성립하지는 않는다. 이 결정은 무엇을 빠르게 하려는 것이 아니라 무엇을 지울 수 있게 하려는 것이다. 앞선 제약은 하드웨어가 걸었다 — §178 가 적었듯 이 호스트에는 이더넷 없이 WiFi 만 있어 브리지를 못 쓰고 libvirt NAT(`virbr0`) + 호스트 진입 구조를 택했다. 브리지였다면 밖에서 게스트로 바로 들어오므로 아래 감수한 비용 가운데 2·3번이 생기지 않는다. SSOT 가 적지 않은 대안을 지어내지 않는다 — 비교된 것은 「호스트에 두기」와 「게스트로 옮기기」 둘이고, 브리지 대 NAT 는 고른 것이 아니라 이더넷이 없어 하나만 남은 것이다.", + "classification": "감수한 비용은 §179 의 표가 일곱 줄로 적었고 그 절이 스스로 둘로 갈랐다(★, inferred). 구조적으로 생긴 것은 둘이다 — (2) **DNAT**: 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. (3) **libvirt 방화벽에 구멍**: 호스트→게스트는 OUTPUT 경로라 필터를 안 탔지만 밖→게스트는 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이라는 것이 이 이동의 본질이다. (4)는 source rewrite 확인이다 — `lab_edge` 테이블 자체에는 SNAT가 없지만 2026-09-21 현재 Tailscale `ts-postrouting` MASQUERADE 때문에 edge가 client를 `192.168.122.1`로 본다. 따라서 custom DNAT 테이블만 보고 원본 IP 보존을 판정하지 않는다. 나머지 넷은 배포판이 달라서 생긴 잡무다 — (1) nginx 설치(새 게스트의 cloud-init 은 `curl`·`nftables` 만 깐다), (5) `sites-available` 관례(호스트는 Arch 라 그 디렉터리가 없어 `nginx.conf` 에 include 를 직접 넣었고 게스트는 Debian 이라 기본으로 있다), (6) nginx 버전 차이(Arch 1.30 vs Debian 12 의 1.22, `http2 on;` 지시어가 1.25.1 이상이다), (7) certbot·인증서·갱신 훅이 게스트로(인증서를 읽는 주체가 nginx 이기 때문이다). 이 결정이 실제로 얼마를 물렸는지는 case:nftables-accept-did-not-stop-the-libvirt-reject 가 보여 준다 — 3번을 뚫는 것이 이 구축에서 가장 오래 막힌 지점이었다.", "relations": [ "case:nftables-accept-did-not-stop-the-libvirt-reject", "reference:verify-a-build-guide-in-execution-order", @@ -3170,7 +3316,7 @@ ] }, { - "title": "cloud-init 이 안 도는 원인은 넷인데 증상은 「SSH 가 안 붙는다」 하나였다", + "title": "SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유", "kind": "case", "slug": "cloud-init-failures-all-look-like-ssh-refused", "readiness": "READY", @@ -3296,7 +3442,7 @@ "final/document.md#184-이-부의-출처와-범위" ], "known": "§184 가 이 부의 검증 방식을 갈라 적었다(observed) — 읽기 전용 확인은 돌아가는 실험대에서 실제로 실행해 출력을 그대로 실었다. **만드는 명령은 다르다.** VM 을 다시 만들거나 k3s 를 다시 깔면 지금 돌고 있는 실험대가 없어지므로, 그 명령들은 구축할 때 쓴 것을 그대로 옮기고 결과 상태를 확인하는 것으로 대신했다. 그래서 §186~§192 의 생성 명령은 「그때 이렇게 쳤다」까지이고 「지금 다시 쳐도 같은 상태가 된다」는 확인되지 않았다(unknown). §194 가 그것을 첫 물음으로 남겼다. 다시 세울 때 필요한 것 가운데 일부는 저장소에 없다 — 매니페스트 둘(`keycloak-cluster.yaml`·`observability.yaml`)과 cloud-init 템플릿 `kc-lab.yaml.example` 이 `source/` 에 반입되지 않았고, 가이드가 화면에 옮겨 적은 만큼만 있다. 세울 대상 자체는 적혀 있다 — 7단계와 단계마다의 통과 조건(`virsh list` 가 돈다 · 세 게스트에 SSH 가 붙는다 · `kubectl get nodes` 에 둘 다 Ready · 밖에서 요청이 파드까지 닿는다 · `https://` 가 열리고 체인이 4단계 · 관리 콘솔 로그인 · `vendor_cluster_size` 가 2). 그리고 §182 가 가이드를 순서대로 따라가며 나온 결함 여섯을 이미 적었는데, reference:verify-a-build-guide-in-execution-order 는 그 규칙으로 가이드를 고친 뒤 **처음부터 다시 따라가 본 기록이 아직 없다**고 스스로 밝혔다.", - "unknown": "지금의 가이드 7단계를 빈 호스트에서 처음부터 순서대로 쳤을 때 어느 단계에서 멈추는지, 멈춘다면 그것이 §182 가 이미 센 여섯 중 하나인지 그때는 안 보이던 새 결함인지. 그리고 `source/` 에 없는 매니페스트 둘과 cloud-init 템플릿 없이 02·05·06 이 문서만으로 서는지. 다시 선 실험대가 지금과 같은 상태인지를 무엇으로 판정할 것인가도 정해져 있지 않다 — 단계마다의 통과 조건 일곱이 같은 값을 내는 것으로 충분한지, 판 번호(libvirt `12.7.0` · `QEMU emulator version 11.1.1` · `v1.36.4+k3s1` · `nginx/1.22.1`)까지 같아야 하는지.", + "unknown": "지금의 가이드 7단계를 빈 호스트에서 처음부터 순서대로 쳤을 때 어느 단계에서 멈추는지, 멈춘다면 그것이 §182 가 이미 센 여섯 중 하나인지 그때는 안 보이던 새 결함인지. 그리고 `source/` 에 없는 매니페스트 둘과 cloud-init 템플릿 없이 02·05·06 이 문서만으로 서는지. 다시 선 실험대가 지금과 같은 상태인지를 무엇으로 판정할 것인가도 정해져 있지 않다 — 단계마다의 통과 조건 일곱과 topology/behavior가 같은지를 우선 본다. `v1.36.4+k3s1`은 설치 명령에서 pin하지만, 현재 절차가 exact version을 고정하지 않는 libvirt `12.7.0` · QEMU `11.1.1` · nginx `1.22.1`은 provenance로 기록하고 숫자 자체를 재현 성공의 필수 동일값으로 요구하지 않는다.", "next-verification": "실험대를 멈추지 않고 재려면 대상이 따로 있어야 한다 — 이 호스트가 아닌 다른 기계, 또는 이 호스트에 게스트 세 대를 새 이름으로 한 벌 더 세우는 것이다. 뒤엣것은 §187 이 적은 배치(호스트 RAM 11,648MiB 에 세 게스트 합 10240MB)에서는 메모리가 모자라므로 게스트 크기를 줄여 돌리고 그 사실을 함께 적는다. 순서는 가이드 그대로 00 부터 06 까지이고, 각 단계의 「이 단계가 끝나면」 명령을 치고 출력을 `final/evidence/raw/` 에 원문으로 남긴다 — `meta/` 에 명령·cwd·실행 시각·종료 코드를 적는다. 막힌 자리마다 무엇이 없어서 막혔는지(리소스인가 셸인가 명령 자체인가)를 §182 의 두 축으로 분류해 적는다. 매니페스트 둘과 cloud-init 템플릿은 먼저 `source/` 로 반입해 `final/` 에 넣고 시작한다 — 없으면 이 검증이 재는 것이 「가이드가 서는가」가 아니라 「빠진 파일을 다시 만들 수 있는가」가 된다.", "decision-criterion": "00 부터 06 까지 통과 조건 일곱이 전부 같은 값을 내면 「가이드만으로 이 실험대가 다시 선다」고 적고 닫는다. 그러면 question:qcow2-transfer-time-over-wifi 가 재는 이동 시간과 견줄 대상이 생긴다 — 옮기는 것이 빠른지 다시 세우는 것이 빠른지가 그때 정해지고, 옮기는 것이 비현실적이라면 이 실험대의 유일한 복원 경로가 문서가 된다. 어느 단계에서든 막히면 그 자리를 §182 의 결함 표에 행으로 더하고 reference:verify-a-build-guide-in-execution-order 의 「규칙 자체가 결함을 막아 냈다는 관측은 없다」를 그 결과로 바꾼다 — 막힌 자리가 그 규칙이 잡는 두 축(시점·셸) 안이면 규칙이 통한 것이고, 밖이면 축이 모자란 것이라 규칙을 고친다. 어느 쪽이든 §186~§192 의 생성 명령에 붙은 unknown 이 그때 확인 또는 반증으로 바뀐다.", "relations": [ @@ -3312,7 +3458,15 @@ "studioId": "", "assets": [], "assetFiles": [], - "evidenceFiles": [] + "evidenceFiles": [ + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/04-worker-teardown.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/05-setup00-host-prep-recheck.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/09-setup01-worker-verify.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/19-certbot-dryrun.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/24-setup05-core-verification.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/29-setup06-final-queries.txt", + "../../../final/evidence/raw/2026-09-21-test-server-revalidation/39-setup07-postrecovery-cluster.txt" + ] } ], "decision": [] @@ -3332,12 +3486,12 @@ "readiness": "READY", "source": [ "final/document.md#261-진입점-자체가-죽으면-로드밸런서의-재귀-문제", - "final/document.md#275-호스트-nginx와-traefik은-무엇이-다른가-둘-다-필요한-이유", + "final/document.md#275-엣지-nginx와-traefik은-무엇이-다른가-둘-다-필요한-이유", "final/document.md#257-리버스-프록시와-upstream", "final/document.md#258-왜-tls를-끊어서-내용을-보는가" ], - "basis-version": "이 실험대의 2026-09-03 배치 기준이다 — 호스트 nginx(Arch · 1.30.4)가 TLS 를 끊고 게스트 두 대의 Traefik(k3s v1.36.4 기본 ingress)으로 평문 HTTP 를 넘긴다. 엣지가 게스트로 옮겨진 뒤에도 L7 홉 수는 2 그대로다(§179). ALB/NLB 대조는 AWS 의 두 제품을 기준으로 쓴 것이고 이 실험대에서 관측한 것이 아니다. VRRP 절도 keepalived 일반 동작이고 이 실험대에 구성하지 않았다.", - "classification": "**호스트 nginx 는 이 실험대의 단일 장애점이다.** 숨길 이유가 없고 물리 머신도 한 대이므로 그것 역시 SPOF 다 — 알려진 한계로 남긴다. 이 글은 그 사실에서 시작해 셋을 푼다. **① ALB 와 NLB 는 계층이 다른 것이 아니다.** 둘 다 클러스터 밖의 로드밸런서이고 같은 자리를 놓고 고르는 두 선택지라 Ingress Controller 와 대응되는 관계가 아니다. **진입점 자리는 하나이고 L7 처리는 어딘가에서 반드시 한 번 일어난다** — 배치의 차이는 진입점과 L7 처리기가 같은 장비인가 다른 장비인가뿐이다. ALB 패턴은 하나가 두 역할을 겸하고, NLB 패턴은 진입점을 L4 로 두고 L7 처리를 클러스터 안으로 옮긴다. **② 이 실험대와 운영은 둘 중 어느 쪽도 아닌 L7 두 겹이다.** 밖의 nginx 가 TLS 를 끊고 `X-Forwarded-*` 를 넣으므로 ALB 에 가까운데 그 뒤에 Traefik 이 또 L7 이다. **두 겹을 쌓는 이유는 역할이 다르기 때문**이다 — nginx 는 **고정** IP:포트를 알고 사람이 파일을 고쳐 reload 하며 「어느 노드로」를 정하고, Traefik 은 API 서버를 감시하며 파드 생성·소멸을 따라가고 「어느 파드로」를 정한다. nginx 는 클러스터의 존재를 모르고 파드 IP 가 바뀌는 것도 모른다. **Traefik 만으로는 부족한 이유**가 여기서 나온다 — servicelb 덕에 두 노드의 80 에 다 바인딩되지만 **브라우저는 어느 노드로 가야 할지 모르고** 그 노드가 죽으면 그 IP 도 죽는다. Traefik 은 노드 안에서 파드로 나눠 주지만 노드들 사이에서는 나눠 주지 못한다. 반대로 nginx 만 쓰면 Ingress 리소스를 못 쓰고 파드 IP 가 바뀔 때마다 수동 수정이다. **그리고 두 경우 모두 운영 구조와 달라진다** — 운영이 `host nginx → k3s(Traefik)` 이므로 실험대도 그 2홉을 복제해야 `X-Forwarded-*` 신뢰 경계 결론이 그대로 이전된다. 이것이 결정적인 이유다. **③ 진입점을 이중화하려 하면 재귀가 끝나지 않는다.** 한 머신 안에서 nginx 를 여럿 띄우는 것은 의미가 없다 — nginx 는 이미 master 1 + worker N 구조로 리스닝 소켓을 공유하고, 같은 머신에 인스턴스를 늘려도 그 머신이 죽으면 전부 죽어 가용성이 늘지 않는다. 진짜 이중화는 머신을 늘리는 것인데 그러면 **「어느 nginx 로 갈지는 누가 정하는가」**가 새로 생기고 앞에 LB 를 또 두면 그것이 SPOF 다. 실무는 이 재귀를 소프트웨어가 아니라 **네트워크 계층의 장치**로 끊는다 — VIP + VRRP(keepalived)는 **선택자가 없고 IP 자체가 이동한다**(MASTER 가 죽으면 BACKUP 이 VIP 를 가져가고 gratuitous ARP 로 스위치의 MAC 테이블을 갱신한다. 같은 IP 인데 트래픽이 다른 장비로 흐른다), DNS 다중 A 레코드는 클라이언트가 고르고, 애니캐스트는 라우터가 고르고, 클라우드 LB 는 **재귀를 AWS 가 대신 풀어 준 것**이지 재귀가 없는 것이 아니다. **이 실험대는 이중화하지 않는다** — 물리 머신이 한 대라 keepalived 를 구성해도 그 머신이 죽으면 끝이고, 검증 대상은 Keycloak 의 세션·토큰이지 LB 가용성이 아니다. 다만 Traefik 은 이미 두 노드에 떠 있으므로 「노드 하나를 죽이고 호스트 nginx 의 upstream 이 어떻게 반응하는지」는 그대로 관찰할 수 있고 그것이 이 실험대가 다루는 범위다. **거꾸로 뽑았다** — decision:edge-nginx-moved-into-a-guest-vm 의 근거가 「L7 홉 수는 전후 모두 2홉 그대로」인데 왜 2홉인지가 그 기록에 없고, reference:overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it 는 「경계」가 그 둘 중 어디인지를 전제로 삼는다. **`keycloak-session-store` 와 겹치지 않는다** — 저쪽은 세션이 어디에 있는가를 재고 이쪽은 요청이 어느 층을 지나는가를 말한다.", + "basis-version": "2026-09-21 재검증 배치 기준이다 — `kc-lab-edge`의 nginx 1.22.1(Debian 12, apt 설치 관측값)이 TLS를 끊고 worker 두 대의 Traefik(k3s v1.36.4+k3s1)으로 평문 HTTP를 넘긴다. nginx 1.22.1은 현재 관측값이지 설치 명령의 exact pin은 아니다. L7 홉 수는 2다. ALB/NLB 대조는 AWS 의 두 제품을 기준으로 쓴 것이고 이 실험대에서 관측한 것이 아니다. VRRP 절도 keepalived 일반 동작이고 이 실험대에 구성하지 않았다.", + "classification": "**`kc-lab-edge`의 nginx는 이 실험대의 단일 L7 진입점이다.** 물리 머신도 한 대이므로 전체 실험대 역시 단일 물리 장애 도메인이다 — 알려진 한계로 남긴다. 이 글은 그 사실에서 시작해 셋을 푼다. **① ALB 와 NLB 는 계층이 다른 것이 아니다.** 둘 다 클러스터 밖의 로드밸런서이고 같은 자리를 놓고 고르는 두 선택지라 Ingress Controller 와 대응되는 관계가 아니다. **진입점 자리는 하나이고 L7 처리는 어딘가에서 반드시 한 번 일어난다** — 배치의 차이는 진입점과 L7 처리기가 같은 장비인가 다른 장비인가뿐이다. ALB 패턴은 하나가 두 역할을 겸하고, NLB 패턴은 진입점을 L4 로 두고 L7 처리를 클러스터 안으로 옮긴다. **② 이 실험대와 운영은 둘 중 어느 쪽도 아닌 L7 두 겹이다.** 밖의 nginx 가 TLS 를 끊고 `X-Forwarded-*` 를 넣으므로 ALB 에 가까운데 그 뒤에 Traefik 이 또 L7 이다. **두 겹을 쌓는 이유는 역할이 다르기 때문**이다 — nginx 는 **고정** IP:포트를 알고 사람이 파일을 고쳐 reload 하며 「어느 노드로」를 정하고, Traefik 은 API 서버를 감시하며 파드 생성·소멸을 따라가고 「어느 파드로」를 정한다. nginx 는 클러스터의 존재를 모르고 파드 IP 가 바뀌는 것도 모른다. **Traefik 만으로는 부족한 이유**가 여기서 나온다 — servicelb 덕에 두 노드의 80 에 다 바인딩되지만 **브라우저는 어느 노드로 가야 할지 모르고** 그 노드가 죽으면 그 IP 도 죽는다. Traefik 은 노드 안에서 파드로 나눠 주지만 노드들 사이에서는 나눠 주지 못한다. 반대로 nginx 만 쓰면 Ingress 리소스를 못 쓰고 파드 IP 가 바뀔 때마다 수동 수정이다. 현재 실험대는 `edge nginx → Traefik`의 두 L7 홉을 유지한다. 다만 2026-09-21 재검증에서 Tailscale MASQUERADE가 edge 앞의 source를 바꾸는 것이 확인됐으므로, 과거 `host nginx → Traefik`의 header 결론을 현재 배치에 자동으로 이전하지 않는다. **③ 진입점을 이중화하려 하면 재귀가 끝나지 않는다.** 한 머신 안에서 nginx 를 여럿 띄우는 것은 의미가 없다 — nginx 는 이미 master 1 + worker N 구조로 리스닝 소켓을 공유하고, 같은 머신에 인스턴스를 늘려도 그 머신이 죽으면 전부 죽어 가용성이 늘지 않는다. 진짜 이중화는 머신을 늘리는 것인데 그러면 **「어느 nginx 로 갈지는 누가 정하는가」**가 새로 생기고 앞에 LB 를 또 두면 그것이 SPOF 다. 실무는 이 재귀를 소프트웨어가 아니라 **네트워크 계층의 장치**로 끊는다 — VIP + VRRP(keepalived)는 **선택자가 없고 IP 자체가 이동한다**(MASTER 가 죽으면 BACKUP 이 VIP 를 가져가고 gratuitous ARP 로 스위치의 MAC 테이블을 갱신한다. 같은 IP 인데 트래픽이 다른 장비로 흐른다), DNS 다중 A 레코드는 클라이언트가 고르고, 애니캐스트는 라우터가 고르고, 클라우드 LB 는 **재귀를 AWS 가 대신 풀어 준 것**이지 재귀가 없는 것이 아니다. **이 실험대는 이중화하지 않는다** — 물리 머신이 한 대라 keepalived 를 구성해도 그 머신이 죽으면 끝이고, 검증 대상은 Keycloak 의 세션·토큰이지 LB 가용성이 아니다. 다만 Traefik 은 이미 두 노드에 떠 있으므로 「worker 하나를 죽이고 edge nginx의 upstream이 어떻게 반응하는지」는 관찰할 수 있고 그것이 이 실험대가 다루는 범위다. **거꾸로 뽑았다** — decision:edge-nginx-moved-into-a-guest-vm 의 근거가 「L7 홉 수는 전후 모두 2홉 그대로」인데 왜 2홉인지가 그 기록에 없고, reference:overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it 는 「경계」가 그 둘 중 어디인지를 전제로 삼는다. **`keycloak-session-store` 와 겹치지 않는다** — 저쪽은 세션이 어디에 있는가를 재고 이쪽은 요청이 어느 층을 지나는가를 말한다.", "relations": [ "decision:edge-nginx-moved-into-a-guest-vm", "reference:overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it", @@ -3372,7 +3526,7 @@ "final/document.md#207-lab-edge-dnat-nft-dnat-파일이-자기-안에-적어-둔-네-가지", "final/document.md#206-이-부의-출처와-범위" ], - "classification": "**규칙** — 맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For` 를 **버리고 자기가 본 주소로 덮어쓴다.** nginx 에서는 `proxy_set_header X-Forwarded-For $remote_addr;` 이고 `$proxy_add_x_forwarded_for` 가 아니다. 설정 정본이 그 줄 위에 이유를 적어 두었다 — 「$remote_addr, not $proxy_add_x_forwarded_for. This is the trust boundary: a client-supplied X-Forwarded-For must be discarded, not extended, or nothing downstream can rely on the value.」 **왜 그런가** — 둘의 차이는 클라이언트가 보낸 값을 사슬 앞에 남기느냐 버리느냐다. 덧붙이면 **위조된 값이 사슬에 남고, 그러면 뒤쪽의 어느 것도 그 헤더를 근거로 쓸 수 없다.** 헤더 자체는 누구나 보낼 수 있는 평범한 HTTP 헤더라 값을 믿게 만드는 것은 헤더가 아니라 **그 값을 누가 썼는가**이고, 그 「누가」를 하나로 만드는 것이 이 규칙이다. **커널 쪽에도 같은 계약의 절반이 있다** — 호스트의 DNAT 파일이 「DNAT only, never SNAT」을 적고 이유를 붙였다. masquerade 를 걸면 출발지가 다시 쓰여 엣지가 **모든 클라이언트를 `192.168.122.1` 로 보게 되고**, 그러면 이 실험대가 재는 `X-Forwarded-For` 계약이 **조용히 무효가 된다.** SNAT 없이도 응답이 돌아오는 것은 게스트의 기본 경로가 호스트라 응답이 그 자리를 다시 지나고 conntrack 이 변환을 알아서 되돌리기 때문이다. 즉 **경계 앞에서는 출발지를 바꾸지 않고, 경계에서는 클라이언트가 준 값을 버린다** — 둘이 한 계약이다. **이 규칙이 이 저장소에 없던 것이다**(observed) — §206 이 설정 원본의 주석 59줄을 대조하며 「둘은 이 저장소 어디에도 없다」고 센 둘 중 하나가 이것이다. §189·§190 은 그 줄을 싣기만 하고 왜 그 형태인지를 적지 않았다.", + "classification": "**규칙** — 맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For` 를 **버리고 자기가 본 주소로 덮어쓴다.** nginx 에서는 `proxy_set_header X-Forwarded-For $remote_addr;` 이고 `$proxy_add_x_forwarded_for` 가 아니다. 설정 정본이 그 줄 위에 이유를 적어 두었다 — 「$remote_addr, not $proxy_add_x_forwarded_for. This is the trust boundary: a client-supplied X-Forwarded-For must be discarded, not extended, or nothing downstream can rely on the value.」 **왜 그런가** — 둘의 차이는 클라이언트가 보낸 값을 사슬 앞에 남기느냐 버리느냐다. 덧붙이면 **위조된 값이 사슬에 남고, 그러면 뒤쪽의 어느 것도 그 헤더를 근거로 쓸 수 없다.** 헤더 자체는 누구나 보낼 수 있는 평범한 HTTP 헤더라 값을 믿게 만드는 것은 헤더가 아니라 **그 값을 누가 썼는가**이고, 그 「누가」를 하나로 만드는 것이 이 규칙이다. network path는 별도 조건이다 — 우리 `lab_edge` DNAT 파일에는 SNAT가 없지만 2026-09-21 실제 capture에서는 Tailscale `ts-postrouting` MASQUERADE 때문에 edge가 source를 `192.168.122.1`로 봤다. 따라서 **custom DNAT 테이블에 SNAT가 없다는 사실과 end-to-end source 보존은 같은 주장이 아니다.** 신뢰 경계에서 client-supplied header를 버리는 규칙은 유지하되, `$remote_addr`가 원본 client IP인지 여부는 앞단 네트워크를 따로 검증한다. **이 규칙이 이 저장소에 없던 것이다**(observed) — §206 이 설정 원본의 주석 59줄을 대조하며 「둘은 이 저장소 어디에도 없다」고 센 둘 중 하나가 이것이다. §189·§190 은 그 줄을 싣기만 하고 왜 그 형태인지를 적지 않았다.", "scope": "**신뢰 경계에 서 있는 맨 바깥 프록시 한 대**에 적용한다 — 이 실험대에서는 엣지 게스트의 nginx 이고, 클라우드라면 ALB 가 그 자리다. 경계가 어디인지는 「그 앞에 우리가 통제하지 않는 것이 있는가」로 가른다. 대상 헤더는 `X-Forwarded-For` 뿐 아니라 `X-Forwarded-Proto`·`X-Forwarded-Host` 를 함께 본다 — 셋 다 관례적 헤더이고 클라이언트가 임의로 보낼 수 있다. **적용 시점** — 설정을 처음 쓸 때가 아니라 **프록시를 한 겹 더 넣거나 옮길 때**가 이 규칙이 실제로 쓰이는 자리다. 이 실험대가 엣지를 호스트에서 게스트로 옮겼을 때 경계가 옮겨 갔고, 공개 터널을 앞에 붙였다면 경계가 Cloudflare 엣지로 한 번 더 옮겨 갔을 것이다(그래서 decision:no-public-tunnel-because-a-third-hop-pollutes-the-measurement 가 그것을 기각했다).", "exceptions": "**경계 안쪽의 두 번째 홉은 반대다** — 이 실험대의 Traefik 처럼 신뢰하는 프록시 뒤에 서는 것은 앞이 쓴 값을 **이어받아야** 하고 거기서 덮어쓰면 원래 클라이언트 주소가 사라진다. 그래서 `$proxy_add_x_forwarded_for` 가 틀린 값이 아니라 **자리가 정해져 있는 값**이다 — 경계에서 쓰면 위조를 통과시키고 경계 안에서 안 쓰면 주소를 잃는다. **L4 통과 구성에는 적용되지 않는다** — NLB 처럼 TCP 를 그대로 흘리면 원본 IP 가 보존되어 헤더가 아예 필요 없고, 그때 쓰는 것은 PROXY protocol 이라 이 규칙의 대상이 아니다. **경계 앞에 CDN 이나 터널이 있으면 그 공급자의 헤더가 정본이 된다** — Cloudflare 라면 `CF-Connecting-IP` 이고, 그때는 이 규칙을 그 헤더에 대해 다시 세워야 한다. **이 규칙만으로 신뢰가 완성되지 않는다** — 경계 프록시가 아닌 경로로 뒤쪽에 직접 닿을 수 있으면 헤더를 어떻게 쓰든 소용이 없다. 그 경로를 막는 것은 방화벽과 네트워크 배치의 일이고 이 실험대에서는 게스트가 libvirt NAT 뒤에 있는 것이 그 역할을 한다.", "relations": [ @@ -6073,7 +6227,7 @@ "sourceRefs": [ "final/document.md#179-엣지를-물리-호스트에서-vm-으로-옮기면-무엇이-새로-필요해지나" ], - "summary": "L7 홉 수는 전후 모두 2홉 그대로이고 늘어난 것은 커널이 하는 L4 전달 한 번뿐이라 `X-Forwarded-*` 계약이 그대로 성립한다(observed)", + "summary": "L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널 L4 전달 한 번이다. 다만 2026-09-21에는 Tailscale MASQUERADE로 edge 앞 source가 `192.168.122.1`로 rewrite돼 `X-Forwarded-*`의 원본 client IP 계약은 그대로 성립하지 않았다(observed)", "disposition": "MERGE_INTO", "dispositionReview": "CONFIRMED", "target": "decision:edge-nginx-moved-into-a-guest-vm", @@ -6085,7 +6239,7 @@ "sourceRefs": [ "final/document.md#179-엣지를-물리-호스트에서-vm-으로-옮기면-무엇이-새로-필요해지나" ], - "summary": "이동으로 새로 필요해진 일곱 — nginx 설치 · DNAT · libvirt 방화벽에 구멍 · SNAT 금지 명시 · `sites-available` 관례 · nginx 버전 차이(Arch 1.30 vs Debian 12 의 1.22, `http2 on;` 지시어가 1.25.1 이상) · certbot 과 갱신 훅의 이전", + "summary": "이동으로 새로 필요해진 일곱 — nginx 설치 · DNAT · libvirt 방화벽에 구멍 · 전체 netfilter 경로의 source rewrite 확인 · `sites-available` 관례 · nginx 버전 차이(관측값 Arch 1.30 vs Debian 12 의 1.22) · certbot 과 갱신 훅의 이전", "disposition": "MERGE_INTO", "dispositionReview": "CONFIRMED", "target": "decision:edge-nginx-moved-into-a-guest-vm", @@ -6097,7 +6251,7 @@ "sourceRefs": [ "final/document.md#179-엣지를-물리-호스트에서-vm-으로-옮기면-무엇이-새로-필요해지나" ], - "summary": "L4 를 한 번 더 태우면서 masquerade 를 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 보게 되므로 SNAT 를 붙이지 않는다", + "summary": "우리 `lab_edge` DNAT 테이블에는 SNAT를 두지 않는다. 그러나 2026-09-21 실제 경로에서는 Tailscale `ts-postrouting` MASQUERADE가 source를 `192.168.122.1`로 바꿨으므로, custom table의 SNAT 유무와 end-to-end source 보존을 분리해서 확인한다", "disposition": "MERGE_INTO", "dispositionReview": "CONFIRMED", "target": "decision:edge-nginx-moved-into-a-guest-vm", @@ -6410,7 +6564,7 @@ "final/document.md#186-단계-00-lab-host-가상화-준비", "final/document.md#194-이-부에서-파생될-open-question" ], - "summary": "가이드의 실측 줄은 「이 실험대의 호스트는 16 코어 전부에서 지원한다」인데 §178 의 대상 환경은 논리 코어 8(i5-1135G7)이다. 두 값이 어긋나고 어느 쪽이 이 호스트의 값인지는 재지 않았다(unknown)", + "summary": "가이드의 과거 출력에 「16 코어 전부」가 섞여 있었지만 2026-09-17과 2026-09-21 `nproc`·`lscpu` 재확인 결과 현재 test-server는 i5-1135G7, 물리 4코어·8 logical CPU다. 16코어 줄은 다른 환경의 historical output이다(observed)", "disposition": "BLOCKED", "dispositionReview": "CONFIRMED", "target": null, @@ -7174,7 +7328,7 @@ "sourceRefs": [ "final/document.md#198-자원-할당과-실사용은-다르다" ], - "summary": "`virt-install --memory 4096` 으로 만든 `kc-lab-2` 의 `dommemstat` `actual` 이 3120 으로 보인다. `actual` 은 **현재 할당**이지 선언한 상한이 아니고 상한은 `virsh dominfo` 의 `Max memory` 에 있다. 줄어든 원인은 virtio-balloon 회수로 보이지만(inferred) 두 값을 나란히 찍어 보지는 않았다(미측정)", + "summary": "2026-09-10에는 `kc-lab-2`의 `dommemstat actual`이 3120MB였지만 원인은 검증되지 않았다. 2026-09-21에는 `dominfo`와 `dommemstat`을 나란히 읽어 configured/current/actual이 모두 4096MiB임을 확인했다. virtio-balloon 장치는 존재하지만 과거 3120MB를 balloon 회수로 귀속하지 않는다", "disposition": "MERGE_INTO", "dispositionReview": "CONFIRMED", "target": "case:declared-memory-and-disk-are-ceilings-not-occupancy", @@ -7354,11 +7508,11 @@ "sourceRefs": [ "final/document.md#207-lab-edge-dnat-nft-dnat-파일이-자기-안에-적어-둔-네-가지" ], - "summary": "「DNAT only, never SNAT」 — 게스트의 기본 경로가 호스트이므로 응답이 이 자리를 다시 지나고 conntrack 이 변환을 알아서 되돌린다. masquerade 를 붙이면 엣지가 모든 클라이언트를 `192.168.122.1` 로 보게 되어 이 실험대가 재는 `X-Forwarded-For` 계약이 **조용히 무효가 된다**", + "summary": "`lab_edge`는 DNAT-only로 유지한다. 다만 2026-09-21 재검증에서 Tailscale `ts-postrouting` MASQUERADE가 별도로 source를 `192.168.122.1`로 rewrite했다. 따라서 이 규칙은 custom DNAT table의 정책이고 원본 client IP 보존을 보장하는 조건은 아니다", "disposition": "MERGE_INTO", "dispositionReview": "CONFIRMED", "target": "reference:overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it", - "reason": "그 Reference 와 같은 규칙의 커널 쪽 절반이다 — 경계 앞에서 출발지 주소를 바꾸지 않는 것과 경계에서 클라이언트가 보낸 헤더를 버리는 것이 같은 계약을 지킨다. 두 기록으로 나누면 「무엇이 그 값을 믿을 수 있게 하는가」가 둘로 갈린다" + "reason": "Reference에 합쳐 두되 의미는 둘로 구분한다 — 신뢰 경계의 proxy는 client-supplied forwarded header를 버리고, 그 proxy가 보는 source 주소가 원본인지 여부는 앞단 network path가 결정한다. 2026-09-21에는 Tailscale MASQUERADE로 source 보존이 깨졌으므로 둘을 같은 사실로 취급하지 않는다" }, { "id": "SSOT-208-the-hyphen-before-execstartpost", @@ -7407,7 +7561,7 @@ "disposition": "PROMOTE", "dispositionReview": "CONFIRMED", "target": "reference:overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it", - "reason": "**이 저장소 어디에도 없던 설명이다** — §206 이 「둘은 이 저장소 어디에도 없다」로 센 둘 중 하나다. 원 프로젝트의 이름을 지워도 규칙이 남고(맨 바깥 프록시는 클라이언트가 보낸 forwarded 헤더를 버린다), 적용 조건과 예외가 자료에서 나온다 — 경계 안쪽의 두 번째 홉은 덧붙이는 쪽이 맞고 §207 의 「SNAT 를 걸지 않는다」가 같은 계약의 커널 쪽 절반이다. Case 결론을 선언문으로 바꾼 것이 아니라 이 실험대가 **재려고 세운 계약** 자체다" + "reason": "**이 저장소 어디에도 없던 설명이다** — §206 이 「둘은 이 저장소 어디에도 없다」로 센 둘 중 하나다. 원 프로젝트의 이름을 지워도 규칙이 남고(맨 바깥 프록시는 클라이언트가 보낸 forwarded 헤더를 버린다), 적용 조건과 예외가 자료에서 나온다 — 경계 안쪽의 두 번째 홉은 덧붙이는 쪽이 맞고 §207 의 DNAT-only 정책은 앞단 network 조건으로 함께 보되, 2026-09-21 Tailscale MASQUERADE 관측 때문에 source IP 보존과 같은 사실로 취급하지 않는다. Case 결론을 선언문으로 바꾼 것이 아니라 이 실험대가 **재려고 세운 계약** 자체다" }, { "id": "SSOT-209-http2-as-a-listen-parameter", @@ -7848,9 +8002,9 @@ "kindCandidate": "CONCEPT", "sourceRefs": [ "final/document.md#261-진입점-자체가-죽으면-로드밸런서의-재귀-문제", - "final/document.md#275-호스트-nginx와-traefik은-무엇이-다른가-둘-다-필요한-이유" + "final/document.md#275-엣지-nginx와-traefik은-무엇이-다른가-둘-다-필요한-이유" ], - "summary": "**호스트 nginx 는 이 실험대의 단일 장애점이다.** ALB(L7)와 NLB(L4)는 계층이 다른 것이 아니라 같은 자리를 놓고 고르는 두 선택지이고, 이 실험대와 운영은 둘 중 어느 쪽도 아닌 **L7 두 겹**이다 — 밖의 nginx 는 「어느 노드로」를 고정 IP:포트로 정하고 안의 Traefik 은 「어느 파드로」를 API 서버를 감시하며 동적으로 정한다. 한 머신 안에서 nginx 를 여럿 띄우는 것은 의미가 없고(이미 master+worker N 이고 그 머신이 죽으면 전부 죽는다) 앞에 LB 를 또 두면 그 LB 가 SPOF 라 **재귀가 끝나지 않는다.** 실무는 그 재귀를 소프트웨어가 아니라 네트워크 계층으로 끊는다 — VIP+VRRP 는 **선택자가 없고 IP 자체가 이동한다**", + "summary": "**`kc-lab-edge`의 nginx는 이 실험대의 단일 L7 진입점이다.** 바깥 edge nginx는 고정 worker IP:포트 중 어디로 보낼지 정하고, 안의 Traefik은 Kubernetes API를 따라 Service/Pod로 라우팅한다. L7 홉은 두 겹이지만 2026-09-21 source rewrite 관측 때문에 forwarded-header 조건은 별도 검증 대상이다. 진입점을 여러 머신으로 늘리면 앞단 selector 문제가 다시 생기며, VIP/VRRP·DNS·anycast·관리형 LB 같은 방식이 그 선택 문제를 다른 계층에서 푼다", "disposition": "PROMOTE", "dispositionReview": "CONFIRMED", "target": "concept:two-l7-hops-and-the-entry-point-recursion", diff --git a/reviews/2026-09-21-virtualization-human-quality-review.md b/reviews/2026-09-21-virtualization-human-quality-review.md new file mode 100644 index 0000000..b2c541f --- /dev/null +++ b/reviews/2026-09-21-virtualization-human-quality-review.md @@ -0,0 +1,408 @@ +# virtualization 인간 품질 기준 전수 리뷰 + +- 리뷰일: 2026-09-21 +- 프로젝트: `docs/virtualization` +- Record: 91 +- SVG: 14 +- 판정: **아직 더 봐야댐** +- 이 문서는 이전의 자동 gate 중심 리뷰를 **대체하는 콘텐츠 품질 리뷰**다. + +## 1. 이번 리뷰에서 PASS의 뜻을 바꾼다 + +이전에는 `check_prose`, `check_voice`, Figure Text/Overlap/Provenance, pipeline, unittest가 통과하면 실제 글과 그림도 상당 부분 통과했다고 해석했다. 그 해석은 틀렸다. + +자동 검사는 다음만 보장한다. + +| 자동 검사 | 보장하는 것 | 보장하지 않는 것 | +|---|---|---| +| prose/voice checker | 정의된 금지 패턴·형식 신호 | 사람이 읽었을 때 AI 티가 없는가 | +| figure text/overlap | 텍스트 규칙·기계적으로 검출 가능한 겹침 | 그림이 보기 좋고 한눈에 이해되는가 | +| figure provenance | spec→SVG 생성 경로 | spec 자체가 좋은 정보 설계인가 | +| required-content/tree/layout | 구조·메타데이터 계약 | 글의 논리 흐름과 독해성 | +| command analyzer | 알려진 shell 위험 신호 | 초보가 실제로 이해하며 따라갈 수 있는가 | +| pipeline/unittest | 하네스 회귀 없음 | 콘텐츠 품질 | + +따라서 이 리뷰에서 `자동 PASS`는 최종 품질 판정 근거가 아니라 **마지막 안전망**으로만 취급한다. + +## 2. 결론 + +현재 `virtualization`은 소수 문장만 고치면 되는 상태가 아니다. + +### 글 + +- QUESTION 43개: **전부 구조 재작성 대상** +- REFERENCE 12개: **전부 구조 재작성 대상** +- PROJECT_DECISION 6개: **전부 구조 재작성 대상** +- SETUP 9개: 명령 자체보다 **표현 scaffold를 다시 구성해야 함** +- CASE/CONCEPT 21개: 재료는 상대적으로 좋지만 메타 언어·영문 일반명사·일부 authoring memo를 걷어내야 함 + +즉 **91개 중 70개가 종류 템플릿 때문에 구조 수준의 수정 대상**이고, 나머지 21개도 그대로 PASS 처리하지 않는다. + +### 그림 + +기계적 gate는 14/14 통과하지만 인간 품질 관점에서는 blanket PASS를 취소한다. + +- **재설계 7장** +- **부분 수정 5장** +- **유지 후보 2장** + +### 명령 + +명령어 교육성은 이 프로젝트에서 상대적으로 강한 축이다. 실행 위치·예상 결과·실패 시 확인점을 대부분 제공한다. 문제는 그것을 모든 블록에 같은 라벨로 반복해 **사람이 쓴 가이드보다 생성형 튜토리얼처럼 보이게 만든 것**이다. 따라서 명령을 지우기보다 설명 구조를 자연스럽게 합쳐야 한다. + +--- + +## 3. AI 티의 가장 큰 원인 — 종류별 고정 템플릿 + +### QUESTION 43개 + +43개가 예외 없이 아래 순서를 쓴다. + +```text +관계 +사실 +가정 +미지수 +제약 +선택지 +다음 검증 +``` + +이것은 정보 누락을 막는 내부 템플릿으로는 유용하지만 게시 글의 형태로 그대로 노출되면 안 된다. 주제가 CPU pinning이든 certbot이든 qcow2든 글의 리듬이 완전히 같아진다. + +특히 `닫는 조건`이 43개 QUESTION에 사실상 공통으로 들어가고, `이 물음은/이 물음이`, `Case가 된다`, `Decision으로 넘긴다`, `SSOT §...` 같은 문장이 반복된다. 독자는 기술 주제보다 문서 생성 시스템을 먼저 보게 된다. + +**수정 원칙:** factual content와 실험 계획은 보존하되, 공개 글에서는 `왜 궁금해졌는가 → 지금 아는 것 → 무엇을 재면 답이 되는가` 정도의 자연스러운 흐름으로 주제별로 다시 묶는다. 내부 `가정/미지수/제약`은 필요한 것만 문장 속에 흡수한다. + +### REFERENCE 12개 + +모두 정확히: + +```text +관계 → 목적 → 규칙 → 적용 조건 → 예외 → 예시 +``` + +이다. 체크리스트 자료로는 맞지만 12편 모두가 똑같은 골격이면 글이 아니라 template instance로 읽힌다. + +### PROJECT_DECISION 6개 + +모두: + +```text +근거 → 결정문 → 판단 이유 → 영향 +``` + +이다. Decision은 오히려 `무엇이 불편했나 → 어떤 선택지가 있었나 → 왜 이걸 골랐나 → 무엇을 감수했나`처럼 당시 판단 흐름이 드러나야 사람 목소리가 난다. + +### SETUP 9개 + +7편이 사실상 같은 10개 큰 절을 사용한다. 더 강한 문제는 command 주변 micro-label 반복이다. + +- `무엇을 확인하는가` 38회 +- `어디를 봐야 하는가` 43회 +- `예상 결과` 39회 +- `왜 필요한가` 37회 +- `문제가 생기면` 37회 +- `이 결과가 의미하는 것` 43회 + +초보자를 위한 정보 자체는 필요하다. 다만 모든 명령마다 같은 여섯 칸을 찍는 방식은 줄여야 한다. 명령 앞 한두 문단에서 목적과 실행 위치를 설명하고, 출력 뒤에 **실제로 봐야 할 한 줄**만 남기는 식으로 바꾼다. + +--- + +## 4. AI 티의 두 번째 원인 — 내부 검증 언어가 게시 본문으로 새어 나온다 + +현재 Record 본문에 다음 literal이 반복된다. + +```text +(observed) 128회 +(unknown) 59회 +(inferred) 7회 +SSOT 69회 / 25문서 +Case 40회 / 24문서 +``` + +확실성 구분은 반드시 보존해야 한다. 하지만 `observed/unknown/inferred`를 태그처럼 박는 대신 사람 문장으로 바꾼다. + +```text +(observed) → 2026-09-17에 실제 출력으로 확인했다 +(unknown) → 이 환경에서는 아직 확인하지 못했다 +(inferred) → 직접 측정한 값은 아니고, 앞의 두 관측에서 추정한 것이다 +``` + +또 `Host`, `Guest`, `Memory`, `Storage`, `Workload` 같은 일반명사를 영어로 반복한다. QEMU/KVM/Keycloak/libvirt처럼 고유한 제품·기술 이름은 그대로 두되, 일반명사는 한국어 문장으로 돌린다. + +이 문제는 스타일 취향이 아니라 **현재 prose skill의 hard rule과도 충돌하는 인간 품질 문제**다. + +--- + +## 5. 실제로 좋은 글의 재료도 있다 + +전부 폐기할 프로젝트는 아니다. + +- `case-an-empty-token-installed-the-agent-anyway`: 빈 TOKEN이 생기는 셸 경로→설치는 성공처럼 끝남→agent가 5초마다 재시작→Ready에 안 올라옴이라는 인과가 선명하다. +- `case-cloud-init-failures-all-look-like-ssh-refused`: host name 하나로 문제 범위를 반으로 줄이는 진단 흐름이 좋다. +- `case-renewal-succeeded-while-the-old-certificate-kept-serving`: 2305초→1~2초, 8856 요청, p95 205.7/204.3ms, 시계 106초 오차처럼 실제 수치가 글을 끌고 간다. +- CPU/KVM, huge page, qcow2, storage durability Concept도 기술 재료 자체는 쓸 만하다. + +따라서 **fact/evidence를 버리는 리라이트가 아니라, 생성 흔적을 걷어내고 주제에 맞는 서사로 재배치하는 리라이트**가 맞다. + +--- + +## 6. SVG 14장 인간 품질 리뷰 + +자동 overlap/provenance PASS는 아래 판정과 무관하다. 여기서는 reader question, profile 선택, aspect ratio, 정보 밀도, progressive disclosure를 본다. + +| 그림 | 판정 | 이유 | +|---|---|---| +| `vm-exit-handling-cycle` | **부분 수정** | 1195×353. VM Exit→KVM→QEMU→재진입이라는 순환 질문에는 맞지만, 커널 처리/사용자 공간 처리 라벨 위계와 왕복 경로를 더 단순하게 보여 줄 수 있다. | +| `two-l7-hops-entry-recursion` | **재설계** | 1198×489. 정상 요청 경로와 nginx 이중화 시 selector 재귀라는 서로 다른 질문을 한 캔버스에 합쳤다. 한 dominant question 원칙에 어긋난다. | +| `nftables-forward-hook-chain-order` | **부분 수정** | 1298×434. before/after insert와 두 chain을 한 화면에서 비교해 정보 위계가 약하다. 체인 순서가 핵심이므로 더 직선적인 hook/chain 흐름으로 줄이는 편이 낫다. | +| `qcow2-mapping-clusters` | **유지 후보** | 1257×448. Guest offset→L1→L2→local/backing/zero 분기가 질문과 직접 맞는다. 다만 영문 일반명사와 보조문구는 더 줄일 수 있다. | +| `guest-memory-address-translation-path` | **재설계** | 1900×352(약 5.4:1). 정상 문서 폭에서 축소하면 텍스트가 지나치게 작아진다. GVA→GPA와 GPA→HPA 두 변환을 중심으로 다시 압축해야 한다. | +| `memory-pressure-reclaim-swap-oom` | **부분 수정** | 1313×455. 분기 구조 자체는 맞지만 node detail이 설명문 역할까지 맡고 있어 박스가 글을 대신한다. Host/Storage 등 영문 일반명사도 정리해야 한다. | +| `numa-vcpu-and-memory-placement` | **재설계** | 1080×480이지만 sequence profile을 썼다. NUMA의 핵심은 시간 순서가 아니라 CPU·메모리의 공간 배치와 local/remote 관계다. 시각 문법 자체가 주제와 맞지 않는다. | +| `page-fault-layers-in-a-vm` | **부분 수정** | 902×448. Guest #PF/Host #PF/EPT violation 분리는 유효하지만 라벨과 계층이 떠 있는 느낌이 강하다. Guest/Host boundary를 먼저 잡고 세 fault를 배치해야 한다. | +| `virtio-balloon-inflate-deflate` | **유지 후보** | 870×542. target 조정→guest pages 확보→host backing 회수라는 시간 순서가 sequence와 잘 맞는다. 문구만 한국어 중심으로 다듬으면 된다. | +| `packet-control-and-data-paths` | **재설계** | 2249×390(약 5.8:1), 12 node/13 edge. Control/setup과 packet data path를 한 화면에 넣은 everything diagram이다. 정상 문서 폭에서 읽기 어렵고 둘로 분리해야 한다. | +| `guest-block-io-to-virtqueue` | **재설계** | 680×2501(약 1:3.7). 8단계를 세로로 길게 늘여 스크롤 자체가 읽기 순서가 된다. 문서 그림으로는 지나치게 길다. | +| `vms-sharing-one-nvme` | **부분 수정** | 895×642. 여러 VM/host source가 host block layer와 NVMe로 합쳐진다는 관계는 맞다. source 묶음과 dispatch 관계를 더 명확히 해야 한다. | +| `qemu-block-backend-forms` | **재설계** | 1253×564. 세 backend 분기는 맞지만 node 안에 “→ Host filesystem/stack”을 텍스트로 다시 넣어 그림 경계를 깨뜨린다. 빠진 하위 계층을 말로 암시하지 말고 범위를 명확히 잘라야 한다. | +| `write-completion-boundaries` | **재설계** | 680×2127(약 1:3.1). 7단계를 세로로 길게 나열해 “완료 경계 네 가지”보다 transport chain처럼 보인다. durability boundary가 어디인지 시각적으로 강조해야 한다. | + +### 특히 즉시 다시 그릴 그림 + +1. `guest-block-io-to-virtqueue` — 680×2501 +2. `write-completion-boundaries` — 680×2127 +3. `packet-control-and-data-paths` — 2249×390, 12 node / 13 edge +4. `guest-memory-address-translation-path` — 1900×352 +5. `numa-vcpu-and-memory-placement` — placement 문제를 sequence로 표현 +6. `two-l7-hops-entry-recursion` — 정상 path와 HA recursion 두 질문을 한 장에 혼합 +7. `qemu-block-backend-forms` — 그림 밖 경로를 node text의 화살표로 다시 설명 + +이 일곱 장은 “조금 예쁘게” 손보는 수준이 아니라 **reader question과 visual grammar부터 다시 잡아야 한다.** + +--- + +## 7. 명령어 리뷰 + +자동 audit은 current SHA 기준 major=0이지만 그것만으로 명령 품질을 PASS 처리하지 않는다. + +### 유지할 것 + +- 실행 위치를 명시하는 습관 +- 명령 전에 왜 필요한지 설명하는 것 +- 예상 출력과 실제로 봐야 할 필드를 연결하는 것 +- destructive 명령 전에 확인 단계를 두는 것 +- historical bad command를 실제 따라 하는 절차와 분리하는 것 + +### 줄일 것 + +- 같은 command block마다 `무엇을 확인하는가 / 어디를 봐야 하는가 / 예상 결과 / 왜 필요한가 / 문제가 생기면 / 이 결과가 의미하는 것`을 반복하는 구조 +- 출력이 자명한데도 매번 한 문단씩 해설하는 것 +- `observed/unknown` 태그로 절차의 현재 상태를 설명하는 것 + +### 즉시 수정할 correctness blocker + +`setup-tear-down-the-lab-and-know-what-survives.md`는 앞에서 실제 인증서가 `kc-lab-edge`에 있어 edge 쪽 `/etc/letsencrypt`를 백업해야 한다고 정정해 놓고, 뒤에서 다시 lab host의 `/etc/letsencrypt`를 백업/복원하는 명령과 옛 요약표를 제공한다. 이건 스타일이 아니라 **실행 절차 오류**라 P0다. + +--- + +## 8. 91개 Record 개별 판정 + +판정 의미: + +- **구조 재작성**: fact는 살리되 공개 글의 뼈대를 다시 만든다. +- **표현 구조 재작성**: 절차/명령은 살리고 설명 scaffold를 걷어낸다. +- **구조 수정**: 현재 글의 절반 이상은 유지 가능하지만 범위/authoring memo/그림 때문에 큰 재배치가 필요하다. +- **부분 수정**: 서사는 유지하고 메타 언어·영문 일반명사·중복을 정리한다. +- **소폭 수정**: 사람 글에 비교적 가깝고 마감 중심이다. + +| # | Kind | Record | 글 | 명령 | 그림 | 근거 | +|---:|---|---|---|---|---|---| +| 1 | CASE | `case-an-empty-token-installed-the-agent-anyway.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 없음/필요성 재판정 | 인과 흐름과 보안 이유는 좋다. 끝부분의 follow-up corroboration/검증 메타 표현과 영문 일반명사만 사람 문장으로 정리한다. | +| 2 | CASE | `case-cloud-init-failures-all-look-like-ssh-refused.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 없음/필요성 재판정 | 호스트명으로 원인을 절반으로 가르는 흐름은 좋다. historical command/evidence 메타 설명이 길어지는 부분만 줄인다. | +| 3 | CASE | `case-renewal-succeeded-while-the-old-certificate-kept-serving.md` | **소폭 수정** | 대체로 유지·문맥만 정리 | 없음/필요성 재판정 | 2305초→1~2초, 8856건, p95, 106초 clock skew 등 실제 측정이 글을 끌고 간다. 5개 Case 중 가장 사람 글에 가깝다. | +| 4 | QUESTION | `question-does-the-guide-rebuild-this-lab.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 5 | REFERENCE | `reference-check-the-nearest-layer-first.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 6 | REFERENCE | `reference-tool-output-is-not-the-subject-state.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 7 | CONCEPT | `concept-kvm-vcpu-to-physical-cpu.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 부분 수정: vm-exit-handling-cycle | virsh→libvirt→QEMU→KVM→VMX 설명은 명확하다. 다만 교과서식 정의가 길고 Host/Guest 등 영문 일반명사가 많다. | +| 8 | QUESTION | `question-exit-distribution-for-keycloak-workload.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 9 | QUESTION | `question-host-numa-topology.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 10 | QUESTION | `question-idle-vcpu-thread-appearance.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 11 | QUESTION | `question-is-production-on-a-hypervisor.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 12 | QUESTION | `question-pinning-before-and-after.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 13 | QUESTION | `question-steal-time-increase-under-two-cpu-bound-vms.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 14 | QUESTION | `question-throttling-vs-contention.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 15 | QUESTION | `question-throughput-vs-vcpu-count.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 16 | QUESTION | `question-vcpu-contention-under-two-vm-load.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 17 | QUESTION | `question-vcpu-thread-migration-without-pinning.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 18 | QUESTION | `question-virtualization-layer-saturation-during-refresh.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 19 | QUESTION | `question-vm-exit-distribution-by-workload.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 20 | CONCEPT | `concept-two-l7-hops-and-the-entry-point-recursion.md` | **부분 수정** | 해당 없음 | 재설계: two-l7-hops-entry-recursion | 내용은 유효하지만 정상 경로와 HA 재귀를 한 글/한 그림에서 동시에 끌고 간다. 그림은 분리 재설계가 필요하다. | +| 21 | PROJECT_DECISION | `decision-no-public-tunnel-because-a-third-hop-pollutes-the-measurement.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 6개 Decision이 모두 근거→결정문→판단 이유→영향의 동일 4칸이다. 사실은 유지하되 실제 결정 당시 맥락과 trade-off 중심으로 다시 써야 한다. | +| 22 | REFERENCE | `reference-overwrite-a-forwarded-header-at-the-trust-boundary-do-not-extend-it.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 23 | CASE | `case-declared-memory-and-disk-are-ceilings-not-occupancy.md` | **부분 수정** | 해당 없음 | 없음/필요성 재판정 | 실측 숫자가 중심이라 재료는 좋다. 비슷한 수치를 여러 절에서 다시 설명하는 부분과 메타 검증 문장을 압축한다. | +| 24 | CASE | `case-nftables-accept-did-not-stop-the-libvirt-reject.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 부분 수정: nftables-forward-hook-chain-order | 404/connection refused/counter 4 packets처럼 관측이 서사를 만든다. 그림은 별도 재작업이 필요하다. | +| 25 | CONCEPT | `concept-a-cloud-image-is-an-installed-disk-and-cloud-init-fills-the-blanks.md` | **부분 수정** | 해당 없음 | 없음/필요성 재판정 | 설치가 끝난 이미지와 cloud-init의 역할 구분은 좋다. 다만 “이 설명이 걸려 있는 판올림” 같은 분석 노트 어투를 줄인다. | +| 26 | CONCEPT | `concept-inside-a-qcow2-file-the-mapping-table-and-its-clusters.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 유지 후보: qcow2-mapping-clusters | 매핑표/cluster/backing fallback 설명은 좋다. 절을 너무 잘게 쪼갠 부분과 영문 일반명사를 다듬는다. | +| 27 | CONCEPT | `concept-what-a-qcow2-file-carries.md` | **소폭 수정** | 해당 없음 | 없음/필요성 재판정 | 범위가 작고 한 질문에 집중한다. “이 글이 다루지 않는 것” 같은 템플릿 마감만 자연스럽게 바꾼다. | +| 28 | PROJECT_DECISION | `decision-dns-01-because-the-lab-is-not-on-the-public-internet.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 6개 Decision이 모두 근거→결정문→판단 이유→영향의 동일 4칸이다. 사실은 유지하되 실제 결정 당시 맥락과 trade-off 중심으로 다시 써야 한다. | +| 29 | PROJECT_DECISION | `decision-edge-nginx-moved-into-a-guest-vm.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 6개 Decision이 모두 근거→결정문→판단 이유→영향의 동일 4칸이다. 사실은 유지하되 실제 결정 당시 맥락과 trade-off 중심으로 다시 써야 한다. | +| 30 | PROJECT_DECISION | `decision-fix-guest-addresses-with-a-dhcp-reservation.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 6개 Decision이 모두 근거→결정문→판단 이유→영향의 동일 4칸이다. 사실은 유지하되 실제 결정 당시 맥락과 trade-off 중심으로 다시 써야 한다. | +| 31 | PROJECT_DECISION | `decision-no-docker-on-the-lab-host.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 6개 Decision이 모두 근거→결정문→판단 이유→영향의 동일 4칸이다. 사실은 유지하되 실제 결정 당시 맥락과 trade-off 중심으로 다시 써야 한다. | +| 32 | PROJECT_DECISION | `decision-two-guest-vms-instead-of-installing-k3s-on-the-host.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 6개 Decision이 모두 근거→결정문→판단 이유→영향의 동일 4칸이다. 사실은 유지하되 실제 결정 당시 맥락과 trade-off 중심으로 다시 써야 한다. | +| 33 | QUESTION | `question-guest-input-hole-under-the-iptables-backend.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 34 | QUESTION | `question-is-this-lab-issuing-certificates-with-http-01-or-dns-01.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 35 | QUESTION | `question-qcow2-transfer-time-over-wifi.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 36 | QUESTION | `question-virsh-save-ram-dump-size-and-time.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 37 | REFERENCE | `reference-a-config-file-does-not-mean-the-same-thing-on-two-distros.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 38 | REFERENCE | `reference-verify-a-build-guide-in-execution-order.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 39 | SETUP | `setup-create-three-guests-with-cloud-init.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. | +| 40 | SETUP | `setup-edge-nginx-and-host-dnat.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. 절차 정보는 유효하지만 반복 라벨을 줄이고, apt install nginx를 쓰면서 frontmatter가 exact pinned version처럼 보이는 의미도 바로잡는다. | +| 41 | SETUP | `setup-install-k3s-server-and-agent.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. | +| 42 | SETUP | `setup-keycloak-two-nodes-and-postgres-on-k3s.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. | +| 43 | SETUP | `setup-power-cycle-the-lab-and-reallocate-guest-memory.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. | +| 44 | SETUP | `setup-prepare-the-lab-host-for-virtualization.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. | +| 45 | SETUP | `setup-prometheus-and-grafana-for-the-lab.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. | +| 46 | SETUP | `setup-tear-down-the-lab-and-know-what-survives.md` | **표현 구조 재작성** | 수정 필요(P0) | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. P0. 앞에서는 edge VM 인증서를 백업해야 한다고 정정했는데 뒤에서 다시 host-local /etc/letsencrypt 백업/복원 명령과 옛 요약표를 제공한다. 내용 모순부터 고쳐야 한다. | +| 47 | SETUP | `setup-wildcard-certificate-with-dns-01-and-a-deploy-hook.md` | **표현 구조 재작성** | 내용 유지·설명 재구성 | 없음/필요성 재판정 | 절차 자체는 보존하되 9개 Setup에 동일 scaffold와 “무엇을 확인/어디를 봐야/예상 결과/왜 필요한가/문제가 생기면” 라벨이 반복돼 생성형 튜토리얼처럼 읽힌다. 절차 정보는 유효하지만 반복 라벨을 줄이고 nginx observed version과 exact pin을 구분한다. | +| 48 | CONCEPT | `concept-guest-memory-address-translation.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 재설계: guest-memory-address-translation-path | GVA/GPA/HPA 구조는 좋지만 관리 경로/실행 경로/미확정 목록까지 한 글에 많이 담겼다. 그림은 재설계가 필요하다. | +| 49 | CONCEPT | `concept-huge-pages-in-a-vm.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 없음/필요성 재판정 | 4KiB/2MiB/1GiB 계산과 THP/HugeTLB 비교는 유효하다. 체크리스트형 후반부와 OQ 메타를 줄인다. | +| 50 | CONCEPT | `concept-memory-pressure-reclaim-swap-oom.md` | **구조 수정** | 해당 없음 | 부분 수정: memory-pressure-reclaim-swap-oom | 본문에 “sequence가 아니라 component-flow로 그렸다”라는 시각화 도구 선택 메모와 CLAIM-MEM 번호표가 그대로 노출된다. 게시 글에서 제거/흡수해야 한다. | +| 51 | CONCEPT | `concept-numa-locality-for-vcpu-and-memory.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 재설계: numa-vcpu-and-memory-placement | local/remote locality 설명은 유지할 수 있지만 그림이 sequence라 의미 문법부터 다시 잡아야 한다. | +| 52 | CONCEPT | `concept-page-fault-layers-in-a-vm.md` | **부분 수정** | 해당 없음 | 부분 수정: page-fault-layers-in-a-vm | Guest #PF/Host #PF/EPT violation 구분은 좋다. OQ/미확정 메타와 그림 위계를 줄인다. | +| 53 | CONCEPT | `concept-virtio-balloon-memory-reclaim.md` | **부분 수정** | 해당 없음 | 유지 후보: virtio-balloon-inflate-deflate | 동작 순서는 비교적 자연스럽다. 영문 일반명사와 확인 목록이 본문 리듬을 끊는다. | +| 54 | QUESTION | `question-balloon-target-vs-guest-available-memory.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 55 | QUESTION | `question-guest-page-fault-vs-workload.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 56 | QUESTION | `question-host-major-fault-vs-storage-latency.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 57 | QUESTION | `question-host-memory-pressure-vs-guest-latency.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 58 | QUESTION | `question-host-thp-policy.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 59 | QUESTION | `question-numa-remote-access-vs-workload-latency.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 60 | QUESTION | `question-qemu-memory-numa-placement.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 61 | QUESTION | `question-qemu-resident-memory-distribution.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 62 | QUESTION | `question-swap-activity-in-guest-and-host.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 63 | QUESTION | `question-virtio-balloon-configured.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 64 | QUESTION | `question-vm-configured-vs-current-memory.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 65 | QUESTION | `question-vm-ram-backed-by-hugetlb.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 66 | REFERENCE | `reference-memory-symptom-needs-layer-separation.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 67 | REFERENCE | `reference-record-the-conditions-with-every-memory-experiment.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 68 | CONCEPT | `concept-guest-packet-path-to-physical-nic.md` | **구조 수정** | 대체로 유지·문맥만 정리 | 재설계: packet-control-and-data-paths | 설명 범위가 넓고 control/setup과 data path가 섞인다. 현재 2249×390 everything diagram과 함께 글도 progressive disclosure로 나눠야 한다. | +| 69 | QUESTION | `question-actual-packet-path-nginx-to-keycloak.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 70 | QUESTION | `question-is-vhost-net-actually-in-use.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 71 | QUESTION | `question-network-virtualization-cpu-cost-under-load.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 72 | QUESTION | `question-qemu-backend-vs-vhost-net-on-this-host.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 73 | QUESTION | `question-tap-interface-to-vm-mapping.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 74 | QUESTION | `question-virtio-net-multi-queue-enabled.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 75 | QUESTION | `question-vm-network-mode-bridge-nat-or-routed.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 76 | REFERENCE | `reference-bisect-the-packet-path-with-capture-points.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 77 | REFERENCE | `reference-verify-the-network-path-before-blaming-the-application.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 78 | CONCEPT | `concept-guest-block-io-path-to-virtqueue.md` | **구조 수정** | 대체로 유지·문맥만 정리 | 재설계: guest-block-io-to-virtqueue | I/O 경로 자체는 맞지만 현재 680×2501 그림이 독해를 방해한다. 본문과 그림 모두 단계 묶음을 줄여야 한다. | +| 79 | CONCEPT | `concept-host-block-stack-under-the-vm.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 부분 수정: vms-sharing-one-nvme | Host block stack과 shared NVMe 관계는 유지 가능하다. 영어 일반명사와 조건/미확정 문장을 정리한다. | +| 80 | CONCEPT | `concept-qemu-block-backend-forms.md` | **부분 수정** | 대체로 유지·문맥만 정리 | 재설계: qemu-block-backend-forms | qcow2/RAW/block device 세 갈래는 명확하다. 그림이 하위 Host stack을 node text로 암시해 범위가 흐려진다. | +| 81 | CONCEPT | `concept-write-completion-is-not-durability.md` | **구조 수정** | 해당 없음 | 재설계: write-completion-boundaries | write/writeback/flush/power-loss survival 구분은 중요한데 그림이 680×2127 세로 사슬이라 핵심인 “완료 경계”가 보이지 않는다. | +| 82 | QUESTION | `question-disk-image-format-and-actual-host-usage.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 83 | QUESTION | `question-guest-fsync-latency-vs-host-storage-latency.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 84 | QUESTION | `question-host-block-device-under-the-disk-image.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 85 | QUESTION | `question-host-io-scheduler.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 86 | QUESTION | `question-qemu-disk-cache-mode.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 87 | QUESTION | `question-vm-disk-backend-mapping.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 88 | QUESTION | `question-vm1-storage-load-vs-vm2-latency.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 43개 QUESTION이 모두 관계→사실→가정→미지수→제약→선택지→다음 검증의 동일 7칸이다. 공개 글보다 생성된 실험계획서처럼 읽힌다. | +| 89 | REFERENCE | `reference-a-speedup-that-removed-durability-is-not-an-optimization.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 90 | REFERENCE | `reference-confirm-the-disk-backend-on-the-host.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | +| 91 | REFERENCE | `reference-read-storage-before-blaming-cpu-for-latency.md` | **구조 재작성** | 해당 없음 | 없음/필요성 재판정 | 12개 REFERENCE가 모두 관계→목적→규칙→적용 조건→예외→예시의 동일 6칸이다. 주제별 서사보다 템플릿 흔적이 앞선다. | + +--- + +## 9. 다시 쓰는 순서 + +### 1단계 — 공통 템플릿을 먼저 제거 + +우선순위: + +1. QUESTION 43 +2. REFERENCE 12 +3. PROJECT_DECISION 6 + +이 61편은 개별 단어 교정 전에 **문서 종류가 그대로 드러나는 고정 heading부터 없애야 한다.** + +### 2단계 — Setup 9편을 실제 가이드 문체로 바꿈 + +명령은 보존한다. 대신 command마다 반복되는 여섯 라벨을 합치고, 한 단계마다 다음만 남긴다. + +```text +무엇을 하려는가 +→ 어디서 어떤 명령을 치는가 +→ 성공하면 무엇이 보여야 하는가 +→ 실패하면 가장 먼저 어디를 보는가 +``` + +그리고 teardown P0 모순을 제일 먼저 고친다. + +### 3단계 — 그림 7장 재설계 + +그림을 고칠 때 자동 renderer를 먼저 만지지 않는다. + +1. 이 그림이 답할 reader question 한 문장 +2. 필요 없는 node/edge 제거 +3. 적절한 visual grammar 선택 +4. 정상 문서 폭에서 실제 PNG를 눈으로 확인 +5. 그 뒤에 Text/Overlap/Provenance gate + +### 4단계 — Case/Concept 21편 정리 + +- 측정값과 실제 실패 사례는 최대한 보존 +- `SSOT`, `Case`, `Question`, `CLAIM-*`, `(observed)` 같은 authoring 메타 제거/흡수 +- Host/Guest/Memory/Storage 같은 일반명사 한국어화 +- “이 글이 확정하지 않는 것”이 기계적으로 반복되면 필요한 미확정만 본문에 흡수 +- tool/profile 선택을 설명하는 문장 삭제 + +### 5단계 — 자동 gate는 마지막 + +자동 검사는 최종 회귀 방지용이다. `check_prose 91/91`, `Figure 14/14`가 다시 나와도 인간 리뷰에서 실패하면 완료가 아니다. + +--- + +## 10. 완료 기준 + +`virtualization`을 완료라고 부르려면 아래가 모두 필요하다. + +### 글 + +- QUESTION/REFERENCE/Decision의 고정 heading 복제가 없어야 함 +- 91개를 실제 본문 기준으로 다시 읽고 각 Record에 human review 결과가 있어야 함 +- `(observed)/(unknown)/(inferred)` 태그가 독해를 지배하지 않아야 함 +- 내부 하네스 용어가 독자에게 불필요하게 노출되지 않아야 함 +- Case는 실제 사건과 수치가, Concept은 핵심 구조가 글의 중심이어야 함 + +### 그림 + +- 14장 전부 정상 문서 폭 preview를 실제로 눈으로 확인 +- 극단적인 세로/가로 aspect ratio 제거 +- 한 그림 한 dominant question +- placement를 sequence로 그리는 식의 grammar mismatch 제거 +- 자동 overlap/provenance는 그 뒤에 통과 + +### 명령 + +- 초보가 실행 위치·목적·성공 신호·첫 실패 확인점을 알 수 있어야 함 +- 같은 label을 command마다 기계적으로 반복하지 않아야 함 +- teardown 같은 current-truth 모순이 없어야 함 + +### 검증 + +- human review PASS +- project gates PASS +- whole pipeline PASS +- unittest PASS + +--- + +## 11. 최종 판정 + +> **virtualization = 아직 더 봐야댐** + +현재 문제의 중심은 하네스가 깨진 것이 아니다. **하네스는 잘 통과하지만, 그 통과 조건이 사람 눈의 품질을 보장하지 않는다는 것**이다. + +이번 재검수 기준으로는 91편 중 70편이 종류별 고정 템플릿 때문에 구조 수준의 수정 대상이다. 그림도 14장 전부를 자동 PASS에서 해제했고, 최소 7장은 reader question/visual grammar부터 다시 설계해야 한다. + +따라서 다음 작업은 “남은 gate 몇 개 고치기”가 아니라 **콘텐츠 편집 라운드를 새로 여는 것**이어야 한다. diff --git a/scripts/check-required-content.py b/scripts/check-required-content.py index 08a5b57..ed3b7f0 100644 --- a/scripts/check-required-content.py +++ b/scripts/check-required-content.py @@ -35,12 +35,15 @@ import techlog # noqa: E402 # .agents/skills/publishing-tech-log-to-studio/references/studio-form-map.md 다. # 계약에 없는 `##` 는 화면에 자리가 없어 통째로 사라진다 SECTIONS: dict[str, dict[str, tuple[str, ...]]] = { - "case": {"required": ("관계", "문제", "결론", "검증 환경", "재현 조건", "본문"), + # `관계` 는 public prose 의 목차가 아니다. 관계의 정본은 tech-log-tree.json 이고 + # Studio 저장 시 relation payload 로 따로 들어간다. Markdown 본문에 같은 정보를 + # `## 관계` 로 한 번 더 쓰면 독자에게 하네스 구조가 노출되고, 두 정본이 생긴다. + "case": {"required": ("문제", "결론", "검증 환경", "재현 조건", "본문"), "optional": ()}, - "concept": {"required": ("관계", "본문"), "optional": ()}, - "reference": {"required": ("관계", "목적", "규칙", "적용 조건", "예외"), + "concept": {"required": ("본문",), "optional": ()}, + "reference": {"required": ("목적", "규칙", "적용 조건", "예외"), "optional": ("예시",)}, - "question": {"required": ("관계", "사실", "미지수", "다음 검증"), + "question": {"required": ("사실", "미지수", "다음 검증"), "optional": ("가정", "제약", "선택지")}, # Decision 의 틀에는 `관계` 가 없다 (templates/decision.md). 있으면 받되 요구하지 않는다 "decision": {"required": ("근거", "결정문", "판단 이유", "영향"), @@ -49,7 +52,7 @@ SECTIONS: dict[str, dict[str, tuple[str, ...]]] = { # 방법을 `##` 절로 적는다. **절 이름을 강제하지 않는다** — 프로젝트마다 셋업의 모양이 # 다르다」(`SetupInput.bodyMarkdown`)라 그 셋은 본문 구간 안에 있고 여기서 세지 않는다. # 본문 밖의 칸 `pinnedVersions` 는 절이 아니라 frontmatter 에 있다 (templates/setup.md) - "setup": {"required": ("관계", "본문"), "optional": ()}, + "setup": {"required": ("본문",), "optional": ()}, } # 본문이 있는 종류는 셋이다. 목록은 techlog 가 정한다 BODY_KINDS = techlog.BODY_KINDS diff --git a/scripts/tests/test_pipeline_run_supersession.py b/scripts/tests/test_pipeline_run_supersession.py new file mode 100644 index 0000000..6d145e2 --- /dev/null +++ b/scripts/tests/test_pipeline_run_supersession.py @@ -0,0 +1,99 @@ +"""Whole-pipeline run aggregation keeps old receipts historical. + +A remediation creates a new receipt for the same Record. The older receipt must still be +validated as a receipt, but only the newest receipt may be compared with the current +publication bytes. +""" +import importlib.util +import json +from pathlib import Path +import tempfile +import unittest + +ROOT = Path(__file__).resolve().parents[2] +SCRIPT = ROOT / "scripts" / "verify-pipeline.py" +_spec = importlib.util.spec_from_file_location("verify_pipeline", SCRIPT) +vp = importlib.util.module_from_spec(_spec) +_spec.loader.exec_module(vp) + + +class _FakeVerifier: + def __init__(self): + self.calls = [] + + def verify(self, path, *, check_current_publication=True): + p = Path(path) + self.calls.append((p.parent.name, check_current_publication)) + return (p.parent.name, check_current_publication) + + +class SupersededRunAggregation(unittest.TestCase): + def setUp(self): + self.tmp = tempfile.TemporaryDirectory() + self.addCleanup(self.tmp.cleanup) + self.root = Path(self.tmp.name) + self.fake = _FakeVerifier() + original = vp._load + vp._load = lambda *_args, **_kwargs: self.fake + self.addCleanup(setattr, vp, "_load", original) + + def ledger(self, run_id, *, record, finished_at=None, updated_at=None): + path = self.root / "runs" / "demo" / run_id / "run.json" + path.parent.mkdir(parents=True, exist_ok=True) + data = { + "project": "demo", + "record": record, + "runId": run_id, + "stages": [], + } + if finished_at is not None: + data["finishedAt"] = finished_at + if updated_at is not None: + data["updatedAt"] = updated_at + path.write_text(json.dumps(data), encoding="utf-8") + return path + + def test_only_latest_run_for_same_record_checks_current_publication(self): + self.ledger( + "old-run", + record="docs/demo/record.md", + finished_at="2026-09-21T01:00:00+00:00", + ) + self.ledger( + "new-run", + record="docs/demo/record.md", + finished_at="2026-09-21T02:00:00+00:00", + ) + + vp.verify_runs(self.root) + + self.assertEqual( + {"old-run": False, "new-run": True}, + dict(self.fake.calls), + ) + + def test_single_run_still_checks_current_publication(self): + self.ledger( + "only-run", + record="docs/demo/only.md", + finished_at="2026-09-21T01:00:00+00:00", + ) + + vp.verify_runs(self.root) + + self.assertEqual([("only-run", True)], self.fake.calls) + + def test_run_id_is_deterministic_tie_breaker_when_timestamps_are_missing(self): + self.ledger("run-a", record="docs/demo/tie.md") + self.ledger("run-b", record="docs/demo/tie.md") + + vp.verify_runs(self.root) + + self.assertEqual( + {"run-a": False, "run-b": True}, + dict(self.fake.calls), + ) + + +if __name__ == "__main__": + unittest.main() diff --git a/scripts/verify-pipeline-run.py b/scripts/verify-pipeline-run.py index c8665b4..d18c832 100644 --- a/scripts/verify-pipeline-run.py +++ b/scripts/verify-pipeline-run.py @@ -754,7 +754,7 @@ def _verify_quality_reviews( rep.error("command-pedagogy 원장이 없다", "qualityReviews.commandPedagogy") command = {} - publication_sha = _publication_sha256(run) + publication_sha = _publication_sha256(run) if check_current_publication else None artifact_required = schema >= COMMAND_ARTIFACT_SCHEMA initial = _analysis_counts( rep, command.get("initialAnalysis"), "command initial analysis", @@ -880,7 +880,7 @@ def _verify_quality_reviews( return unverifiable -def verify(path: str) -> Report: +def verify(path: str, *, check_current_publication: bool = True) -> Report: rel = os.path.relpath(path, ROOT) rep = Report(rel) try: @@ -991,7 +991,13 @@ def verify(path: str) -> Report: unverifiable += _side_proof(rep, st, sid, spec, where) # v3부터는 S3의 command repair와 S6 이후 독립 review도 같은 원장에서 검증한다. - unverifiable += _verify_quality_reviews(rep, run) + unverifiable += _verify_quality_reviews( + rep, + run, + check_current_publication=check_current_publication, + ) + if not check_current_publication: + rep.facts["현재 publication 대조"] = "superseded historical run — 최신 run이 담당" rep.facts["stages"] = counts if unverifiable: diff --git a/scripts/verify-pipeline.py b/scripts/verify-pipeline.py index 72b8b10..b6888d2 100755 --- a/scripts/verify-pipeline.py +++ b/scripts/verify-pipeline.py @@ -2,6 +2,7 @@ from __future__ import annotations import argparse +import datetime as dt import importlib.util import json import subprocess @@ -477,15 +478,62 @@ def verify_command_corpus(shared_root: Path) -> list: return reports +def _run_order_key(data: dict, path: Path) -> tuple[float, str, str]: + """같은 Record의 run 중 current publication을 대조할 최신 run을 고른다.""" + raw = data.get("finishedAt") or data.get("updatedAt") or data.get("startedAt") + timestamp = float("-inf") + if isinstance(raw, str) and raw.strip(): + try: + parsed = dt.datetime.fromisoformat(raw.strip().replace("Z", "+00:00")) + if parsed.tzinfo is None: + parsed = parsed.replace(tzinfo=dt.timezone.utc) + timestamp = parsed.timestamp() + except ValueError: + pass + return timestamp, str(data.get("runId") or ""), str(path) + + def verify_runs(shared_root: Path): """`runs/<프로젝트>//run.json` 이 절차를 지켰는지 본다. - 원장이 없는 것은 정상이다 — 파이프라인을 한 줄기로 돌린 적이 없다는 뜻이다. - 있는데 안 지킨 것만 잡는다. + 같은 Record를 여러 번 고친 경우 예전 run은 historical receipt다. 그 원장 자체의 + stage/gate/artifact 무결성은 계속 검사하지만, *현재* publication hash 대조는 가장 + 최근에 끝난 run 하나가 맡는다. 그렇지 않으면 정상적인 remediation 뒤에도 이전 + 영수증이 현재 파일과 다르다는 이유로 전체 pipeline이 영원히 실패한다. """ module = _load(shared_root, "verify-pipeline-run.py", "verify_pipeline_run") ledgers = sorted((shared_root / "runs").glob("*/*/run.json")) - return [module.verify(str(p)) for p in ledgers] + + metadata: dict[Path, dict] = {} + latest_by_record: dict[tuple[str, str], Path] = {} + for path in ledgers: + try: + data = json.loads(path.read_text(encoding="utf-8")) + except (OSError, ValueError): + continue + if not isinstance(data, dict): + continue + metadata[path] = data + project = str(data.get("project") or "").strip() + record = str(data.get("record") or "").strip() + if not project or not record: + continue + key = (project, record) + current = latest_by_record.get(key) + if current is None or _run_order_key(data, path) > _run_order_key(metadata[current], current): + latest_by_record[key] = path + + reports = [] + for path in ledgers: + data = metadata.get(path) + check_current = True + if data is not None: + project = str(data.get("project") or "").strip() + record = str(data.get("record") or "").strip() + if project and record: + check_current = latest_by_record.get((project, record)) == path + reports.append(module.verify(str(path), check_current_publication=check_current)) + return reports def verify_run_coverage(shared_root: Path):