--- id: 1b59e6de-16f1-42b2-81bb-01d6198e34bf kind: QUESTION slug: qemu-memory-numa-placement title: QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가 topic: memory-virtualization topicName: 메모리 가상화 project: virtualization status: 초안 questionStatus: RESOLVED lastVerifiedOn: 2026-09-21 studio: "https://hyeonworks.com/studio/documents/1b59e6de-16f1-42b2-81bb-01d6198e34bf/edit" sourceRevision: no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 evidence: - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt - ../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt source: - final/document.md#83-실제-환경에서-확인할-open-question-oq-11 - final/document.md#75-vcpu와-numa의-연결 - final/document.md#76-vcpu-pinning만으로는-numa-최적화가-끝나지-않는다 - final/document.md#78-numa는-실제-장비-topology부터-확인한다 --- # QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가 2026-09-21 현재 host는 NUMA node가 `node0` 하나뿐이고 CPU `0-7` 전체가 그 node에 속한다. QEMU `numa_maps`의 확인된 mapping도 모두 `N0`였으며 vCPU affinity도 `0-7` 전체다. 따라서 현재 host에서는 vCPU와 QEMU memory가 서로 다른 NUMA node에 놓이는 배치 자체가 성립하지 않는다. ## QEMU memory가 놓인 node - 2026-09-21 재검증에서 `lscpu`는 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 냈다. 세 QEMU 프로세스의 `numa_maps`에서 확인한 mapping은 모두 `N0`였고, vCPU pinning은 없었다. - 게스트 vCPU 는 호스트에서 QEMU 의 vCPU 스레드이고, 그 스레드는 호스트 Linux 스케줄러를 거쳐 호스트 논리 CPU 에서 실행된다. - 어떤 가상 머신의 vCPU 스레드가 Node 0 의 CPU 에서 도는데 그 가상 머신의 호스트 쪽 physical backing page 가 Node 1 에 있으면 remote access 가 생길 수 있다. 게스트 안에서는 그것도 단순한 memory load 로 보이지만 실제 하드웨어에서는 NUMA interconnect 를 건널 수 있다. - vCPU 를 특정 노드의 CPU 에 pinning 해도 메모리가 다른 노드에 주로 배치되어 있으면 pinning 이후에도 remote memory access 가 많아질 수 있다. 그래서 vCPU 배치와 메모리 배치를 함께 본다. - 개념 문서가 이상적인 예로 든 구성은 한 가상 머신의 vCPU 넷이 Node 0 의 CPU 에 붙고 그 가상 머신의 메모리 backing 도 Node 0 RAM 인 경우다. - 개념 문서는 이 확인에 쓸 명령을 적어 두었다. QEMU 프로세스별 메모리 분포 : numastat -p vCPU 배치 : virsh vcpupin 와 virsh vcpuinfo 장비 토폴로지 : lscpu 와 numactl --hardware - 같은 문서의 확인 항목은 numastat 결과를 vCPU 배치와 나란히 놓고 vCPU 와 메모리가 같은 노드인지 다른 노드인지 가르라고 적었다. - vCPU 실행 위치는 CPU 가상화 쪽에서 확인하고, 여기서는 QEMU 메모리의 노드별 분포를 읽어 두 값을 나란히 놓는다. - 현재 호스트는 단일 NUMA node라 vCPU placement와 memory distribution을 별도 성능 문제로 이어 볼 필요가 없다. 다중 NUMA 환경으로 바뀌면 두 값을 다시 같은 시점에 비교한다. - 2026-09-21에는 `lscpu`, QEMU `numa_maps`, `virsh vcpuinfo`/`vcpupin` 계열 정보를 함께 확인했고, 이 호스트가 단일 NUMA node라는 사실까지 확인했다. ## vCPU와 memory를 비교하는 조건 - 호스트가 다중 NUMA 노드라고 보고 이 실험을 짠다. 노드 수 자체는 CPU 가상화 쪽 물음이 받는다. - 두 가상 머신이 모두 떠 있는 동안 QEMU 프로세스를 가상 머신마다 가려낼 수 있다고 본다. - 관측하는 동안 vCPU 스레드가 다른 노드의 CPU 로 옮겨 다니지 않는다고 전제한다. pinning 이 걸려 있지 않으면 이 전제가 깨질 수 있고, 옮겨 다니는지는 CPU 가상화 쪽에서 따로 묻고 있다. - numastat 이 보고하는 노드별 분포가 그 가상 머신의 게스트 RAM backing 을 대표한다고 본다. QEMU 프로세스에는 게스트 RAM 말고 다른 할당도 들어 있다. ## single node에서 mismatch가 없는 이유 현재 환경의 NUMA placement에 대한 미지수는 해소됐다. node0 하나뿐이므로 세 VM의 QEMU memory와 vCPU가 사용할 수 있는 NUMA node도 node0 하나다. 다중 NUMA에서의 memory binding 방법과 성능 차이는 이 host에서 검증할 수 없다. ## 다중 NUMA에서 다시 볼 것 - NUMA 노드 수는 먼저 확인돼 있어야 한다. 단일 노드라면 노드 간 원격 접근 문제는 이 환경에 적용되지 않는다. - 여기서는 배치를 바꾸지 않고 현재 상태만 확인한다. - 두 값은 같은 시각에 받아 적는다. 시각이 어긋나면 스케줄러가 vCPU 스레드를 옮긴 뒤의 배치를 앞서 찍은 메모리 분포와 견주게 된다. - 이 호스트에서 잰 값이 없으므로 다른 장비의 NUMA 배치를 근거로 삼지 않는다. ## placement를 읽는 방법 ### 1. 가상 머신마다 메모리 분포와 vCPU 배치를 한 번에 받아 적는다 QEMU 프로세스마다 numastat -p 를 돌리고, 같은 시각에 virsh vcpuinfo 와 virsh vcpupin 으로 vCPU 배치를 받아 두 값을 한 표에 넣는다. 어긋남이 있으면 그 표에 그대로 드러나고, 없으면 없다는 것도 같은 표로 남는다. ### 2. 부하를 준 상태에서 한 번 더 받는다 idle 상태의 배치만 보면 메모리가 아직 실제로 할당되지 않은 구간을 볼 수 있다. 게스트에서 워크로드를 돌린 뒤 같은 두 값을 다시 받으면 실제로 쓰이는 메모리가 어느 노드에 잡히는지까지 나온다. 실행이 두 번으로 늘고 어느 워크로드를 쓸지 먼저 정해야 하는데, 그 선택이 결과를 바꾸기 때문에 Workload 조건을 함께 적는다. ### 3. 게스트 안에서 numactl 로 확인한다 — 제외 게스트에서도 NUMA 를 볼 수 있으니 게스트 안에서 확인하자는 방법이다. 게스트가 보는 NUMA 토폴로지는 VM에 노출된 가상 토폴로지다. 지금 필요한 값은 호스트에서 QEMU 메모리 backing이 어느 노드에 놓였는지이므로 게스트 쪽 정보만으로는 충분하지 않다. 개념 문서는 큰 가상 머신에서 게스트에게 NUMA 토폴로지 자체를 노출하고 게스트 노드와 호스트 배치가 대응되도록 구성할 수 있다고 적어 두었다. 이 프로젝트의 가상 머신이 그런 구성인지는 그 문서에 없어서, 게스트 값이 호스트 배치를 어디까지 반영하는지도 재기 전에는 모른다. ## single NUMA에서는 local·remote 배치를 나눌 수 없다 현재 host는 단일 NUMA node라 remote/local mismatch가 없다. 다중 NUMA host로 실험 환경이 바뀌면 그때 다시 연다.