Files
document-haness/docs/virtualization/tech-log-studio/memory-virtualization/question/question-qemu-memory-numa-placement.md
T

6.9 KiB

id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
id kind slug title topic topicName project status questionStatus lastVerifiedOn studio sourceRevision evidence source
1b59e6de-16f1-42b2-81bb-01d6198e34bf QUESTION qemu-memory-numa-placement QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가 memory-virtualization 메모리 가상화 virtualization 초안 RESOLVED 2026-09-21 https://hyeonworks.com/studio/documents/1b59e6de-16f1-42b2-81bb-01d6198e34bf/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
../../../final/evidence/raw/2026-09-21-test-server-revalidation/52-cpu-topology-vcpu-state.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/56-memory-host-runtime-state.txt
final/document.md#83-실제-환경에서-확인할-open-question-oq-11
final/document.md#75-vcpu와-numa의-연결
final/document.md#76-vcpu-pinning만으로는-numa-최적화가-끝나지-않는다
final/document.md#78-numa는-실제-장비-topology부터-확인한다

QEMU 메모리는 vCPU 가 도는 NUMA node 와 같은 node 에 있는가

2026-09-21 현재 host는 NUMA node가 node0 하나뿐이고 CPU 0-7 전체가 그 node에 속한다. QEMU numa_maps의 확인된 mapping도 모두 N0였으며 vCPU affinity도 0-7 전체다. 따라서 현재 host에서는 vCPU와 QEMU memory가 서로 다른 NUMA node에 놓이는 배치 자체가 성립하지 않는다.

QEMU memory가 놓인 node

  • 2026-09-21 재검증에서 lscpu는 NUMA node(s): 1, NUMA node0 CPU(s): 0-7을 냈다. 세 QEMU 프로세스의 numa_maps에서 확인한 mapping은 모두 N0였고, vCPU pinning은 없었다.

  • 게스트 vCPU 는 호스트에서 QEMU 의 vCPU 스레드이고, 그 스레드는 호스트 Linux 스케줄러를 거쳐 호스트 논리 CPU 에서 실행된다.

  • 어떤 가상 머신의 vCPU 스레드가 Node 0 의 CPU 에서 도는데 그 가상 머신의 호스트 쪽 physical backing page 가 Node 1 에 있으면 remote access 가 생길 수 있다. 게스트 안에서는 그것도 단순한 memory load 로 보이지만 실제 하드웨어에서는 NUMA interconnect 를 건널 수 있다.

  • vCPU 를 특정 노드의 CPU 에 pinning 해도 메모리가 다른 노드에 주로 배치되어 있으면 pinning 이후에도 remote memory access 가 많아질 수 있다. 그래서 vCPU 배치와 메모리 배치를 함께 본다.

  • 개념 문서가 이상적인 예로 든 구성은 한 가상 머신의 vCPU 넷이 Node 0 의 CPU 에 붙고 그 가상 머신의 메모리 backing 도 Node 0 RAM 인 경우다.

  • 개념 문서는 이 확인에 쓸 명령을 적어 두었다. QEMU 프로세스별 메모리 분포 : numastat -p <QEMU_PID> vCPU 배치 : virsh vcpupin <VM_NAME> 와 virsh vcpuinfo <VM_NAME> 장비 토폴로지 : lscpu 와 numactl --hardware

  • 같은 문서의 확인 항목은 numastat 결과를 vCPU 배치와 나란히 놓고 vCPU 와 메모리가 같은 노드인지 다른 노드인지 가르라고 적었다.

  • vCPU 실행 위치는 CPU 가상화 쪽에서 확인하고, 여기서는 QEMU 메모리의 노드별 분포를 읽어 두 값을 나란히 놓는다.

  • 현재 호스트는 단일 NUMA node라 vCPU placement와 memory distribution을 별도 성능 문제로 이어 볼 필요가 없다. 다중 NUMA 환경으로 바뀌면 두 값을 다시 같은 시점에 비교한다.

  • 2026-09-21에는 lscpu, QEMU numa_maps, virsh vcpuinfo/vcpupin 계열 정보를 함께 확인했고, 이 호스트가 단일 NUMA node라는 사실까지 확인했다.

vCPU와 memory를 비교하는 조건

  • 호스트가 다중 NUMA 노드라고 보고 이 실험을 짠다. 노드 수 자체는 CPU 가상화 쪽 물음이 받는다.
  • 두 가상 머신이 모두 떠 있는 동안 QEMU 프로세스를 가상 머신마다 가려낼 수 있다고 본다.
  • 관측하는 동안 vCPU 스레드가 다른 노드의 CPU 로 옮겨 다니지 않는다고 전제한다. pinning 이 걸려 있지 않으면 이 전제가 깨질 수 있고, 옮겨 다니는지는 CPU 가상화 쪽에서 따로 묻고 있다.
  • numastat 이 보고하는 노드별 분포가 그 가상 머신의 게스트 RAM backing 을 대표한다고 본다. QEMU 프로세스에는 게스트 RAM 말고 다른 할당도 들어 있다.

single node에서 mismatch가 없는 이유

현재 환경의 NUMA placement에 대한 미지수는 해소됐다. node0 하나뿐이므로 세 VM의 QEMU memory와 vCPU가 사용할 수 있는 NUMA node도 node0 하나다. 다중 NUMA에서의 memory binding 방법과 성능 차이는 이 host에서 검증할 수 없다.

다중 NUMA에서 다시 볼 것

  • NUMA 노드 수는 먼저 확인돼 있어야 한다. 단일 노드라면 노드 간 원격 접근 문제는 이 환경에 적용되지 않는다.
  • 여기서는 배치를 바꾸지 않고 현재 상태만 확인한다.
  • 두 값은 같은 시각에 받아 적는다. 시각이 어긋나면 스케줄러가 vCPU 스레드를 옮긴 뒤의 배치를 앞서 찍은 메모리 분포와 견주게 된다.
  • 이 호스트에서 잰 값이 없으므로 다른 장비의 NUMA 배치를 근거로 삼지 않는다.

placement를 읽는 방법

1. 가상 머신마다 메모리 분포와 vCPU 배치를 한 번에 받아 적는다

QEMU 프로세스마다 numastat -p 를 돌리고, 같은 시각에 virsh vcpuinfo 와 virsh vcpupin 으로 vCPU 배치를 받아 두 값을 한 표에 넣는다. 어긋남이 있으면 그 표에 그대로 드러나고, 없으면 없다는 것도 같은 표로 남는다.

2. 부하를 준 상태에서 한 번 더 받는다

idle 상태의 배치만 보면 메모리가 아직 실제로 할당되지 않은 구간을 볼 수 있다. 게스트에서 워크로드를 돌린 뒤 같은 두 값을 다시 받으면 실제로 쓰이는 메모리가 어느 노드에 잡히는지까지 나온다.

실행이 두 번으로 늘고 어느 워크로드를 쓸지 먼저 정해야 하는데, 그 선택이 결과를 바꾸기 때문에 Workload 조건을 함께 적는다.

3. 게스트 안에서 numactl 로 확인한다 — 제외

게스트에서도 NUMA 를 볼 수 있으니 게스트 안에서 확인하자는 방법이다. 게스트가 보는 NUMA 토폴로지는 VM에 노출된 가상 토폴로지다. 지금 필요한 값은 호스트에서 QEMU 메모리 backing이 어느 노드에 놓였는지이므로 게스트 쪽 정보만으로는 충분하지 않다. 개념 문서는 큰 가상 머신에서 게스트에게 NUMA 토폴로지 자체를 노출하고 게스트 노드와 호스트 배치가 대응되도록 구성할 수 있다고 적어 두었다. 이 프로젝트의 가상 머신이 그런 구성인지는 그 문서에 없어서, 게스트 값이 호스트 배치를 어디까지 반영하는지도 재기 전에는 모른다.

single NUMA에서는 local·remote 배치를 나눌 수 없다

현재 host는 단일 NUMA node라 remote/local mismatch가 없다. 다중 NUMA host로 실험 환경이 바뀌면 그때 다시 연다.