Files
document-haness/docs/virtualization/tech-log-studio/network-virtualization/question/question-virtio-net-multi-queue-enabled.md
T

8.8 KiB

id, kind, slug, title, topic, topicName, project, status, questionStatus, lastVerifiedOn, studio, sourceRevision, evidence, source
id kind slug title topic topicName project status questionStatus lastVerifiedOn studio sourceRevision evidence source
1a996f8d-b04e-49d2-88ef-4877e21f7c0e QUESTION virtio-net-multi-queue-enabled 이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가 network-virtualization 네트워크 가상화 virtualization 초안 RESOLVED 2026-09-21 https://hyeonworks.com/studio/documents/1a996f8d-b04e-49d2-88ef-4877e21f7c0e/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
../../../final/evidence/raw/2026-09-21-test-server-revalidation/47-network-backend-host.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/48-network-runtime-queues-kc1.txt
../../../final/evidence/raw/2026-09-21-test-server-revalidation/49-network-runtime-queues-kc2.txt
final/document.md#122-open-question-oq-5
final/document.md#112-multi-queue-최적화
final/document.md#100-virtqueue의-역할
final/document.md#117-이-구조에서-발생할-수-있는-문제-117-5

이 가상 머신들의 virtio-net 에 multi-queue 가 켜져 있는가

현재 worker 두 대의 virtio-net은 multi-queue가 아니다. 2026-09-21 게스트의 /sys/class/net/enp1s0/queues를 직접 읽었고 둘 다 rx-0, tx-0 한 쌍만 있었다. QEMU/libvirt NIC 설정에도 별도 queue 수 지정이 없다.

현재 queue 구성

  • 2026-09-21 재검증에서 kc-lab-1과 kc-lab-2의 queue 디렉터리는 모두 rx-0, tx-0만 포함했다. /proc/interrupts에서 RX와 TX interrupt가 서로 다른 vCPU에 잡힌 순간이 있어도 queue pair 자체는 하나다.

  • 「Multi-Queue 최적화」에서는 큐를 하나만 쓰면 특정 vCPU 나 처리 경로에 부하가 몰릴 수 있다고 적었고, virtio-net 이 multi-queue 를 쓸 수 있다고 밝혔다. 든 예는 RX Queue 0 부터 3 까지를 vCPU 0 부터 3 까지에 하나씩 대응시킨 구성이다.

  • 「Multi-Queue 최적화」에 적은 multi-queue 의 목적 셋 Packet processing 병렬화 Single queue bottleneck 완화 Multi-core 활용

  • 「Multi-Queue 최적화」에서는 그 효과가 workload · CPU affinity · IRQ placement · queue configuration 에 따라 달라진다고 덧붙였다. IRQ(Interrupt Request, 인터럽트 요청)는 장치가 처리할 일이 생겼음을 CPU 에 알리는 신호다.

  • 「virtqueue의 역할」에서는 virtqueue 를 게스트와 호스트 백엔드가 디스크립터(descriptor)를 써서 I/O 버퍼를 주고받는 공유 큐 구조로 놓고, 네트워크에서는 보통 TX/RX 큐를 쓴다고 적었다. TX virtqueue 는 게스트에서 호스트로, RX virtqueue 는 호스트에서 게스트로 버퍼를 넘긴다.

  • 「Single Queue Bottleneck」에서는 single queue bottleneck 을 큐 하나나 vCPU 하나에 패킷 처리가 몰리는 문제로 놓고, 확인 대상 넷을 들었다. virtio multi-queue IRQ distribution per-vCPU CPU usage RSS/RPS/XPS

  • 현재 queue 구성을 확인할 때는 QEMU/libvirt NIC 설정, guest queue count, IRQ distribution을 함께 본다. queue 수만 보고 병목까지 단정하지 않는다.

  • 「측정 환경」와 「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 이 실험대의 vCPU 배분을 실측으로 적었다. k3s 노드 kc-lab-1 과 kc-lab-2 가 각각 vCPU 2 이고 엣지 게스트가 1 이며, 합 5 를 논리 코어 8 위에 얹었다. 「Multi-Queue 최적화」에서는 큐와 vCPU 를 하나씩 짝지어 든 예는 넷씩이라 이 게스트들의 수와 다르다.

  • 「DHCP 예약 (ip-dhcp-host)과 MAC 52:54:00」에서는 VM 이 부팅하면 게스트 커널이 virtio NIC 를 인식하고 DHCP 클라이언트가 DHCPDISCOVER 를 브로드캐스트한다고 적었다. 이 게스트들의 NIC 가 virtio 라는 것은 거기까지 나온다.

  • 「네트워크 — DHCP 예약의 실제 동작」에서는 게스트 안에서 본 인터페이스 이름을 한 줄 남겼다. 엣지 게스트가 첫 부팅에서 enp1s0 으로 192.168.122.10/24 을 받았다. ethtool 에 넣을 이름이 그 줄에서 나오지만 k3s 노드 두 대의 인터페이스 이름은 적혀 있지 않다.

  • 2026-09-21 재검증에서 worker 둘의 guest queue count와 IRQ 상태를 직접 읽었다. 둘 다 single RX/TX queue 구성이다.

  • 「다음 실습 순서」에 적은 실습 순서 열둘 가운데 multi-queue / offload 확인은 마지막 열두째다.

  • 네트워크 계층의 확인 명령을 모아 둔 「실제 Linux에서 확인할 명령어」에는 큐 수나 IRQ 분포를 읽는 명령이 없다. Guest NIC 항목에 적힌 것은 ip link · ip addr · ip route · ip neigh 이고, virtio 장치 항목은 lspci 와 lsmod | grep virtio 다. ethtool 은 Physical NIC 항목에서 인터페이스 이름을 받는 형태로만 나온다.

host와 guest 확인 조건

  • 두 가상 머신의 구성과 게스트 내부를 지금 읽을 수 있다고 본다.
  • 「Multi-Queue 최적화」에서 든 RX Queue 넷과 vCPU 넷의 짝은 multi-queue 를 설명하려고 든 예시이지 이 호스트에서 읽은 값이 아니다.
  • 설정에 적힌 큐 수와 게스트가 실제로 쓰는 큐 수를 따로 읽어야 한다. 설정에 여러 큐를 적었다고 해서 게스트 드라이버가 모두 사용한다고 볼 근거는 원문에 없기 때문이다.
  • 큐를 여럿 두어도 IRQ 를 한 vCPU 가 몰아서 받으면 처리가 한쪽에 몰린다고 본다. 「Single Queue Bottleneck」에서는 IRQ distribution 을 확인 대상으로 들었을 뿐 그렇게 된다고 적지는 않았다.
  • 두 가상 머신의 NIC 구성이 확인하는 동안 바뀌지 않는다.

single queue가 뜻하지 않는 것

현재 queue 수에 대한 미지수는 해소됐다. worker 둘은 single RX/TX queue 구성이다. 이것이 실제 병목인지와 multi-queue를 켰을 때 latency/CPU가 개선되는지는 별도 성능 실험으로 남긴다. RSS/RPS/XPS 튜닝 상태도 그 성능 실험에서 함께 읽는다.

성능 병목은 별도 질문이다

  • 현재 queue 수는 이 호스트에서 직접 확인했다. 다만 single queue가 실제 성능 병목인지는 부하 실험 전에는 알 수 없다.
  • 이 물음은 큐 구성이 무엇인지까지만 답한다. 쏠림이 실제 병목인지는 부하를 걸어야 갈리고, 그 부하 측정은 다른 물음이 가져간다.
  • 확인하는 동안 NIC 구성을 바꾸지 않는다. 큐 수를 늘려 놓고 읽으면 지금 실험이 어떤 구성에서 돌았는지 못 본다.
  • 2026-09-21 재검증은 worker guest 둘이 실행 중일 때 수행했다. NIC를 재정의하거나 guest를 다시 만들면 queue 구성을 다시 읽는다.
  • 「실제 Linux에서 확인할 명령어」에서는 큐 수와 IRQ 분포를 읽는 명령을 적지 않았으므로, 실행한 명령과 그 출력을 함께 증거로 남겨야 다음 사람이 같은 값을 다시 읽는다.

queue를 읽는 방법

1. 호스트 쪽 설정값만 먼저 읽는다

libvirt 와 QEMU 쪽 NIC 구성에 큐 수가 적혀 있는지부터 본다. 「libvirt」에서는 libvirt 의 관리 대상 예로 든 여덟은 vCPU · Memory · Disk · NIC model · MAC address · Virtual network · Bridge · QEMU arguments 이고, 큐 수는 그 목록에 없다. 가상 머신에 들어가지 않고 호스트에서 끝나고, 큐가 하나로 적혀 있으면 그 구성은 single queue 로 확정된다.

설정에 큐를 여럿 적어 두었을 때 게스트가 그만큼 쓰는지는 이 확인으로 알 수 없다.

2. 설정값과 게스트 쪽 채널 수를 함께 읽는다

원문의 5번째 확인 항목에 적힌 네 가지 가운데 앞의 셋에 해당한다. 호스트의 NIC 구성과 게스트 안에서 본 채널 수를 같이 적으면 둘이 어긋나는 경우까지 잡힌다. 가상 머신 두 대에 각각 들어가야 해서 실행 횟수가 늘어난다.

3. IRQ 분포까지 한 번에 읽는다

큐가 여럿이어도 IRQ 가 한 vCPU 에 몰려 있으면 「Single Queue Bottleneck」에서 든 쏠림은 그대로 생길 수 있다. 그래서 원문의 5번째 확인 항목도 IRQ distribution 을 따로 확인하도록 했다. 큐 수와 IRQ 분포를 함께 보면 큐 개수만으로 판정을 끝내는 일을 피할 수 있다.

4. 제외 — 큐 수를 바꿔 가며 견준다

multi-queue를 켜고 끄면 성능 영향까지 볼 수 있지만, 현재 질문은 실행 중인 구성이 single queue인지 확인하는 데까지만 다룬다. queue 수 변경 전후의 latency·CPU 비교는 별도 성능 실험으로 분리한다.

single-queue라는 사실만으로 병목이라고 보지 않는다

NIC 설정을 바꾼 경우에만 queue 디렉터리와 QEMU/libvirt NIC 인자를 다시 대조한다. 현재 single-queue라는 사실만으로 성능 병목이라고 단정하지 않는다.