Files
document-haness/docs/virtualization/tech-log-studio/memory-virtualization/concept/concept-huge-pages-in-a-vm.md
T

8.9 KiB
Raw Blame History

id, kind, slug, title, topic, topicName, project, status, basisVersion, studio, sourceRevision, source
id kind slug title topic topicName project status basisVersion studio sourceRevision source
efce9a6e-5f5d-45ec-86e5-056d8cb1b8d2 CONCEPT huge-pages-in-a-vm 가상 머신에서 Huge Page를 확인할 때 구분해야 하는 세 계층 memory-virtualization 메모리 가상화 virtualization 초안 Linux THP(/sys/kernel/mm/transparent_hugepage/enabled) · HugeTLB pool · x86-64 의 4 KiB / 2 MiB / 1 GiB page https://hyeonworks.com/studio/documents/efce9a6e-5f5d-45ec-86e5-056d8cb1b8d2/edit no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다
final/document.md#50-huge-page가-필요한-이유
final/document.md#51-huge-page와-tlb-coverage
final/document.md#52-vm에서-huge-page를-볼-때-주의할-점
final/document.md#53-thp-transparent-huge-pages
final/document.md#54-thp의-trade-off
final/document.md#55-hugetlb
final/document.md#56-thp와-hugetlb-비교
final/document.md#82-핵심-claim-registry

가상 머신에서 Huge Page를 확인할 때 구분해야 하는 세 계층

페이지 크기를 키우면 같은 메모리 범위를 더 적은 매핑으로 표현할 수 있고, TLB(Translation Lookaside Buffer, 주소 변환 캐시) 엔트리 하나가 덮는 범위도 넓어진다. 그런데 가상 머신에는 주소 변환 단계가 둘이라 「Huge Page 를 쓴다」는 말만으로는 어디를 말하는지 정해지지 않는다. 게스트 페이지 테이블 단계인지, QEMU 가 마련한 호스트 쪽 메모리인지, EPT(Extended Page Tables) 매핑인지를 나누어 물어야 그 말이 뜻을 갖는다. Linux 가 큰 페이지를 마련하는 방법도 THP(Transparent Huge Pages)와 HugeTLB 두 가지인데, 둘은 관리 주체도 사전 예약 여부도 다르다.

페이지가 커지면 매핑 수가 준다

같은 메모리 범위라도 페이지 크기에 따라 필요한 매핑 수가 달라진다. 8 GiB를 예로 들면 페이지 크기별 차이를 바로 비교할 수 있다.

페이지 크기 8 GiB 를 표현하는 데 필요한 페이지 수
4 KiB 2,097,152 pages
2 MiB 4,096 pages
1 GiB 8 pages

큰 페이지는 더 적은 매핑으로 넓은 메모리 범위를 표현할 수 있다. 위 8 GiB는 계산을 위한 예시 값이며 이 서버 가상 머신의 실제 설정은 아니다.

TLB 엔트리 하나가 덮는 범위

TLB 엔트리 하나가 가리키는 페이지가 커지면 캐시된 변환 하나로 더 넓은 주소 범위를 덮을 수 있다.

4 KiB page × 512 mappings
= 2 MiB coverage

2 MiB page × 512 mappings
= 1 GiB coverage

실제 CPU 는 페이지 크기마다 TLB 구조와 엔트리 수가 다르기 때문에, 이 숫자를 특정 CPU 의 실제 TLB 용량으로 해석하면 안 된다. 여기서 남는 것은 방향 하나다. 페이지 크기가 커지면 변환 하나가 덮는 범위가 넓어지고 TLB 압박이 줄어들 가능성이 생긴다. 페이지 테이블 엔트리 수와 페이지 테이블 탐색 부담도 함께 줄어들 가능성이 있다.

가상 머신에서는 세 곳을 따로 물어야 한다

가상 머신에는 GVA(Guest Virtual Address)를 GPA(Guest Physical Address)로 바꾸는 단계와, 그 GPA 를 HPA(Host Physical Address)로 바꾸는 단계가 있다.

GVA
 │ Guest Page Table
 ▼
GPA
 │ EPT
 ▼
HPA

그래서 "Huge Page를 사용한다"는 말만으로는 부족하다. 세 가지를 갈라 물어야 한다.

  • 게스트 페이지 테이블 단계에서 큰 페이지를 쓰는가?
  • 호스트가 그 메모리를 Huge Page 로 받치고 있는가?
  • EPT 매핑에서 큰 매핑을 활용하는가?

게스트와 호스트의 페이지 크기 선택을 같은 설정 하나로 묶어 다루면 안 된다. 게스트 안에서 THP 가 켜져 있어도 그것은 첫 질문에 대한 답이고, 그 가상 머신의 RAM 을 호스트가 무엇으로 받치는지는 두 번째 질문이 따로 받는다.

THP는 커널이 조건에 따라 큰 페이지를 사용한다

THP 는 Linux 가 가능한 메모리 영역에 대해 Huge Page 를 투명하게 활용하려는 기능이다. 애플리케이션이 평소처럼 malloc() 이나 mmap() 을 부르면 커널이 조건이 맞는 영역에 Huge Page 활용을 시도한다. 애플리케이션이 큰 페이지를 달라고 따로 요청하지 않는다는 뜻에서 투명하다.

지금 어떤 정책이 걸려 있는지는 /sys/kernel/mm/transparent_hugepage/enabled 에서 읽는다.

cat /sys/kernel/mm/transparent_hugepage/enabled
always [madvise] never

THP policy와 VM memory backing 설정은 커널과 호스트 구성에 따라 달라질 수 있으므로 메모리 실험마다 함께 기록한다. 이 조건이 빠지면 같은 memory pressure 결과를 다른 환경과 비교하기 어렵다.

THP 가 치르는 비용

Huge Page 에는 이어진 큰 물리 메모리 영역이 필요하다. 2 MiB 하나가 4 KiB 페이지 512 개에 해당해서, 그만큼 이어진 영역을 확보하지 못하면 커널이 compaction 같은 작업을 수행할 수 있다.

Huge Page 필요
      ↓
큰 contiguous memory 필요
      ↓
Fragmentation
      ↓
Compaction 가능
      ↓
Latency 영향 가능

THP가 항상 성능을 높인다고 단정할 수는 없다. 특히 지연에 민감한 워크로드에서는 실제 latency를 비교해야 하며, 이 서버에서는 THP on/off 성능 비교를 수행하지 않았다.

HugeTLB는 큰 페이지를 미리 예약한다

HugeTLB 는 Huge Page 풀을 명시적으로 두고 쓸 수 있는 Linux 메커니즘이다. 커널이 알아서 활용하는 THP 와 달리, 관리자가 풀을 준비하고 애플리케이션이나 가상 머신이 그 풀을 명시적으로 쓴다.

Physical RAM

┌──────────────────────────┐
│ Normal Memory            │
├──────────────────────────┤
│ HugeTLB Pool             │
│ 2 MiB                    │
│ 2 MiB                    │
│ 2 MiB                    │
│ ...                      │
└──────────────────────────┘

미리 확보해 두면 예측 가능성을 높일 수 있지만, 풀로 떼어 둔 만큼은 일반 할당이 쓸 수 없기 때문에 일반적인 메모리 할당의 유연성은 그만큼 줄어든다.

둘을 가르는 여섯 항목

무엇을 견주나 THP HugeTLB
관리 커널이 투명하게 활용 명시적인 풀
애플리케이션 개입 상대적으로 적음 명시적 구성 가능
유연성 상대적으로 높음 상대적으로 낮음
사전 예약 기본 동작 아님 가능
compaction 영향 발생 가능 미리 확보해 일부 상황 회피 가능
가상 머신 RAM backing 사용 가능 명시적으로 사용 가능

호스트에서 두 값을 함께 읽으면 어느 쪽이 쓰이고 있는지 갈린다.

grep -i huge /proc/meminfo
cat /sys/kernel/mm/transparent_hugepage/enabled

AnonHugePages 와 HugePages_Total 은 같은 뜻이 아니다. 앞의 값은 익명 메모리에서 THP 로 쓰이고 있는 양이고, 뒤의 값은 HugeTLB 풀로 확보해 둔 페이지 수다. 한쪽이 0 이어도 다른 쪽이 커질 수 있어서, 두 값을 한 이름으로 묶어 읽으면 어떤 방식이 돌고 있는지 알 수 없다.

이 실험대에서 확인한 Huge Page 상태

2026-09-21 현재 host의 THP 정책은 always다. /sys/kernel/mm/transparent_hugepage/enabled는 [always] madvise never였고 AnonHugePages도 실제로 사용 중이었다. 반면 HugePages_Total=0, HugePages_Free=0, Hugetlb=0 kB라 별도 HugeTLB pool은 없다.

세 VM도 함께 확인했고, 현재 명시적 HugeTLB backing을 사용하지 않는다. QEMU 쪽에서 보이는 AnonHugePages는 THP 관측으로 분리해 읽는다.

가상 머신 쪽에서는 libvirt의 memory backing 설정을 읽고 호스트의 /proc/meminfo, QEMU의 smaps 계열 값과 교차 확인한다.

virsh dumpxml <VM_NAME>

현재 THP 정책과 HugeTLB 사용 여부는 확인됐다. 아직 별도로 남는 것은 EPT 단계에서 실제로 큰 매핑이 어떻게 쓰이는지와 workload별 THP 효과다. 이 둘은 현재 설정값을 읽는 것만으로 답할 수 없으므로 별도 측정 대상으로 둔다. 현재 환경은 커널 7.2.2-arch1-1, QEMU 11.1.1, libvirt 12.7.0 기준이다.