11 KiB
id, kind, slug, title, topic, topicName, project, status, basisVersion, studio, assets, sourceRevision, source
| id | kind | slug | title | topic | topicName | project | status | basisVersion | studio | assets | sourceRevision | source | |||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 647d6d11-5bb2-4028-a530-b10c8925aa11 | CONCEPT | memory-pressure-reclaim-swap-oom | Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로 | memory-virtualization | 메모리 가상화 | virtualization | 초안 | Linux memory reclaim · swap · OOM Killer · cgroup memory limit · QEMU 의 Guest RAM backing | https://hyeonworks.com/studio/documents/647d6d11-5bb2-4028-a530-b10c8925aa11/edit |
|
no-commit · 밖에서 반입한 문서 한 편. 고정할 저장소 리비전이 없다 |
|
Host 메모리 압박이 Guest 와 스토리지까지 내려가는 경로
가상 머신에 설정한 메모리와 호스트에서 실제로 사용하는 메모리는 같은 값이 아니다. 여러 VM의 메모리 수요가 동시에 증가하면 Linux는 reclaim과 swap으로 물리 RAM을 확보하려고 한다. 이 과정에서 파일 재읽기나 swap I/O가 발생하면 메모리 압박이 스토리지 지연으로 이어질 수 있다. 메모리를 더 확보하지 못하면 OOM이 발생하며, guest OOM인지 host OOM인지에 따라 영향을 받는 범위도 달라진다.
CPU 가 모자랄 때와 RAM 이 모자랄 때
가상 머신들에 설정한 메모리 총량이 호스트의 물리 RAM보다 큰 구성을 메모리 초과 할당(memory overcommit)이라고 한다. 설정 메모리의 합이 물리 RAM보다 크더라도 각 VM이 동시에 최대치까지 사용하지 않으면 실행 자체는 가능하다.
Host Physical RAM = 32 GiB
VM1 configured = 16 GiB
VM2 configured = 16 GiB
VM3 configured = 16 GiB
Total configured = 48 GiB
이 숫자는 개념을 보이려고 든 예시이고 이 테스트 서버에서 잰 값이 아니다. 설정한 용량과, 그 가상 머신이 실제로 쓰고 있는 메모리(working set)나 호스트에서 그 몫으로 붙잡고 있는 메모리(resident memory)가 같지 않을 수 있기 때문에 이런 구성이 가능할 수 있다. 같은 예시에서 세 가상 머신이 실제로 쓰는 양을 각각 약 5G, 4G, 3G 로 잡으면 합이 약 12G 라 32 GiB 안에 들어간다. 세 대의 수요가 동시에 증가하면 그때부터 문제가 발생한다.
이 실험대는 그 구성이 아니다. 호스트 물리 RAM은 11,648MiB이고 세 VM의 configured memory 합은 10,240MiB라 총량 기준 메모리 overcommit 상태가 아니다. 2026-09-21 재검증에서 호스트 swap은 8.0GiB로 설정돼 있었고 약 259MiB가 사용 중이었다. 다만 vmstat 1 5의 si/so는 전 구간 0이라, swap 사용량이 남아 있다는 사실과 현재 swap I/O가 진행 중이라는 사실은 구분해야 한다.
그 배정이 처음부터 이 숫자였던 것은 아니다. 「단계 01 — 게스트 세 대」에서는 게스트를 만들 때 메모리가 3584MB 였고 실험을 늘리며 5120/4096 으로 재배분했다고 적었다. 왜 그때 늘릴 수 있었는지는 「VM 메모리 재배분 — 게스트를 다시 만들지 않는다」에 있다 — 「호스트에서 8GB→12GB로 물리 증설한 뒤 이 방법으로 재배분했다.」 그 방법은 virsh setmaxmem 으로 상한을 올리고 virsh setmem 으로 현재 할당을 맞추는 두 줄인데, 현재 할당을 상한보다 크게 줄 수 없어 순서가 정해져 있다. 게스트를 다시 만들거나 디스크를 건드리지 않아도 되는 대신 setmaxmem --live 는 대개 거부되므로, 상한을 바꾸려면 게스트를 껐다 켠다.
CPU 가 모자랄 때와 RAM 이 모자랄 때 Linux 가 하는 일이 다르다. CPU 가 모자라면 스케줄러가 실행 시간을 나누고 실행 가능한 작업은 자기 차례를 기다리는데, 시간은 잘라서 뒤로 미룰 수 있기 때문이다. RAM 이 모자랄 때는 미룰 것이 없어서 지금 존재해야 하는 페이지를 어디에 둘 것인가만 남는다. 그래서 메모리 압박에서는 회수와 스왑, ballooning, OOM 같은 메커니즘이 추가로 개입한다. 메모리 초과 할당은 CPU 초과 할당과 동일한 성격의 자원 공유가 아니다.
호스트가 메모리를 회수하는 순서
호스트 RAM 수요가 실제로 쓸 수 있는 물리 메모리에 접근하면 Linux 는 메모리 회수(reclaim)를 시도한다. 회수할 수 있는 캐시와 페이지를 먼저 처리하고, 그것으로 모자라면 힙이나 스택처럼 원본 파일이 없는 익명 메모리(anonymous memory)를 스왑(swap)으로 내보내고, 그래도 부족하면 심각한 압박이나 OOM 으로 간다.
회수 비용은 페이지 종류에 따라 갈린다. 원본이 스토리지에 있는 깨끗한 파일 기반 페이지(file-backed clean page)는 RAM 에서 버렸다가 필요할 때 스토리지에서 다시 읽으면 된다. 같은 파일 기반 페이지라도 내용이 바뀐 dirty 상태라면 버리기 전에 디스크로 써 내리는 writeback 이 먼저 필요할 수 있다. 익명 메모리는 원본 파일을 그대로 다시 읽어 올 수 없으므로 스왑처럼 내용을 받아 두는 backing 이 있어야 내보낼 수 있다.
게스트의 RAM 접근이 스토리지 대기로 바뀔 때
QEMU 가 게스트 RAM 으로 잡아 둔 호스트 물리 페이지가 스왑으로 나갈 수 있는 구성이라고 하자. 가상 머신 안의 Keycloak 은 그냥 메모리에 접근한다고 생각하고 실행된다. 그런데 그 접근에 필요한 호스트 쪽 페이지가 RAM 에 없으면 Host Page Fault 가 발생하고, 스왑인 I/O 가 끝나 물리 RAM 으로 복원된 뒤에야 게스트 실행이 이어진다. 게스트 관점에서 RAM 접근인 동작이 호스트에서는 스토리지 I/O 를 기다리는 동작으로 바뀌게 된다.
게스트 스왑과 호스트 스왑은 다른 계층에서 일어난다
게스트 스왑은 게스트 애플리케이션의 메모리 압박을 게스트 커널이 받아 /dev/vda 로 내려보내는 경로다. 그 요청은 virtio-blk 와 virtqueue 를 거쳐 QEMU 로 가고 호스트 스토리지에 닿는다. 호스트 스왑은 시작하는 곳이 다르다. QEMU 가 게스트 RAM 으로 잡아 둔 호스트 메모리가 호스트 메모리 압박 아래에서 호스트 커널에 눌려 호스트 스왑으로 나간다. 시작하는 곳도 지나는 계층도 달라서 한쪽 값으로 다른 쪽을 짐작할 수 없다. 게스트가 메모리에 여유가 있어 보이는 동안에도 호스트에서는 스왑과 회수가 심할 수 있다.
여러 I/O가 같은 저장장치를 공유할 때
게스트와 호스트가 동시에 메모리 압박을 겪으면 게스트 스왑 I/O 와 호스트 스왑 I/O, DB I/O, 파일 시스템 writeback 이 하나의 물리 NVMe 로 몰릴 수 있다. 그러면 호스트 메모리 압박이 회수와 스왑을 부르고, 늘어난 스토리지 I/O 가 스토리지 경쟁이 되고, DB 지연이 오르고, 그 위의 애플리케이션 지연까지 오른다.
호스트 메모리가 부족해 reclaim이나 swap이 발생하면 스토리지 I/O가 늘어날 수 있고, 그 영향이 게스트 응답 지연으로 이어질 수도 있다. 따라서 CPU 사용률이 낮더라도 메모리와 스토리지 지표를 함께 확인해야 한다.
그림에서는 호스트 메모리 압박 뒤에 갈라지는 경로만 남겼다. 깨끗한 파일 페이지 회수, 호스트 스왑과 스토리지 경쟁, 호스트 OOM은 같은 시작점에서 갈라지지만 게스트 OOM은 다른 커널에서 일어난다. 그래서 게스트 OOM은 같은 화살표에 억지로 붙이지 않고 아래에서 따로 구분한다.
회수로도 모자라면 OOM
Linux 가 메모리 할당 요구를 만족시키지 못하고 회수를 비롯한 방법으로도 필요한 메모리를 확보하지 못하면 OOM 상황이 발생할 수 있다. 그러면 OOM Killer 가 프로세스를 골라 종료하고 그만큼의 메모리를 확보한다.
같은 OOM 이라도 어느 커널이 처리했는지에 따라 멈추는 범위가 달라진다. 게스트 RAM 이 부족해 게스트 커널이 OOM 을 처리하면 게스트 안의 프로세스가 종료된다. 예를 들어 게스트 안에서 Keycloak 프로세스가 OOM victim으로 선택될 수 있다. 호스트 물리 RAM 이 부족해 호스트 커널이 OOM 을 처리하면 호스트 프로세스가 종료될 수 있는데, 그때 QEMU 가 골라지면 해당 가상 머신 전체가 중단되고 그 안에서 돌던 프로세스가 모두 함께 멈춘다.
cgroup 메모리 상한이 걸린 환경에서는 호스트 전체 RAM 에 여유가 있어도 그 cgroup 경계에서 OOM 이 발생할 수 있다. 그래서 OOM 하나를 보고 호스트 RAM 이 모자랐다고 정하지 않고 OOM 이 어느 계층에서 났는지를 확인한다.
이 실험대에서 실제로 걸어 본 메모리 압박
2026-09-21에는 host에서 anonymous memory를 256MiB씩 늘려 최대 3.5GiB를 추가로 touch하고 MemAvailable을 약 512MiB까지 낮춘 뒤 12초 동안 유지했다. 압박 전 pgmajfault=56493은 직후 56971로 478 증가했고 swap 사용량도 약 68MiB에서 323MiB로 늘었다.
그렇다고 곧바로 NVMe 병목으로 이어지지는 않았다. host에는 zswap이 활성화돼 있었고 pressure 뒤 Zswapped는 약 256MiB, 실제 압축 메모리 사용량은 약 32MiB였다. 같은 실행에서 pswpout은 증가하지 않았고 NVMe %util은 최고 약 7.1%였다. OIDC discovery 지연도 baseline median/p95 11.45/21.88ms, pressure 10.49/16.23ms, recovery 11.17/17.09ms로 압박 구간에서 일관되게 나빠지지 않았다. pressure를 해제한 뒤 MemAvailable은 약 4.1GiB로 돌아왔고 두 k3s node와 OIDC 응답도 정상 상태를 유지했다.
따라서 현재 안전 범위에서는 host memory pressure → major fault 증가까지는 확인했지만, disk swap-out → NVMe 지연 → guest application 지연으로 이어지는 사슬은 재현되지 않았다. 더 강한 압박으로 zswap 범위를 넘어 실제 disk swap-out을 지속시키는 조건은 기존 서비스 영향이 커질 수 있어 이 환경에서는 더 밀어붙이지 않았다.