14 KiB
kind, slug, title, topic, topicName, project, status, sourceRevision, evidence, source
| kind | slug | title | topic | topicName | project | status | sourceRevision | evidence | source | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CASE | cloud-init-failures-all-look-like-ssh-refused | SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유 | build-completion-judgment | 끝났다는 판정 | virtualization | 게시 전 | import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot |
|
|
SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유
게스트가 running인데 SSH가 안 붙으면 곧바로 SSH 키부터 고치지 않았다. 먼저 cloud-init이 시드를 읽었는지 확인했다. 이 실험대에서 실제로 확인한 것은 --cloud-init으로 붙인 시드 경로가 기대대로 보이지 않았던 사례와 cloud-init 22.4.2의 schema 거부다. YAML 파싱 실패, vol-upload 누락, libvirt network autostart 문제는 같은 단계에서 점검해야 할 가능한 실패 경로로 남기되, 모두 이 환경에서 같은 증상으로 재현했다고 쓰지 않는다.
VM은 떴는데 SSH만 붙지 않았다
게스트 세 대가 running 인데 lab host 에서 SSH 가 키로 붙지 않는다.
virsh list --all : kc-lab-1 · kc-lab-2 · kc-lab-edge 모두 running ssh donghyeon@192.168.122.11 : Permission denied (publickey) 게스트의 hostname : localhost cloud-init 이 남긴 오류 : x
cloud-init이 user-data를 적용하지 못하면 기대한 사용자와 SSH key도 들어가지 않을 수 있다. 다만 원인마다 남는 로그와 상태는 다를 수 있으므로 “cloud-init이 오류를 남기지 않는다”로 일반화하지 않는다. 이 사건에서는 SSH 실패와 localhost hostname이 먼저 눈에 띄었고, 그래서 시드/data source 경로를 SSH 설정보다 먼저 확인했다.
SSH보다 먼저 cloud-init이 시드를 읽었는지 본다
SSH 실패가 보이면 아래 경로를 차례로 가른다.
시드 연결 방식 : 이 환경에서는 --cloud-init 경로로 만든 시드가 guest에서 기대대로 읽히지 않았고, seed ISO를 bus=virtio disk로 붙인 구성에서는 /dev/vdb의 NoCloud data source로 확인됐다
YAML/cloud-config : syntax와 schema를 별도로 확인한다. parser/schema 실패는 guest 로그와 cloud-init status --long을 함께 본다
vol-upload 누락 : libvirt volume 이름만 존재하고 실제 seed 내용이 올라갔는지 용량과 업로드 절차를 확인한다
default network autostart : host 재부팅 뒤 network 자체가 안 올라온 경우에는 cloud-init과 별개로 guest 접근 경로가 사라질 수 있으므로 virsh net-info default를 본다
판정 : SSH 설정을 고치기 전에 호스트명 한 낱말을 본다. ssh kc-lab-edge 'hostname' 이 kc-lab-edge 를 내면 시드가 읽혔고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다 못 들어가면 : virsh screenshot 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다 키가 안 들어갔을 때의 탈출구 : cloud-init 의 plain_text_passwd 로 콘솔 로그인
반대 방향도 하나 있다. 게스트의 cloud-init 22.4.2 스키마 검사기는 sudo 를 리스트로 쓴 것을 거부한다. 그런데 그 표기로도 부팅은 되고, kc-lab-1 과 kc-lab-2 에서 그 상태로 NOPASSWD sudo 가 돌고 있다. 검사가 통과해도 안 도는 쪽이 넷이고 검사에 걸려도 도는 쪽이 하나라, 어느 방향이든 검사 결과를 게스트의 상태로 읽으면 틀린다.
당시 cloud-init 실험 환경
호스트 : test-server, Arch Linux RAM : 11,648MiB QEMU : 11.1.1 libvirt : 12.7.0 base 이미지 : Debian 12 genericcloud amd64 게스트 OS : Debian GNU/Linux 12 (bookworm) 게스트 : kc-lab-edge 192.168.122.10 · kc-lab-1 192.168.122.11 · kc-lab-2 192.168.122.12 시드 : seed-<이름>.iso, CIDATA 라벨, bus=virtio 로 붙임 게스트의 cloud-init : 22.4.2 cloud-init 이 깐 패키지 : curl · nftables running 에서 done 까지 : 약 50초
같은 증상을 확인하는 순서
- base 이미지를 받고 게스트마다 cloud-init user-data 를 쓴다.
- 시드 iso 를 만들고 virsh vol-create-as 로 볼륨을 만든 뒤 virsh vol-upload 로 채운다.
- DHCP 예약을 먼저 넣고 virt-install 로 게스트를 만든다. 시드는 bus=virtio 로 붙인다.
- virsh list --all 로 세 게스트가 running 인지 본다.
- lab host 에서 ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status' 를 친다.
- 호스트명이 게스트 이름이고 cloud-init status 가 done 이면 통과다. localhost 가 나오면 2번과 3번을 다시 본다.
- SSH 가 안 붙으면 virsh screenshot kc-lab-1 /tmp/kc1.ppm 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다.
시드가 게스트에 들어가는 길
cloud-init 이 게스트 안에서 사용자를 만들고 SSH 키를 넣으려면 먼저 데이터소스를 찾아야 한다. 이 실험대는 그것을 cidata 라벨이 붙은 볼륨으로 준다. 그 안에는 user-data 와 meta-data 라는 정확한 이름의 파일 둘이 들어 있다.
printf 'instance-id: kc-lab-1-%s\nlocal-hostname: kc-lab-1\n' "$(date +%s)" > meta-kc-lab-1
xorrisofs -quiet -output seed-kc-lab-1.iso -volid CIDATA -joliet -rock \
-graft-points /user-data=kc-lab-1.yaml /meta-data=meta-kc-lab-1
virsh vol-create-as default seed-kc-lab-1.iso "$(stat -c%s seed-kc-lab-1.iso)" --format raw
virsh vol-upload --pool default seed-kc-lab-1.iso seed-kc-lab-1.iso
볼륨을 만드는 것과 seed ISO 내용을 올리는 것은 다른 단계다. vol-create-as는 libvirt volume을 만들고 vol-upload가 로컬 ISO 내용을 그 volume에 쓴다. 따라서 업로드를 빠뜨리면 이름만 존재하고 기대한 CIDATA filesystem이 없는 volume이 될 수 있다. 이 실패 경로는 절차상 방지해야 하지만, 2026-09-17 원문에는 실제로 vol-upload를 누락해 부팅해 본 재현은 남아 있지 않다.
instance-id 에 타임스탬프를 넣는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이다. id 가 같으면 user-data 를 고쳐도 반영되지 않는다.
같은 단계에서 먼저 가를 네 가지 경로
| 확인 경로 | 현재 증거 수준 |
|---|---|
--cloud-init으로 붙인 시드가 guest에서 기대대로 읽히지 않음 |
이 환경에서 실제 관측. 수동 virtio seed 구성으로 바꾼 뒤 NoCloud seed=/dev/vdb 확인 |
| YAML/cloud-config 파싱 또는 schema 문제 | schema 거부는 실제 관측. 임의의 YAML parsing failure를 같은 증상으로 재현한 기록은 없음 |
vol-upload 누락 |
절차상 가능한 실패 경로. 실제 누락 부팅 재현 원문은 없음 |
default network autostart 비활성 |
host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제 재현한 원문은 없음 |
시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 --cloud-init이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 device=disk,bus=virtio,readonly=on으로 붙였다. 2026-09-17의 정상 guest cloud-init status --long에는 DataSourceNoCloud [seed=/dev/vdb][dsmode=net]가 남아 있다. 원인을 ‘Debian genericcloud에는 AHCI 드라이버가 없다’로 일반화하지 않는다. 현재 증거가 확정하는 것은 이 환경에서 virtio vdb seed 경로가 실제로 동작했다는 것까지다.
virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \
--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2 \
--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on \
--network network=default,mac=52:54:00:aa:bb:11 \
--import --os-variant debian12 --noautoconsole
default network의 autostart도 guest 내부 문제와 분리해 본다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근이 함께 끊길 수 있으므로 virsh net-info default의 Active와 Autostart를 먼저 확인한다. 이 문서는 그 실패를 이 환경에서 실제 재현했다고 주장하지 않고, 재부팅 뒤 접근 경로를 가르는 사전 확인으로 둔다.
호스트명 한 낱말이 시드와 SSH 를 가른다
게스트에 SSH 가 붙는다면 확인은 한 줄로 끝난다.
ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status'
kc-lab-edge
enp1s0 UP 192.168.122.10/24 metric 100
status: done
호스트명이 바뀌었다는 것은 시드가 읽혔다는 뜻이고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다. localhost 가 나오면 SSH 설정을 고치지 말고 시드부터 의심한다. cloud-init status 가 running 이면 아직 패키지를 받는 중이고, 이 실험대에서는 done 까지 약 50초 걸렸다.
게스트에 못 들어가면 화면을 직접 뜬다.
virsh screenshot kc-lab-1 /tmp/kc1.ppm # 확장자와 무관하게 PNG 로 저장된다
로그인 프롬프트 앞의 호스트명 한 낱말만 읽는다. localhost login: 이면 cloud-init 이 아예 안 돌았으므로 SSH 쪽은 볼 것이 없다. kc-lab-1 login: 이면 cloud-init 은 돌았고 그 안의 사용자·키 단계에서 틀린 것이라 콘솔로 들어가 로그를 본다. 콘솔 로그인에 쓰는 비밀번호가 cloud-init 의 plain_text_passwd 이고, 키가 안 들어갔을 때 게스트로 들어가는 길이 이것 하나다.
순서를 이렇게 정한 까닭이 여기에 있다. 화면 한 장과 콘솔에서 보는 로그 두 줄이 「SSH 가 안 되는 이유」를 절반으로 줄인다. 호스트명이 그 절반을 가르므로, 어느 쪽 절반을 볼지가 정해지기 전에는 SSH 설정을 열 이유가 없다.
검사가 거부해도 부팅은 된다
게스트의 cloud-init 22.4.2 스키마 검사기는 sudo 를 리스트로 쓴 것을 거부한다.
sudo: ['ALL=(ALL) NOPASSWD:ALL'] # 거부된다
sudo: "ALL=(ALL) NOPASSWD:ALL" # 통과한다
Error: Cloud config schema errors: users.0: {'name': 'donghyeon', 'groups':
['sudo'], 'shell': '/bin/bash', ...} is not valid under any of the given schemas
어느 키가 문제인지는 알려 주지 않는다. users.0 전체를 통째로 찍고 어느 스키마에도 안 맞는다고만 한다. 그리고 리스트 표기로도 부팅은 된다 — kc-lab-1 과 kc-lab-2 가 그 표기로 만들어졌고 NOPASSWD sudo 가 멀쩡히 돌고 있다.
NOPASSWD:ALL 을 넣은 것은 k3s 설치와 장애 주입이 비대화식으로 돌아야 해서다. 비밀번호를 물으면 원격 실행이 거기서 멈춘다. 검사기가 거부한 줄이 바로 그 줄이다.
schema 검사는 중요한 사전 확인이지만 guest의 최종 상태를 대신하지 않는다. 이 환경에서는 schema가 거부한 표현으로 만들어진 기존 VM이 실제로 동작하고 있었고, 반대로 YAML 문법이 맞아도 seed 연결이나 network 같은 다른 계층이 실패하면 원하는 상태에 도달하지 못할 수 있다.
시드를 만들기 전에 세 줄로 거른다
grep -c '__' kc-lab-1.yaml # 0 이어야 한다
grep -c 'ssh-ed25519\|ssh-rsa' kc-lab-1.yaml # 2 여야 한다
python3 -c 'import yaml,sys; yaml.safe_load(open("kc-lab-1.yaml")); print("YAML OK")'
0 과 2 와 YAML OK 셋이 맞아야 시드를 만든다. 셋이 맞아도 cloud-config 로 유효하지는 않다 — 키 이름을 users 대신 user 로 친 오타는 이 세 줄을 그냥 통과한다. 그래서 게스트가 한 대라도 떠 있으면 cloud-init 자신의 스키마 검사기를 쓴다.
ssh donghyeon@192.168.122.11 'umask 077; cat > ~/kc-lab-2.yaml' < kc-lab-2.yaml
ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-lab-2.yaml'
이 두 줄은 당시 문서에 남은 historical command다. 둘째 줄은 스키마 검사가 실패해도 ; rm 때문에 파일을 지운다. 따라 하는 절차에서는 검사와 삭제를 분리하고, 검사 성공 여부를 본 뒤 삭제한다.
이 파일에는 콘솔 비밀번호가 평문으로 들어 있어 /tmp 가 아니라 자기 홈에 600 으로 두고, 검사가 끝나면 바로 지운다.
실제로 재현한 실패와 아직 가정인 실패
네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 --cloud-init 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 DataSourceNoCloud [seed=/dev/vdb]가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 sudo 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, vol-upload 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 원문이 없으므로 진단 후보로만 남긴다.
후속 원문도 남겼다. 14-cloudinit-schema-check.txt에는 cloud-init 22.4.2가 sudo 리스트 표기를 실제로 거부한 출력이 있다. 15-k3s-precheck.txt의 Host key verification failed.는 2026-09-17 재구축 중 나온 별도 SSH 실패라 원래 사건의 Permission denied (publickey)를 재현한 것은 아니다. 원래 Permission denied (publickey), cloud-init status: done, 약 50초, virsh screenshot 화면은 아직 별도 raw 파일이 없고 당시 본문 기록만 남아 있다.
이 Case의 과거 실패 조합 전체를 그대로 다시 만드는 재현은 하지 않았다. 다만 2026-09-21에는 worker 두 대를 실제로 철거하고 현재 Setup의 qcow2·seed ISO·cloud-init 경로로 다시 만들어 cloud-init status: done과 SSH, 고정 IP, k3s 재합류까지 확인했다. 따라서 현재 정상 생성 경로는 재검증됐고, 과거 실패 후보 각각을 일부러 다시 유발한 것은 아니다.