14 KiB
kind, slug, title, topic, topicName, project, status, sourceRevision, evidence, source
| kind | slug | title | topic | topicName | project | status | sourceRevision | evidence | source | ||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CASE | cloud-init-failures-all-look-like-ssh-refused | SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유 | build-completion-judgment | 끝났다는 판정 | virtualization | 게시 전 | import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot |
|
|
SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유
게스트 세 대는 running 상태였지만 SSH 공개키 인증이 되지 않았고, 한 게스트의 호스트명은 localhost로 남아 있었다. SSH 설정만 수정하기 전에 cloud-init이 시드를 읽었는지부터 확인했다. 이 환경에서 실제로 확인한 문제는 기존 --cloud-init 연결에서 기대한 NoCloud 시드가 보이지 않았던 점과 cloud-init 22.4.2의 스키마 검사 결과였다. YAML 파싱 실패, vol-upload 누락, libvirt 네트워크 자동 시작 문제는 같은 증상을 만들 수 있는 점검 항목이지만 이 환경에서 각각 재현한 것은 아니다.
게스트는 실행 중이었지만 SSH 공개키 인증이 되지 않았다
가상 머신 자체는 모두 실행 중이었다. 문제는 운영체제가 기대한 초기 설정을 적용했는지였다.
| 확인 항목 | 당시 상태 |
|---|---|
virsh list --all |
kc-lab-1, kc-lab-2, kc-lab-edge 모두 running |
ssh donghyeon@192.168.122.11 |
Permission denied (publickey) |
| 게스트 호스트명 | localhost |
| cloud-init 오류 원문 | 별도로 보존하지 않음 |
cloud-init이 user-data를 적용하지 못하면 사용자 계정과 SSH 공개키도 기대한 상태로 만들어지지 않을 수 있다. 이때 SSH 키만 바꾸면 원인을 놓칠 수 있으므로, 먼저 시드가 게스트에 전달됐는지 확인했다.
먼저 cloud-init이 시드를 읽었는지 확인했다
SSH 연결 실패와 cloud-init 문제를 구분하기 위해 다음 항목을 순서대로 확인했다.
| 확인 항목 | 확인하는 내용 |
|---|---|
| 시드 연결 방식 | 이 환경에서는 virtio 디스크로 붙인 seed ISO가 /dev/vdb의 NoCloud 데이터소스로 인식됐다 |
| YAML과 cloud-config | YAML 문법과 cloud-init 스키마 검사는 별도로 확인한다 |
vol-upload |
libvirt 볼륨만 만든 것이 아니라 실제 seed ISO 내용까지 업로드됐는지 확인한다 |
default 네트워크 |
호스트 재부팅 뒤 libvirt 네트워크가 올라왔는지 virsh net-info default로 확인한다 |
SSH가 가능하면 hostname과 cloud-init status를 먼저 확인한다. 접속 자체가 되지 않으면 virsh screenshot으로 콘솔의 호스트명을 확인할 수 있다. 공개키가 적용되지 않았을 때 콘솔 로그인이 필요하도록 plain_text_passwd도 당시 cloud-init 설정에 포함했다.
다만 스키마 검사 결과만으로 게스트의 최종 상태를 판단하지는 않는다. cloud-init 22.4.2는 sudo를 리스트로 쓴 표현을 거부했지만, 기존 kc-lab-1과 kc-lab-2에서는 같은 표현으로 NOPASSWD sudo가 실제 동작하고 있었다. 스키마 검사는 사전 점검이고, 최종 상태는 부팅한 게스트에서 다시 확인해야 했다.
당시 cloud-init 실험 환경
| 항목 | 값 |
|---|---|
| 호스트 | test-server, Arch Linux |
| RAM | 11,648MiB |
| QEMU | 11.1.1 |
| libvirt | 12.7.0 |
| base 이미지 | Debian 12 genericcloud amd64 |
| 게스트 OS | Debian GNU/Linux 12 (bookworm) |
| 게스트 | kc-lab-edge 192.168.122.10 · kc-lab-1 192.168.122.11 · kc-lab-2 192.168.122.12 |
| 시드 | seed-<이름>.iso, CIDATA 라벨, bus=virtio |
| cloud-init | 22.4.2 |
| cloud-init으로 설치한 패키지 | curl · nftables |
running에서 done까지 |
약 50초 |
같은 증상을 확인하는 순서
- base 이미지를 받고 게스트마다 cloud-init user-data 를 쓴다.
- 시드 iso 를 만들고 virsh vol-create-as 로 볼륨을 만든 뒤 virsh vol-upload 로 채운다.
- DHCP 예약을 먼저 넣고 virt-install 로 게스트를 만든다. 시드는 bus=virtio 로 붙인다.
- virsh list --all 로 세 게스트가 running 인지 본다.
- lab host 에서 ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status' 를 친다.
- 호스트명이 게스트 이름이고 cloud-init status 가 done 이면 통과다. localhost 가 나오면 2번과 3번을 다시 본다.
- SSH 가 안 붙으면 virsh screenshot kc-lab-1 /tmp/kc1.ppm 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다.
시드가 게스트에 들어가는 길
cloud-init 이 게스트 안에서 사용자를 만들고 SSH 키를 넣으려면 먼저 데이터소스를 찾아야 한다. 이 실험대는 그것을 cidata 라벨이 붙은 볼륨으로 준다. 그 안에는 user-data 와 meta-data 라는 정확한 이름의 파일 둘이 들어 있다.
printf 'instance-id: kc-lab-1-%s\nlocal-hostname: kc-lab-1\n' "$(date +%s)" > meta-kc-lab-1
xorrisofs -quiet -output seed-kc-lab-1.iso -volid CIDATA -joliet -rock \
-graft-points /user-data=kc-lab-1.yaml /meta-data=meta-kc-lab-1
virsh vol-create-as default seed-kc-lab-1.iso "$(stat -c%s seed-kc-lab-1.iso)" --format raw
virsh vol-upload --pool default seed-kc-lab-1.iso seed-kc-lab-1.iso
볼륨을 만드는 것과 seed ISO 내용을 올리는 것은 다른 단계다. vol-create-as는 libvirt volume을 만들고 vol-upload가 로컬 ISO 내용을 그 volume에 쓴다. 따라서 업로드를 빠뜨리면 이름만 존재하고 기대한 CIDATA filesystem이 없는 volume이 될 수 있다. 이 실패 경로는 절차상 방지해야 하지만, 2026-09-17 원문에는 실제로 vol-upload를 누락해 부팅해 본 재현은 남아 있지 않다.
instance-id 에 타임스탬프를 넣는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이다. id 가 같으면 user-data 를 고쳐도 반영되지 않는다.
같은 단계에서 먼저 가를 네 가지 경로
| 확인 경로 | 현재 증거 수준 |
|---|---|
--cloud-init으로 붙인 시드가 guest에서 기대대로 읽히지 않음 |
이 환경에서 실제 관측. 수동 virtio seed 구성으로 바꾼 뒤 NoCloud seed=/dev/vdb 확인 |
| YAML/cloud-config 파싱 또는 schema 문제 | schema 거부는 실제 관측. 임의의 YAML parsing failure를 같은 증상으로 재현한 기록은 없음 |
vol-upload 누락 |
절차상 가능한 실패 경로. 실제 누락 부팅을 재현한 기록은 없음 |
default network autostart 비활성 |
host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제로 재현한 기록은 없음 |
시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 --cloud-init이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 device=disk,bus=virtio,readonly=on으로 붙였다. 2026-09-17의 정상 guest cloud-init status --long에는 DataSourceNoCloud [seed=/dev/vdb][dsmode=net]가 남아 있다. 현재 남아 있는 증거만으로 --cloud-init 경로가 기대대로 동작하지 않은 원인을 특정할 수는 없다. 확인된 것은 virtio vdb로 연결한 seed 경로가 이 환경에서 실제로 동작했다는 것까지다.
virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \
--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2 \
--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on \
--network network=default,mac=52:54:00:aa:bb:11 \
--import --os-variant debian12 --noautoconsole
default network의 autostart도 guest 내부 문제와 분리해 확인한다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근 경로도 사라질 수 있으므로 virsh net-info default의 Active와 Autostart를 확인한다. network autostart 비활성 자체는 이 환경에서 재현하지 않았으며, 재부팅 뒤 접근 경로를 확인하기 위한 점검 항목으로만 남긴다.
호스트명과 cloud-init 상태로 시드 적용 여부를 확인했다
게스트에 SSH 가 붙는다면 확인은 한 줄로 끝난다.
ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status'
kc-lab-edge
enp1s0 UP 192.168.122.10/24 metric 100
status: done
호스트명이 kc-lab-edge로 바뀌고 cloud-init status가 done이면 해당 시드가 적용된 상태로 볼 수 있었다. 반대로 localhost가 남아 있으면 SSH 설정을 수정하기 전에 시드 연결과 cloud-init 상태부터 다시 확인했다. 이 실험대에서는 running에서 done까지 약 50초가 걸렸다.
게스트에 못 들어가면 화면을 직접 뜬다.
virsh screenshot kc-lab-1 /tmp/kc1.ppm # 확장자와 무관하게 PNG 로 저장된다
로그인 프롬프트의 호스트명이 localhost라면 시드 적용 여부부터 다시 확인한다. kc-lab-1처럼 기대한 호스트명이 보인다면 cloud-init은 일부 단계를 수행한 것이므로 콘솔에 로그인해 사용자와 SSH 키 적용 로그를 확인한다. 당시 설정의 plain_text_passwd는 공개키 인증이 되지 않을 때 콘솔로 들어가기 위한 수단이었다.
이 순서를 사용하면 SSH 설정 자체의 문제인지, 그보다 앞선 cloud-init 초기화 문제인지 먼저 구분할 수 있다.
검사가 거부해도 부팅은 된다
게스트의 cloud-init 22.4.2 스키마 검사기는 sudo 를 리스트로 쓴 것을 거부한다.
sudo: ['ALL=(ALL) NOPASSWD:ALL'] # 거부된다
sudo: "ALL=(ALL) NOPASSWD:ALL" # 통과한다
Error: Cloud config schema errors: users.0: {'name': 'donghyeon', 'groups':
['sudo'], 'shell': '/bin/bash', ...} is not valid under any of the given schemas
어느 키가 문제인지는 알려 주지 않는다. users.0 전체를 통째로 찍고 어느 스키마에도 안 맞는다고만 한다. 그리고 리스트 표기로도 부팅은 된다 — kc-lab-1 과 kc-lab-2 가 그 표기로 만들어졌고 NOPASSWD sudo 가 멀쩡히 돌고 있다.
NOPASSWD:ALL 을 넣은 것은 k3s 설치와 장애 주입이 비대화식으로 돌아야 해서다. 비밀번호를 물으면 원격 실행이 거기서 멈춘다. 검사기가 거부한 줄이 바로 그 줄이다.
schema 검사는 중요한 사전 확인이지만 guest의 최종 상태를 대신하지 않는다. 이 환경에서는 schema가 거부한 표현으로 만들어진 기존 VM이 실제로 동작하고 있었고, 반대로 YAML 문법이 맞아도 seed 연결이나 network 같은 다른 계층이 실패하면 원하는 상태에 도달하지 못할 수 있다.
시드를 만들기 전에 세 줄로 거른다
grep -c '__' kc-lab-1.yaml # 0 이어야 한다
grep -c 'ssh-ed25519\|ssh-rsa' kc-lab-1.yaml # 2 여야 한다
python3 -c 'import yaml,sys; yaml.safe_load(open("kc-lab-1.yaml")); print("YAML OK")'
0 과 2 와 YAML OK 셋이 맞아야 시드를 만든다. 셋이 맞아도 cloud-config 로 유효하지는 않다 — 키 이름을 users 대신 user 로 친 오타는 이 세 줄을 그냥 통과한다. 그래서 게스트가 한 대라도 떠 있으면 cloud-init 자신의 스키마 검사기를 쓴다.
ssh donghyeon@192.168.122.11 'umask 077; cat > ~/kc-lab-2.yaml' < kc-lab-2.yaml
ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-lab-2.yaml'
이 두 줄은 당시 문서에 남아 있던 명령이다. 둘째 줄은 스키마 검사가 실패해도 ; rm 뒤의 삭제가 실행될 수 있으므로, 현재 절차에서는 검사와 삭제를 분리하고 검사 결과를 확인한 뒤 파일을 지운다.
이 파일에는 콘솔 비밀번호가 평문으로 들어 있어 /tmp 가 아니라 자기 홈에 600 으로 두고, 검사가 끝나면 바로 지운다.
실제로 재현한 실패와 아직 가정인 실패
네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 --cloud-init 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 DataSourceNoCloud [seed=/dev/vdb]가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 sudo 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, vol-upload 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 기록이 없으므로 진단 후보로만 남긴다.
후속 원문도 남겼다. 14-cloudinit-schema-check.txt에는 cloud-init 22.4.2가 sudo 리스트 표기를 실제로 거부한 출력이 있다. 15-k3s-precheck.txt의 Host key verification failed.는 2026-09-17 재구축 중 나온 별도 SSH 실패라 원래 사건의 Permission denied (publickey)를 재현한 것은 아니다. 원래 Permission denied (publickey), cloud-init status: done, 약 50초, virsh screenshot 화면은 아직 별도 raw 파일이 없고 당시 본문 기록만 남아 있다.
과거에 의심했던 실패 조건을 하나씩 다시 만들어 보지는 않았다. 대신 2026-09-21에는 worker 두 대를 실제로 철거한 뒤 현재 문서의 qcow2, seed ISO, cloud-init 절차로 다시 생성했고 cloud-init status: done, SSH 접속, 고정 IP, k3s 재합류까지 확인했다. 현재 생성 절차가 동작한다는 것은 확인했지만, 과거의 각 실패 조건을 개별적으로 재현한 것은 아니다.