Files

14 KiB

kind, slug, title, topic, topicName, project, status, sourceRevision, evidence, source
kind slug title topic topicName project status sourceRevision evidence source
CASE cloud-init-failures-all-look-like-ssh-refused SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유 build-completion-judgment 끝났다는 판정 virtualization 게시 전 import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
../../../final/evidence/raw/lab-state-before-rebuild/14-cloudinit-schema-check.txt
../../../final/evidence/raw/lab-state-before-rebuild/15-k3s-precheck.txt
final/document.md#187-단계-01-게스트-세-대
final/document.md#186-단계-00-lab-host-가상화-준비

SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유

게스트 세 대는 running 상태였지만 SSH 공개키 인증이 되지 않았고, 한 게스트의 호스트명은 localhost로 남아 있었다. SSH 설정만 수정하기 전에 cloud-init이 시드를 읽었는지부터 확인했다. 이 환경에서 실제로 확인한 문제는 기존 --cloud-init 연결에서 기대한 NoCloud 시드가 보이지 않았던 점과 cloud-init 22.4.2의 스키마 검사 결과였다. YAML 파싱 실패, vol-upload 누락, libvirt 네트워크 자동 시작 문제는 같은 증상을 만들 수 있는 점검 항목이지만 이 환경에서 각각 재현한 것은 아니다.

게스트는 실행 중이었지만 SSH 공개키 인증이 되지 않았다

가상 머신 자체는 모두 실행 중이었다. 문제는 운영체제가 기대한 초기 설정을 적용했는지였다.

확인 항목 당시 상태
virsh list --all kc-lab-1, kc-lab-2, kc-lab-edge 모두 running
ssh donghyeon@192.168.122.11 Permission denied (publickey)
게스트 호스트명 localhost
cloud-init 오류 원문 별도로 보존하지 않음

cloud-init이 user-data를 적용하지 못하면 사용자 계정과 SSH 공개키도 기대한 상태로 만들어지지 않을 수 있다. 이때 SSH 키만 바꾸면 원인을 놓칠 수 있으므로, 먼저 시드가 게스트에 전달됐는지 확인했다.

먼저 cloud-init이 시드를 읽었는지 확인했다

SSH 연결 실패와 cloud-init 문제를 구분하기 위해 다음 항목을 순서대로 확인했다.

확인 항목 확인하는 내용
시드 연결 방식 이 환경에서는 virtio 디스크로 붙인 seed ISO가 /dev/vdb의 NoCloud 데이터소스로 인식됐다
YAML과 cloud-config YAML 문법과 cloud-init 스키마 검사는 별도로 확인한다
vol-upload libvirt 볼륨만 만든 것이 아니라 실제 seed ISO 내용까지 업로드됐는지 확인한다
default 네트워크 호스트 재부팅 뒤 libvirt 네트워크가 올라왔는지 virsh net-info default로 확인한다

SSH가 가능하면 hostname과 cloud-init status를 먼저 확인한다. 접속 자체가 되지 않으면 virsh screenshot으로 콘솔의 호스트명을 확인할 수 있다. 공개키가 적용되지 않았을 때 콘솔 로그인이 필요하도록 plain_text_passwd도 당시 cloud-init 설정에 포함했다.

다만 스키마 검사 결과만으로 게스트의 최종 상태를 판단하지는 않는다. cloud-init 22.4.2는 sudo를 리스트로 쓴 표현을 거부했지만, 기존 kc-lab-1과 kc-lab-2에서는 같은 표현으로 NOPASSWD sudo가 실제 동작하고 있었다. 스키마 검사는 사전 점검이고, 최종 상태는 부팅한 게스트에서 다시 확인해야 했다.

당시 cloud-init 실험 환경

항목 값
호스트 test-server, Arch Linux
RAM 11,648MiB
QEMU 11.1.1
libvirt 12.7.0
base 이미지 Debian 12 genericcloud amd64
게스트 OS Debian GNU/Linux 12 (bookworm)
게스트 kc-lab-edge 192.168.122.10 · kc-lab-1 192.168.122.11 · kc-lab-2 192.168.122.12
시드 seed-<이름>.iso, CIDATA 라벨, bus=virtio
cloud-init 22.4.2
cloud-init으로 설치한 패키지 curl · nftables
running에서 done까지 약 50초

같은 증상을 확인하는 순서

  1. base 이미지를 받고 게스트마다 cloud-init user-data 를 쓴다.
  2. 시드 iso 를 만들고 virsh vol-create-as 로 볼륨을 만든 뒤 virsh vol-upload 로 채운다.
  3. DHCP 예약을 먼저 넣고 virt-install 로 게스트를 만든다. 시드는 bus=virtio 로 붙인다.
  4. virsh list --all 로 세 게스트가 running 인지 본다.
  5. lab host 에서 ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status' 를 친다.
  6. 호스트명이 게스트 이름이고 cloud-init status 가 done 이면 통과다. localhost 가 나오면 2번과 3번을 다시 본다.
  7. SSH 가 안 붙으면 virsh screenshot kc-lab-1 /tmp/kc1.ppm 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다.

시드가 게스트에 들어가는 길

cloud-init 이 게스트 안에서 사용자를 만들고 SSH 키를 넣으려면 먼저 데이터소스를 찾아야 한다. 이 실험대는 그것을 cidata 라벨이 붙은 볼륨으로 준다. 그 안에는 user-data 와 meta-data 라는 정확한 이름의 파일 둘이 들어 있다.

printf 'instance-id: kc-lab-1-%s\nlocal-hostname: kc-lab-1\n' "$(date +%s)" > meta-kc-lab-1

xorrisofs -quiet -output seed-kc-lab-1.iso -volid CIDATA -joliet -rock \
  -graft-points /user-data=kc-lab-1.yaml /meta-data=meta-kc-lab-1

virsh vol-create-as default seed-kc-lab-1.iso "$(stat -c%s seed-kc-lab-1.iso)" --format raw
virsh vol-upload --pool default seed-kc-lab-1.iso seed-kc-lab-1.iso

볼륨을 만드는 것과 seed ISO 내용을 올리는 것은 다른 단계다. vol-create-as는 libvirt volume을 만들고 vol-upload가 로컬 ISO 내용을 그 volume에 쓴다. 따라서 업로드를 빠뜨리면 이름만 존재하고 기대한 CIDATA filesystem이 없는 volume이 될 수 있다. 이 실패 경로는 절차상 방지해야 하지만, 2026-09-17 원문에는 실제로 vol-upload를 누락해 부팅해 본 재현은 남아 있지 않다.

instance-id 에 타임스탬프를 넣는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이다. id 가 같으면 user-data 를 고쳐도 반영되지 않는다.

같은 단계에서 먼저 가를 네 가지 경로

확인 경로 현재 증거 수준
--cloud-init으로 붙인 시드가 guest에서 기대대로 읽히지 않음 이 환경에서 실제 관측. 수동 virtio seed 구성으로 바꾼 뒤 NoCloud seed=/dev/vdb 확인
YAML/cloud-config 파싱 또는 schema 문제 schema 거부는 실제 관측. 임의의 YAML parsing failure를 같은 증상으로 재현한 기록은 없음
vol-upload 누락 절차상 가능한 실패 경로. 실제 누락 부팅을 재현한 기록은 없음
default network autostart 비활성 host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제로 재현한 기록은 없음

시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 --cloud-init이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 device=disk,bus=virtio,readonly=on으로 붙였다. 2026-09-17의 정상 guest cloud-init status --long에는 DataSourceNoCloud [seed=/dev/vdb][dsmode=net]가 남아 있다. 현재 남아 있는 증거만으로 --cloud-init 경로가 기대대로 동작하지 않은 원인을 특정할 수는 없다. 확인된 것은 virtio vdb로 연결한 seed 경로가 이 환경에서 실제로 동작했다는 것까지다.

virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \
  --disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2 \
  --disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on \
  --network network=default,mac=52:54:00:aa:bb:11 \
  --import --os-variant debian12 --noautoconsole

default network의 autostart도 guest 내부 문제와 분리해 확인한다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근 경로도 사라질 수 있으므로 virsh net-info default의 Active와 Autostart를 확인한다. network autostart 비활성 자체는 이 환경에서 재현하지 않았으며, 재부팅 뒤 접근 경로를 확인하기 위한 점검 항목으로만 남긴다.

호스트명과 cloud-init 상태로 시드 적용 여부를 확인했다

게스트에 SSH 가 붙는다면 확인은 한 줄로 끝난다.

ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status'
kc-lab-edge
enp1s0           UP             192.168.122.10/24 metric 100
status: done

호스트명이 kc-lab-edge로 바뀌고 cloud-init status가 done이면 해당 시드가 적용된 상태로 볼 수 있었다. 반대로 localhost가 남아 있으면 SSH 설정을 수정하기 전에 시드 연결과 cloud-init 상태부터 다시 확인했다. 이 실험대에서는 running에서 done까지 약 50초가 걸렸다.

게스트에 못 들어가면 화면을 직접 뜬다.

virsh screenshot kc-lab-1 /tmp/kc1.ppm    # 확장자와 무관하게 PNG 로 저장된다

로그인 프롬프트의 호스트명이 localhost라면 시드 적용 여부부터 다시 확인한다. kc-lab-1처럼 기대한 호스트명이 보인다면 cloud-init은 일부 단계를 수행한 것이므로 콘솔에 로그인해 사용자와 SSH 키 적용 로그를 확인한다. 당시 설정의 plain_text_passwd는 공개키 인증이 되지 않을 때 콘솔로 들어가기 위한 수단이었다.

이 순서를 사용하면 SSH 설정 자체의 문제인지, 그보다 앞선 cloud-init 초기화 문제인지 먼저 구분할 수 있다.

검사가 거부해도 부팅은 된다

게스트의 cloud-init 22.4.2 스키마 검사기는 sudo 를 리스트로 쓴 것을 거부한다.

sudo: ['ALL=(ALL) NOPASSWD:ALL']     # 거부된다
sudo: "ALL=(ALL) NOPASSWD:ALL"       # 통과한다
Error: Cloud config schema errors: users.0: {'name': 'donghyeon', 'groups':
['sudo'], 'shell': '/bin/bash', ...} is not valid under any of the given schemas

어느 키가 문제인지는 알려 주지 않는다. users.0 전체를 통째로 찍고 어느 스키마에도 안 맞는다고만 한다. 그리고 리스트 표기로도 부팅은 된다 — kc-lab-1 과 kc-lab-2 가 그 표기로 만들어졌고 NOPASSWD sudo 가 멀쩡히 돌고 있다.

NOPASSWD:ALL 을 넣은 것은 k3s 설치와 장애 주입이 비대화식으로 돌아야 해서다. 비밀번호를 물으면 원격 실행이 거기서 멈춘다. 검사기가 거부한 줄이 바로 그 줄이다.

schema 검사는 중요한 사전 확인이지만 guest의 최종 상태를 대신하지 않는다. 이 환경에서는 schema가 거부한 표현으로 만들어진 기존 VM이 실제로 동작하고 있었고, 반대로 YAML 문법이 맞아도 seed 연결이나 network 같은 다른 계층이 실패하면 원하는 상태에 도달하지 못할 수 있다.

시드를 만들기 전에 세 줄로 거른다

grep -c '__' kc-lab-1.yaml        # 0 이어야 한다
grep -c 'ssh-ed25519\|ssh-rsa' kc-lab-1.yaml   # 2 여야 한다
python3 -c 'import yaml,sys; yaml.safe_load(open("kc-lab-1.yaml")); print("YAML OK")'

0 과 2 와 YAML OK 셋이 맞아야 시드를 만든다. 셋이 맞아도 cloud-config 로 유효하지는 않다 — 키 이름을 users 대신 user 로 친 오타는 이 세 줄을 그냥 통과한다. 그래서 게스트가 한 대라도 떠 있으면 cloud-init 자신의 스키마 검사기를 쓴다.

ssh donghyeon@192.168.122.11 'umask 077; cat > ~/kc-lab-2.yaml'  < kc-lab-2.yaml
ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-lab-2.yaml'

이 두 줄은 당시 문서에 남아 있던 명령이다. 둘째 줄은 스키마 검사가 실패해도 ; rm 뒤의 삭제가 실행될 수 있으므로, 현재 절차에서는 검사와 삭제를 분리하고 검사 결과를 확인한 뒤 파일을 지운다.

이 파일에는 콘솔 비밀번호가 평문으로 들어 있어 /tmp 가 아니라 자기 홈에 600 으로 두고, 검사가 끝나면 바로 지운다.

실제로 재현한 실패와 아직 가정인 실패

네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 --cloud-init 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 DataSourceNoCloud [seed=/dev/vdb]가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 sudo 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, vol-upload 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 기록이 없으므로 진단 후보로만 남긴다.

후속 원문도 남겼다. 14-cloudinit-schema-check.txt에는 cloud-init 22.4.2가 sudo 리스트 표기를 실제로 거부한 출력이 있다. 15-k3s-precheck.txt의 Host key verification failed.는 2026-09-17 재구축 중 나온 별도 SSH 실패라 원래 사건의 Permission denied (publickey)를 재현한 것은 아니다. 원래 Permission denied (publickey), cloud-init status: done, 약 50초, virsh screenshot 화면은 아직 별도 raw 파일이 없고 당시 본문 기록만 남아 있다.

과거에 의심했던 실패 조건을 하나씩 다시 만들어 보지는 않았다. 대신 2026-09-21에는 worker 두 대를 실제로 철거한 뒤 현재 문서의 qcow2, seed ISO, cloud-init 절차로 다시 생성했고 cloud-init status: done, SSH 접속, 고정 IP, k3s 재합류까지 확인했다. 현재 생성 절차가 동작한다는 것은 확인했지만, 과거의 각 실패 조건을 개별적으로 재현한 것은 아니다.