192 lines
14 KiB
Markdown
192 lines
14 KiB
Markdown
---
|
|
kind: CASE
|
|
slug: cloud-init-failures-all-look-like-ssh-refused
|
|
title: SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유
|
|
topic: build-completion-judgment
|
|
topicName: 끝났다는 판정
|
|
project: virtualization
|
|
status: 게시 전
|
|
sourceRevision: import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
|
|
evidence:
|
|
- ../../../final/evidence/raw/lab-state-before-rebuild/14-cloudinit-schema-check.txt
|
|
- ../../../final/evidence/raw/lab-state-before-rebuild/15-k3s-precheck.txt
|
|
source:
|
|
- final/document.md#187-단계-01-게스트-세-대
|
|
- final/document.md#186-단계-00-lab-host-가상화-준비
|
|
---
|
|
|
|
# SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유
|
|
|
|
게스트 세 대는 `running` 상태였지만 SSH 공개키 인증이 되지 않았고, 한 게스트의 호스트명은 `localhost`로 남아 있었다. SSH 설정만 수정하기 전에 cloud-init이 시드를 읽었는지부터 확인했다. 이 환경에서 실제로 확인한 문제는 기존 `--cloud-init` 연결에서 기대한 NoCloud 시드가 보이지 않았던 점과 cloud-init 22.4.2의 스키마 검사 결과였다. YAML 파싱 실패, `vol-upload` 누락, libvirt 네트워크 자동 시작 문제는 같은 증상을 만들 수 있는 점검 항목이지만 이 환경에서 각각 재현한 것은 아니다.
|
|
|
|
## 게스트는 실행 중이었지만 SSH 공개키 인증이 되지 않았다
|
|
|
|
가상 머신 자체는 모두 실행 중이었다. 문제는 운영체제가 기대한 초기 설정을 적용했는지였다.
|
|
|
|
| 확인 항목 | 당시 상태 |
|
|
|---|---|
|
|
| `virsh list --all` | `kc-lab-1`, `kc-lab-2`, `kc-lab-edge` 모두 `running` |
|
|
| `ssh donghyeon@192.168.122.11` | `Permission denied (publickey)` |
|
|
| 게스트 호스트명 | `localhost` |
|
|
| cloud-init 오류 원문 | 별도로 보존하지 않음 |
|
|
|
|
cloud-init이 `user-data`를 적용하지 못하면 사용자 계정과 SSH 공개키도 기대한 상태로 만들어지지 않을 수 있다. 이때 SSH 키만 바꾸면 원인을 놓칠 수 있으므로, 먼저 시드가 게스트에 전달됐는지 확인했다.
|
|
|
|
## 먼저 cloud-init이 시드를 읽었는지 확인했다
|
|
|
|
SSH 연결 실패와 cloud-init 문제를 구분하기 위해 다음 항목을 순서대로 확인했다.
|
|
|
|
| 확인 항목 | 확인하는 내용 |
|
|
|---|---|
|
|
| 시드 연결 방식 | 이 환경에서는 virtio 디스크로 붙인 seed ISO가 `/dev/vdb`의 NoCloud 데이터소스로 인식됐다 |
|
|
| YAML과 cloud-config | YAML 문법과 cloud-init 스키마 검사는 별도로 확인한다 |
|
|
| `vol-upload` | libvirt 볼륨만 만든 것이 아니라 실제 seed ISO 내용까지 업로드됐는지 확인한다 |
|
|
| `default` 네트워크 | 호스트 재부팅 뒤 libvirt 네트워크가 올라왔는지 `virsh net-info default`로 확인한다 |
|
|
|
|
SSH가 가능하면 `hostname`과 `cloud-init status`를 먼저 확인한다. 접속 자체가 되지 않으면 `virsh screenshot`으로 콘솔의 호스트명을 확인할 수 있다. 공개키가 적용되지 않았을 때 콘솔 로그인이 필요하도록 `plain_text_passwd`도 당시 cloud-init 설정에 포함했다.
|
|
|
|
다만 스키마 검사 결과만으로 게스트의 최종 상태를 판단하지는 않는다. cloud-init 22.4.2는 `sudo`를 리스트로 쓴 표현을 거부했지만, 기존 `kc-lab-1`과 `kc-lab-2`에서는 같은 표현으로 `NOPASSWD` sudo가 실제 동작하고 있었다. 스키마 검사는 사전 점검이고, 최종 상태는 부팅한 게스트에서 다시 확인해야 했다.
|
|
|
|
## 당시 cloud-init 실험 환경
|
|
|
|
| 항목 | 값 |
|
|
|---|---|
|
|
| 호스트 | test-server, Arch Linux |
|
|
| RAM | 11,648MiB |
|
|
| QEMU | 11.1.1 |
|
|
| libvirt | 12.7.0 |
|
|
| base 이미지 | Debian 12 genericcloud amd64 |
|
|
| 게스트 OS | Debian GNU/Linux 12 (bookworm) |
|
|
| 게스트 | kc-lab-edge 192.168.122.10 · kc-lab-1 192.168.122.11 · kc-lab-2 192.168.122.12 |
|
|
| 시드 | `seed-<이름>.iso`, CIDATA 라벨, `bus=virtio` |
|
|
| cloud-init | 22.4.2 |
|
|
| cloud-init으로 설치한 패키지 | curl · nftables |
|
|
| `running`에서 `done`까지 | 약 50초 |
|
|
|
|
## 같은 증상을 확인하는 순서
|
|
|
|
1. base 이미지를 받고 게스트마다 cloud-init user-data 를 쓴다.
|
|
2. 시드 iso 를 만들고 virsh vol-create-as 로 볼륨을 만든 뒤 virsh vol-upload 로 채운다.
|
|
3. DHCP 예약을 먼저 넣고 virt-install 로 게스트를 만든다. 시드는 bus=virtio 로 붙인다.
|
|
4. virsh list --all 로 세 게스트가 running 인지 본다.
|
|
5. lab host 에서 ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status' 를 친다.
|
|
6. 호스트명이 게스트 이름이고 cloud-init status 가 done 이면 통과다. localhost 가 나오면 2번과 3번을 다시 본다.
|
|
7. SSH 가 안 붙으면 virsh screenshot kc-lab-1 /tmp/kc1.ppm 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다.
|
|
|
|
|
|
<!-- body:start -->
|
|
|
|
## 시드가 게스트에 들어가는 길
|
|
|
|
cloud-init 이 게스트 안에서 사용자를 만들고 SSH 키를 넣으려면 먼저 데이터소스를 찾아야 한다. 이 실험대는 그것을 `cidata` 라벨이 붙은 볼륨으로 준다. 그 안에는 `user-data` 와 `meta-data` 라는 정확한 이름의 파일 둘이 들어 있다.
|
|
|
|
```bash
|
|
printf 'instance-id: kc-lab-1-%s\nlocal-hostname: kc-lab-1\n' "$(date +%s)" > meta-kc-lab-1
|
|
|
|
xorrisofs -quiet -output seed-kc-lab-1.iso -volid CIDATA -joliet -rock \
|
|
-graft-points /user-data=kc-lab-1.yaml /meta-data=meta-kc-lab-1
|
|
|
|
virsh vol-create-as default seed-kc-lab-1.iso "$(stat -c%s seed-kc-lab-1.iso)" --format raw
|
|
virsh vol-upload --pool default seed-kc-lab-1.iso seed-kc-lab-1.iso
|
|
```
|
|
|
|
볼륨을 만드는 것과 seed ISO 내용을 올리는 것은 다른 단계다. `vol-create-as`는 libvirt volume을 만들고 `vol-upload`가 로컬 ISO 내용을 그 volume에 쓴다. 따라서 업로드를 빠뜨리면 이름만 존재하고 기대한 CIDATA filesystem이 없는 volume이 될 수 있다. 이 실패 경로는 절차상 방지해야 하지만, 2026-09-17 원문에는 실제로 `vol-upload`를 누락해 부팅해 본 재현은 남아 있지 않다.
|
|
|
|
`instance-id` 에 타임스탬프를 넣는 것은 cloud-init 이 인스턴스마다 한 번만 초기화 모듈을 돌리기 때문이다. id 가 같으면 user-data 를 고쳐도 반영되지 않는다.
|
|
|
|
## 같은 단계에서 먼저 가를 네 가지 경로
|
|
|
|
| 확인 경로 | 현재 증거 수준 |
|
|
|---|---|
|
|
| `--cloud-init`으로 붙인 시드가 guest에서 기대대로 읽히지 않음 | 이 환경에서 실제 관측. 수동 virtio seed 구성으로 바꾼 뒤 NoCloud `seed=/dev/vdb` 확인 |
|
|
| YAML/cloud-config 파싱 또는 schema 문제 | schema 거부는 실제 관측. 임의의 YAML parsing failure를 같은 증상으로 재현한 기록은 없음 |
|
|
| `vol-upload` 누락 | 절차상 가능한 실패 경로. 실제 누락 부팅을 재현한 기록은 없음 |
|
|
| `default` network autostart 비활성 | host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제로 재현한 기록은 없음 |
|
|
|
|
시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 `--cloud-init`이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 `device=disk,bus=virtio,readonly=on`으로 붙였다. 2026-09-17의 정상 guest `cloud-init status --long`에는 `DataSourceNoCloud [seed=/dev/vdb][dsmode=net]`가 남아 있다. 현재 남아 있는 증거만으로 `--cloud-init` 경로가 기대대로 동작하지 않은 원인을 특정할 수는 없다. 확인된 것은 virtio `vdb`로 연결한 seed 경로가 이 환경에서 실제로 동작했다는 것까지다.
|
|
|
|
```bash
|
|
virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \
|
|
--disk size=20,backing_store=/var/lib/libvirt/images/base.qcow2 \
|
|
--disk vol=default/seed-kc-lab-1.iso,device=disk,bus=virtio,readonly=on \
|
|
--network network=default,mac=52:54:00:aa:bb:11 \
|
|
--import --os-variant debian12 --noautoconsole
|
|
```
|
|
|
|
`default` network의 autostart도 guest 내부 문제와 분리해 확인한다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근 경로도 사라질 수 있으므로 `virsh net-info default`의 `Active`와 `Autostart`를 확인한다. network autostart 비활성 자체는 이 환경에서 재현하지 않았으며, 재부팅 뒤 접근 경로를 확인하기 위한 점검 항목으로만 남긴다.
|
|
|
|
## 호스트명과 cloud-init 상태로 시드 적용 여부를 확인했다
|
|
|
|
게스트에 SSH 가 붙는다면 확인은 한 줄로 끝난다.
|
|
|
|
```bash
|
|
ssh kc-lab-edge 'hostname; ip -4 -br addr show enp1s0; cloud-init status'
|
|
```
|
|
|
|
```
|
|
kc-lab-edge
|
|
enp1s0 UP 192.168.122.10/24 metric 100
|
|
status: done
|
|
```
|
|
|
|
호스트명이 `kc-lab-edge`로 바뀌고 `cloud-init status`가 `done`이면 해당 시드가 적용된 상태로 볼 수 있었다. 반대로 `localhost`가 남아 있으면 SSH 설정을 수정하기 전에 시드 연결과 cloud-init 상태부터 다시 확인했다. 이 실험대에서는 `running`에서 `done`까지 약 50초가 걸렸다.
|
|
|
|
게스트에 못 들어가면 화면을 직접 뜬다.
|
|
|
|
```bash
|
|
virsh screenshot kc-lab-1 /tmp/kc1.ppm # 확장자와 무관하게 PNG 로 저장된다
|
|
```
|
|
|
|
로그인 프롬프트의 호스트명이 `localhost`라면 시드 적용 여부부터 다시 확인한다. `kc-lab-1`처럼 기대한 호스트명이 보인다면 cloud-init은 일부 단계를 수행한 것이므로 콘솔에 로그인해 사용자와 SSH 키 적용 로그를 확인한다. 당시 설정의 `plain_text_passwd`는 공개키 인증이 되지 않을 때 콘솔로 들어가기 위한 수단이었다.
|
|
|
|
이 순서를 사용하면 SSH 설정 자체의 문제인지, 그보다 앞선 cloud-init 초기화 문제인지 먼저 구분할 수 있다.
|
|
|
|
## 검사가 거부해도 부팅은 된다
|
|
|
|
게스트의 cloud-init `22.4.2` 스키마 검사기는 `sudo` 를 리스트로 쓴 것을 거부한다.
|
|
|
|
```yaml
|
|
sudo: ['ALL=(ALL) NOPASSWD:ALL'] # 거부된다
|
|
sudo: "ALL=(ALL) NOPASSWD:ALL" # 통과한다
|
|
```
|
|
|
|
```
|
|
Error: Cloud config schema errors: users.0: {'name': 'donghyeon', 'groups':
|
|
['sudo'], 'shell': '/bin/bash', ...} is not valid under any of the given schemas
|
|
```
|
|
|
|
어느 키가 문제인지는 알려 주지 않는다. `users.0` 전체를 통째로 찍고 어느 스키마에도 안 맞는다고만 한다. 그리고 리스트 표기로도 부팅은 된다 — `kc-lab-1` 과 `kc-lab-2` 가 그 표기로 만들어졌고 NOPASSWD sudo 가 멀쩡히 돌고 있다.
|
|
|
|
`NOPASSWD:ALL` 을 넣은 것은 k3s 설치와 장애 주입이 비대화식으로 돌아야 해서다. 비밀번호를 물으면 원격 실행이 거기서 멈춘다. 검사기가 거부한 줄이 바로 그 줄이다.
|
|
|
|
schema 검사는 중요한 사전 확인이지만 guest의 최종 상태를 대신하지 않는다. 이 환경에서는 schema가 거부한 표현으로 만들어진 기존 VM이 실제로 동작하고 있었고, 반대로 YAML 문법이 맞아도 seed 연결이나 network 같은 다른 계층이 실패하면 원하는 상태에 도달하지 못할 수 있다.
|
|
|
|
## 시드를 만들기 전에 세 줄로 거른다
|
|
|
|
```bash
|
|
grep -c '__' kc-lab-1.yaml # 0 이어야 한다
|
|
grep -c 'ssh-ed25519\|ssh-rsa' kc-lab-1.yaml # 2 여야 한다
|
|
python3 -c 'import yaml,sys; yaml.safe_load(open("kc-lab-1.yaml")); print("YAML OK")'
|
|
```
|
|
|
|
`0` 과 `2` 와 `YAML OK` 셋이 맞아야 시드를 만든다. 셋이 맞아도 cloud-config 로 유효하지는 않다 — 키 이름을 `users` 대신 `user` 로 친 오타는 이 세 줄을 그냥 통과한다. 그래서 게스트가 한 대라도 떠 있으면 cloud-init 자신의 스키마 검사기를 쓴다.
|
|
|
|
```bash label="[lab host] 당시 사용한 명령"
|
|
ssh donghyeon@192.168.122.11 'umask 077; cat > ~/kc-lab-2.yaml' < kc-lab-2.yaml
|
|
ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-lab-2.yaml'
|
|
```
|
|
|
|
이 두 줄은 당시 문서에 남아 있던 명령이다. 둘째 줄은 스키마 검사가 실패해도 `; rm` 뒤의 삭제가 실행될 수 있으므로, 현재 절차에서는 검사와 삭제를 분리하고 검사 결과를 확인한 뒤 파일을 지운다.
|
|
|
|
이 파일에는 콘솔 비밀번호가 평문으로 들어 있어 `/tmp` 가 아니라 자기 홈에 `600` 으로 두고, 검사가 끝나면 바로 지운다.
|
|
|
|
## 실제로 재현한 실패와 아직 가정인 실패
|
|
|
|
네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 `--cloud-init` 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 `DataSourceNoCloud [seed=/dev/vdb]`가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 `sudo` 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, `vol-upload` 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 기록이 없으므로 진단 후보로만 남긴다.
|
|
|
|
후속 원문도 남겼다. `14-cloudinit-schema-check.txt`에는 cloud-init 22.4.2가 `sudo` 리스트 표기를 실제로 거부한 출력이 있다. `15-k3s-precheck.txt`의 `Host key verification failed.`는 2026-09-17 재구축 중 나온 별도 SSH 실패라 원래 사건의 `Permission denied (publickey)`를 재현한 것은 아니다. 원래 `Permission denied (publickey)`, `cloud-init status: done`, 약 50초, `virsh screenshot` 화면은 아직 별도 raw 파일이 없고 당시 본문 기록만 남아 있다.
|
|
|
|
과거에 의심했던 실패 조건을 하나씩 다시 만들어 보지는 않았다. 대신 2026-09-21에는 worker 두 대를 실제로 철거한 뒤 현재 문서의 qcow2, seed ISO, cloud-init 절차로 다시 생성했고 `cloud-init status: done`, SSH 접속, 고정 IP, k3s 재합류까지 확인했다. 현재 생성 절차가 동작한다는 것은 확인했지만, 과거의 각 실패 조건을 개별적으로 재현한 것은 아니다.
|
|
|
|
<!-- body:end -->
|