Files
document-haness/docs/virtualization/tech-log-studio/build-completion-judgment/case/case-renewal-succeeded-while-the-old-certificate-kept-serving.md
T

11 KiB
Raw Blame History

kind, slug, title, topic, topicName, project, status, sourceRevision, source
kind slug title topic topicName project status sourceRevision source
CASE renewal-succeeded-while-the-old-certificate-kept-serving 인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제 build-completion-judgment 끝났다는 판정 virtualization 게시 전 import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot
final/document.md#190-단계-04-let's-encrypt-와-인증서-갱신
final/document.md#189-단계-03-엣지-nginx-라우팅과-호스트-dnat
final/document.md#194-이-부에서-파생될-open-question

인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제

과거 물리 호스트에서 certbot 갱신은 정상 종료됐지만 nginx가 제공하는 인증서는 바뀌지 않았다. 당시 certbot-renew.service에는 nginx reload를 실행하는 훅이 없었고, 인증서 파일이 갱신된 뒤 실제 서비스에 반영되기까지 2305초가 걸렸다. deploy 훅을 추가한 뒤 같은 구간은 1~2초로 줄었다. 현재 Edge VM은 Debian 12의 certbot.timer → certbot.service를 사용하므로, 이 수치는 당시 물리 호스트 배치에서 측정한 값으로 구분한다.

인증서 파일은 갱신됐지만 nginx에는 바로 반영되지 않았다

당시 상태를 나눠 보면 certbot과 nginx가 서로 다른 시점의 인증서를 보고 있었다.

확인 항목 당시 결과
certbot-renew.timer 정상 동작
certbot-renew.service SUCCESS
ExecStartPost 또는 --deploy-hook 없음
nginx reload 자동으로 실행되지 않음
갱신 후 서비스 반영까지 2305초(38분 25초)
실제 reload 사람이 직접 실행

certbot의 성공 여부만 확인하면 인증서 파일이 갱신됐다는 것까지만 알 수 있었다. nginx가 새 인증서를 읽었는지는 별도로 확인해야 했다.

갱신 성공과 nginx reload는 별도 단계였다

당시 certbot-renew.service는 /usr/bin/certbot -q renew만 실행했다. certbot은 live/ 아래의 심볼릭 링크를 새 인증서 파일로 갱신하지만, nginx는 기동하거나 reload할 때 인증서 파일을 읽는다. 따라서 certbot이 성공해도 nginx를 reload하지 않으면 nginx는 기존 인증서를 계속 제공한다.

이를 해결하기 위해 /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh에서 nginx -t && nginx -s reload를 실행하도록 했다. deploy 훅 파일에는 실행 권한이 필요하며, post/ 대신 deploy/를 사용해 실제 갱신이 발생했을 때만 reload하도록 했다. 훅은 호스트를 다시 구성할 때 누락되지 않도록 저장소에서 관리했다.

적용 여부는 certbot 로그만 보지 않고 강제 갱신 전후의 nginx worker PID로 확인했다. reload 중 새 연결 8856건은 모두 200으로 응답했고 p95는 205.7ms와 204.3ms로 측정됐다.

과거 측정 배치와 현재 Edge VM 배치

항목 값
Edge VM kc-lab-edge, 192.168.122.10, Debian 12
nginx nginx/1.22.1
certbot 플러그인 dns-cloudflare
발급 대상 -d hyeonworks.com -d '*.hyeonworks.com'
현재 lineage /etc/letsencrypt/live/auth.hyeonworks.com/ (2026-09-17 확인)
nginx가 읽는 파일 fullchain.pem, privkey.pem
과거 측정 당시 타이머 certbot-renew.timer → certbot-renew.service
현재 Debian 12 타이머 certbot.timer → certbot.service
2305초 측정 당시 배치 deploy 훅이 물리 호스트에 있던 구성
현재 배치 certbot, 인증서, 타이머, deploy 훅을 Edge VM에 배치

worker PID로 reload 여부를 확인하는 순서

  1. 엣지 게스트에 certbot 과 python3-certbot-dns-cloudflare 를 깔고 와일드카드 인증서를 받는다.
  2. nginx 443 블록에 fullchain.pem 과 privkey.pem 경로를 적고 reload 한다.
  3. 현재 edge에서는 systemctl cat certbot.service 로 기본 renew 유닛을 본다. 과거 2305초 측정 당시 유닛 이름은 certbot-renew.service였다.
  4. ps -eo pid,lstart,args 로 nginx 워커 PID 를 적어 둔다.
  5. sudo certbot renew --force-renewal 을 친다.
  6. 워커 PID 를 다시 본다. 바뀌지 않았으면 옛 인증서가 계속 나가고 있다.
  7. deploy/reload-nginx.sh 를 두고 chmod +x 를 준 뒤 4번부터 6번까지를 다시 한다.

배포판 유닛이 어디까지 책임지나

이 글의 2305초 측정 당시에는 certbot-renew.timer → certbot-renew.service라는 이름을 썼다. 2026-09-21 현재 edge Debian 12에서 직접 확인한 유닛은 certbot.timer → certbot.service다.

systemctl cat certbot.timer
systemctl cat certbot.service
# certbot.timer
OnCalendar=*-*-* 00,12:00:00
RandomizedDelaySec=43200
Persistent=true

# certbot.service
Type=oneshot
ExecStart=/usr/bin/certbot -q renew --no-random-sleep-on-renew
PrivateTmp=true

유닛 이름과 ExecStart 옵션은 배포판과 패키지 버전에 따라 달라질 수 있다. 여기서 확인할 것은 certbot 갱신 성공과 nginx reload가 별도 동작이라는 점이다.

현재 확인한 certbot.service에는 ExecStartPost나 --deploy-hook이 없다. 따라서 이 유닛은 인증서 갱신까지만 수행하고 nginx reload는 실행하지 않는다.

그래서 이 글의 훅이 모든 배포판에 필요하지는 않다. 위 유닛에 ExecStartPost 나 --deploy-hook 이 이미 적혀 있는 배포판이라면 훅을 새로 넣을 것이 아니라 거기 적힌 명령이 nginx 를 reload 하는지만 본다.

nginx 는 인증서를 언제 읽나

nginx 는 ssl_certificate 에 적힌 파일을 기동과 reload 시점에 읽어 메모리에 들고 있고, certbot 은 live/ 아래의 심볼릭 링크를 새 파일로 갈아 끼운다. 설정에 적힌 경로는 한 글자도 바뀌지 않고 그 경로가 가리키는 파일만 바뀌므로, nginx 쪽에서는 다시 읽을 계기가 생기지 않는다. 갱신이 끝난 뒤에 nginx 로 reload 를 걸어 주는 것이 없으면 옛 인증서가 계속 나간다.

자동 갱신 상태만 보면 문제를 늦게 발견할 수 있다

타이머가 정상이고 certbot 실행 결과가 SUCCESS여도 nginx reload 여부는 별개다. 인증서 갱신이 실제로 발생하지 않는 기간에는 이 차이가 드러나지 않을 수 있으므로, 타이머 상태만으로 서비스 중인 인증서까지 정상이라고 판단하지 않는다.

deploy 훅을 저장소에서 관리한 것도 같은 이유다. 호스트에만 파일을 두면 재구성 과정에서 빠질 수 있고, 다음 갱신 전까지 누락을 발견하지 못할 수 있다.

훅 두 줄과 실행 권한

# file: /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
#!/bin/sh
nginx -t && nginx -s reload
sudo chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh

deploy 훅 파일에 실행 권한이 없으면 certbot이 해당 스크립트를 실행하지 않는다. post/ 대신 deploy/를 사용한 이유는 실제 인증서 갱신이 있을 때만 nginx를 reload하기 위해서다.

이 실험대에서 잰 차이는 이렇다.

훅 없음 훅 있음
갱신 → 서빙 2305초 (38분 25초) 1~2초
무엇이 reload 했나 사람이 직접 certbot deploy 훅

deploy 훅도 수동 reload도 없다면 nginx는 다음 reload 또는 재시작 전까지 기존 인증서를 계속 사용한다.

nginx reload 여부는 worker PID로 확인했다

sudo certbot renew --dry-run

dry-run으로는 deploy 훅이 호출되는지 확인할 수 있다. 실제 nginx reload 여부는 별도로 확인했다.

순서가 dry-run 먼저인 것은 뒤엣것이 상태를 바꾸기 때문이다. --force-renewal 은 인증서를 실제로 새로 받아 발급 한도(주당 중복 5장)를 깎으므로, 진짜 판정이 필요할 때 한 번만 쓴다.

# 강제 갱신 전에 워커 PID 를 적어 둔다
ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep

sudo certbot renew --force-renewal

# 워커 PID 가 바뀌었으면 reload 된 것이다
ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep

nginx reload에서는 master 프로세스가 유지되고 worker 프로세스가 교체되므로, 전후의 worker PID와 시작 시각을 비교해 reload 여부를 확인했다. lstart를 함께 기록한 것은 PID 재사용 가능성을 구분하기 위해서다.

certbot 이 Hook 'deploy-hook' ran with error output 이라고 찍는데 실패가 아니다. nginx 의 types_hash 경고가 stderr 로 나갔을 뿐이고 내용은 test is successful 과 signal process started 다. 로그에서 error 를 grep 하는 감시를 걸면 성공한 훅을 실패로 오독한다.

훅을 넣어도 안전한가

갱신 때마다 reload 가 도는 것이 서비스에 영향을 주는지도 쟀다. 새 연결 8856건이 전부 200 이었고 p95 는 205.7ms 대 204.3ms 로 변화가 없었다. 845KB 를 20k/s 로 받는 중이던 요청은 전송 12초째에 reload 를 맞고도 845361바이트를 온전히 받았다(연결수 1). 옛 워커가 그 요청을 끝까지 책임진다.

수치를 내기 전에 시계를 쟀다

갱신 시각과 reload 시각이 다른 기계에 찍히므로, 두 시각을 빼기 전에 시계부터 쟀다. test-server 가 NTP 미동기로 106초 빨랐고, 보정하지 않은 첫 계산은 훅이 인증서 발급보다 104초 먼저 실행된 것이 되어 물리적으로 불가능했다. 음수 지연이 나오면 계산이 아니라 시계를 의심한다.

A=$(date -u +%s.%N); B=$(ssh test-server 'date -u +%s.%N'); C=$(date -u +%s.%N)
# 왜곡 ≈ B − (A+C)/2 ,  어느 쪽이 맞는지는 외부 기준으로 가른다
curl -sI https://www.google.com | grep -i '^date:'
timedatectl show -p NTP -p NTPSynchronized

과거 측정값으로만 남아 있는 부분

2305초는 훅이 물리 호스트에만 있던 시절의 값이다. 지금은 certbot 과 인증서와 갱신 타이머와 deploy 훅이 전부 엣지 게스트에 있고, 그 배치에서 다시 재면 같은 수가 나오는지는 재지 않았다. 그래서 이 글의 2305초는 훅이 없으면 이만큼 벌어진다는 한 번의 측정이고 지금 배치의 값이 아니다. 1~2초 쪽도 같은 시기에 잰 값이다.

당시 측정의 원본 출력 파일은 별도로 보존하지 않았다. 2305초, 8856건, 두 p95 값, 845361바이트, 106초의 시계 차이와 worker PID 비교는 당시 본문 기록에만 남아 있다. 따라서 이 수치는 현재 원본 출력과 다시 대조할 수 없는 당시 측정값으로 구분한다.

88일이라는 잠복 기간은 만료 30일 전에야 갱신을 시작한다는 동작에서 끌어낸 것이지, 한 주기를 실제로 돌려 본 값이 아니다. 훅을 뺀 채 만료일까지 가 본 기록은 없고 그런 기록이 있을 까닭도 없다.