11 KiB
kind, slug, title, topic, topicName, project, status, sourceRevision, source
| kind | slug | title | topic | topicName | project | status | sourceRevision | source | |||
|---|---|---|---|---|---|---|---|---|---|---|---|
| CASE | renewal-succeeded-while-the-old-certificate-kept-serving | 인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제 | build-completion-judgment | 끝났다는 판정 | virtualization | 게시 전 | import-head 9465582b5d1630eb4ae7c4e078021486919bf6b6 · uncommitted-working-tree snapshot |
|
인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제
과거 물리 호스트에서 certbot 갱신은 정상 종료됐지만 nginx가 제공하는 인증서는 바뀌지 않았다. 당시 certbot-renew.service에는 nginx reload를 실행하는 훅이 없었고, 인증서 파일이 갱신된 뒤 실제 서비스에 반영되기까지 2305초가 걸렸다. deploy 훅을 추가한 뒤 같은 구간은 1~2초로 줄었다. 현재 Edge VM은 Debian 12의 certbot.timer → certbot.service를 사용하므로, 이 수치는 당시 물리 호스트 배치에서 측정한 값으로 구분한다.
인증서 파일은 갱신됐지만 nginx에는 바로 반영되지 않았다
당시 상태를 나눠 보면 certbot과 nginx가 서로 다른 시점의 인증서를 보고 있었다.
| 확인 항목 | 당시 결과 |
|---|---|
certbot-renew.timer |
정상 동작 |
certbot-renew.service |
SUCCESS |
ExecStartPost 또는 --deploy-hook |
없음 |
| nginx reload | 자동으로 실행되지 않음 |
| 갱신 후 서비스 반영까지 | 2305초(38분 25초) |
| 실제 reload | 사람이 직접 실행 |
certbot의 성공 여부만 확인하면 인증서 파일이 갱신됐다는 것까지만 알 수 있었다. nginx가 새 인증서를 읽었는지는 별도로 확인해야 했다.
갱신 성공과 nginx reload는 별도 단계였다
당시 certbot-renew.service는 /usr/bin/certbot -q renew만 실행했다. certbot은 live/ 아래의 심볼릭 링크를 새 인증서 파일로 갱신하지만, nginx는 기동하거나 reload할 때 인증서 파일을 읽는다. 따라서 certbot이 성공해도 nginx를 reload하지 않으면 nginx는 기존 인증서를 계속 제공한다.
이를 해결하기 위해 /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh에서 nginx -t && nginx -s reload를 실행하도록 했다. deploy 훅 파일에는 실행 권한이 필요하며, post/ 대신 deploy/를 사용해 실제 갱신이 발생했을 때만 reload하도록 했다. 훅은 호스트를 다시 구성할 때 누락되지 않도록 저장소에서 관리했다.
적용 여부는 certbot 로그만 보지 않고 강제 갱신 전후의 nginx worker PID로 확인했다. reload 중 새 연결 8856건은 모두 200으로 응답했고 p95는 205.7ms와 204.3ms로 측정됐다.
과거 측정 배치와 현재 Edge VM 배치
| 항목 | 값 |
|---|---|
| Edge VM | kc-lab-edge, 192.168.122.10, Debian 12 |
| nginx | nginx/1.22.1 |
| certbot 플러그인 | dns-cloudflare |
| 발급 대상 | -d hyeonworks.com -d '*.hyeonworks.com' |
| 현재 lineage | /etc/letsencrypt/live/auth.hyeonworks.com/ (2026-09-17 확인) |
| nginx가 읽는 파일 | fullchain.pem, privkey.pem |
| 과거 측정 당시 타이머 | certbot-renew.timer → certbot-renew.service |
| 현재 Debian 12 타이머 | certbot.timer → certbot.service |
| 2305초 측정 당시 배치 | deploy 훅이 물리 호스트에 있던 구성 |
| 현재 배치 | certbot, 인증서, 타이머, deploy 훅을 Edge VM에 배치 |
worker PID로 reload 여부를 확인하는 순서
- 엣지 게스트에 certbot 과 python3-certbot-dns-cloudflare 를 깔고 와일드카드 인증서를 받는다.
- nginx 443 블록에 fullchain.pem 과 privkey.pem 경로를 적고 reload 한다.
- 현재 edge에서는
systemctl cat certbot.service로 기본 renew 유닛을 본다. 과거 2305초 측정 당시 유닛 이름은certbot-renew.service였다. - ps -eo pid,lstart,args 로 nginx 워커 PID 를 적어 둔다.
- sudo certbot renew --force-renewal 을 친다.
- 워커 PID 를 다시 본다. 바뀌지 않았으면 옛 인증서가 계속 나가고 있다.
- deploy/reload-nginx.sh 를 두고 chmod +x 를 준 뒤 4번부터 6번까지를 다시 한다.
배포판 유닛이 어디까지 책임지나
이 글의 2305초 측정 당시에는 certbot-renew.timer → certbot-renew.service라는 이름을 썼다. 2026-09-21 현재 edge Debian 12에서 직접 확인한 유닛은 certbot.timer → certbot.service다.
systemctl cat certbot.timer
systemctl cat certbot.service
# certbot.timer
OnCalendar=*-*-* 00,12:00:00
RandomizedDelaySec=43200
Persistent=true
# certbot.service
Type=oneshot
ExecStart=/usr/bin/certbot -q renew --no-random-sleep-on-renew
PrivateTmp=true
유닛 이름과 ExecStart 옵션은 배포판과 패키지 버전에 따라 달라질 수 있다. 여기서 확인할 것은 certbot 갱신 성공과 nginx reload가 별도 동작이라는 점이다.
현재 확인한 certbot.service에는 ExecStartPost나 --deploy-hook이 없다. 따라서 이 유닛은 인증서 갱신까지만 수행하고 nginx reload는 실행하지 않는다.
그래서 이 글의 훅이 모든 배포판에 필요하지는 않다. 위 유닛에 ExecStartPost 나 --deploy-hook 이 이미 적혀 있는 배포판이라면 훅을 새로 넣을 것이 아니라 거기 적힌 명령이 nginx 를 reload 하는지만 본다.
nginx 는 인증서를 언제 읽나
nginx 는 ssl_certificate 에 적힌 파일을 기동과 reload 시점에 읽어 메모리에 들고 있고, certbot 은 live/ 아래의 심볼릭 링크를 새 파일로 갈아 끼운다. 설정에 적힌 경로는 한 글자도 바뀌지 않고 그 경로가 가리키는 파일만 바뀌므로, nginx 쪽에서는 다시 읽을 계기가 생기지 않는다. 갱신이 끝난 뒤에 nginx 로 reload 를 걸어 주는 것이 없으면 옛 인증서가 계속 나간다.
자동 갱신 상태만 보면 문제를 늦게 발견할 수 있다
타이머가 정상이고 certbot 실행 결과가 SUCCESS여도 nginx reload 여부는 별개다. 인증서 갱신이 실제로 발생하지 않는 기간에는 이 차이가 드러나지 않을 수 있으므로, 타이머 상태만으로 서비스 중인 인증서까지 정상이라고 판단하지 않는다.
deploy 훅을 저장소에서 관리한 것도 같은 이유다. 호스트에만 파일을 두면 재구성 과정에서 빠질 수 있고, 다음 갱신 전까지 누락을 발견하지 못할 수 있다.
훅 두 줄과 실행 권한
# file: /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
#!/bin/sh
nginx -t && nginx -s reload
sudo chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
deploy 훅 파일에 실행 권한이 없으면 certbot이 해당 스크립트를 실행하지 않는다. post/ 대신 deploy/를 사용한 이유는 실제 인증서 갱신이 있을 때만 nginx를 reload하기 위해서다.
이 실험대에서 잰 차이는 이렇다.
| 훅 없음 | 훅 있음 | |
|---|---|---|
| 갱신 → 서빙 | 2305초 (38분 25초) | 1~2초 |
| 무엇이 reload 했나 | 사람이 직접 | certbot deploy 훅 |
deploy 훅도 수동 reload도 없다면 nginx는 다음 reload 또는 재시작 전까지 기존 인증서를 계속 사용한다.
nginx reload 여부는 worker PID로 확인했다
sudo certbot renew --dry-run
dry-run으로는 deploy 훅이 호출되는지 확인할 수 있다. 실제 nginx reload 여부는 별도로 확인했다.
순서가 dry-run 먼저인 것은 뒤엣것이 상태를 바꾸기 때문이다. --force-renewal 은 인증서를 실제로 새로 받아 발급 한도(주당 중복 5장)를 깎으므로, 진짜 판정이 필요할 때 한 번만 쓴다.
# 강제 갱신 전에 워커 PID 를 적어 둔다
ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep
sudo certbot renew --force-renewal
# 워커 PID 가 바뀌었으면 reload 된 것이다
ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep
nginx reload에서는 master 프로세스가 유지되고 worker 프로세스가 교체되므로, 전후의 worker PID와 시작 시각을 비교해 reload 여부를 확인했다. lstart를 함께 기록한 것은 PID 재사용 가능성을 구분하기 위해서다.
certbot 이 Hook 'deploy-hook' ran with error output 이라고 찍는데 실패가 아니다. nginx 의 types_hash 경고가 stderr 로 나갔을 뿐이고 내용은 test is successful 과 signal process started 다. 로그에서 error 를 grep 하는 감시를 걸면 성공한 훅을 실패로 오독한다.
훅을 넣어도 안전한가
갱신 때마다 reload 가 도는 것이 서비스에 영향을 주는지도 쟀다. 새 연결 8856건이 전부 200 이었고 p95 는 205.7ms 대 204.3ms 로 변화가 없었다. 845KB 를 20k/s 로 받는 중이던 요청은 전송 12초째에 reload 를 맞고도 845361바이트를 온전히 받았다(연결수 1). 옛 워커가 그 요청을 끝까지 책임진다.
수치를 내기 전에 시계를 쟀다
갱신 시각과 reload 시각이 다른 기계에 찍히므로, 두 시각을 빼기 전에 시계부터 쟀다. test-server 가 NTP 미동기로 106초 빨랐고, 보정하지 않은 첫 계산은 훅이 인증서 발급보다 104초 먼저 실행된 것이 되어 물리적으로 불가능했다. 음수 지연이 나오면 계산이 아니라 시계를 의심한다.
A=$(date -u +%s.%N); B=$(ssh test-server 'date -u +%s.%N'); C=$(date -u +%s.%N)
# 왜곡 ≈ B − (A+C)/2 , 어느 쪽이 맞는지는 외부 기준으로 가른다
curl -sI https://www.google.com | grep -i '^date:'
timedatectl show -p NTP -p NTPSynchronized
과거 측정값으로만 남아 있는 부분
2305초는 훅이 물리 호스트에만 있던 시절의 값이다. 지금은 certbot 과 인증서와 갱신 타이머와 deploy 훅이 전부 엣지 게스트에 있고, 그 배치에서 다시 재면 같은 수가 나오는지는 재지 않았다. 그래서 이 글의 2305초는 훅이 없으면 이만큼 벌어진다는 한 번의 측정이고 지금 배치의 값이 아니다. 1~2초 쪽도 같은 시기에 잰 값이다.
당시 측정의 원본 출력 파일은 별도로 보존하지 않았다. 2305초, 8856건, 두 p95 값, 845361바이트, 106초의 시계 차이와 worker PID 비교는 당시 본문 기록에만 남아 있다. 따라서 이 수치는 현재 원본 출력과 다시 대조할 수 없는 당시 측정값으로 구분한다.
88일이라는 잠복 기간은 만료 30일 전에야 갱신을 시작한다는 동작에서 끌어낸 것이지, 한 주기를 실제로 돌려 본 값이 아니다. 훅을 뺀 채 만료일까지 가 본 기록은 없고 그런 기록이 있을 까닭도 없다.