refactor: 문서 사람처럼 작성하기
This commit is contained in:
+10
@@ -0,0 +1,10 @@
|
||||
=== logging state in fresh sessions ===
|
||||
none
|
||||
%m [%p]
|
||||
=== pods ===
|
||||
keycloak-0 1/1 Running 0 42m 10.42.1.29 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 43m 10.42.0.28 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-2tqlc 1/1 Running 0 40m 10.42.1.31 kc-lab-2 <none> <none>
|
||||
=== cluster size ===
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-17240"} 2.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-54671"} 2.0
|
||||
+27
@@ -0,0 +1,27 @@
|
||||
=== A0 isolated 0d reset ===
|
||||
DELETE 2
|
||||
statefulset.apps/keycloak restarted
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
keycloak-0 1/1 Running 0 31s 10.42.1.32 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 65s 10.42.0.29 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-2tqlc 1/1 Running 0 42m 10.42.1.31 kc-lab-2 <none> <none>
|
||||
[keycloak-0]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-52528"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-55351"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
+54
@@ -0,0 +1,54 @@
|
||||
=== A0 isolated 0d measurement ===
|
||||
K0=10.42.1.32 K1=10.42.0.29
|
||||
[enable logging]
|
||||
[logging fresh session]
|
||||
all
|
||||
%m [%p] %h
|
||||
[before K0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
[before K1]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
START=2026-09-22T05:47:19Z
|
||||
SID=iRziuATDE0qiNEG1yU7K7XT4
|
||||
REFRESH_ON_K1=200
|
||||
[after K0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 1.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 1.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-0-52528"} 1.0
|
||||
[after K1]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 1.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-1-55351"} 1.0
|
||||
[SQL by SID]
|
||||
2026-09-22 05:45:50.883 UTC [3888] 10.42.1.32 DETAIL: parameters: $1 = '0', $2 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:50.895 UTC [3888] 10.42.1.32 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.029 UTC [3888] 10.42.1.32 DETAIL: parameters: $1 = '0', $2 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.043 UTC [3888] 10.42.1.32 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.047 UTC [3888] 10.42.1.32 DETAIL: parameters: $1 = NULL, $2 = '1790055950', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790055950,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790055950}"},"state":"LOGGED_IN"}', $4 = '1790055950', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.047 UTC [3888] 10.42.1.32 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790055950","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790055950","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790055950', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.738 UTC [3835] 10.42.0.29 DETAIL: parameters: $1 = '0', $2 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.754 UTC [3835] 10.42.0.29 DETAIL: parameters: $1 = 'iRziuATDE0qiNEG1yU7K7XT4', $2 = '0'
|
||||
2026-09-22 05:45:51.757 UTC [3835] 10.42.0.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'iRziuATDE0qiNEG1yU7K7XT4'
|
||||
2026-09-22 05:45:51.763 UTC [3835] 10.42.0.29 DETAIL: parameters: $1 = 'iRziuATDE0qiNEG1yU7K7XT4', $2 = '0', $3 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $4 = 'local', $5 = 'local'
|
||||
2026-09-22 05:45:51.783 UTC [3835] 10.42.0.29 DETAIL: parameters: $1 = '1790055951', $2 = '1', $3 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $4 = 'local', $5 = 'local', $6 = '0', $7 = 'iRziuATDE0qiNEG1yU7K7XT4', $8 = '0'
|
||||
2026-09-22 05:45:51.784 UTC [3835] 10.42.0.29 DETAIL: parameters: $1 = '1790055951', $2 = '1', $3 = '0', $4 = 'iRziuATDE0qiNEG1yU7K7XT4', $5 = '0'
|
||||
[K1 session SQL]
|
||||
2026-09-22 05:45:51.738 UTC [3835] 10.42.0.29 LOG: execute <unnamed>/C_106: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 05:45:51.754 UTC [3835] 10.42.0.29 LOG: execute <unnamed>/C_107: select puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where puse1_0.USER_SESSION_ID=$1 and puse1_0.OFFLINE_FLAG=$2 for no key update of puse1_0 skip locked
|
||||
2026-09-22 05:45:51.757 UTC [3835] 10.42.0.29 LOG: execute <unnamed>/C_108: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
|
||||
2026-09-22 05:45:51.763 UTC [3835] 10.42.0.29 LOG: execute <unnamed>/C_109: select pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where pcse1_0.USER_SESSION_ID=$1 and pcse1_0.OFFLINE_FLAG=$2 and pcse1_0.CLIENT_ID=$3 and pcse1_0.EXTERNAL_CLIENT_ID=$4 and pcse1_0.CLIENT_STORAGE_PROVIDER=$5 for no key update of pcse1_0 skip locked
|
||||
2026-09-22 05:45:51.783 UTC [3835] 10.42.0.29 LOG: execute <unnamed>: update OFFLINE_CLIENT_SESSION set TIMESTAMP=$1,VERSION=$2 where CLIENT_ID=$3 and CLIENT_STORAGE_PROVIDER=$4 and EXTERNAL_CLIENT_ID=$5 and OFFLINE_FLAG=$6 and USER_SESSION_ID=$7 and VERSION=$8
|
||||
2026-09-22 05:45:51.784 UTC [3835] 10.42.0.29 LOG: execute <unnamed>: update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1,VERSION=$2 where OFFLINE_FLAG=$3 and USER_SESSION_ID=$4 and VERSION=$5
|
||||
2026-09-22 05:45:51.785 UTC [3835] 10.42.0.29 LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
[disable logging]
|
||||
[restored fresh session]
|
||||
none
|
||||
%m [%p]
|
||||
+353
@@ -0,0 +1,353 @@
|
||||
=== isolated A0 0d ===
|
||||
DELETE 0
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
K0=10.42.1.42 K1=10.42.0.35
|
||||
BASELINE
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-40574"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-62167"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 0.0
|
||||
SETTINGS
|
||||
all
|
||||
%m [%p] %h
|
||||
REQUEST
|
||||
SID=VyjEgoH_PJofPX-1Pj0f4gwE
|
||||
REFRESH=200
|
||||
AFTER
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 1.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 0.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 1.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-0-40574"} 1.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 0.0
|
||||
vendor_statistics_hits{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 1.0
|
||||
vendor_statistics_misses{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 0.0
|
||||
vendor_statistics_stores{cache="sessions",cache_manager="keycloak",node="keycloak-1-62167"} 1.0
|
||||
PGLOG
|
||||
2026-09-22 06:25:40.815 UTC [1] LOG: received SIGHUP, reloading configuration files
|
||||
2026-09-22 06:26:04.426 UTC [943] ERROR: function aurora_version() does not exist at character 8
|
||||
2026-09-22 06:26:04.426 UTC [943] HINT: No function matches the given name and argument types. You might need to add explicit type casts.
|
||||
2026-09-22 06:26:04.426 UTC [943] STATEMENT: SELECT aurora_version()
|
||||
2026-09-22 06:26:09.832 UTC [25] LOG: checkpoint starting: time
|
||||
2026-09-22 06:26:10.297 UTC [25] LOG: checkpoint complete: wrote 5 buffers (0.0%); 0 WAL file(s) added, 0 removed, 0 recycled; write=0.407 s, sync=0.017 s, total=0.465 s; sync files=5, longest=0.014 s, average=0.004 s; distance=17 kB, estimate=24 kB; lsn=0/28E9610, redo lsn=0/28E95D8
|
||||
2026-09-22 06:26:37.487 UTC [997] ERROR: function aurora_version() does not exist at character 8
|
||||
2026-09-22 06:26:37.487 UTC [997] HINT: No function matches the given name and argument types. You might need to add explicit type casts.
|
||||
2026-09-22 06:26:37.487 UTC [997] STATEMENT: SELECT aurora_version()
|
||||
2026-09-22 06:26:49.326 UTC [1] LOG: received SIGHUP, reloading configuration files
|
||||
2026-09-22 06:26:49.326 UTC [1] LOG: parameter "log_statement" changed to "all"
|
||||
2026-09-22 06:26:49.326 UTC [1] LOG: parameter "log_line_prefix" changed to "%m [%p] %h "
|
||||
2026-09-22 06:26:49.415 UTC [1029] [local] LOG: statement: show log_statement
|
||||
2026-09-22 06:26:49.416 UTC [1029] [local] LOG: statement: show log_line_prefix
|
||||
2026-09-22 06:26:50.405 UTC [998] 10.42.1.42 LOG: statement: BEGIN
|
||||
2026-09-22 06:26:50.406 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_7: select ce1_0.ID from CLIENT ce1_0 where ce1_0.CLIENT_ID=$1 and ce1_0.REALM_ID=$2
|
||||
2026-09-22 06:26:50.406 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'admin-cli', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc'
|
||||
2026-09-22 06:26:50.407 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_8: select ce1_0.ID,ce1_0.ALWAYS_DISPLAY_IN_CONSOLE,ce1_0.BASE_URL,ce1_0.BEARER_ONLY,ce1_0.CLIENT_AUTHENTICATOR_TYPE,ce1_0.CLIENT_ID,ce1_0.CONSENT_REQUIRED,ce1_0.CREATED_TIMESTAMP,ce1_0.DESCRIPTION,ce1_0.DIRECT_ACCESS_GRANTS_ENABLED,ce1_0.ENABLED,ce1_0.FRONTCHANNEL_LOGOUT,ce1_0.FULL_SCOPE_ALLOWED,ce1_0.IMPLICIT_FLOW_ENABLED,ce1_0.LAST_MODIFIED_TIMESTAMP,ce1_0.MANAGEMENT_URL,ce1_0.NAME,ce1_0.NODE_REREG_TIMEOUT,ce1_0.NOT_BEFORE,ce1_0.PROTOCOL,ce1_0.PUBLIC_CLIENT,ce1_0.REALM_ID,ce1_0.REGISTRATION_TOKEN,ce1_0.ROOT_URL,ce1_0.SECRET,ce1_0.SERVICE_ACCOUNTS_ENABLED,ce1_0.STANDARD_FLOW_ENABLED,ce1_0.SURROGATE_AUTH_REQUIRED from CLIENT ce1_0 where ce1_0.ID=$1
|
||||
2026-09-22 06:26:50.407 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.409 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_9: select a1_0.CLIENT_ID,a1_0.NAME,a1_0.VALUE from CLIENT_ATTRIBUTES a1_0 where a1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.409 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.411 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_10: select afb1_0.CLIENT_ID,afb1_0.BINDING_NAME,afb1_0.FLOW_ID from CLIENT_AUTH_FLOW_BINDINGS afb1_0 where afb1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.411 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.412 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_11: select ru1_0.CLIENT_ID,ru1_0.VALUE from REDIRECT_URIS ru1_0 where ru1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.412 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.413 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_12: select wo1_0.CLIENT_ID,wo1_0.VALUE from WEB_ORIGINS wo1_0 where wo1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.413 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.415 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_13: select smi1_0.CLIENT_ID,smi1_0.ROLE_ID from SCOPE_MAPPING smi1_0 where smi1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.415 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.416 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_14: select rn1_0.CLIENT_ID,rn1_0.NAME,rn1_0.VALUE from CLIENT_NODE_REGISTRATIONS rn1_0 where rn1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.416 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.553 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_15: select ue1_0.ID,ue1_0.CREATED_TIMESTAMP,ue1_0.EMAIL,ue1_0.EMAIL_CONSTRAINT,ue1_0.EMAIL_VERIFIED,ue1_0.ENABLED,ue1_0.FEDERATION_LINK,ue1_0.FIRST_NAME,ue1_0.LAST_MODIFIED_TIMESTAMP,ue1_0.LAST_NAME,ue1_0.NOT_BEFORE,ue1_0.REALM_ID,ue1_0.SERVICE_ACCOUNT_CLIENT_LINK,ue1_0.USERNAME from USER_ENTITY ue1_0 where ue1_0.USERNAME=$1 and ue1_0.REALM_ID=$2
|
||||
2026-09-22 06:26:50.553 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'admin', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc'
|
||||
2026-09-22 06:26:50.565 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_16: select oe1_0.ID from ORG oe1_0 where oe1_0.REALM_ID=$1 fetch first $2 rows only
|
||||
2026-09-22 06:26:50.565 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $2 = '1'
|
||||
2026-09-22 06:26:50.601 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_17: select ce1_0.ID,ce1_0.CREATED_DATE,ce1_0.CREDENTIAL_DATA,ce1_0.PRIORITY,ce1_0.SALT,ce1_0.SECRET_DATA,ce1_0.TYPE,ce1_0.USER_ID,ce1_0.USER_LABEL,ce1_0.VERSION from CREDENTIAL ce1_0 where ce1_0.USER_ID=$1 order by ce1_0.PRIORITY
|
||||
2026-09-22 06:26:50.601 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '539df575-06d2-4d06-b3ef-4baab545efe4'
|
||||
2026-09-22 06:26:50.743 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_18: select a1_0.USER_ID,a1_0.ID,a1_0.LONG_VALUE,a1_0.LONG_VALUE_HASH,a1_0.LONG_VALUE_HASH_LOWER_CASE,a1_0.NAME,a1_0.VALUE from USER_ATTRIBUTE a1_0 where a1_0.USER_ID=$1
|
||||
2026-09-22 06:26:50.743 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '539df575-06d2-4d06-b3ef-4baab545efe4'
|
||||
2026-09-22 06:26:50.782 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_19: select ra1_0.USER_ID,ra1_0.REQUIRED_ACTION from USER_REQUIRED_ACTION ra1_0 where ra1_0.USER_ID=$1
|
||||
2026-09-22 06:26:50.782 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '539df575-06d2-4d06-b3ef-4baab545efe4'
|
||||
2026-09-22 06:26:50.791 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_20: select cscme1_0.SCOPE_ID from CLIENT_SCOPE_CLIENT cscme1_0 where cscme1_0.CLIENT_ID=$1 and cscme1_0.DEFAULT_SCOPE=$2
|
||||
2026-09-22 06:26:50.791 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 't'
|
||||
2026-09-22 06:26:50.794 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_21: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.794 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '0a857fa9-8554-4204-8269-9d8388da57a1'
|
||||
2026-09-22 06:26:50.797 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_22: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.797 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '0a857fa9-8554-4204-8269-9d8388da57a1'
|
||||
2026-09-22 06:26:50.799 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_23: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.799 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '0a857fa9-8554-4204-8269-9d8388da57a1'
|
||||
2026-09-22 06:26:50.802 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_24: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.802 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'ed0d4218-4815-4655-a052-a30d040df134'
|
||||
2026-09-22 06:26:50.802 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_25: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.802 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'ed0d4218-4815-4655-a052-a30d040df134'
|
||||
2026-09-22 06:26:50.803 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_26: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.803 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'ed0d4218-4815-4655-a052-a30d040df134'
|
||||
2026-09-22 06:26:50.805 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_27: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.805 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '5acb52bc-6049-4b80-9cb8-dc1695cdbe3c'
|
||||
2026-09-22 06:26:50.806 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_28: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.806 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '5acb52bc-6049-4b80-9cb8-dc1695cdbe3c'
|
||||
2026-09-22 06:26:50.806 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_29: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.806 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '5acb52bc-6049-4b80-9cb8-dc1695cdbe3c'
|
||||
2026-09-22 06:26:50.808 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_30: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.808 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '7419dcb2-c756-405d-930d-f25e9a37bb90'
|
||||
2026-09-22 06:26:50.809 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_31: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.809 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '7419dcb2-c756-405d-930d-f25e9a37bb90'
|
||||
2026-09-22 06:26:50.809 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_32: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.809 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '7419dcb2-c756-405d-930d-f25e9a37bb90'
|
||||
2026-09-22 06:26:50.811 UTC [998] 10.42.1.42 LOG: execute S_33/C_34: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.811 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '23576a31-8640-4d5b-80e8-5f68e0e088c8'
|
||||
2026-09-22 06:26:50.812 UTC [998] 10.42.1.42 LOG: execute S_35/C_36: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.812 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '23576a31-8640-4d5b-80e8-5f68e0e088c8'
|
||||
2026-09-22 06:26:50.812 UTC [998] 10.42.1.42 LOG: execute S_37/C_38: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.812 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '23576a31-8640-4d5b-80e8-5f68e0e088c8'
|
||||
2026-09-22 06:26:50.814 UTC [998] 10.42.1.42 LOG: execute S_33/C_39: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.814 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'e7b0f176-ec9c-45f9-84c0-3ef3193caf25'
|
||||
2026-09-22 06:26:50.815 UTC [998] 10.42.1.42 LOG: execute S_35/C_40: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.815 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'e7b0f176-ec9c-45f9-84c0-3ef3193caf25'
|
||||
2026-09-22 06:26:50.815 UTC [998] 10.42.1.42 LOG: execute S_37/C_41: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.815 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'e7b0f176-ec9c-45f9-84c0-3ef3193caf25'
|
||||
2026-09-22 06:26:50.825 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_42: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 06:26:50.825 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '0', $2 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:50.838 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_43: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
|
||||
2026-09-22 06:26:50.838 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:50.852 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_44: select cse1_0.ID from CLIENT_SCOPE cse1_0 where cse1_0.REALM_ID=$1
|
||||
2026-09-22 06:26:50.852 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc'
|
||||
2026-09-22 06:26:50.853 UTC [998] 10.42.1.42 LOG: execute S_33/C_45: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.853 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'baa9b203-9ffe-4bf2-95fd-6e40bc65382e'
|
||||
2026-09-22 06:26:50.854 UTC [998] 10.42.1.42 LOG: execute S_35/C_46: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.854 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'baa9b203-9ffe-4bf2-95fd-6e40bc65382e'
|
||||
2026-09-22 06:26:50.855 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_47: select re1_0.ID,re1_0.CLIENT,re1_0.CLIENT_REALM_CONSTRAINT,re1_0.CLIENT_ROLE,re1_0.DESCRIPTION,re1_0.NAME,re1_0.REALM_ID from KEYCLOAK_ROLE re1_0 where re1_0.ID=$1
|
||||
2026-09-22 06:26:50.855 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '2efa55de-29da-4c61-841e-b047f3cc413f'
|
||||
2026-09-22 06:26:50.857 UTC [998] 10.42.1.42 LOG: execute S_37/C_48: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.857 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'baa9b203-9ffe-4bf2-95fd-6e40bc65382e'
|
||||
2026-09-22 06:26:50.858 UTC [998] 10.42.1.42 LOG: execute S_33/C_49: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.858 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'c39b38fe-fe66-4b2f-a70d-f74dcb8648fb'
|
||||
2026-09-22 06:26:50.859 UTC [998] 10.42.1.42 LOG: execute S_35/C_50: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.859 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'c39b38fe-fe66-4b2f-a70d-f74dcb8648fb'
|
||||
2026-09-22 06:26:50.860 UTC [998] 10.42.1.42 LOG: execute S_37/C_51: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.860 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'c39b38fe-fe66-4b2f-a70d-f74dcb8648fb'
|
||||
2026-09-22 06:26:50.861 UTC [998] 10.42.1.42 LOG: execute S_33/C_52: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.861 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '5c7d213b-0ac3-454b-85e6-92e29c29bfaf'
|
||||
2026-09-22 06:26:50.862 UTC [998] 10.42.1.42 LOG: execute S_35/C_53: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.862 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '5c7d213b-0ac3-454b-85e6-92e29c29bfaf'
|
||||
2026-09-22 06:26:50.862 UTC [998] 10.42.1.42 LOG: execute S_37/C_54: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.862 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '5c7d213b-0ac3-454b-85e6-92e29c29bfaf'
|
||||
2026-09-22 06:26:50.864 UTC [998] 10.42.1.42 LOG: execute S_33/C_55: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.864 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '65eb52d4-c35d-4991-8cd3-13a67cc98052'
|
||||
2026-09-22 06:26:50.864 UTC [998] 10.42.1.42 LOG: execute S_35/C_56: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.864 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '65eb52d4-c35d-4991-8cd3-13a67cc98052'
|
||||
2026-09-22 06:26:50.865 UTC [998] 10.42.1.42 LOG: execute S_37/C_57: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.865 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '65eb52d4-c35d-4991-8cd3-13a67cc98052'
|
||||
2026-09-22 06:26:50.866 UTC [998] 10.42.1.42 LOG: execute S_33/C_58: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.866 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'd3429876-0219-4ada-b330-9ffab2d0078f'
|
||||
2026-09-22 06:26:50.866 UTC [998] 10.42.1.42 LOG: execute S_35/C_59: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.866 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'd3429876-0219-4ada-b330-9ffab2d0078f'
|
||||
2026-09-22 06:26:50.867 UTC [998] 10.42.1.42 LOG: execute S_37/C_60: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.867 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'd3429876-0219-4ada-b330-9ffab2d0078f'
|
||||
2026-09-22 06:26:50.869 UTC [998] 10.42.1.42 LOG: execute S_33/C_61: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.869 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'bcfce938-9f1c-4144-a177-26a4a218f60c'
|
||||
2026-09-22 06:26:50.869 UTC [998] 10.42.1.42 LOG: execute S_35/C_62: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.869 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'bcfce938-9f1c-4144-a177-26a4a218f60c'
|
||||
2026-09-22 06:26:50.870 UTC [998] 10.42.1.42 LOG: execute S_37/C_63: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.870 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = 'bcfce938-9f1c-4144-a177-26a4a218f60c'
|
||||
2026-09-22 06:26:50.871 UTC [998] 10.42.1.42 LOG: execute S_33/C_64: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.871 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '10acb1f4-749d-4bea-a392-1327ddd097c1'
|
||||
2026-09-22 06:26:50.872 UTC [998] 10.42.1.42 LOG: execute S_35/C_65: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.872 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '10acb1f4-749d-4bea-a392-1327ddd097c1'
|
||||
2026-09-22 06:26:50.873 UTC [998] 10.42.1.42 LOG: execute S_37/C_66: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.873 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '10acb1f4-749d-4bea-a392-1327ddd097c1'
|
||||
2026-09-22 06:26:50.874 UTC [998] 10.42.1.42 LOG: execute S_33/C_67: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.874 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '31e544cc-3c7f-4547-89c3-ff8c1a2f035f'
|
||||
2026-09-22 06:26:50.875 UTC [998] 10.42.1.42 LOG: execute S_35/C_68: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.875 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '31e544cc-3c7f-4547-89c3-ff8c1a2f035f'
|
||||
2026-09-22 06:26:50.875 UTC [998] 10.42.1.42 LOG: execute S_37/C_69: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.875 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '31e544cc-3c7f-4547-89c3-ff8c1a2f035f'
|
||||
2026-09-22 06:26:50.877 UTC [998] 10.42.1.42 LOG: execute S_33/C_70: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:50.877 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '25f60c6a-3137-4b2a-9261-409bf3e0665f'
|
||||
2026-09-22 06:26:50.877 UTC [998] 10.42.1.42 LOG: execute S_35/C_71: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.877 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '25f60c6a-3137-4b2a-9261-409bf3e0665f'
|
||||
2026-09-22 06:26:50.878 UTC [998] 10.42.1.42 LOG: execute S_37/C_72: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:50.878 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '25f60c6a-3137-4b2a-9261-409bf3e0665f'
|
||||
2026-09-22 06:26:50.885 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_73: select pm1_0.CLIENT_SCOPE_ID,pm1_0.ID,pm1_0.CLIENT_ID,pm1_0.NAME,pm1_0.PROTOCOL,pm1_0.PROTOCOL_MAPPER_NAME from PROTOCOL_MAPPER pm1_0 where pm1_0.CLIENT_SCOPE_ID = any ($1)
|
||||
2026-09-22 06:26:50.885 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '{0a857fa9-8554-4204-8269-9d8388da57a1,ed0d4218-4815-4655-a052-a30d040df134,5acb52bc-6049-4b80-9cb8-dc1695cdbe3c,7419dcb2-c756-405d-930d-f25e9a37bb90,23576a31-8640-4d5b-80e8-5f68e0e088c8,e7b0f176-ec9c-45f9-84c0-3ef3193caf25,baa9b203-9ffe-4bf2-95fd-6e40bc65382e,c39b38fe-fe66-4b2f-a70d-f74dcb8648fb}'
|
||||
2026-09-22 06:26:50.888 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_74: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:50.888 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '{7e02e561-5356-4ec9-9b61-29daa2a61467,b2998c4c-82b8-4466-b7bd-9da972c21648,03e6f2ad-6895-4d07-bd42-22bbfa020687,7f85eb1f-0570-42c9-aaf8-5b8bd0df413f,4a991251-5eaf-4905-84bd-f52bbed3a264,43a67410-8914-4996-bec2-153253019092,1c82f709-f983-45b2-be8a-8152d8a30d95,444e1701-ffa9-4554-8d4f-0060cb47e5bb}'
|
||||
2026-09-22 06:26:50.889 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_75: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:50.889 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '{c9eff752-ecf7-4b33-b4e7-84d1b5f0132c,a83b70bf-58dd-47ab-ac8f-1a50d5b9ca4b,df815f08-2d8a-4232-8db7-a0f3c5f9ba51,57675b04-3463-43f0-b75f-b07dbaf9cf4d,4a7b3cc2-b20e-441d-80bf-037291c47a80,5603227a-b06d-4bc3-82b4-12ef0d85fe97,3b9c5d40-9816-4a24-b97d-c5250d9a942a,788ce241-919d-45b9-80a1-759189785d36}'
|
||||
2026-09-22 06:26:50.891 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_76: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:50.891 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '{cdc90f5e-6b0e-46f3-8250-32050b04ee46,28731ed0-1c9a-459c-929f-5b07c1ffea5d,8bd6ddb8-06e1-4888-9a1a-a5f8011c2c2f,b6e7c0b7-1060-41f7-a38e-cfd365cf3dcd,fa09e227-d2ee-4b3e-a70f-ebd578e32b10,58fb379c-9bc1-486d-b4ed-8bfc6b65879e,fcef0e8d-fc37-4eaa-844f-1e2c42ec1cb0,96eb2524-9fdc-4e9f-9acc-66d5b841b0a0}'
|
||||
2026-09-22 06:26:50.892 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_77: select pm1_0.CLIENT_ID,pm1_0.ID,pm1_0.CLIENT_SCOPE_ID,pm1_0.NAME,pm1_0.PROTOCOL,pm1_0.PROTOCOL_MAPPER_NAME from PROTOCOL_MAPPER pm1_0 where pm1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:50.892 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:50.958 UTC [998] 10.42.1.42 LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:26:50.966 UTC [998] 10.42.1.42 LOG: statement: BEGIN
|
||||
2026-09-22 06:26:50.966 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_78: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 06:26:50.966 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '0', $2 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:50.980 UTC [998] 10.42.1.42 LOG: execute <unnamed>/C_79: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
|
||||
2026-09-22 06:26:50.980 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:50.984 UTC [998] 10.42.1.42 LOG: execute <unnamed>: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
|
||||
2026-09-22 06:26:50.984 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = NULL, $2 = '1790058410', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790058410,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790058410}"},"state":"LOGGED_IN"}', $4 = '1790058410', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:50.985 UTC [998] 10.42.1.42 LOG: execute <unnamed>: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9)
|
||||
2026-09-22 06:26:50.985 UTC [998] 10.42.1.42 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790058410","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790058410","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790058410', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:50.985 UTC [998] 10.42.1.42 LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
2026-09-22 06:26:50.986 UTC [998] 10.42.1.42 LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:26:51.280 UTC [943] 10.42.0.35 LOG: statement: BEGIN
|
||||
2026-09-22 06:26:51.280 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_39: select ce1_0.ID from CLIENT ce1_0 where ce1_0.CLIENT_ID=$1 and ce1_0.REALM_ID=$2
|
||||
2026-09-22 06:26:51.280 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'admin-cli', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc'
|
||||
2026-09-22 06:26:51.281 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_40: select ce1_0.ID,ce1_0.ALWAYS_DISPLAY_IN_CONSOLE,ce1_0.BASE_URL,ce1_0.BEARER_ONLY,ce1_0.CLIENT_AUTHENTICATOR_TYPE,ce1_0.CLIENT_ID,ce1_0.CONSENT_REQUIRED,ce1_0.CREATED_TIMESTAMP,ce1_0.DESCRIPTION,ce1_0.DIRECT_ACCESS_GRANTS_ENABLED,ce1_0.ENABLED,ce1_0.FRONTCHANNEL_LOGOUT,ce1_0.FULL_SCOPE_ALLOWED,ce1_0.IMPLICIT_FLOW_ENABLED,ce1_0.LAST_MODIFIED_TIMESTAMP,ce1_0.MANAGEMENT_URL,ce1_0.NAME,ce1_0.NODE_REREG_TIMEOUT,ce1_0.NOT_BEFORE,ce1_0.PROTOCOL,ce1_0.PUBLIC_CLIENT,ce1_0.REALM_ID,ce1_0.REGISTRATION_TOKEN,ce1_0.ROOT_URL,ce1_0.SECRET,ce1_0.SERVICE_ACCOUNTS_ENABLED,ce1_0.STANDARD_FLOW_ENABLED,ce1_0.SURROGATE_AUTH_REQUIRED from CLIENT ce1_0 where ce1_0.ID=$1
|
||||
2026-09-22 06:26:51.281 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.283 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_41: select a1_0.CLIENT_ID,a1_0.NAME,a1_0.VALUE from CLIENT_ATTRIBUTES a1_0 where a1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.283 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.284 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_42: select afb1_0.CLIENT_ID,afb1_0.BINDING_NAME,afb1_0.FLOW_ID from CLIENT_AUTH_FLOW_BINDINGS afb1_0 where afb1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.284 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.285 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_43: select ru1_0.CLIENT_ID,ru1_0.VALUE from REDIRECT_URIS ru1_0 where ru1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.285 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.286 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_44: select wo1_0.CLIENT_ID,wo1_0.VALUE from WEB_ORIGINS wo1_0 where wo1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.286 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.287 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_45: select smi1_0.CLIENT_ID,smi1_0.ROLE_ID from SCOPE_MAPPING smi1_0 where smi1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.287 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.288 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_46: select rn1_0.CLIENT_ID,rn1_0.NAME,rn1_0.VALUE from CLIENT_NODE_REGISTRATIONS rn1_0 where rn1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.288 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.450 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_47: select ue1_0.ID,ue1_0.CREATED_TIMESTAMP,ue1_0.EMAIL,ue1_0.EMAIL_CONSTRAINT,ue1_0.EMAIL_VERIFIED,ue1_0.ENABLED,ue1_0.FEDERATION_LINK,ue1_0.FIRST_NAME,ue1_0.LAST_MODIFIED_TIMESTAMP,ue1_0.LAST_NAME,ue1_0.NOT_BEFORE,ue1_0.REALM_ID,ue1_0.SERVICE_ACCOUNT_CLIENT_LINK,ue1_0.USERNAME from USER_ENTITY ue1_0 where ue1_0.ID=$1
|
||||
2026-09-22 06:26:51.450 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '539df575-06d2-4d06-b3ef-4baab545efe4'
|
||||
2026-09-22 06:26:51.460 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_48: select oe1_0.ID from ORG oe1_0 where oe1_0.REALM_ID=$1 fetch first $2 rows only
|
||||
2026-09-22 06:26:51.460 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $2 = '1'
|
||||
2026-09-22 06:26:51.479 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_49: select cscme1_0.SCOPE_ID from CLIENT_SCOPE_CLIENT cscme1_0 where cscme1_0.CLIENT_ID=$1 and cscme1_0.DEFAULT_SCOPE=$2
|
||||
2026-09-22 06:26:51.479 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 't'
|
||||
2026-09-22 06:26:51.482 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_50: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.482 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '0a857fa9-8554-4204-8269-9d8388da57a1'
|
||||
2026-09-22 06:26:51.486 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_51: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.486 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '0a857fa9-8554-4204-8269-9d8388da57a1'
|
||||
2026-09-22 06:26:51.487 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_52: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.487 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '0a857fa9-8554-4204-8269-9d8388da57a1'
|
||||
2026-09-22 06:26:51.491 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_53: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.491 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'ed0d4218-4815-4655-a052-a30d040df134'
|
||||
2026-09-22 06:26:51.493 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_54: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.493 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'ed0d4218-4815-4655-a052-a30d040df134'
|
||||
2026-09-22 06:26:51.494 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_55: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.494 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'ed0d4218-4815-4655-a052-a30d040df134'
|
||||
2026-09-22 06:26:51.496 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_56: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.496 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '5acb52bc-6049-4b80-9cb8-dc1695cdbe3c'
|
||||
2026-09-22 06:26:51.497 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_57: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.497 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '5acb52bc-6049-4b80-9cb8-dc1695cdbe3c'
|
||||
2026-09-22 06:26:51.498 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_58: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.498 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '5acb52bc-6049-4b80-9cb8-dc1695cdbe3c'
|
||||
2026-09-22 06:26:51.500 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_59: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.500 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '7419dcb2-c756-405d-930d-f25e9a37bb90'
|
||||
2026-09-22 06:26:51.502 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_60: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.502 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '7419dcb2-c756-405d-930d-f25e9a37bb90'
|
||||
2026-09-22 06:26:51.503 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_61: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.503 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '7419dcb2-c756-405d-930d-f25e9a37bb90'
|
||||
2026-09-22 06:26:51.505 UTC [943] 10.42.0.35 LOG: execute S_62/C_63: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.505 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '23576a31-8640-4d5b-80e8-5f68e0e088c8'
|
||||
2026-09-22 06:26:51.507 UTC [943] 10.42.0.35 LOG: execute S_64/C_65: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.507 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '23576a31-8640-4d5b-80e8-5f68e0e088c8'
|
||||
2026-09-22 06:26:51.508 UTC [943] 10.42.0.35 LOG: execute S_66/C_67: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.508 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '23576a31-8640-4d5b-80e8-5f68e0e088c8'
|
||||
2026-09-22 06:26:51.510 UTC [943] 10.42.0.35 LOG: execute S_62/C_68: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.510 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'e7b0f176-ec9c-45f9-84c0-3ef3193caf25'
|
||||
2026-09-22 06:26:51.512 UTC [943] 10.42.0.35 LOG: execute S_64/C_69: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.512 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'e7b0f176-ec9c-45f9-84c0-3ef3193caf25'
|
||||
2026-09-22 06:26:51.512 UTC [943] 10.42.0.35 LOG: execute S_66/C_70: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.512 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'e7b0f176-ec9c-45f9-84c0-3ef3193caf25'
|
||||
2026-09-22 06:26:51.517 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_71: select cscme1_0.SCOPE_ID from CLIENT_SCOPE_CLIENT cscme1_0 where cscme1_0.CLIENT_ID=$1 and cscme1_0.DEFAULT_SCOPE=$2
|
||||
2026-09-22 06:26:51.517 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'f'
|
||||
2026-09-22 06:26:51.518 UTC [943] 10.42.0.35 LOG: execute S_62/C_72: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.518 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'd3429876-0219-4ada-b330-9ffab2d0078f'
|
||||
2026-09-22 06:26:51.518 UTC [943] 10.42.0.35 LOG: execute S_64/C_73: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.518 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'd3429876-0219-4ada-b330-9ffab2d0078f'
|
||||
2026-09-22 06:26:51.519 UTC [943] 10.42.0.35 LOG: execute S_66/C_74: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.519 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'd3429876-0219-4ada-b330-9ffab2d0078f'
|
||||
2026-09-22 06:26:51.523 UTC [943] 10.42.0.35 LOG: execute S_62/C_75: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.523 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'bcfce938-9f1c-4144-a177-26a4a218f60c'
|
||||
2026-09-22 06:26:51.525 UTC [943] 10.42.0.35 LOG: execute S_64/C_76: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.525 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'bcfce938-9f1c-4144-a177-26a4a218f60c'
|
||||
2026-09-22 06:26:51.526 UTC [943] 10.42.0.35 LOG: execute S_66/C_77: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.526 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'bcfce938-9f1c-4144-a177-26a4a218f60c'
|
||||
2026-09-22 06:26:51.528 UTC [943] 10.42.0.35 LOG: execute S_62/C_78: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.528 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '25f60c6a-3137-4b2a-9261-409bf3e0665f'
|
||||
2026-09-22 06:26:51.528 UTC [943] 10.42.0.35 LOG: execute S_64/C_79: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.528 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '25f60c6a-3137-4b2a-9261-409bf3e0665f'
|
||||
2026-09-22 06:26:51.529 UTC [943] 10.42.0.35 LOG: execute S_66/C_80: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.529 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '25f60c6a-3137-4b2a-9261-409bf3e0665f'
|
||||
2026-09-22 06:26:51.531 UTC [943] 10.42.0.35 LOG: execute S_62/C_81: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.531 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'baa9b203-9ffe-4bf2-95fd-6e40bc65382e'
|
||||
2026-09-22 06:26:51.532 UTC [943] 10.42.0.35 LOG: execute S_64/C_82: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.532 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'baa9b203-9ffe-4bf2-95fd-6e40bc65382e'
|
||||
2026-09-22 06:26:51.533 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_83: select re1_0.ID,re1_0.CLIENT,re1_0.CLIENT_REALM_CONSTRAINT,re1_0.CLIENT_ROLE,re1_0.DESCRIPTION,re1_0.NAME,re1_0.REALM_ID from KEYCLOAK_ROLE re1_0 where re1_0.ID=$1
|
||||
2026-09-22 06:26:51.533 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '2efa55de-29da-4c61-841e-b047f3cc413f'
|
||||
2026-09-22 06:26:51.535 UTC [943] 10.42.0.35 LOG: execute S_66/C_84: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.535 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'baa9b203-9ffe-4bf2-95fd-6e40bc65382e'
|
||||
2026-09-22 06:26:51.536 UTC [943] 10.42.0.35 LOG: execute S_62/C_85: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.536 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '10acb1f4-749d-4bea-a392-1327ddd097c1'
|
||||
2026-09-22 06:26:51.537 UTC [943] 10.42.0.35 LOG: execute S_64/C_86: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.537 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '10acb1f4-749d-4bea-a392-1327ddd097c1'
|
||||
2026-09-22 06:26:51.537 UTC [943] 10.42.0.35 LOG: execute S_66/C_87: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.537 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '10acb1f4-749d-4bea-a392-1327ddd097c1'
|
||||
2026-09-22 06:26:51.545 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_88: select pm1_0.CLIENT_SCOPE_ID,pm1_0.ID,pm1_0.CLIENT_ID,pm1_0.NAME,pm1_0.PROTOCOL,pm1_0.PROTOCOL_MAPPER_NAME from PROTOCOL_MAPPER pm1_0 where pm1_0.CLIENT_SCOPE_ID = any ($1)
|
||||
2026-09-22 06:26:51.545 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '{0a857fa9-8554-4204-8269-9d8388da57a1,ed0d4218-4815-4655-a052-a30d040df134,5acb52bc-6049-4b80-9cb8-dc1695cdbe3c,7419dcb2-c756-405d-930d-f25e9a37bb90,23576a31-8640-4d5b-80e8-5f68e0e088c8,e7b0f176-ec9c-45f9-84c0-3ef3193caf25,d3429876-0219-4ada-b330-9ffab2d0078f,bcfce938-9f1c-4144-a177-26a4a218f60c}'
|
||||
2026-09-22 06:26:51.553 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_89: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:51.553 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '{7e02e561-5356-4ec9-9b61-29daa2a61467,03e6f2ad-6895-4d07-bd42-22bbfa020687,91086cef-2ec5-4068-af72-507a9b3e60ca,e1d6725c-5e12-4bc5-ad55-cbb72542f3ab,dcad2aab-3e4b-4397-ab15-d0c0ae7a9d10,7f85eb1f-0570-42c9-aaf8-5b8bd0df413f,4a991251-5eaf-4905-84bd-f52bbed3a264,43a67410-8914-4996-bec2-153253019092}'
|
||||
2026-09-22 06:26:51.557 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_90: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:51.557 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '{c9eff752-ecf7-4b33-b4e7-84d1b5f0132c,df815f08-2d8a-4232-8db7-a0f3c5f9ba51,57675b04-3463-43f0-b75f-b07dbaf9cf4d,4a7b3cc2-b20e-441d-80bf-037291c47a80,5603227a-b06d-4bc3-82b4-12ef0d85fe97,3b9c5d40-9816-4a24-b97d-c5250d9a942a,788ce241-919d-45b9-80a1-759189785d36,a83b70bf-58dd-47ab-ac8f-1a50d5b9ca4b}'
|
||||
2026-09-22 06:26:51.560 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_91: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:51.560 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '{cdc90f5e-6b0e-46f3-8250-32050b04ee46,8bd6ddb8-06e1-4888-9a1a-a5f8011c2c2f,b6e7c0b7-1060-41f7-a38e-cfd365cf3dcd,fa09e227-d2ee-4b3e-a70f-ebd578e32b10,58fb379c-9bc1-486d-b4ed-8bfc6b65879e,fcef0e8d-fc37-4eaa-844f-1e2c42ec1cb0,1c82f709-f983-45b2-be8a-8152d8a30d95,444e1701-ffa9-4554-8d4f-0060cb47e5bb}'
|
||||
2026-09-22 06:26:51.564 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_92: select c1_0.PROTOCOL_MAPPER_ID,c1_0.NAME,c1_0.VALUE from PROTOCOL_MAPPER_CONFIG c1_0 where c1_0.PROTOCOL_MAPPER_ID = any ($1)
|
||||
2026-09-22 06:26:51.564 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '{b2998c4c-82b8-4466-b7bd-9da972c21648,96eb2524-9fdc-4e9f-9acc-66d5b841b0a0}'
|
||||
2026-09-22 06:26:51.574 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_93: select cse1_0.ID from CLIENT_SCOPE cse1_0 where cse1_0.REALM_ID=$1
|
||||
2026-09-22 06:26:51.574 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc'
|
||||
2026-09-22 06:26:51.576 UTC [943] 10.42.0.35 LOG: execute S_62/C_94: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.576 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'c39b38fe-fe66-4b2f-a70d-f74dcb8648fb'
|
||||
2026-09-22 06:26:51.577 UTC [943] 10.42.0.35 LOG: execute S_64/C_95: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.577 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'c39b38fe-fe66-4b2f-a70d-f74dcb8648fb'
|
||||
2026-09-22 06:26:51.578 UTC [943] 10.42.0.35 LOG: execute S_66/C_96: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.578 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'c39b38fe-fe66-4b2f-a70d-f74dcb8648fb'
|
||||
2026-09-22 06:26:51.579 UTC [943] 10.42.0.35 LOG: execute S_62/C_97: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.579 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '5c7d213b-0ac3-454b-85e6-92e29c29bfaf'
|
||||
2026-09-22 06:26:51.580 UTC [943] 10.42.0.35 LOG: execute S_64/C_98: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.580 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '5c7d213b-0ac3-454b-85e6-92e29c29bfaf'
|
||||
2026-09-22 06:26:51.581 UTC [943] 10.42.0.35 LOG: execute S_66/C_99: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.581 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '5c7d213b-0ac3-454b-85e6-92e29c29bfaf'
|
||||
2026-09-22 06:26:51.583 UTC [943] 10.42.0.35 LOG: execute S_62/C_100: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.583 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '65eb52d4-c35d-4991-8cd3-13a67cc98052'
|
||||
2026-09-22 06:26:51.584 UTC [943] 10.42.0.35 LOG: execute S_64/C_101: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.584 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '65eb52d4-c35d-4991-8cd3-13a67cc98052'
|
||||
2026-09-22 06:26:51.585 UTC [943] 10.42.0.35 LOG: execute S_66/C_102: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.585 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '65eb52d4-c35d-4991-8cd3-13a67cc98052'
|
||||
2026-09-22 06:26:51.587 UTC [943] 10.42.0.35 LOG: execute S_62/C_103: select cse1_0.ID,cse1_0.DESCRIPTION,cse1_0.NAME,cse1_0.PROTOCOL,cse1_0.REALM_ID from CLIENT_SCOPE cse1_0 where cse1_0.ID=$1
|
||||
2026-09-22 06:26:51.587 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '31e544cc-3c7f-4547-89c3-ff8c1a2f035f'
|
||||
2026-09-22 06:26:51.587 UTC [943] 10.42.0.35 LOG: execute S_64/C_104: select smi1_0.SCOPE_ID,smi1_0.ROLE_ID from CLIENT_SCOPE_ROLE_MAPPING smi1_0 where smi1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.587 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '31e544cc-3c7f-4547-89c3-ff8c1a2f035f'
|
||||
2026-09-22 06:26:51.588 UTC [943] 10.42.0.35 LOG: execute S_66/C_105: select a1_0.SCOPE_ID,a1_0.NAME,a1_0.VALUE from CLIENT_SCOPE_ATTRIBUTES a1_0 where a1_0.SCOPE_ID=$1
|
||||
2026-09-22 06:26:51.588 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '31e544cc-3c7f-4547-89c3-ff8c1a2f035f'
|
||||
2026-09-22 06:26:51.593 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_106: select pm1_0.CLIENT_ID,pm1_0.ID,pm1_0.CLIENT_SCOPE_ID,pm1_0.NAME,pm1_0.PROTOCOL,pm1_0.PROTOCOL_MAPPER_NAME from PROTOCOL_MAPPER pm1_0 where pm1_0.CLIENT_ID=$1
|
||||
2026-09-22 06:26:51.593 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316'
|
||||
2026-09-22 06:26:51.628 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_107: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 06:26:51.628 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '0', $2 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:51.639 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_108: select puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where puse1_0.USER_SESSION_ID=$1 and puse1_0.OFFLINE_FLAG=$2 for no key update of puse1_0 skip locked
|
||||
2026-09-22 06:26:51.639 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'VyjEgoH_PJofPX-1Pj0f4gwE', $2 = '0'
|
||||
2026-09-22 06:26:51.642 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_109: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
|
||||
2026-09-22 06:26:51.642 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'VyjEgoH_PJofPX-1Pj0f4gwE'
|
||||
2026-09-22 06:26:51.648 UTC [943] 10.42.0.35 LOG: execute <unnamed>/C_110: select pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where pcse1_0.USER_SESSION_ID=$1 and pcse1_0.OFFLINE_FLAG=$2 and pcse1_0.CLIENT_ID=$3 and pcse1_0.EXTERNAL_CLIENT_ID=$4 and pcse1_0.CLIENT_STORAGE_PROVIDER=$5 for no key update of pcse1_0 skip locked
|
||||
2026-09-22 06:26:51.648 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = 'VyjEgoH_PJofPX-1Pj0f4gwE', $2 = '0', $3 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $4 = 'local', $5 = 'local'
|
||||
2026-09-22 06:26:51.667 UTC [943] 10.42.0.35 LOG: execute <unnamed>: update OFFLINE_CLIENT_SESSION set TIMESTAMP=$1,VERSION=$2 where CLIENT_ID=$3 and CLIENT_STORAGE_PROVIDER=$4 and EXTERNAL_CLIENT_ID=$5 and OFFLINE_FLAG=$6 and USER_SESSION_ID=$7 and VERSION=$8
|
||||
2026-09-22 06:26:51.667 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '1790058411', $2 = '1', $3 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $4 = 'local', $5 = 'local', $6 = '0', $7 = 'VyjEgoH_PJofPX-1Pj0f4gwE', $8 = '0'
|
||||
2026-09-22 06:26:51.669 UTC [943] 10.42.0.35 LOG: execute <unnamed>: update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1,VERSION=$2 where OFFLINE_FLAG=$3 and USER_SESSION_ID=$4 and VERSION=$5
|
||||
2026-09-22 06:26:51.669 UTC [943] 10.42.0.35 DETAIL: parameters: $1 = '1790058411', $2 = '1', $3 = '0', $4 = 'VyjEgoH_PJofPX-1Pj0f4gwE', $5 = '0'
|
||||
2026-09-22 06:26:51.670 UTC [943] 10.42.0.35 LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
2026-09-22 06:26:51.671 UTC [943] 10.42.0.35 LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:26:55.646 UTC [943] 10.42.0.35 LOG: statement:
|
||||
2026-09-22 06:26:55.648 UTC [944] 10.42.0.35 LOG: execute S_7: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
|
||||
2026-09-22 06:26:55.648 UTC [944] 10.42.0.35 DETAIL: parameters: $1 = 'ISPN'
|
||||
RESTORED
|
||||
none
|
||||
%m [%p]
|
||||
+28
@@ -0,0 +1,28 @@
|
||||
=== A0 cleanup before A1 ===
|
||||
DELETE 1
|
||||
statefulset.apps/keycloak restarted
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[state]
|
||||
keycloak-0 1/1 Running 0 32s 10.42.1.33 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 65s 10.42.0.30 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-2tqlc 1/1 Running 0 46m 10.42.1.31 kc-lab-2 <none> <none>
|
||||
[db]
|
||||
0
|
||||
none
|
||||
[metrics]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-12109"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-12109"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-12109"} 2.0
|
||||
[keycloak-1]
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-10598"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-10598"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-10598"} 2.0
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
DELETE 1
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
none
|
||||
0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-62537"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-8816"} 0.0
|
||||
+12
-66
@@ -1,66 +1,12 @@
|
||||
=== A1 baseline + manifest ===
|
||||
[manifest]
|
||||
# Experiment A-1 — cut the JGroups transport (TCP 7800) while leaving discovery alone.
|
||||
#
|
||||
# The point is to separate two things that are easy to conflate:
|
||||
#
|
||||
# discovery how the nodes FIND each other -> PostgreSQL JGROUPS_PING table
|
||||
# transport how they actually TALK -> TCP 7800
|
||||
#
|
||||
# Blocking only the transport produces a state that cannot happen on a single
|
||||
# node: both members stay registered in the database, so each believes the other
|
||||
# exists, yet no message gets through.
|
||||
#
|
||||
# kubectl apply -f deploy/lab/k8s/a1-block-jgroups-transport.yaml
|
||||
# kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
|
||||
#
|
||||
# NetworkPolicy is an ALLOWLIST, not a firewall with deny rules. There is no way
|
||||
# to write "deny 7800". The moment a pod is selected by a policy carrying
|
||||
# policyTypes: [Ingress], every inbound port is denied unless a rule permits it.
|
||||
# So 7800 is blocked by *omission*: 8080 and 9000 are listed, 7800 is not.
|
||||
#
|
||||
# That makes the two allow rules load-bearing — get them wrong and the experiment
|
||||
# measures a dead Keycloak instead of a partitioned cluster:
|
||||
#
|
||||
# 8080 the HTTP endpoint. Traefik, the other pod's REST calls, and the probe
|
||||
# traffic all arrive here.
|
||||
# 9000 the management port: /health/started, /health/ready, /health/live and
|
||||
# /metrics. Losing it means the kubelet fails the readiness probe and
|
||||
# kills the pod — the cluster would break for the wrong reason.
|
||||
#
|
||||
# Both rules deliberately omit `from:`, which allows those ports from any source.
|
||||
# Narrowing the source is not the subject here; the 2-hop experiment already
|
||||
# established how to do that by label when it matters.
|
||||
apiVersion: networking.k8s.io/v1
|
||||
kind: NetworkPolicy
|
||||
metadata:
|
||||
name: a1-block-jgroups-transport
|
||||
namespace: keycloak-lab
|
||||
spec:
|
||||
podSelector:
|
||||
matchLabels:
|
||||
app: keycloak
|
||||
policyTypes: [Ingress]
|
||||
ingress:
|
||||
- ports:
|
||||
- { port: 8080, protocol: TCP } # HTTP — must stay open
|
||||
- { port: 9000, protocol: TCP } # health + metrics — must stay open
|
||||
# 7800 is absent on purpose. That is the whole experiment.
|
||||
[policies]
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 83s 10.42.1.23 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 117s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[cluster]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
[jgroups]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-63395 | 10.42.1.23:7800 | f
|
||||
keycloak-1-58832 | 10.42.0.24:7800 | t
|
||||
(2 rows)
|
||||
|
||||
[conntrack commands]
|
||||
kc-lab-1 kc-lab-2
|
||||
PODS
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 73s 10.42.1.43 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 107s 10.42.0.36 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-bxskf 1/1 Running 0 13m 10.42.1.41 kc-lab-2 <none> <none>
|
||||
POLICY
|
||||
No resources found in keycloak-lab namespace.
|
||||
CLUSTER
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-62537"} 2.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-8816"} 2.0
|
||||
JGROUPS
|
||||
2|1
|
||||
|
||||
+4
-3
@@ -1,4 +1,5 @@
|
||||
=== A1 control before block ===
|
||||
control_refresh_on_opposite=200 sid_same=yes
|
||||
control_logout_on_opposite=204
|
||||
control_refresh_after_logout_on_original=400 error=invalid_grant
|
||||
K0=10.42.1.33 K1=10.42.0.30
|
||||
refresh_on_k1=200 new_refresh=yes
|
||||
logout_on_k1=204
|
||||
refresh_on_k0_after_logout=400 error=invalid_grant
|
||||
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
K0=10.42.1.43 K1=10.42.0.36
|
||||
networkpolicy.networking.k8s.io/a1-block-jgroups-transport created
|
||||
2026-09-22T15:31:46+09:00
|
||||
HOST=10.42.1.43
|
||||
9000=200 exit=0
|
||||
8080=200 exit=0
|
||||
7800=000 exit=7
|
||||
HOST=10.42.0.36
|
||||
9000=200 exit=0
|
||||
8080=200 exit=0
|
||||
7800=000 exit=7
|
||||
CLUSTER
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-62537"} 2.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-8816"} 2.0
|
||||
+6
@@ -0,0 +1,6 @@
|
||||
NODE1
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=50481 dport=7800 src=10.42.1.52 dst=10.42.0.44 sport=7800 dport=50481 [ASSURED] mark=0 use=1
|
||||
tcp 6 85311 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=60383 dport=57800 src=10.42.1.52 dst=10.42.0.44 sport=57800 dport=60383 [ASSURED] mark=0 use=1
|
||||
NODE2
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=50481 dport=7800 src=10.42.1.52 dst=10.42.0.44 sport=7800 dport=50481 [ASSURED] mark=0 use=1
|
||||
tcp 6 85311 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=60383 dport=57800 src=10.42.1.52 dst=10.42.0.44 sport=57800 dport=60383 [ASSURED] mark=0 use=1
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
[kc-lab-1]
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.36 dst=10.42.1.43 sport=49381 dport=7800 src=10.42.1.43 dst=10.42.0.36 sport=7800 dport=49381 [ASSURED] mark=0 use=1
|
||||
tcp 6 99 SYN_SENT src=10.42.0.37 dst=10.42.1.43 sport=36490 dport=7800 [UNREPLIED] src=10.42.1.43 dst=10.42.0.37 sport=7800 dport=36490 mark=0 use=1
|
||||
tcp 6 86300 ESTABLISHED src=10.42.0.36 dst=10.42.1.43 sport=59425 dport=57800 src=10.42.1.43 dst=10.42.0.36 sport=57800 dport=59425 [ASSURED] mark=0 use=1
|
||||
[kc-lab-2]
|
||||
tcp 6 86299 ESTABLISHED src=10.42.0.36 dst=10.42.1.43 sport=59425 dport=57800 src=10.42.1.43 dst=10.42.0.36 sport=57800 dport=59425 [ASSURED] mark=0 use=1
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.36 dst=10.42.1.43 sport=49381 dport=7800 src=10.42.1.43 dst=10.42.0.36 sport=7800 dport=49381 [ASSURED] mark=0 use=1
|
||||
+30
@@ -0,0 +1,30 @@
|
||||
=== A1 apply policy and verify ports ===
|
||||
networkpolicy.networking.k8s.io/a1-block-jgroups-transport created
|
||||
2026-09-22 14:52:48 KST applied
|
||||
[policy]
|
||||
NAME POD-SELECTOR AGE
|
||||
a1-block-jgroups-transport app=keycloak 0s
|
||||
Name: a1-block-jgroups-transport
|
||||
Namespace: keycloak-lab
|
||||
Created on: 2026-09-22 14:51:18 +0900 KST
|
||||
Labels: <none>
|
||||
Annotations: <none>
|
||||
Spec:
|
||||
PodSelector: app=keycloak
|
||||
Allowing ingress traffic:
|
||||
To Port: 8080/TCP
|
||||
To Port: 9000/TCP
|
||||
From: <any> (traffic not restricted by source)
|
||||
Not affecting egress traffic
|
||||
Policy Types: Ingress
|
||||
[probe K0=10.42.1.33]
|
||||
9000 200 exit=0
|
||||
8080 200 exit=0
|
||||
7800 000 exit=0
|
||||
7800 exit=0
|
||||
[cluster immediately]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-12109"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-10598"} 2.0
|
||||
[pods]
|
||||
keycloak-0 1/1 Running 0 2m24s 10.42.1.33 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 2m57s 10.42.0.30 kc-lab-1 <none> <none>
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
NODE1
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=50481 dport=7800 src=10.42.1.52 dst=10.42.0.44 sport=7800 dport=50481 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
tcp 6 85289 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=60383 dport=57800 src=10.42.1.52 dst=10.42.0.44 sport=57800 dport=60383 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
NODE2
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=50481 dport=7800 src=10.42.1.52 dst=10.42.0.44 sport=7800 dport=50481 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
tcp 6 85289 ESTABLISHED src=10.42.0.44 dst=10.42.1.52 sport=60383 dport=57800 src=10.42.1.52 dst=10.42.0.44 sport=57800 dport=60383 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
=== A1 existing JGroups flows under policy ===
|
||||
[pod socket keycloak-0]
|
||||
/proc/net/tcp6: 2: 0000000000000000FFFF000021012A0A:1E78 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1711128 1 00000000a6b6985f 100 0 0 10 0
|
||||
/proc/net/tcp6: 3: 00000000000000000000000000000000:E1C8 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1711129 1 00000000286e1dd2 100 0 0 10 0
|
||||
/proc/net/tcp6: 6: 0000000000000000FFFF000021012A0A:1E78 0000000000000000FFFF00001E002A0A:E7B5 01 00000000:00000000 02:000AC427 00000000 1000 0 1710251 3 000000009a698fcc 20 4 30 10 -1
|
||||
/proc/net/tcp6: 9: 0000000000000000FFFF000021012A0A:E1C8 0000000000000000FFFF00001E002A0A:E237 01 00000000:00000000 02:000AC426 00000000 1000 0 1710253 2 00000000b2e2c998 20 4 28 10 -1
|
||||
[kc-lab-1 conntrack tool]
|
||||
[kc-lab-1 flows]
|
||||
tcp 6 66 SYN_SENT src=10.42.0.31 dst=10.42.1.33 sport=43110 dport=7800 [UNREPLIED] src=10.42.1.33 dst=10.42.0.31 sport=7800 dport=43110 mark=0 use=1
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=59317 dport=7800 src=10.42.1.33 dst=10.42.0.30 sport=7800 dport=59317 [ASSURED] mark=0 use=1
|
||||
tcp 6 86255 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=57911 dport=57800 src=10.42.1.33 dst=10.42.0.30 sport=57800 dport=57911 [ASSURED] mark=0 use=1
|
||||
[kc-lab-2 conntrack tool]
|
||||
[kc-lab-2 flows]
|
||||
tcp 6 86398 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=59317 dport=7800 src=10.42.1.33 dst=10.42.0.30 sport=7800 dport=59317 [ASSURED] mark=0 use=1
|
||||
tcp 6 86254 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=57911 dport=57800 src=10.42.1.33 dst=10.42.0.30 sport=57800 dport=57911 [ASSURED] mark=0 use=1
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
2026-09-22T16:15:46+09:00
|
||||
K0=10.42.1.53
|
||||
keycloak-0 0/1 Running 0 13s 10.42.1.53 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 20m 10.42.0.44 kc-lab-1 <none> <none>
|
||||
CLUSTER
|
||||
keycloak-0 metrics-unavailable
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-56268"} 1.0
|
||||
VIEWS0
|
||||
VIEWS1
|
||||
2026-09-22 06:54:53,355 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-18449(v=16.0.12)|75] (2) [keycloak-0-18449(v=16.0.12), keycloak-1-56268(v=16.0.12)]
|
||||
2026-09-22 06:55:03,917 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-56268(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-56268(v=16.0.12)|76] (1) [keycloak-1-56268(v=16.0.12)]
|
||||
2026-09-22 06:55:26,137 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-56268(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-56268(v=16.0.12)|77] (2) [keycloak-1-56268(v=16.0.12), keycloak-0-45841(v=16.0.12)]
|
||||
2026-09-22 07:14:18,267 INFO [org.infinispan.CLUSTER] (jgroups-11,keycloak-1-56268(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-56268(v=16.0.12)|78] (1) [keycloak-1-56268(v=16.0.12)]
|
||||
JGROUPS
|
||||
1|1
|
||||
+25
@@ -0,0 +1,25 @@
|
||||
=== A1 simpler conntrack deletion test ===
|
||||
[kc-lab-1 before]
|
||||
3
|
||||
[kc-lab-1 delete]
|
||||
conntrack v1.4.7 (conntrack-tools): 2 flow entries have been deleted.
|
||||
tcp 6 39 SYN_SENT src=10.42.0.31 dst=10.42.1.33 sport=43110 dport=7800 [UNREPLIED] src=10.42.1.33 dst=10.42.0.31 sport=7800 dport=43110 mark=0 use=1
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=59317 dport=7800 src=10.42.1.33 dst=10.42.0.30 sport=7800 dport=59317 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 0 flow entries have been deleted.
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
tcp 6 86228 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=57911 dport=57800 src=10.42.1.33 dst=10.42.0.30 sport=57800 dport=57911 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 0 flow entries have been deleted.
|
||||
[kc-lab-1 after]
|
||||
[kc-lab-2 before]
|
||||
2
|
||||
[kc-lab-2 delete]
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
tcp 6 86398 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=59317 dport=7800 src=10.42.1.33 dst=10.42.0.30 sport=7800 dport=59317 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 0 flow entries have been deleted.
|
||||
conntrack v1.4.7 (conntrack-tools): 1 flow entries have been deleted.
|
||||
tcp 6 86227 ESTABLISHED src=10.42.0.30 dst=10.42.1.33 sport=57911 dport=57800 src=10.42.1.33 dst=10.42.0.30 sport=57800 dport=57911 [ASSURED] mark=0 use=1
|
||||
conntrack v1.4.7 (conntrack-tools): 0 flow entries have been deleted.
|
||||
[kc-lab-2 after]
|
||||
[cluster after deletion]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-12109"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-10598"} 2.0
|
||||
+9
@@ -0,0 +1,9 @@
|
||||
=== A1 force fresh JGroups connection by recreating keycloak-0 ===
|
||||
2026-09-22 14:54:57 KST delete keycloak-0
|
||||
old_ip=10.42.1.33
|
||||
pod "keycloak-0" deleted from keycloak-lab namespace
|
||||
[poll]
|
||||
14:54:59
|
||||
14:55:04
|
||||
14:55:09
|
||||
14:55:14
|
||||
+42
@@ -0,0 +1,42 @@
|
||||
16:16:28
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
16:16:44
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
16:16:59
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
16:17:15
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
16:17:30
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
16:17:46
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
16:18:01
|
||||
keycloak-0 1/1 Running
|
||||
keycloak-1 1/1 Running
|
||||
keycloak-0 size=2.0
|
||||
keycloak-1 size=2.0
|
||||
coords=1
|
||||
+33
@@ -0,0 +1,33 @@
|
||||
PODS
|
||||
keycloak-0 true 0
|
||||
keycloak-1 true 0
|
||||
HEALTH0
|
||||
Error from server (ServiceUnavailable): the server is currently unable to handle the request
|
||||
|
||||
HEALTH1
|
||||
{
|
||||
"status": "UP",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
ENDPOINTS
|
||||
ADDR READY
|
||||
[10.42.0.36],[10.42.1.44] true,true
|
||||
EXTERNAL
|
||||
200
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
BASELINE
|
||||
keycloak-0=2.0
|
||||
keycloak-1=2.0
|
||||
POLICY_APPLIED
|
||||
9000=200 exit=0
|
||||
8080=200 exit=0
|
||||
7800=000 exit=7
|
||||
9000=200 exit=0
|
||||
8080=200 exit=0
|
||||
7800=000 exit=7
|
||||
+22
@@ -0,0 +1,22 @@
|
||||
=== A1 forced partition state after keycloak-0 recreation ===
|
||||
[pods]
|
||||
keycloak-0 0/1 Running 0 22s 10.42.1.34 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 4m58s 10.42.0.30 kc-lab-1 <none> <none>
|
||||
[cluster size]
|
||||
[keycloak-0]
|
||||
unavailable
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-10598"} 1.0
|
||||
[jgroups_ping]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-30514 | 10.42.1.34:7800 | f
|
||||
keycloak-1-10598 | 10.42.0.30:7800 | t
|
||||
(2 rows)
|
||||
|
||||
[keycloak-0 log]
|
||||
[keycloak-1 log]
|
||||
2026-09-22 05:49:16,641 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-52528(v=16.0.12)|31] (2) [keycloak-0-52528(v=16.0.12), keycloak-1-10598(v=16.0.12)]
|
||||
2026-09-22 05:49:26,794 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-10598(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-10598(v=16.0.12)|32] (1) [keycloak-1-10598(v=16.0.12)]
|
||||
2026-09-22 05:49:48,584 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-10598(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-10598(v=16.0.12)|33] (2) [keycloak-1-10598(v=16.0.12), keycloak-0-12109(v=16.0.12)]
|
||||
2026-09-22 05:53:29,532 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-10598(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-10598(v=16.0.12)|34] (1) [keycloak-1-10598(v=16.0.12)]
|
||||
+69
@@ -0,0 +1,69 @@
|
||||
15:34:24
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
15:34:35
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
15:34:45
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
15:34:55
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
15:35:05
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
15:35:16
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
15:35:26
|
||||
keycloak-0 ready=false cluster=1.0
|
||||
keycloak-1 ready=true cluster=1.0
|
||||
HEALTH
|
||||
HOST=10.42.1.44
|
||||
{
|
||||
"status": "DOWN",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "DOWN",
|
||||
"data": {
|
||||
"Failing since": "2026-09-22 06:32:04,735"
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
HOST=10.42.0.36
|
||||
{
|
||||
"status": "UP",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
+45
@@ -0,0 +1,45 @@
|
||||
BASELINE
|
||||
keycloak-0=2.0
|
||||
keycloak-1=2.0
|
||||
POLICY_APPLIED
|
||||
9000=200 exit=0
|
||||
8080=200 exit=0
|
||||
7800=000 exit=7
|
||||
9000=200 exit=0
|
||||
8080=200 exit=0
|
||||
7800=000 exit=7
|
||||
CONNTRACK_CLEARED
|
||||
K0_RECREATED
|
||||
POLL i=1 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=2 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=3 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=4 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=5 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=6 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=7 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=8 r0=false r1=true s0= s1=1.0 coords=1
|
||||
POLL i=9 r0=true r1=true s0=1.0 s1=1.0 coords=2
|
||||
PARTITION_CONFIRMED
|
||||
PARTITION_STATE
|
||||
keycloak-0 1/1 Running 0 45s 10.42.1.54 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 24m 10.42.0.44 kc-lab-1 <none> <none>
|
||||
keycloak-0-56183|10.42.1.54:7800|t
|
||||
keycloak-1-56268|10.42.0.44:7800|t
|
||||
ADDR READY
|
||||
[10.42.0.44],[10.42.1.54] true,true
|
||||
EXTERNAL=200
|
||||
POLICY_REMOVED
|
||||
RECOVERY i=1 r0=true r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=2 r0=true r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=3 r0=true r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=4 r0=true r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=5 r0=true r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=6 r0=false r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=7 r0=false r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=8 r0=false r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=9 r0=false r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=10 r0=false r1=true s0=1.0 s1=1.0 coords=2
|
||||
RECOVERY i=11 r0=false r1=true s0=2.0 s1=2.0 coords=1
|
||||
RECOVERY i=12 r0=false r1=true s0=2.0 s1=2.0 coords=1
|
||||
RECOVERY i=13 r0=true r1=true s0=2.0 s1=2.0 coords=1
|
||||
RECOVERY_CONFIRMED
|
||||
+31
@@ -0,0 +1,31 @@
|
||||
=== A1 singleton state after join timeout ===
|
||||
[pods]
|
||||
keycloak-0 1/1 Running 0 58s 10.42.1.34 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 5m34s 10.42.0.30 kc-lab-1 <none> <none>
|
||||
[cluster size]
|
||||
[keycloak-0]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-30514"} 1.0
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-10598"} 1.0
|
||||
[jgroups_ping]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-30514 | 10.42.1.34:7800 | t
|
||||
keycloak-1-10598 | 10.42.0.30:7800 | t
|
||||
(2 rows)
|
||||
|
||||
[keycloak-0 join log]
|
||||
2026-09-22 05:53:53,269 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 1
|
||||
2026-09-22 05:53:55,288 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 2
|
||||
2026-09-22 05:53:57,306 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 3
|
||||
2026-09-22 05:53:59,324 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 4
|
||||
2026-09-22 05:54:01,341 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 5
|
||||
2026-09-22 05:54:03,358 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 6
|
||||
2026-09-22 05:54:05,367 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 7
|
||||
2026-09-22 05:54:07,383 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 8
|
||||
2026-09-22 05:54:09,398 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): JOIN(keycloak-0-30514(v=16.0.12)) sent to keycloak-1-10598 timed out (after 2000 ms), on try 9
|
||||
2026-09-22 05:54:09,399 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-30514(v=16.0.12): too many JOIN attempts (10): becoming singleton
|
||||
2026-09-22 05:54:09,428 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-30514(v=16.0.12)|0] (1) [keycloak-0-30514(v=16.0.12)]
|
||||
[readiness]
|
||||
keycloak-0
|
||||
keycloak-1 { "status": "UP", "checks": [ { "name": "Graceful Shutdown", "status": "UP" }, { "name": "Keycloak Initialized", "status": "UP" }, { "name": "Keycloak cluster health check", "status": "UP" }, { "name": "Keycloak database connections async health check", "status": "UP" } ]}
|
||||
+9
@@ -0,0 +1,9 @@
|
||||
SID=Egu8wDXiB8eBqq1CUEqnBMpw
|
||||
K1_REFRESH=200
|
||||
K1_LOGOUT=204
|
||||
K0_REFRESH_AFTER_LOGOUT=200 error=
|
||||
DB
|
||||
0
|
||||
CACHE
|
||||
keycloak-0 1.0
|
||||
keycloak-1 0.0
|
||||
+8
@@ -0,0 +1,8 @@
|
||||
PODS
|
||||
keycloak-0 false
|
||||
keycloak-1 true
|
||||
ENDPOINTS
|
||||
ADDR READY
|
||||
[10.42.0.36],[10.42.1.44] true,false
|
||||
EXTERNAL
|
||||
200
|
||||
+9
@@ -0,0 +1,9 @@
|
||||
=== A1 behavior while split ===
|
||||
K0=10.42.1.34 K1=10.42.0.30
|
||||
refresh_on_k1_during_split=200 new_refresh=yes
|
||||
logout_on_k1_during_split=204
|
||||
refresh_on_k0_after_remote_logout=200 error= description=
|
||||
[db sessions after flow]
|
||||
[cache entries]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-30514"} 1.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-10598"} 0.0
|
||||
+35
@@ -0,0 +1,35 @@
|
||||
networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keycloak-lab namespace
|
||||
1 c0=1.0 c1=1.0 r0=false r1=true
|
||||
2 c0=1.0 c1=1.0 r0=false r1=true
|
||||
3 c0=1.0 c1=1.0 r0=false r1=true
|
||||
4 c0=1.0 c1=1.0 r0=false r1=true
|
||||
5 c0=1.0 c1=1.0 r0=false r1=true
|
||||
6 c0=1.0 c1=1.0 r0=false r1=true
|
||||
7 c0=1.0 c1=1.0 r0=false r1=true
|
||||
8 c0=1.0 c1=1.0 r0=false r1=true
|
||||
9 c0=1.0 c1=1.0 r0=false r1=true
|
||||
10 c0=2.0 c1=2.0 r0=false r1=true
|
||||
11 c0=2.0 c1=2.0 r0=false r1=true
|
||||
12 c0=2.0 c1=2.0 r0=true r1=true
|
||||
JGROUPS
|
||||
2|1
|
||||
EXTERNAL
|
||||
200
|
||||
SESSION_CLEAN
|
||||
DELETE 0
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
FINAL
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-48683"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-48683"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-47523"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-47523"} 0.0
|
||||
none
|
||||
0
|
||||
+21
-11
@@ -1,12 +1,22 @@
|
||||
=== A1 service visibility while partitioned ===
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 3m43s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 8m16s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
[endpointslice]
|
||||
=== A1 service impact while split ===
|
||||
[pod readiness]
|
||||
keycloak-0 false 0
|
||||
keycloak-1 true 0
|
||||
[conditions keycloak-0]
|
||||
Conditions:
|
||||
Type Status
|
||||
PodReadyToStartContainers True
|
||||
Initialized True
|
||||
Ready False
|
||||
ContainersReady False
|
||||
PodScheduled True
|
||||
Volumes:
|
||||
kube-api-access-2pqhq:
|
||||
[endpoint slice]
|
||||
NAME ADDR READY
|
||||
keycloak-4fq7q [10.42.0.24],[10.42.1.24] true,false
|
||||
[lab-host edge https]
|
||||
code=200
|
||||
[outside]
|
||||
code=200
|
||||
keycloak-4fq7q [10.42.0.30],[10.42.1.34] true,false
|
||||
[edge HTTPS]
|
||||
code=200 remote=192.168.122.10
|
||||
[networkpolicy]
|
||||
NAME POD-SELECTOR AGE
|
||||
a1-block-jgroups-transport app=keycloak 5m6s
|
||||
|
||||
+9
@@ -0,0 +1,9 @@
|
||||
=== A1 merge baseline and policy removal ===
|
||||
[merge counters before]
|
||||
[keycloak-0]
|
||||
vendor_jgroups_merge3_get_num_merge_events{cache_manager="keycloak",cluster="ISPN",node="keycloak-0-30514(v=16.0.12)"} 0.0
|
||||
[keycloak-1]
|
||||
vendor_jgroups_merge3_get_num_merge_events{cache_manager="keycloak",cluster="ISPN",node="keycloak-1-10598(v=16.0.12)"} 0.0
|
||||
2026-09-22 14:58:25 KST remove policy
|
||||
networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keycloak-lab namespace
|
||||
[policy]
|
||||
+21
@@ -0,0 +1,21 @@
|
||||
=== A1 recovery timeline ===
|
||||
14:58:32
|
||||
keycloak-0 cluster=1.0 ready=false
|
||||
keycloak-1 cluster=1.0 ready=true
|
||||
jgroups coord,total=2|2
|
||||
14:58:47
|
||||
keycloak-0 cluster=1.0 ready=false
|
||||
keycloak-1 cluster=1.0 ready=true
|
||||
jgroups coord,total=2|2
|
||||
14:59:03
|
||||
keycloak-0 cluster=2.0 ready=false
|
||||
keycloak-1 cluster=2.0 ready=true
|
||||
jgroups coord,total=1|2
|
||||
14:59:18
|
||||
keycloak-0 cluster=2.0 ready=true
|
||||
keycloak-1 cluster=2.0 ready=true
|
||||
jgroups coord,total=1|2
|
||||
14:59:34
|
||||
keycloak-0 cluster=2.0 ready=true
|
||||
keycloak-1 cluster=2.0 ready=true
|
||||
jgroups coord,total=1|2
|
||||
+22
@@ -0,0 +1,22 @@
|
||||
=== A1 recovered final state ===
|
||||
[merge counters]
|
||||
[keycloak-0]
|
||||
vendor_jgroups_merge3_get_num_merge_events{cache_manager="keycloak",cluster="ISPN",node="keycloak-0-30514(v=16.0.12)"} 0.0
|
||||
[keycloak-1]
|
||||
vendor_jgroups_merge3_get_num_merge_events{cache_manager="keycloak",cluster="ISPN",node="keycloak-1-10598(v=16.0.12)"} 1.0
|
||||
[pods]
|
||||
keycloak-0 1/1 Running 0 4m45s 10.42.1.34 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 9m21s 10.42.0.30 kc-lab-1 <none> <none>
|
||||
[endpoint slice]
|
||||
ADDR READY
|
||||
[10.42.0.30],[10.42.1.34] true,true
|
||||
[jgroups]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-30514 | 10.42.1.34:7800 | f
|
||||
keycloak-1-10598 | 10.42.0.30:7800 | t
|
||||
(2 rows)
|
||||
|
||||
[edge]
|
||||
code=200
|
||||
[policy]
|
||||
+25
@@ -0,0 +1,25 @@
|
||||
=== clean state before A2 ===
|
||||
DELETE 0
|
||||
statefulset.apps/keycloak restarted
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[pods]
|
||||
keycloak-0 1/1 Running 0 31s 10.42.1.35 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 64s 10.42.0.32 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-2tqlc 1/1 Running 0 56m 10.42.1.31 kc-lab-2 <none> <none>
|
||||
[db]
|
||||
0
|
||||
[cluster/cache]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-7086"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-7086"} 2.0
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-23367"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-23367"} 0.0
|
||||
+13
@@ -0,0 +1,13 @@
|
||||
CONTROL_LOCAL=200
|
||||
CONTROL_CROSS=200
|
||||
CONTROL_NEW_LOGIN=200
|
||||
CID_PRESENT=yes
|
||||
STATE_SAVED=yes
|
||||
CACHE
|
||||
keycloak-0=2.0
|
||||
keycloak-1=1.0
|
||||
DB
|
||||
3
|
||||
CLUSTER
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-37141"} 2.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-43826"} 2.0
|
||||
+13
@@ -0,0 +1,13 @@
|
||||
=== A2 prepare one session on each Keycloak node ===
|
||||
[keycloak-0]
|
||||
session_prepared sid=9Z5fhrQK7U6TkHuYm_hriXHd access_len=758 refresh_len=612 cid_present=yes
|
||||
[keycloak-1]
|
||||
[cache]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-7086"} 1.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-7086"} 1.0
|
||||
[keycloak-1]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-23367"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-23367"} 0.0
|
||||
[db]
|
||||
0|1
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
2026-09-22T15:43:23+09:00
|
||||
deployment.apps/postgres scaled
|
||||
POSTGRES_PODS=0
|
||||
LOCAL_REFRESH=500
|
||||
CROSS_REFRESH=500
|
||||
NEW_LOGIN=500
|
||||
ADMIN_API=500
|
||||
JWKS=200
|
||||
DISCOVERY=200
|
||||
PODS_NOW
|
||||
keycloak-0 true 0
|
||||
keycloak-1 true 0
|
||||
EXTERNAL_NOW
|
||||
200
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
=== A2 prepare K1 session ===
|
||||
session_prepared sid=s2hxo4OVsdOQ1i0Q1CVslNoQ access_len=758 refresh_len=612 cid_present=yes
|
||||
[cache]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-7086"} 1.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-23367"} 1.0
|
||||
[db]
|
||||
0|2
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
=== A2 four-path control ===
|
||||
① local_refresh=200
|
||||
③ new_login=200
|
||||
④ admin_session_api=200
|
||||
② local_refresh=200
|
||||
[db sessions after control]
|
||||
3
|
||||
+82
@@ -0,0 +1,82 @@
|
||||
15:43:45
|
||||
keycloak-0=true
|
||||
keycloak-1=true
|
||||
external=200
|
||||
15:43:55
|
||||
keycloak-0=false
|
||||
keycloak-1=false
|
||||
external=503
|
||||
15:44:06
|
||||
keycloak-0=false
|
||||
keycloak-1=false
|
||||
external=503
|
||||
15:44:16
|
||||
keycloak-0=false
|
||||
keycloak-1=false
|
||||
external=503
|
||||
15:44:26
|
||||
keycloak-0=false
|
||||
keycloak-1=false
|
||||
external=503
|
||||
15:44:36
|
||||
keycloak-0=false
|
||||
keycloak-1=false
|
||||
external=503
|
||||
15:44:46
|
||||
keycloak-0=false
|
||||
keycloak-1=false
|
||||
external=503
|
||||
ENDPOINTS
|
||||
ADDR READY
|
||||
[10.42.0.40],[10.42.1.46] false,false
|
||||
HEALTH
|
||||
HOST=10.42.1.46
|
||||
{
|
||||
"status": "DOWN",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "DOWN",
|
||||
"data": {
|
||||
"Failing since": "2026-09-22 06:42:02,830"
|
||||
}
|
||||
}
|
||||
]
|
||||
}
|
||||
HOST=10.42.0.40
|
||||
{
|
||||
"status": "DOWN",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "DOWN",
|
||||
"data": {
|
||||
"Failing since": "2026-09-22 06:41:57,766"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
=== A2 database normal shutdown and immediate impact ===
|
||||
2026-09-22 15:03:58 KST scale postgres 0
|
||||
deployment.apps/postgres scaled
|
||||
pod/postgres-7b474b88c8-2tqlc condition met
|
||||
[postgres pods]
|
||||
[readiness immediately]
|
||||
keycloak-0 true 0
|
||||
keycloak-1 true 0
|
||||
① cached_node_refresh=500
|
||||
③ new_login=500
|
||||
④ admin_session_api=500
|
||||
② cached_node_refresh=500
|
||||
[edge immediately]
|
||||
code=200
|
||||
+43
@@ -0,0 +1,43 @@
|
||||
BEFORE
|
||||
keycloak-0 false 0
|
||||
keycloak-1 false 0
|
||||
2026-09-22T15:45:20+09:00
|
||||
deployment.apps/postgres scaled
|
||||
Waiting for deployment "postgres" rollout to finish: 0 out of 1 new replicas have been updated...
|
||||
Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available...
|
||||
deployment "postgres" successfully rolled out
|
||||
TIMELINE
|
||||
15:45:32
|
||||
keycloak-0 ready=false restarts=0
|
||||
keycloak-1 ready=false restarts=0
|
||||
external=503
|
||||
15:45:42
|
||||
keycloak-0 ready=true restarts=0
|
||||
keycloak-1 ready=true restarts=0
|
||||
external=200
|
||||
15:45:53
|
||||
keycloak-0 ready=true restarts=0
|
||||
keycloak-1 ready=true restarts=0
|
||||
external=200
|
||||
15:46:03
|
||||
keycloak-0 ready=true restarts=0
|
||||
keycloak-1 ready=true restarts=0
|
||||
external=200
|
||||
15:46:13
|
||||
keycloak-0 ready=true restarts=0
|
||||
keycloak-1 ready=true restarts=0
|
||||
external=200
|
||||
15:46:23
|
||||
keycloak-0 ready=true restarts=0
|
||||
keycloak-1 ready=true restarts=0
|
||||
external=200
|
||||
15:46:34
|
||||
keycloak-0 ready=true restarts=0
|
||||
keycloak-1 ready=true restarts=0
|
||||
external=200
|
||||
DB
|
||||
3
|
||||
CLUSTER
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-37141"} 2.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-43826"} 2.0
|
||||
POLICY
|
||||
+49
@@ -0,0 +1,49 @@
|
||||
=== A2 readiness catches up, then restore DB ===
|
||||
2026-09-22 15:04:25 KST wait readiness false
|
||||
pod/keycloak-0 condition met
|
||||
pod/keycloak-1 condition met
|
||||
[pod readiness]
|
||||
keycloak-0 false 0
|
||||
keycloak-1 false 0
|
||||
[endpoint slice]
|
||||
ADDR READY
|
||||
[10.42.0.32],[10.42.1.35] false,false
|
||||
[edge after readiness]
|
||||
code=503
|
||||
[direct K0 public endpoints and health]
|
||||
jwks=200
|
||||
well_known=200
|
||||
health:
|
||||
{
|
||||
"status": "DOWN",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "DOWN",
|
||||
"data": {
|
||||
"Failing since": "2026-09-22 06:02:31,760"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}[prometheus up keycloak]
|
||||
{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"up","instance":"10.42.0.32:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1790057012.115,"1"]},{"metric":{"__name__":"up","instance":"10.42.1.35:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1790057012.115,"1"]}]}}
|
||||
[kube_pod_status_ready]
|
||||
{"status":"success","data":{"resultType":"vector","result":[]}}
|
||||
[restore postgres]
|
||||
2026-09-22 15:05:01 KST scale postgres 1
|
||||
deployment.apps/postgres scaled
|
||||
Waiting for deployment "postgres" rollout to finish: 0 out of 1 new replicas have been updated...
|
||||
Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available...
|
||||
deployment "postgres" successfully rolled out
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
=== A2 corrected-design clean reset ===
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[state]
|
||||
keycloak-0 1/1 Running 0 31s 10.42.1.38 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 65s 10.42.0.33 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-fcwz7 1/1 Running 0 2m35s 10.42.1.37 kc-lab-2 <none> <none>
|
||||
0
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-26337"} 0.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-42927"} 0.0
|
||||
+8
@@ -0,0 +1,8 @@
|
||||
=== A2 corrected design: prepare exactly two sessions ===
|
||||
prepared sid=G1Zv845n8yuM2Ux1EQhiOWs4 access_len=758 refresh_len=612 cid_present=yes
|
||||
prepared sid=YND8z87RrUkftKMIfIQhg2Oy access_len=758 refresh_len=612 cid_present=yes
|
||||
[cache after setup]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-26337"} 1.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-42927"} 1.0
|
||||
[db after setup]
|
||||
2
|
||||
+13
@@ -0,0 +1,13 @@
|
||||
=== A2 corrected control: cached vs no-local-cache refresh ===
|
||||
[before]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-26337"} 1.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-42927"} 1.0
|
||||
① own_session_refresh_on_k0=200 rotated=yes
|
||||
[after ①]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-26337"} 1.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-42927"} 1.0
|
||||
② k1_session_refresh_on_k0=200 rotated=yes
|
||||
[after ②]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-26337"} 1.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-42927"} 1.0
|
||||
db=
|
||||
+9
@@ -0,0 +1,9 @@
|
||||
=== A2 corrected control: new login + admin API ===
|
||||
2
|
||||
③ new_login=200
|
||||
④ admin_session_api=200
|
||||
[cache after ③④]
|
||||
keycloak-0 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-26337"} 2.0
|
||||
keycloak-1 vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-42927"} 1.0
|
||||
[DB_BEFORE]
|
||||
3
|
||||
+24
@@ -0,0 +1,24 @@
|
||||
=== A2 corrected outage: true cached vs no-local-cache paths ===
|
||||
2026-09-22 15:10:56 KST scale postgres 0
|
||||
deployment.apps/postgres scaled
|
||||
postgres_down=true
|
||||
① own_session_refresh_on_k0=500
|
||||
③ new_login=500
|
||||
④ admin_session_api=500
|
||||
② k1_session_refresh_on_k0=500
|
||||
[restore]
|
||||
2026-09-22 15:11:02 KST scale postgres 1
|
||||
deployment.apps/postgres scaled
|
||||
Waiting for deployment "postgres" rollout to finish: 0 out of 1 new replicas have been updated...
|
||||
Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available...
|
||||
deployment "postgres" successfully rolled out
|
||||
[wait keycloak ready]
|
||||
pod/keycloak-0 condition met
|
||||
pod/keycloak-1 condition met
|
||||
[DB_AFTER]
|
||||
3
|
||||
[restarts]
|
||||
keycloak-0 true 0
|
||||
keycloak-1 true 0
|
||||
[edge]
|
||||
code=200
|
||||
+26
@@ -0,0 +1,26 @@
|
||||
BASE keycloak-0 size=2.0
|
||||
BASE keycloak-1 size=2.0
|
||||
BASE postgres=1
|
||||
SESSION_CREATED keycloak-0
|
||||
SESSION_CREATED keycloak-1
|
||||
BEFORE db=2 restarts=0,0
|
||||
DB_DOWN pods=0
|
||||
PROBE keycloak-0
|
||||
refresh=500
|
||||
login=500
|
||||
jwks=200
|
||||
wellknown=200
|
||||
admin=500
|
||||
PROBE keycloak-1
|
||||
refresh=500
|
||||
login=500
|
||||
jwks=200
|
||||
wellknown=200
|
||||
admin=500
|
||||
OUTAGE keycloak-0 ready=true restarts=0
|
||||
OUTAGE keycloak-1 ready=true restarts=0
|
||||
OUTAGE external=200
|
||||
DB_UP
|
||||
RECOVERY i=1 ready=true,true external=200
|
||||
AFTER db=2 restarts=0,0
|
||||
A2_CONFIRMED
|
||||
+23
@@ -0,0 +1,23 @@
|
||||
=== clean state before A3 ===
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[db]
|
||||
0
|
||||
[pods]
|
||||
keycloak-0 1/1 Running 0 31s 10.42.1.40 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 64s 10.42.0.34 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-sxlfl 1/1 Running 0 3m41s 10.42.1.39 kc-lab-2 <none> <none>
|
||||
[cluster/cache]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-23849"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-23849"} 2.0
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-55168"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-55168"} 0.0
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
DOWN=16:25:33
|
||||
POLL i=1 ready=true,true external=200
|
||||
POLL i=2 ready=true,true external=200
|
||||
POLL i=3 ready=true,true external=200
|
||||
POLL i=4 ready=true,true external=200
|
||||
POLL i=5 ready=true,true external=200
|
||||
POLL i=6 ready=false,true external=200
|
||||
POLL i=7 ready=false,false external=503
|
||||
POLL i=8 ready=false,false external=503
|
||||
POLL i=9 ready=false,false external=503
|
||||
POLL i=10 ready=false,false external=503
|
||||
+12
@@ -0,0 +1,12 @@
|
||||
TABLE
|
||||
created_on|integer
|
||||
last_session_refresh|integer
|
||||
WAL
|
||||
on
|
||||
200ms
|
||||
on
|
||||
on
|
||||
RESTARTS
|
||||
keycloak-0 0
|
||||
keycloak-1 0
|
||||
postgres-7b474b88c8-4b6mp 0
|
||||
+33
@@ -0,0 +1,33 @@
|
||||
=== A3 prerequisites ===
|
||||
[settings]
|
||||
name | setting | unit | source
|
||||
------------------------+---------+------+---------
|
||||
commit_delay | 0 | | default
|
||||
synchronous_commit | on | | default
|
||||
wal_writer_delay | 200 | ms | default
|
||||
wal_writer_flush_after | 128 | 8kB | default
|
||||
(4 rows)
|
||||
|
||||
[logging]
|
||||
none
|
||||
%m [%p]
|
||||
[tools]
|
||||
/bin/ps
|
||||
/usr/bin/pgrep
|
||||
/usr/bin/pkill
|
||||
kill
|
||||
[processes]
|
||||
PID USER TIME COMMAND
|
||||
1 postgres 0:00 postgres
|
||||
26 postgres 0:00 postgres: checkpointer
|
||||
27 postgres 0:00 postgres: background writer
|
||||
29 postgres 0:00 postgres: walwriter
|
||||
30 postgres 0:00 postgres: autovacuum launcher
|
||||
31 postgres 0:00 postgres: logical replication launcher
|
||||
300 postgres 0:00 postgres: keycloak keycloak 10.42.0.34(41476) idle
|
||||
309 postgres 0:00 postgres: keycloak keycloak 10.42.0.34(41486) idle
|
||||
310 postgres 0:00 postgres: keycloak keycloak 10.42.0.34(41500) idle
|
||||
355 postgres 0:00 postgres: keycloak keycloak 10.42.1.40(58090) idle
|
||||
356 postgres 0:00 postgres: keycloak keycloak 10.42.1.40(58098) idle
|
||||
357 postgres 0:00 postgres: keycloak keycloak 10.42.1.40(58102) idle
|
||||
489 root 0:00 ps -ef
|
||||
+8
@@ -0,0 +1,8 @@
|
||||
2026-09-22 06:48:05.096 UTC [350] LOG: execute <unnamed>/C_44: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 06:48:05.269 UTC [350] LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:48:05.280 UTC [350] LOG: execute <unnamed>/C_80: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 06:48:05.306 UTC [350] LOG: execute <unnamed>: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
|
||||
2026-09-22 06:48:05.308 UTC [350] LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
2026-09-22 06:48:05.309 UTC [350] LOG: execute S_2: COMMIT
|
||||
RESTORED
|
||||
none
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
=== A3 current login transaction check ===
|
||||
[enable statement logging]
|
||||
all
|
||||
[one login in keycloak-0]
|
||||
[transaction log]
|
||||
2026-09-22 06:15:51.475 UTC [355] LOG: statement: BEGIN
|
||||
2026-09-22 06:15:51.933 UTC [355] LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:15:51.942 UTC [355] LOG: statement: BEGIN
|
||||
2026-09-22 06:15:51.961 UTC [355] LOG: execute <unnamed>: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
|
||||
2026-09-22 06:15:51.962 UTC [355] LOG: execute <unnamed>: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9)
|
||||
2026-09-22 06:15:51.962 UTC [355] LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
2026-09-22 06:15:51.962 UTC [355] LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:15:53.141 UTC [300] LOG: statement: BEGIN
|
||||
2026-09-22 06:15:53.143 UTC [300] LOG: execute S_2: COMMIT
|
||||
2026-09-22 06:15:53.154 UTC [300] LOG: statement: BEGIN
|
||||
2026-09-22 06:15:53.156 UTC [300] LOG: execute S_2: COMMIT
|
||||
[disable]
|
||||
none
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
=== A3 attempt 1: force delete pod semantics ===
|
||||
old_pod=postgres-7b474b88c8-sxlfl
|
||||
2026-09-22 15:17:37.467 KST force delete
|
||||
pod "postgres-7b474b88c8-sxlfl" force deleted from keycloak-lab namespace
|
||||
deployment "postgres" successfully rolled out
|
||||
new_pod=postgres-7b474b88c8-bxskf
|
||||
[new boot log]
|
||||
[state]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
postgres-7b474b88c8-bxskf 0/1 ContainerCreating 0 0s <none> kc-lab-2 <none> <none>
|
||||
+20
@@ -0,0 +1,20 @@
|
||||
OLD=postgres-7b474b88c8-4b6mp
|
||||
2026-09-22T15:50:18+09:00
|
||||
Warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.
|
||||
pod "postgres-7b474b88c8-4b6mp" force deleted from keycloak-lab namespace
|
||||
deployment "postgres" successfully rolled out
|
||||
NEW=postgres-7b474b88c8-6j25s
|
||||
Error from server (BadRequest): container "postgres" in pod "postgres-7b474b88c8-6j25s" is waiting to start: ContainerCreating
|
||||
pod/postgres-7b474b88c8-6j25s condition met
|
||||
READY_NEW=postgres-7b474b88c8-6j25s
|
||||
|
||||
PostgreSQL Database directory appears to contain a database; Skipping initialization
|
||||
|
||||
2026-09-22 06:48:50.921 UTC [1] LOG: starting PostgreSQL 16.15 on x86_64-pc-linux-musl, compiled by gcc (Alpine 15.2.0) 15.2.0, 64-bit
|
||||
2026-09-22 06:48:50.922 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432
|
||||
2026-09-22 06:48:50.922 UTC [1] LOG: listening on IPv6 address "::", port 5432
|
||||
2026-09-22 06:48:50.934 UTC [1] LOG: listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432"
|
||||
2026-09-22 06:48:50.947 UTC [28] LOG: database system was shut down at 2026-09-22 06:48:49 UTC
|
||||
2026-09-22 06:48:50.955 UTC [1] LOG: database system is ready to accept connections
|
||||
DB
|
||||
1
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
=== A3 attempt 1: wait for actual replacement readiness ===
|
||||
pod/postgres-7b474b88c8-bxskf condition met
|
||||
new_pod=postgres-7b474b88c8-bxskf
|
||||
[boot evidence]
|
||||
2026-09-22 06:16:08.952 UTC [27] LOG: database system was shut down at 2026-09-22 06:16:08 UTC
|
||||
2026-09-22 06:16:08.962 UTC [1] LOG: database system is ready to accept connections
|
||||
[state]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
postgres-7b474b88c8-bxskf 1/1 Running 0 13s 10.42.1.41 kc-lab-2 <none> <none>
|
||||
[db rows]
|
||||
0
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
BEFORE pod=postgres-7b474b88c8-6j25s uid=954c7473-452c-4e15-97d8-cc7e6714753d restarts=0
|
||||
2026-09-22T15:50:57+09:00
|
||||
AFTER pod=postgres-7b474b88c8-6j25s uid=954c7473-452c-4e15-97d8-cc7e6714753d restarts=0 ready=true
|
||||
1
|
||||
+8
@@ -0,0 +1,8 @@
|
||||
=== A3 attempt 2: kill -9 PID 1 from inside container ===
|
||||
before pod=postgres-7b474b88c8-bxskf uid=2438eed1-97fc-4de7-8e26-a4eb794ed67e restarts=0
|
||||
before_ready=2026-09-22 06:16:08.962 UTC [1] LOG: database system is ready to accept connections
|
||||
2026-09-22 15:18:04.112 KST kill -9 1
|
||||
kubectl_exec_rc=0
|
||||
after pod=postgres-7b474b88c8-bxskf uid=2438eed1-97fc-4de7-8e26-a4eb794ed67e restarts=0
|
||||
after_ready=2026-09-22 06:16:08.962 UTC [1] LOG: database system is ready to accept connections
|
||||
[crash markers]
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
DB=0
|
||||
CLUSTER0=2.0
|
||||
CLUSTER1=2.0
|
||||
+1
@@ -0,0 +1 @@
|
||||
attempts=506 successes=504
|
||||
+19
@@ -0,0 +1,19 @@
|
||||
BACKENDS_BEFORE
|
||||
277 postgres 0:00 postgres: keycloak keycloak 10.42.0.42(41864) idle
|
||||
278 postgres 0:00 postgres: keycloak keycloak 10.42.0.42(41868) idle
|
||||
279 postgres 0:00 postgres: keycloak keycloak 10.42.0.42(41882) idle
|
||||
331 postgres 0:00 postgres: keycloak keycloak 10.42.1.51(46978) idle
|
||||
332 postgres 0:00 postgres: keycloak keycloak 10.42.1.51(46994) idle
|
||||
333 postgres 0:00 postgres: keycloak keycloak 10.42.1.51(47002) idle
|
||||
KILL_PID=277
|
||||
2026-09-22T15:54:11+09:00
|
||||
POSTGRES_LOG
|
||||
2026-09-22 06:52:42.520 UTC [1] LOG: server process (PID 277) was terminated by signal 9: Killed
|
||||
2026-09-22 06:52:42.520 UTC [1] LOG: terminating any other active server processes
|
||||
2026-09-22 06:52:42.525 UTC [1] LOG: all server processes terminated; reinitializing
|
||||
2026-09-22 06:52:42.546 UTC [435] LOG: database system was interrupted; last known up at 2026-09-22 06:48:50 UTC
|
||||
2026-09-22 06:52:42.654 UTC [435] LOG: redo starts at 0/293DBA8
|
||||
2026-09-22 06:52:42.659 UTC [435] LOG: redo done at 0/2A6BDA8 system usage: CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s
|
||||
2026-09-22 06:52:42.732 UTC [1] LOG: database system is ready to accept connections
|
||||
POD
|
||||
<none> <none> <none>
|
||||
+504
@@ -0,0 +1,504 @@
|
||||
-JO_BmNxokKq4xGrnMo9sdDu
|
||||
-KZNGfk-pTzYWhICHeiLU13d
|
||||
-ME36huPTvwxZM8j6LM7nhVL
|
||||
-MUFBhEpBOBb0msxC2TijK87
|
||||
-R9o99l_NhwbrzJebvM8IIPZ
|
||||
-WyAggjxK1C_FI9AJZdtcUNe
|
||||
-ZzRFnItK3kg9-rDTDpLTFjQ
|
||||
-eQpQgTgRWxIQH9Goju0Mz58
|
||||
-ewdgbGOCV5CZaSAaixGuImv
|
||||
-iOYc3DXzFbfownFY2O9s-Se
|
||||
-j2JLdD63weBN32FkUNRnWv2
|
||||
-rBo6kWyY7DnAXBzXZTMk583
|
||||
0-pfH9dpsIyLZSYpObANht0B
|
||||
03Y2zPbTS3FVHDy6HV4kuyzq
|
||||
0CTXp7hdeR2Vj8-U5AjNcrPW
|
||||
0DDc7RjjNE0QArrh_8-DgPIj
|
||||
0MmX2uR8ZX3N4I85qhTE0Ykn
|
||||
0QAei_1e6wQXvZL-VeZEmjGo
|
||||
1Boz4eFTgwYlec5FUr6Z1r3p
|
||||
1PvFJQVu5f7i8b0b94p-OIZG
|
||||
237SWgxKWKIdMLrYNg8-8bg5
|
||||
246Ll9sDuvLWScNKvng_TbpF
|
||||
257SVY4P7gu_TBqLrTUUWNZg
|
||||
2Hgjtn-lI4BiD5lhwBWY5Qri
|
||||
2JHlAOp0LTr4beRpMQxvRd3n
|
||||
2KnIrncxlFXIzwhgwy2bpWIG
|
||||
2VRr1GOeOt1SsauYbkfiDM6k
|
||||
2j_16KxvpIoSFBSzI3AgaM38
|
||||
2mFYQawzu6zbgMnJ4InW7ckG
|
||||
2nVv1eLedgzlssZi6miDEQ6C
|
||||
2qktrAu06JoYEMfIMWkcoOgp
|
||||
2vMpUEe2QrdjIdnAjYzM1MVu
|
||||
2xd-BmRxuOyXnKDoiASQLcV3
|
||||
3-r78PKDYip_DO3hA6bpIxe5
|
||||
3GNbWAa-OcnvlQSFnf0PWOK7
|
||||
3OAvKUjeQ7_BNHl7WTV43TRJ
|
||||
3mU_KXt8mmVGzE1Lo6wmZ7Cr
|
||||
3sTdwR2oMli_AYH4Qknyh0GW
|
||||
4-sCeOjs2tqZ_ZCsXJvnr7WS
|
||||
415_8nce9ItgY5LfxRjiotsq
|
||||
44aGZneIxEbHLNtR9NO8SacF
|
||||
48Wk-8DylzG_-Xm6pQ4UIwhf
|
||||
4Az25KMAMETSyP4Dm7ZMSAho
|
||||
4KVNy5S-s0uL1PRfraKKhaNd
|
||||
4Xn7bDt9Mpb_B6Dz6p32maMp
|
||||
4wIh5dXMFB1gLfeIs2XjNUHE
|
||||
53EtHLVD5DMPD446bXrg_DRh
|
||||
5G3dKpPi-fzUdfnMNzAZyh1n
|
||||
5Q-PCDe19vl5BKnUgYPwkHKZ
|
||||
5Qgs052gLvOZEcwLK9-EISTt
|
||||
5VpWOQAOeFS4SKRuYOl0QiAE
|
||||
5eUc49iy0V6jSjI5UwEWEzY8
|
||||
5hFTCKNy_Xe75E79aLdflBCq
|
||||
5odNvUYIIwM0VHjLq_DFTqhv
|
||||
5vq0CSI-0Niq-R-rmWeA0wsN
|
||||
6-6T3Xtwwc-JwLDU8KmQQozK
|
||||
62f_QTLFMSZ19NcauqyV1cRm
|
||||
6HbO5oFxeYvjYoov-BGWm-5I
|
||||
6KHmRhjNswy6Uzu6fbFNwFz2
|
||||
6KbVLSrMSezIhQmcILlIzU_e
|
||||
6M3zX01JjbOtcPufal8sjUQp
|
||||
6S4wRTSW3wlIWYmlsnE39WBd
|
||||
6Y99PGcVeAa4E6T0fnkdVfZn
|
||||
6ggUHgc_se899qTODgMcBc30
|
||||
6qBGcXOzZ_2epHiK2rJdWTke
|
||||
78W5GiP-BCRMo9aud4T5a80I
|
||||
7Dx1AIxeKbL3bClWlylCWJvU
|
||||
7GvwHTKDpF31MuMsSbBKUqSd
|
||||
7Yfy7nYivWOMz8_0l7bFD3dD
|
||||
7a1OEAKh1VWu6Xok26ZfCQxM
|
||||
7bo9mCFU0Mp8wmsWBM293fsR
|
||||
8EYQsT_cYy5v5zP6dHG0hLWM
|
||||
8HdCByqfbvzzDTeKCM_Jorsb
|
||||
8JFtRnU2rAbw2YGicT4nXhvW
|
||||
8iuvGtitP9jsYAlJueE-cJlv
|
||||
92tT7J3s8rSe34kAUNJEUC5J
|
||||
9Fp2UhnPPMXzkU94uPwX8y_4
|
||||
9SATv6VSaeTvAsnVGoIiTGmO
|
||||
9SUOI6c6IybVHJN40KQXUXRj
|
||||
9VYGfnH_3rfhsGAd7zpcYa-L
|
||||
9ZjRbUYh1dQHedOtgS4cLRar
|
||||
9gSJdX5pTpdFN8LkOEO47Dvv
|
||||
9kAtqi_I6h1hfbbw_2M5NnOG
|
||||
9ldiDO0hlO1Zm0ywRm0HqOdz
|
||||
9nB8633S9qyo-5YJ5KXMS6eX
|
||||
9ofMSV8bZ1oDDAjeX7aUhdSc
|
||||
9sMTs2X3a2_vYqlvPOD_fNMm
|
||||
9yKD4QPWCziJgHuWOI3slo0z
|
||||
9zmyf7jFV7V7H9C2h7HMHZfn
|
||||
A6iQTij8277LasFY37J6Hww3
|
||||
A8sYgpAgtglnOdzkairNLg5F
|
||||
AB1Y3EWKfUqZrJxjLuZJmbOK
|
||||
AD2yY0cdlzzimORg03I1H9KX
|
||||
AIi_035d5SAgUb-T5qkNXLPu
|
||||
ANe70iwAUf0xVcyPy2c0E7NT
|
||||
AOgteP0ki9batWdT0gg_f9bP
|
||||
AP3Km2QiUtL6rFOpe2lB-eAf
|
||||
APLsloBWZAM-yXDqMxVMgGfD
|
||||
ATbBCksfvemyJ6gfaIgmHonn
|
||||
AZLFfMSR59n76tLq_187UQrJ
|
||||
AbaXOng6J8MC4fgVQ4uy4jRa
|
||||
Aig9sfnTeV8K6oIZ6cK7mIJe
|
||||
Azy_z6GQbL6ifrS2zHS2lyTl
|
||||
BEH9RybfPMxIYRQucLhn1gJQ
|
||||
BEqOLAU4yc7SByVHfAcs3Qo5
|
||||
BJMVwX-e50JD6PvXB6o1GSyh
|
||||
BJP6HHf4BmPl0FRzmg8tkgW3
|
||||
BNuuQS1lrRMFvMa-uIiW4GLN
|
||||
BOxd-ikvWDIqux9P6rPqa6OM
|
||||
BWQ3TdQY1hm7tIQo4ZCD02w3
|
||||
BYedvgoBkwEH-YRYp5WTQPff
|
||||
BqRRWZQHtt4f3EZ5MkVXp8K3
|
||||
BsD7US_nvA3ezta_W2EpCzMq
|
||||
BwzndDrW3Z9iLtyRKjYnmqLF
|
||||
C2BVNQp7nT_gpDqBH_bjXZZF
|
||||
CA9ukcG2sbSqqwfd3YJGDQrB
|
||||
CLXuWDhV4-KNHs12g6GganYY
|
||||
CNL6gHtiqZc8vo0B97vlDK5_
|
||||
CU_PGGKlSTztyj3bPzrOZUbd
|
||||
CmjzS5t3UH_wIbWhPWQL6wi0
|
||||
CyF27Xz3xEsYpLcJzakNnQMA
|
||||
DALI916VzKs4O6O8o8WN-Dqs
|
||||
DCUqgT_0HctZFmRmA0IUI14s
|
||||
DIuTsn1Ju2ZxdXX96EI84aCx
|
||||
DOx0t_avzUGYTJaogiZChMNn
|
||||
DdOJ9sq5g7PcYJ9I1IhOUd2y
|
||||
DetrLdRhi5ycSlkDiZNXw7Yi
|
||||
DgdHfl9QlsaJBFsiJOOFBsuc
|
||||
DwelhesRqKb640x8L2TZi8My
|
||||
E0TYTy18aKYqFZxxxuragQvp
|
||||
EQK_d9cuVgQAuIboLJkaLQ9C
|
||||
ET3hrTAZVbRTTxxABXAXjBjW
|
||||
EgvISC2bMpc5h4c9xOjp_wq1
|
||||
Ei7Ds1gZ5_JSvirBFvIOiheB
|
||||
Eq0yic_-Ik0j74v-Hywv0-MN
|
||||
FBxCjDCqK84cDza15TG-AtK6
|
||||
FC4ONZ6QZktH4tSQlRYYnJAS
|
||||
FSOVM3_DvC1R7HWqwbP__Gxg
|
||||
FZHGGwLPntm7a_HmfmS54YwS
|
||||
FaGQBneRKo5QM0OopPVdbzpC
|
||||
FaTfmrqZT8K8MUY-bdBlAwOp
|
||||
FjZWF0VZ1w-7GDQB6zFNjlgE
|
||||
FkJ1ZdSXBQrTT7vaxpxfL4pI
|
||||
G4WcTcK1ZKCXIX3QPtakZxwv
|
||||
GDbVMetYHme438tt7FpFdN5r
|
||||
GMSEMPCiXj5_SSNZZhat5nAm
|
||||
G_LWrhppp9OaxZyyQJdi1F_Q
|
||||
GcmzuvojKMFalIaCbkfJfcDM
|
||||
Gp4xty5BH488-1WBwC3rpJIQ
|
||||
GqO72h3jYxG5SxG1xpmYwa9E
|
||||
GxHOvZlrH6F7j0EgbdJC6B8O
|
||||
H3KrqbZmY0knuCNaJ05T876t
|
||||
HGC0FpAiduHLlszXU0ZXZXvN
|
||||
HrDcHyfGUyiN6ihnH0tmjJbE
|
||||
Hu-G8_qLleowX7f-tQGQkzeO
|
||||
I1B_s9OWm2xfaByFkOLgQ0yl
|
||||
I1VWhaUvyALDY89G15rIz_gd
|
||||
IA0tfceEKceaUik0bT2v74CA
|
||||
II0801owZZukLyiNZsxwuJvk
|
||||
IOqcAtgNDf5jTh2iv9b1l6Rw
|
||||
ITPQlC37yAqXl1817P7SVvsk
|
||||
IVmUcwlJ4GIWpmo_KX65VJFE
|
||||
Ih06QbD4Xcnr1KqM0M_Kg0Rj
|
||||
IkTWODrYXWjFupdowoJ04rCo
|
||||
InJJT5lwcAHPtpZ2LfHAhrMm
|
||||
ItnegxZe67BvR3Wk4XtdKI0W
|
||||
IvhGEXcI7s4qPke4ouIKIk1Q
|
||||
J0E89H_Kzpu428WBLke6fVU8
|
||||
JIdbCAZvH8ES5pzOkZcJK5ck
|
||||
JOIu9Xo-gn-v-rza0Mtji41z
|
||||
JduG4TJiEBG47xOYVHvAhxuz
|
||||
JgUfVIYkYs2zuK66yVjAUNT9
|
||||
Ji282vu4z8vFuTjEouwwHryn
|
||||
K9Z4E67jPcuPvtf7RLPdnpaw
|
||||
KK_EIDPfpixjHV-Ka2i9JvIA
|
||||
KLMlKgtR7bBOSlvymsgc4MEF
|
||||
KZoUUKRJEmIZw00qYN5FaMdE
|
||||
KbyfoDc65xzJRODGJcwM_-2T
|
||||
KcZN-RLY0WptumOoKgyk0Qm8
|
||||
Khc0j-3eR93prAheVNqbBLUT
|
||||
Km6TQx7KSEF-x93GEhnr45AA
|
||||
KsGAGeQUwT4Lurbjz4IE9zvl
|
||||
KvSR6ma46yVby-C6WmPNRicJ
|
||||
KzrvN8OO3uhpSiDhWaBy-y5X
|
||||
L2mNpmpiezrMK6NeyJSlkN6L
|
||||
L3v5f7Bh7rPnxF1I0_K7wEGs
|
||||
LV7jbq2b1ipFYQCdpaUSpmlR
|
||||
LYPhpVyxN9T8ckICFfdfs1Jo
|
||||
LgGYdJZbieA5sPnctxzVSorf
|
||||
LrjnfmIkzsfyYyx3Qxl0Rm9a
|
||||
Lse51KaglOHU0Qg_5447P2RL
|
||||
LtRMKJagqW05j1Sj8IGYmfee
|
||||
Lu53Amw7OLvHrqxqnRG_XhcC
|
||||
MH_zYaBuxhCuRbCoioUt0SOJ
|
||||
MOFqI4_2kKL9-mhHVqW9J4Yg
|
||||
MWmREEfwmhHJv-4-W06qBCEB
|
||||
MXoWr2GY6APgQEo952yq0Hmi
|
||||
N632pRMLVzeTY5EevfhBYVQ7
|
||||
N6AaNNvMEAVjS9ExJsvzwdIN
|
||||
N7O7UX8nPnP9inWUOXGHynQr
|
||||
NMBAi71OCk2W4L-UynQbYR8Y
|
||||
Nd1XOhOyQ0N1k2H-NF5BMMem
|
||||
NrIccqOOmoc54NwCM8Qzpjz6
|
||||
OKonDsEjocAvb7T4C7Y9WBm7
|
||||
OLqN7NnWgN5j-bpGkmXGGGwW
|
||||
OPX-fEeltPxZ8HXmPI5ZspT0
|
||||
ORaGMCRwWc5AYd9L7zp8SMVu
|
||||
OViud6CvOQ42TPGoBWWceibG
|
||||
OX51hgI2CoXNuZtAfs66i-Yg
|
||||
OXWPAKt7TlALp8HY5xpqzc0p
|
||||
Ocz-y73g1iL8FI2GtEbapPHp
|
||||
OxgB36AacnzjQHRmg-4W7GCq
|
||||
P0eXZ1PNORISVVbJduwf1qzO
|
||||
P8cXl7B8qAnBKRqwUYTF35Zm
|
||||
P9adlYDU4aT2IWwH6Mr7oui8
|
||||
PL0rRwcHoVPmrJABnmgtXt24
|
||||
PS42EIUhKnkUlymcn_IxEHjp
|
||||
PW2_rKNj517kcN8QxP4tuNek
|
||||
PfvG5wz8CXYgOQBzeBB1ta6j
|
||||
PjupiP5HHnVwohT8LYNssdCk
|
||||
PyMGN5W-TAyGI4dM5wRCrfQh
|
||||
Q-QPgXDoaRxCjSQZn1w72-WB
|
||||
Q82N6ZMpns1-_EWR4qm_f_3w
|
||||
QGWhm0XJz9EjbC3dxk6_sGGl
|
||||
QIYELiD8w4Uio0KedDqFkuzb
|
||||
QLdbL702fAxSpOcQ4Mi_R0cn
|
||||
QOGiLcFcbN105_D17MklAaRV
|
||||
QW6anvWA2JA8RirC6KPTvcbr
|
||||
QZ_opi_ebT5NRS9mrCLMvmlB
|
||||
QbQ5Yw3ccbonL7d84zOfYUlm
|
||||
QddyOKLifJGWheIng0oa61Pt
|
||||
QfYZ_mTRvxnnf0Hz7E_y7Jj2
|
||||
QpHYkQ-QUJSD983gRGygt5T2
|
||||
Qvt7A5eJwUkXJp4QNoiItGhY
|
||||
RIEfl_eW914OLHqrPhlVEISk
|
||||
RSPEHx05UxQcShE2csOP53EZ
|
||||
RfOlIMljxHhacuJpzM1MbYJ9
|
||||
RgPzlPNmRXEQ_IqIuQ4J-P6c
|
||||
RwXFwzd3j9dLHZz2bL2Uq5QO
|
||||
S646_s8br7-uJZUezJVVM8FH
|
||||
SVpdR5koE_s7zuWNGuDvemCC
|
||||
SYHHdyrMrDUdQtUKDLjyynhM
|
||||
Sd4u6XWrBeJEK6FDY-sI56qg
|
||||
Sgt3Lusd8IOh4Czq99NAAl7s
|
||||
SjfXlN0lZjY8xHvNeoekF5OJ
|
||||
Sq27WVRV8npJotWW_AFTLgiS
|
||||
StYvtb25ygivRcQnxUbuQnpM
|
||||
T3uBlwjup_LlHT-Ci7IOtlub
|
||||
T9H27mE8hcTln8sT0Zt6eN6M
|
||||
TL-uvxhyGNk1T_nksCN6tn4d
|
||||
TOxAcrPsl5PMm1zXkJckzNUr
|
||||
Tmv87v_1HdS_FP7gYn3aMgCn
|
||||
Trms3Ly90MqaWQ51lOjC_RQP
|
||||
TtFovUEQo6p3285L44hJVBm9
|
||||
U1VxeKdyJmhCCN0uypXOD-Ka
|
||||
UE69K_dIr-otaaVLraDMKp2u
|
||||
UHrWlTDgnr78BbH2gCEwyrt4
|
||||
UPTgqqMw_RcuK6nGFPwt9RH7
|
||||
UPZ9kYA_PZNBJm-PrCEtaDFt
|
||||
USGrRTq6oH-2ObyIBvWItnsc
|
||||
UdwfgbSDfKzQ0p9OJibITlYJ
|
||||
UoaqVg_kufdk_JZibVWTKk5e
|
||||
UwT7ubtiuYFd2VbdeqZ_-Jkw
|
||||
V-Kbn9pCYI-GLWnumxCF8pVo
|
||||
V3T-9hfpbKy0YMQtUaVGx_b6
|
||||
V7YY1Pcl5Jz-0Z7N5CNvU3vx
|
||||
V7rANpxoQOrnrXhNIlsI8_yt
|
||||
VCRHLnu5aZt1P1NQIZixClUI
|
||||
VXtrHxF-9kLz1Gik-aOZUZwe
|
||||
Va8yVFMIhEqHnikOGujHhQCc
|
||||
VllDXskGApZ2Qk5CVj96uk1c
|
||||
W1sudUI7yZ6wyVSe78rOOCqm
|
||||
WCq-Fgq_6h3CPW14OeDxdwl7
|
||||
WJebigkpHQwFKgcwAOQurDZv
|
||||
WPikWesnqYwgindpgV72fhvn
|
||||
WguHyWmYpfgRpkhMpIm5CjF_
|
||||
WxjPVyLYhtfM5GwRtOiBksay
|
||||
X9RB8pmvI3Dt8ARcQ6xqrSzk
|
||||
XA3pnyqDOcNFqCHJAIysm4q0
|
||||
XJXnYcSbFCuqsAi8kX_nOl8l
|
||||
XLlhqkocTizWGtZPTiiTGMx0
|
||||
XNPFwJ2MhelcvyHpOrVXOSok
|
||||
XOnmYuC6-Qy7hYJ-CiGAeExA
|
||||
XnxaWuJYLtuyI27HrxCWrWPt
|
||||
YBBGsWjx8CcCMIB6_N8iSdC4
|
||||
YFUfmGvYE_fVhyeIBpqYCmce
|
||||
YFpOGYuP8xixHYh256d2I85l
|
||||
YKVXHlwPBGY7Vs4HoF5n97ZI
|
||||
YPZOaOnYRCeqyEvQ2mBBysGZ
|
||||
YfRez6odcEJ6w0_0PbX7AhcL
|
||||
Ygrb8UrMyxRNGrqmWR3yyHFA
|
||||
YyhWs3Q8biQlzsohe7xj83Jc
|
||||
Z05Gbug-An9GKt-tR981b_Js
|
||||
Z47uFGZRuFVhS59f9xHCYZe2
|
||||
ZEXh-ng1RrG9ecu1q0wU3a-u
|
||||
ZFCVwidCXaEtha07bUWxfRvp
|
||||
ZRojLRbfSTQd-d2HGPOnTrVU
|
||||
ZTcHrvDd9Oi1uEHF9JuNYdBQ
|
||||
Zf50A7SUTls-KJiECi7o2Frk
|
||||
Zp0il5o_OkyR-Z7MqAwKS3I8
|
||||
ZuLVjKSwjnCBuKBgZKNKoqQO
|
||||
Zw3D00Q2E21DL-yWMt3zSak7
|
||||
ZzStlTDliUiyZIKVzs__3O5f
|
||||
_AJMzKxP8vZnKjickxzUWFAX
|
||||
_Ca9JKcvQAWZ3ckH9VPpC5Ll
|
||||
_MXUTp6mfaLEUHutHx3JaVbI
|
||||
_RvFmknOCqUnsQxT4oux0GrL
|
||||
_dcmUSiTDfd0PQeI05au8QEJ
|
||||
_yLJkqQyzbcKJPU_CeVWzm00
|
||||
a5u4u6-UC6-PBOUzvmfs7Z1L
|
||||
a5vD0uzi5jm2f0hFfMT64Pfv
|
||||
a63nB0tU-DTtM42G2aNkrShA
|
||||
a9ALeLOvcf7mvy8i1dUM-JHj
|
||||
aDnglVIUWPlwL5aWj_l9Wm1t
|
||||
aK-IyB8EsYBgs1ke2QB3sQsg
|
||||
aW88tBncstMpt7TY8APxW3Yf
|
||||
aWh8TLJsvgFgU7QY7tYQpqe_
|
||||
ai1H9pMfFn59XB-FuY1Bqon7
|
||||
akoelboFgZaFG0tHpl0JPaUC
|
||||
an1arYczph4N59wQiHWrl5UJ
|
||||
aupobNeJ7KCcaaz0MGMCelPW
|
||||
bC7ZciCDA1IZTAxQaqHA6V_2
|
||||
bSGuwEoJ_-hWIkeE7T32J0Y5
|
||||
bYQ9bzVOtWIT1KP7SNYhw9ql
|
||||
biuITlCpFfI850UE1CzhZ5kt
|
||||
bjeVoSuvrscih2gKCeTp3i7v
|
||||
bnfkfmba5lyIbRtS_by4_VYY
|
||||
c61d0UXHvOHQ1Y2Uadjpx5R-
|
||||
c6oZkWkGjgmhmsOvpf7koCeB
|
||||
cA7zfkYe5tp3_JGVJJIOECxy
|
||||
cEUbgxTFCCVac-RVpeOh74Pg
|
||||
cG4rAEShLNcIxf4YYokXLx3v
|
||||
cUKngAaPI1p37sYiAV5wN_gP
|
||||
cYdJyXLJ7_EQ4djuHFdSKeAk
|
||||
cprAnp5QHSCapUezuvUcJqVT
|
||||
cuZDqRTKhq3yl6X4lw5yLnFD
|
||||
d4dNIg5wu28BVkDsjTSHsTl7
|
||||
dO-rfebtISRpSrRmu3uAueOP
|
||||
dPkgXy3_owa1zO4u5Gv3UjFp
|
||||
e0DBr9Sysz0AygEQYcxIFvan
|
||||
eCVqcs-N4JuMHikayeDmOPzJ
|
||||
eRW6kj6gLR8Xupz8Cz90tzGb
|
||||
eRZrGhoevWq-y2YNvUjtgNLX
|
||||
e_7NTJt2SN65yqzDKbOcDUz2
|
||||
e_XiOoHyScbKuMLLTmIixoWq
|
||||
ecHiJKxLqpXJ_rYBXiFQ24LG
|
||||
eq8y7aMMaqgN9JEZiH85_Y8O
|
||||
f3OO66VVTWqzdwiWyHDhnYcf
|
||||
f418KGJuhr-SsjwFOSddc-LI
|
||||
fAik45g3PlcDEFXDt9bYEoC0
|
||||
fFBmvaepZapInzsarwTWBW5d
|
||||
fNTEOPg7XXRv0wq5vdTxmaPG
|
||||
fS0MRVojc9SnOkCCc8RumdOn
|
||||
fSVUpLWR-5KV0IoemXImOqVc
|
||||
fT49InAdr6485t9mfvMhzBf7
|
||||
fVcX9_uCMGCxd6MbTwQofsxG
|
||||
fbQc2uV_6z3Y7_iG8cbdT5ws
|
||||
fgisVVLTWGYuS_pALQCGPkkf
|
||||
fikbwSsggUFJSxy_GqTRMQn1
|
||||
gCPcePb_wXPiKz1StSfhWFfI
|
||||
gGhyHFIYY1a0NLLA70Hlby96
|
||||
gIWNTcRQMjPKXb7rbjpUfkcI
|
||||
gOYn2V3c3u66jrRhsMXmzzeV
|
||||
gbo7Nn40X7GC38PNOUtREDOr
|
||||
gkJGnjWYtrrvpI1rJlu04HE1
|
||||
gxwFpiH6SDXQGdh2LaZwPcks
|
||||
gza7QkV8f616sfWOzQGGDkw_
|
||||
h2mInl4RfG3qZeiHNh9lFc0_
|
||||
h5635XaY7uxPYE15jcMcrLyb
|
||||
hAtomKser1yudmaJAU2irA3k
|
||||
hPyXQ7ILCNluOxMQLR-5gyV_
|
||||
hVAs40fXNMFAAmB142mQguHq
|
||||
hVMpArWIEYtvzruPzC6ickln
|
||||
hc-ZQJ6oDGwhF49sJFsI2QYV
|
||||
hlVXERwo6JmxFRul8Y51p5CV
|
||||
hp4Rr3XIQiJxRyytautC-TZW
|
||||
hxj2vBf2TX5c3JKEX9T7oe-u
|
||||
i-vrMeas5MFTntV7TVEHJVNd
|
||||
i5z-sJv24UKG6XMCEW-XskO5
|
||||
iOwLXZWS_KkFEwb-S6dN4wPK
|
||||
jJNeWFzCXfMAutwIpJBNIyoQ
|
||||
jT23F1UVfkaUn6a4aK-pEwOi
|
||||
jZ_DEGyJLj8tEKzDNlDeSaLc
|
||||
jlRjSqs7zB4yBpHPbInalsC0
|
||||
jt7gTbiBx47g0XCDNkkqPyKr
|
||||
jyhpPdLBxNQDJvoiYvAX4FIl
|
||||
kHSiFkr-h2DpbYNewUYeQoL7
|
||||
kYBE31hGYbSneEoTktlib-We
|
||||
ko_nMs8H8VAhdnflAmyvFjoD
|
||||
ktjEUG0hFPMjavPfbU5wh8Xz
|
||||
l-W2fBUg-1yq5zqubAWnq9Js
|
||||
lAl9rhxy2L86TkyTbUqFGP-R
|
||||
lB0fmYMhFk-vvvrDp4wy-ZOZ
|
||||
lCKCw-7fVPoTBWL4z1I_sVq5
|
||||
lNZkDgDVoFWDzTkbfjVtJr1S
|
||||
lPyqShwAgAxRmyTJEBIWhin5
|
||||
lR9Xgbmfwsg0q2ZrYn9PJn91
|
||||
lRa7DcWhrQMp8Wj8IQDaLKgr
|
||||
l_amxmNI0MN0hLkYVFBSo1aC
|
||||
m47pUEzlAI0Ey1YHx8-Zdcld
|
||||
m9lM9SJvfsoHxqq_JYOG6j3Y
|
||||
mFD81QW4vTNwKdWkW74b-BxQ
|
||||
mL1g3O5aAUF9eUATiJaJvox1
|
||||
mPLnzDNPhDuZxAJutVyvDzZ3
|
||||
mQ9xclAwEE6wTpf-0m24A9qZ
|
||||
mQyEfGclvxtHcPcpHlXpIb-u
|
||||
mYdmniKoHbwafvxRsNIDe2kC
|
||||
m_EqVjP5rC_Dht2P0cNEBY_B
|
||||
mkcuvsclPumbeIj3si0MVsjl
|
||||
ms7AkuepLGqGUHyunPg8DiRB
|
||||
mwAtHwaCCTYQnZ57KRbQRRP5
|
||||
myg0ey8asUjNvrpPKB8lYHdy
|
||||
n5t67wKwJZoCUs49lTPAxVDT
|
||||
nEolku0gqtIzn146v2-oDn-2
|
||||
nc9Uvp6uRbl-_dgEyvy-TVbj
|
||||
njwFnPRvX7bnJtKsGmnqeWWz
|
||||
nlgki7YlAP43303vdF2n7CdW
|
||||
nm5esBfzK_KqD5b4yo3REluh
|
||||
nqE3EsEx_c1P9G63gH_97sJ6
|
||||
nu3G30byq3f6khGkz4yv4Zn6
|
||||
nuBpnUvqZRuYbYaVbRrWyO0I
|
||||
o23GeKj9U5AnnQ-mLUdWAyNA
|
||||
o3xbdCWvzkAKGdpn6cdybvtt
|
||||
oElL3xIzKMWx3vrWtV3ihp0-
|
||||
oF8cjJ0EfUG7vePzKvCFrrTa
|
||||
oGzo6GcTh8Kob6a_IWLEHSdu
|
||||
oKLf3-qb6tM0afa1LKet_EaJ
|
||||
oLtxXwrpsMBX-I3R6dujCLX_
|
||||
oTe9nqBbruD12pI6WdtkvQy8
|
||||
oYWONKfSf7WPlppXCyx-PYWN
|
||||
o_PEnAv_mqXbjMRh92zYPvHa
|
||||
ocRNoA33S9vzPy_WftoX3SqW
|
||||
okj12Oww_YghgerNyCs24CTo
|
||||
ou4bK9WVbsgsC6ndmxwjzPeV
|
||||
pGEJQWca83BhNJgqHi-sSF0y
|
||||
pabYzqEA8AwxV-8oweXEn_XH
|
||||
pbOIgII3oj6md-lvOl1k6yVQ
|
||||
ptr4ZnlcABWk7Mmr3Q4vw7EP
|
||||
qD9yFyK6i2AI1t112pcPM7_u
|
||||
qEnjjonbycXPYMKbAbnsjEVg
|
||||
qGN51Xsu5i0IUY2oKJC5zNgw
|
||||
qLvfiN4HxLltdbewpbzlIOy0
|
||||
qOZlw7g3yl_LJd_JY6BA8237
|
||||
qR6uvPaFtHjpLNX_fFk6vEM7
|
||||
qScGDejGduYCeCBg-q7M7MiM
|
||||
qlNNGK8Fa-_x_2pgY8deY_AN
|
||||
qpnjL7YXTpuIbjO3FwGhtwLg
|
||||
qsVN8_f-ghRJ-XNY86zDSyMc
|
||||
qz6BbttJVmW-ZS_NmiHDr_lN
|
||||
rAa2ZmCz1jDkpDCZESSj7FvW
|
||||
rJUf-AGN9TgQA3AigG86rcqR
|
||||
rM_dRnZBQCXs7k_4sXvS7Kec
|
||||
ra1rmavYgL8JTX1gehxsZc5W
|
||||
rzAICTO5lnmUaanTIWuvFr5A
|
||||
s4Jb7PGFyxNpDHAhSAfaQPn5
|
||||
s7iDGjbVbJ32EXqAaEo8lKaE
|
||||
s94vRXFVhCegv651KpxgdaPm
|
||||
sAQA8bWIsgcQCYJntG2dyybK
|
||||
sAYsruYRg7JzXKD0v9RTE3co
|
||||
sR0vvOC-XUL2AHwQwmFvDc27
|
||||
sSEuthADzEcMuhZtydhOo4OU
|
||||
sUyO7Bcna4kDF-LA2r-YSvOH
|
||||
sa84HQ3sP5HzkE-laAKQI02l
|
||||
sbeCM86e6Oh5m0dd4c6ZIhVz
|
||||
sqqFxqnfuChGii0dOoBwJM2M
|
||||
swOP6ZGtoRTDZg0Tyv7Dh-AT
|
||||
t3XgOkTPn_S6UFxAT54PazCG
|
||||
t8jICi79dGglrjG3L1IC6Eso
|
||||
tA-CX-nuGxgXinQpqtkdSa46
|
||||
tD9ee9lEYm70ADB0gWJ_KZ1F
|
||||
tFn4Zh-d4Pb8G-i6LtcT1Fq1
|
||||
tVTQi18sakruYJvOouU015N1
|
||||
tW_GEcTGMJqC6kIlg47DNk90
|
||||
tacaE9-Xf9vb_qyZuvn-vyyN
|
||||
u_TJoU0pncvmCAx3jmwENg0W
|
||||
ueAejaJT9tywSYYojnHKULfD
|
||||
v4IN0DtS71aDEoQEDx_K-FwJ
|
||||
v894AOnvqimcyFDgZ4de4Ulj
|
||||
vDQq22g0uH3KduMv9iMpXkvh
|
||||
vJ4z6UCHbDqgFFLhRConYvEJ
|
||||
vTkmhyaDNoP8CIZwB6Fmfxrm
|
||||
vUaBWvL_aQ7nAaJ6bcBdi6-U
|
||||
vXhFjpGXZHkynf18c_V9_Zy1
|
||||
vkNd-5xNKExm4x1FxB5Jr6IQ
|
||||
vqQd1_dF6NVmIXk0A5cbDel7
|
||||
vvLHRa-0ZTK1_mQ00jkp2BL2
|
||||
w3cARp7ux_Fy1X5q88NlBq0C
|
||||
w9XSjyCc3YdTPvkukoWrnpUg
|
||||
wHvCxA_H8xFRnPzlpgNcEQ41
|
||||
wZuQdo3Fy5xzv5LLX5SWwRxG
|
||||
wwhM4IHTnoXxrrGuI9qY2w2I
|
||||
x9naqirRz-Hy23xf50FIfae9
|
||||
xCeonrXZ8OjekdIq2Tmn9Rex
|
||||
xPCj1iM36RxSQiP-8Fk_Gg4s
|
||||
xd71dAhCMvbj1_dsdEEkXC7K
|
||||
yD7bdAq6FzoXncSLUREyOLkW
|
||||
yVgQkwinz_mujY9Vial9Zd-Y
|
||||
ybcS7Q5IUwyorrDfI4hXw-WV
|
||||
ywvUEXkHYpIfxklAswUhy6_w
|
||||
z2PYShDzIOivcCGfK30j0u9d
|
||||
zEtgl8tysLCOye9BPVIiTCBH
|
||||
zJbRBY4D-4JZZ8TnwaCc6BJ1
|
||||
zLGbtgl9hOUSCs8ZhtEHUJPs
|
||||
zkVVoFSyfZwfcsaA0BretTU1
|
||||
+504
@@ -0,0 +1,504 @@
|
||||
ybcS7Q5IUwyorrDfI4hXw-WV
|
||||
5vq0CSI-0Niq-R-rmWeA0wsN
|
||||
T9H27mE8hcTln8sT0Zt6eN6M
|
||||
4-sCeOjs2tqZ_ZCsXJvnr7WS
|
||||
Ygrb8UrMyxRNGrqmWR3yyHFA
|
||||
ocRNoA33S9vzPy_WftoX3SqW
|
||||
o23GeKj9U5AnnQ-mLUdWAyNA
|
||||
nm5esBfzK_KqD5b4yo3REluh
|
||||
RIEfl_eW914OLHqrPhlVEISk
|
||||
JgUfVIYkYs2zuK66yVjAUNT9
|
||||
-j2JLdD63weBN32FkUNRnWv2
|
||||
Sd4u6XWrBeJEK6FDY-sI56qg
|
||||
h2mInl4RfG3qZeiHNh9lFc0_
|
||||
qz6BbttJVmW-ZS_NmiHDr_lN
|
||||
MWmREEfwmhHJv-4-W06qBCEB
|
||||
kHSiFkr-h2DpbYNewUYeQoL7
|
||||
ueAejaJT9tywSYYojnHKULfD
|
||||
gxwFpiH6SDXQGdh2LaZwPcks
|
||||
UPZ9kYA_PZNBJm-PrCEtaDFt
|
||||
cUKngAaPI1p37sYiAV5wN_gP
|
||||
I1B_s9OWm2xfaByFkOLgQ0yl
|
||||
WxjPVyLYhtfM5GwRtOiBksay
|
||||
DALI916VzKs4O6O8o8WN-Dqs
|
||||
fbQc2uV_6z3Y7_iG8cbdT5ws
|
||||
ecHiJKxLqpXJ_rYBXiFQ24LG
|
||||
sAYsruYRg7JzXKD0v9RTE3co
|
||||
aDnglVIUWPlwL5aWj_l9Wm1t
|
||||
T3uBlwjup_LlHT-Ci7IOtlub
|
||||
FaTfmrqZT8K8MUY-bdBlAwOp
|
||||
s94vRXFVhCegv651KpxgdaPm
|
||||
dO-rfebtISRpSrRmu3uAueOP
|
||||
StYvtb25ygivRcQnxUbuQnpM
|
||||
hlVXERwo6JmxFRul8Y51p5CV
|
||||
jZ_DEGyJLj8tEKzDNlDeSaLc
|
||||
A8sYgpAgtglnOdzkairNLg5F
|
||||
ORaGMCRwWc5AYd9L7zp8SMVu
|
||||
03Y2zPbTS3FVHDy6HV4kuyzq
|
||||
UPTgqqMw_RcuK6nGFPwt9RH7
|
||||
mYdmniKoHbwafvxRsNIDe2kC
|
||||
LgGYdJZbieA5sPnctxzVSorf
|
||||
CLXuWDhV4-KNHs12g6GganYY
|
||||
yD7bdAq6FzoXncSLUREyOLkW
|
||||
QLdbL702fAxSpOcQ4Mi_R0cn
|
||||
2nVv1eLedgzlssZi6miDEQ6C
|
||||
h5635XaY7uxPYE15jcMcrLyb
|
||||
lPyqShwAgAxRmyTJEBIWhin5
|
||||
Tmv87v_1HdS_FP7gYn3aMgCn
|
||||
aWh8TLJsvgFgU7QY7tYQpqe_
|
||||
5Qgs052gLvOZEcwLK9-EISTt
|
||||
wHvCxA_H8xFRnPzlpgNcEQ41
|
||||
UwT7ubtiuYFd2VbdeqZ_-Jkw
|
||||
sAQA8bWIsgcQCYJntG2dyybK
|
||||
N6AaNNvMEAVjS9ExJsvzwdIN
|
||||
tD9ee9lEYm70ADB0gWJ_KZ1F
|
||||
9zmyf7jFV7V7H9C2h7HMHZfn
|
||||
415_8nce9ItgY5LfxRjiotsq
|
||||
vDQq22g0uH3KduMv9iMpXkvh
|
||||
7Yfy7nYivWOMz8_0l7bFD3dD
|
||||
4KVNy5S-s0uL1PRfraKKhaNd
|
||||
0DDc7RjjNE0QArrh_8-DgPIj
|
||||
RwXFwzd3j9dLHZz2bL2Uq5QO
|
||||
Ih06QbD4Xcnr1KqM0M_Kg0Rj
|
||||
c61d0UXHvOHQ1Y2Uadjpx5R-
|
||||
EQK_d9cuVgQAuIboLJkaLQ9C
|
||||
tA-CX-nuGxgXinQpqtkdSa46
|
||||
UdwfgbSDfKzQ0p9OJibITlYJ
|
||||
hVMpArWIEYtvzruPzC6ickln
|
||||
qlNNGK8Fa-_x_2pgY8deY_AN
|
||||
fNTEOPg7XXRv0wq5vdTxmaPG
|
||||
APLsloBWZAM-yXDqMxVMgGfD
|
||||
FBxCjDCqK84cDza15TG-AtK6
|
||||
sR0vvOC-XUL2AHwQwmFvDc27
|
||||
8iuvGtitP9jsYAlJueE-cJlv
|
||||
N7O7UX8nPnP9inWUOXGHynQr
|
||||
hxj2vBf2TX5c3JKEX9T7oe-u
|
||||
V-Kbn9pCYI-GLWnumxCF8pVo
|
||||
YBBGsWjx8CcCMIB6_N8iSdC4
|
||||
PW2_rKNj517kcN8QxP4tuNek
|
||||
-JO_BmNxokKq4xGrnMo9sdDu
|
||||
mwAtHwaCCTYQnZ57KRbQRRP5
|
||||
-iOYc3DXzFbfownFY2O9s-Se
|
||||
A6iQTij8277LasFY37J6Hww3
|
||||
m9lM9SJvfsoHxqq_JYOG6j3Y
|
||||
9gSJdX5pTpdFN8LkOEO47Dvv
|
||||
0CTXp7hdeR2Vj8-U5AjNcrPW
|
||||
fAik45g3PlcDEFXDt9bYEoC0
|
||||
i-vrMeas5MFTntV7TVEHJVNd
|
||||
CmjzS5t3UH_wIbWhPWQL6wi0
|
||||
nu3G30byq3f6khGkz4yv4Zn6
|
||||
KvSR6ma46yVby-C6WmPNRicJ
|
||||
Lu53Amw7OLvHrqxqnRG_XhcC
|
||||
oTe9nqBbruD12pI6WdtkvQy8
|
||||
Gp4xty5BH488-1WBwC3rpJIQ
|
||||
OViud6CvOQ42TPGoBWWceibG
|
||||
e_7NTJt2SN65yqzDKbOcDUz2
|
||||
0QAei_1e6wQXvZL-VeZEmjGo
|
||||
FkJ1ZdSXBQrTT7vaxpxfL4pI
|
||||
ZuLVjKSwjnCBuKBgZKNKoqQO
|
||||
44aGZneIxEbHLNtR9NO8SacF
|
||||
Aig9sfnTeV8K6oIZ6cK7mIJe
|
||||
BYedvgoBkwEH-YRYp5WTQPff
|
||||
nEolku0gqtIzn146v2-oDn-2
|
||||
WJebigkpHQwFKgcwAOQurDZv
|
||||
Z47uFGZRuFVhS59f9xHCYZe2
|
||||
eq8y7aMMaqgN9JEZiH85_Y8O
|
||||
vkNd-5xNKExm4x1FxB5Jr6IQ
|
||||
9yKD4QPWCziJgHuWOI3slo0z
|
||||
hPyXQ7ILCNluOxMQLR-5gyV_
|
||||
PyMGN5W-TAyGI4dM5wRCrfQh
|
||||
3GNbWAa-OcnvlQSFnf0PWOK7
|
||||
6Y99PGcVeAa4E6T0fnkdVfZn
|
||||
qD9yFyK6i2AI1t112pcPM7_u
|
||||
9SUOI6c6IybVHJN40KQXUXRj
|
||||
BJMVwX-e50JD6PvXB6o1GSyh
|
||||
ITPQlC37yAqXl1817P7SVvsk
|
||||
sa84HQ3sP5HzkE-laAKQI02l
|
||||
v4IN0DtS71aDEoQEDx_K-FwJ
|
||||
KcZN-RLY0WptumOoKgyk0Qm8
|
||||
ANe70iwAUf0xVcyPy2c0E7NT
|
||||
KK_EIDPfpixjHV-Ka2i9JvIA
|
||||
2qktrAu06JoYEMfIMWkcoOgp
|
||||
FaGQBneRKo5QM0OopPVdbzpC
|
||||
4wIh5dXMFB1gLfeIs2XjNUHE
|
||||
KbyfoDc65xzJRODGJcwM_-2T
|
||||
jlRjSqs7zB4yBpHPbInalsC0
|
||||
-MUFBhEpBOBb0msxC2TijK87
|
||||
zkVVoFSyfZwfcsaA0BretTU1
|
||||
V7rANpxoQOrnrXhNIlsI8_yt
|
||||
ktjEUG0hFPMjavPfbU5wh8Xz
|
||||
Lse51KaglOHU0Qg_5447P2RL
|
||||
5odNvUYIIwM0VHjLq_DFTqhv
|
||||
u_TJoU0pncvmCAx3jmwENg0W
|
||||
lRa7DcWhrQMp8Wj8IQDaLKgr
|
||||
QfYZ_mTRvxnnf0Hz7E_y7Jj2
|
||||
4Az25KMAMETSyP4Dm7ZMSAho
|
||||
oLtxXwrpsMBX-I3R6dujCLX_
|
||||
HGC0FpAiduHLlszXU0ZXZXvN
|
||||
UE69K_dIr-otaaVLraDMKp2u
|
||||
eCVqcs-N4JuMHikayeDmOPzJ
|
||||
o3xbdCWvzkAKGdpn6cdybvtt
|
||||
fVcX9_uCMGCxd6MbTwQofsxG
|
||||
ywvUEXkHYpIfxklAswUhy6_w
|
||||
gza7QkV8f616sfWOzQGGDkw_
|
||||
a9ALeLOvcf7mvy8i1dUM-JHj
|
||||
gkJGnjWYtrrvpI1rJlu04HE1
|
||||
xd71dAhCMvbj1_dsdEEkXC7K
|
||||
FC4ONZ6QZktH4tSQlRYYnJAS
|
||||
ZEXh-ng1RrG9ecu1q0wU3a-u
|
||||
okj12Oww_YghgerNyCs24CTo
|
||||
dPkgXy3_owa1zO4u5Gv3UjFp
|
||||
CNL6gHtiqZc8vo0B97vlDK5_
|
||||
ET3hrTAZVbRTTxxABXAXjBjW
|
||||
e0DBr9Sysz0AygEQYcxIFvan
|
||||
gCPcePb_wXPiKz1StSfhWFfI
|
||||
C2BVNQp7nT_gpDqBH_bjXZZF
|
||||
DgdHfl9QlsaJBFsiJOOFBsuc
|
||||
sqqFxqnfuChGii0dOoBwJM2M
|
||||
YFUfmGvYE_fVhyeIBpqYCmce
|
||||
DwelhesRqKb640x8L2TZi8My
|
||||
Hu-G8_qLleowX7f-tQGQkzeO
|
||||
QOGiLcFcbN105_D17MklAaRV
|
||||
nc9Uvp6uRbl-_dgEyvy-TVbj
|
||||
mFD81QW4vTNwKdWkW74b-BxQ
|
||||
cprAnp5QHSCapUezuvUcJqVT
|
||||
X9RB8pmvI3Dt8ARcQ6xqrSzk
|
||||
biuITlCpFfI850UE1CzhZ5kt
|
||||
E0TYTy18aKYqFZxxxuragQvp
|
||||
ZFCVwidCXaEtha07bUWxfRvp
|
||||
2VRr1GOeOt1SsauYbkfiDM6k
|
||||
FZHGGwLPntm7a_HmfmS54YwS
|
||||
2JHlAOp0LTr4beRpMQxvRd3n
|
||||
hVAs40fXNMFAAmB142mQguHq
|
||||
CA9ukcG2sbSqqwfd3YJGDQrB
|
||||
9VYGfnH_3rfhsGAd7zpcYa-L
|
||||
2KnIrncxlFXIzwhgwy2bpWIG
|
||||
lNZkDgDVoFWDzTkbfjVtJr1S
|
||||
bSGuwEoJ_-hWIkeE7T32J0Y5
|
||||
Trms3Ly90MqaWQ51lOjC_RQP
|
||||
aupobNeJ7KCcaaz0MGMCelPW
|
||||
f3OO66VVTWqzdwiWyHDhnYcf
|
||||
IVmUcwlJ4GIWpmo_KX65VJFE
|
||||
6M3zX01JjbOtcPufal8sjUQp
|
||||
Q-QPgXDoaRxCjSQZn1w72-WB
|
||||
-eQpQgTgRWxIQH9Goju0Mz58
|
||||
-rBo6kWyY7DnAXBzXZTMk583
|
||||
a5vD0uzi5jm2f0hFfMT64Pfv
|
||||
QZ_opi_ebT5NRS9mrCLMvmlB
|
||||
QW6anvWA2JA8RirC6KPTvcbr
|
||||
tW_GEcTGMJqC6kIlg47DNk90
|
||||
ItnegxZe67BvR3Wk4XtdKI0W
|
||||
PL0rRwcHoVPmrJABnmgtXt24
|
||||
pabYzqEA8AwxV-8oweXEn_XH
|
||||
BWQ3TdQY1hm7tIQo4ZCD02w3
|
||||
a63nB0tU-DTtM42G2aNkrShA
|
||||
ms7AkuepLGqGUHyunPg8DiRB
|
||||
rAa2ZmCz1jDkpDCZESSj7FvW
|
||||
t8jICi79dGglrjG3L1IC6Eso
|
||||
DetrLdRhi5ycSlkDiZNXw7Yi
|
||||
gIWNTcRQMjPKXb7rbjpUfkcI
|
||||
m47pUEzlAI0Ey1YHx8-Zdcld
|
||||
TOxAcrPsl5PMm1zXkJckzNUr
|
||||
BEH9RybfPMxIYRQucLhn1gJQ
|
||||
Khc0j-3eR93prAheVNqbBLUT
|
||||
zEtgl8tysLCOye9BPVIiTCBH
|
||||
Zf50A7SUTls-KJiECi7o2Frk
|
||||
eRW6kj6gLR8Xupz8Cz90tzGb
|
||||
tacaE9-Xf9vb_qyZuvn-vyyN
|
||||
7Dx1AIxeKbL3bClWlylCWJvU
|
||||
VllDXskGApZ2Qk5CVj96uk1c
|
||||
BwzndDrW3Z9iLtyRKjYnmqLF
|
||||
oElL3xIzKMWx3vrWtV3ihp0-
|
||||
qScGDejGduYCeCBg-q7M7MiM
|
||||
EgvISC2bMpc5h4c9xOjp_wq1
|
||||
sSEuthADzEcMuhZtydhOo4OU
|
||||
Ji282vu4z8vFuTjEouwwHryn
|
||||
lB0fmYMhFk-vvvrDp4wy-ZOZ
|
||||
an1arYczph4N59wQiHWrl5UJ
|
||||
YfRez6odcEJ6w0_0PbX7AhcL
|
||||
I1VWhaUvyALDY89G15rIz_gd
|
||||
PjupiP5HHnVwohT8LYNssdCk
|
||||
sUyO7Bcna4kDF-LA2r-YSvOH
|
||||
qGN51Xsu5i0IUY2oKJC5zNgw
|
||||
3mU_KXt8mmVGzE1Lo6wmZ7Cr
|
||||
2j_16KxvpIoSFBSzI3AgaM38
|
||||
KZoUUKRJEmIZw00qYN5FaMdE
|
||||
NrIccqOOmoc54NwCM8Qzpjz6
|
||||
s4Jb7PGFyxNpDHAhSAfaQPn5
|
||||
bjeVoSuvrscih2gKCeTp3i7v
|
||||
cYdJyXLJ7_EQ4djuHFdSKeAk
|
||||
GMSEMPCiXj5_SSNZZhat5nAm
|
||||
Ocz-y73g1iL8FI2GtEbapPHp
|
||||
LV7jbq2b1ipFYQCdpaUSpmlR
|
||||
oGzo6GcTh8Kob6a_IWLEHSdu
|
||||
5Q-PCDe19vl5BKnUgYPwkHKZ
|
||||
Zp0il5o_OkyR-Z7MqAwKS3I8
|
||||
237SWgxKWKIdMLrYNg8-8bg5
|
||||
9Fp2UhnPPMXzkU94uPwX8y_4
|
||||
o_PEnAv_mqXbjMRh92zYPvHa
|
||||
PS42EIUhKnkUlymcn_IxEHjp
|
||||
OPX-fEeltPxZ8HXmPI5ZspT0
|
||||
9nB8633S9qyo-5YJ5KXMS6eX
|
||||
P8cXl7B8qAnBKRqwUYTF35Zm
|
||||
Va8yVFMIhEqHnikOGujHhQCc
|
||||
cG4rAEShLNcIxf4YYokXLx3v
|
||||
cEUbgxTFCCVac-RVpeOh74Pg
|
||||
ZRojLRbfSTQd-d2HGPOnTrVU
|
||||
FjZWF0VZ1w-7GDQB6zFNjlgE
|
||||
VXtrHxF-9kLz1Gik-aOZUZwe
|
||||
i5z-sJv24UKG6XMCEW-XskO5
|
||||
bYQ9bzVOtWIT1KP7SNYhw9ql
|
||||
c6oZkWkGjgmhmsOvpf7koCeB
|
||||
pbOIgII3oj6md-lvOl1k6yVQ
|
||||
Nd1XOhOyQ0N1k2H-NF5BMMem
|
||||
cA7zfkYe5tp3_JGVJJIOECxy
|
||||
Ei7Ds1gZ5_JSvirBFvIOiheB
|
||||
l-W2fBUg-1yq5zqubAWnq9Js
|
||||
oF8cjJ0EfUG7vePzKvCFrrTa
|
||||
QGWhm0XJz9EjbC3dxk6_sGGl
|
||||
5G3dKpPi-fzUdfnMNzAZyh1n
|
||||
8EYQsT_cYy5v5zP6dHG0hLWM
|
||||
cuZDqRTKhq3yl6X4lw5yLnFD
|
||||
YPZOaOnYRCeqyEvQ2mBBysGZ
|
||||
OX51hgI2CoXNuZtAfs66i-Yg
|
||||
5hFTCKNy_Xe75E79aLdflBCq
|
||||
AZLFfMSR59n76tLq_187UQrJ
|
||||
fSVUpLWR-5KV0IoemXImOqVc
|
||||
iOwLXZWS_KkFEwb-S6dN4wPK
|
||||
fT49InAdr6485t9mfvMhzBf7
|
||||
1Boz4eFTgwYlec5FUr6Z1r3p
|
||||
InJJT5lwcAHPtpZ2LfHAhrMm
|
||||
KLMlKgtR7bBOSlvymsgc4MEF
|
||||
G_LWrhppp9OaxZyyQJdi1F_Q
|
||||
AbaXOng6J8MC4fgVQ4uy4jRa
|
||||
6HbO5oFxeYvjYoov-BGWm-5I
|
||||
-WyAggjxK1C_FI9AJZdtcUNe
|
||||
NMBAi71OCk2W4L-UynQbYR8Y
|
||||
ko_nMs8H8VAhdnflAmyvFjoD
|
||||
2Hgjtn-lI4BiD5lhwBWY5Qri
|
||||
f418KGJuhr-SsjwFOSddc-LI
|
||||
jT23F1UVfkaUn6a4aK-pEwOi
|
||||
yVgQkwinz_mujY9Vial9Zd-Y
|
||||
48Wk-8DylzG_-Xm6pQ4UIwhf
|
||||
K9Z4E67jPcuPvtf7RLPdnpaw
|
||||
G4WcTcK1ZKCXIX3QPtakZxwv
|
||||
bC7ZciCDA1IZTAxQaqHA6V_2
|
||||
3-r78PKDYip_DO3hA6bpIxe5
|
||||
RgPzlPNmRXEQ_IqIuQ4J-P6c
|
||||
2xd-BmRxuOyXnKDoiASQLcV3
|
||||
AOgteP0ki9batWdT0gg_f9bP
|
||||
6-6T3Xtwwc-JwLDU8KmQQozK
|
||||
BEqOLAU4yc7SByVHfAcs3Qo5
|
||||
JIdbCAZvH8ES5pzOkZcJK5ck
|
||||
OXWPAKt7TlALp8HY5xpqzc0p
|
||||
WPikWesnqYwgindpgV72fhvn
|
||||
hc-ZQJ6oDGwhF49sJFsI2QYV
|
||||
2vMpUEe2QrdjIdnAjYzM1MVu
|
||||
e_XiOoHyScbKuMLLTmIixoWq
|
||||
mPLnzDNPhDuZxAJutVyvDzZ3
|
||||
GDbVMetYHme438tt7FpFdN5r
|
||||
fikbwSsggUFJSxy_GqTRMQn1
|
||||
qsVN8_f-ghRJ-XNY86zDSyMc
|
||||
DdOJ9sq5g7PcYJ9I1IhOUd2y
|
||||
YKVXHlwPBGY7Vs4HoF5n97ZI
|
||||
mL1g3O5aAUF9eUATiJaJvox1
|
||||
ai1H9pMfFn59XB-FuY1Bqon7
|
||||
92tT7J3s8rSe34kAUNJEUC5J
|
||||
RfOlIMljxHhacuJpzM1MbYJ9
|
||||
Qvt7A5eJwUkXJp4QNoiItGhY
|
||||
ra1rmavYgL8JTX1gehxsZc5W
|
||||
a5u4u6-UC6-PBOUzvmfs7Z1L
|
||||
YyhWs3Q8biQlzsohe7xj83Jc
|
||||
Zw3D00Q2E21DL-yWMt3zSak7
|
||||
rM_dRnZBQCXs7k_4sXvS7Kec
|
||||
z2PYShDzIOivcCGfK30j0u9d
|
||||
jJNeWFzCXfMAutwIpJBNIyoQ
|
||||
lR9Xgbmfwsg0q2ZrYn9PJn91
|
||||
vXhFjpGXZHkynf18c_V9_Zy1
|
||||
USGrRTq6oH-2ObyIBvWItnsc
|
||||
LYPhpVyxN9T8ckICFfdfs1Jo
|
||||
JduG4TJiEBG47xOYVHvAhxuz
|
||||
DIuTsn1Ju2ZxdXX96EI84aCx
|
||||
H3KrqbZmY0knuCNaJ05T876t
|
||||
t3XgOkTPn_S6UFxAT54PazCG
|
||||
HrDcHyfGUyiN6ihnH0tmjJbE
|
||||
N632pRMLVzeTY5EevfhBYVQ7
|
||||
_yLJkqQyzbcKJPU_CeVWzm00
|
||||
njwFnPRvX7bnJtKsGmnqeWWz
|
||||
AB1Y3EWKfUqZrJxjLuZJmbOK
|
||||
qEnjjonbycXPYMKbAbnsjEVg
|
||||
W1sudUI7yZ6wyVSe78rOOCqm
|
||||
_MXUTp6mfaLEUHutHx3JaVbI
|
||||
L3v5f7Bh7rPnxF1I0_K7wEGs
|
||||
GqO72h3jYxG5SxG1xpmYwa9E
|
||||
BNuuQS1lrRMFvMa-uIiW4GLN
|
||||
sbeCM86e6Oh5m0dd4c6ZIhVz
|
||||
VCRHLnu5aZt1P1NQIZixClUI
|
||||
vUaBWvL_aQ7nAaJ6bcBdi6-U
|
||||
XnxaWuJYLtuyI27HrxCWrWPt
|
||||
5eUc49iy0V6jSjI5UwEWEzY8
|
||||
Sq27WVRV8npJotWW_AFTLgiS
|
||||
P9adlYDU4aT2IWwH6Mr7oui8
|
||||
fS0MRVojc9SnOkCCc8RumdOn
|
||||
gGhyHFIYY1a0NLLA70Hlby96
|
||||
-ME36huPTvwxZM8j6LM7nhVL
|
||||
bnfkfmba5lyIbRtS_by4_VYY
|
||||
_dcmUSiTDfd0PQeI05au8QEJ
|
||||
_Ca9JKcvQAWZ3ckH9VPpC5Ll
|
||||
MXoWr2GY6APgQEo952yq0Hmi
|
||||
BsD7US_nvA3ezta_W2EpCzMq
|
||||
6S4wRTSW3wlIWYmlsnE39WBd
|
||||
w9XSjyCc3YdTPvkukoWrnpUg
|
||||
2mFYQawzu6zbgMnJ4InW7ckG
|
||||
vqQd1_dF6NVmIXk0A5cbDel7
|
||||
hp4Rr3XIQiJxRyytautC-TZW
|
||||
lCKCw-7fVPoTBWL4z1I_sVq5
|
||||
gOYn2V3c3u66jrRhsMXmzzeV
|
||||
Azy_z6GQbL6ifrS2zHS2lyTl
|
||||
ou4bK9WVbsgsC6ndmxwjzPeV
|
||||
x9naqirRz-Hy23xf50FIfae9
|
||||
MH_zYaBuxhCuRbCoioUt0SOJ
|
||||
d4dNIg5wu28BVkDsjTSHsTl7
|
||||
qpnjL7YXTpuIbjO3FwGhtwLg
|
||||
qR6uvPaFtHjpLNX_fFk6vEM7
|
||||
LtRMKJagqW05j1Sj8IGYmfee
|
||||
78W5GiP-BCRMo9aud4T5a80I
|
||||
YFpOGYuP8xixHYh256d2I85l
|
||||
J0E89H_Kzpu428WBLke6fVU8
|
||||
6ggUHgc_se899qTODgMcBc30
|
||||
fFBmvaepZapInzsarwTWBW5d
|
||||
WCq-Fgq_6h3CPW14OeDxdwl7
|
||||
vTkmhyaDNoP8CIZwB6Fmfxrm
|
||||
tFn4Zh-d4Pb8G-i6LtcT1Fq1
|
||||
CU_PGGKlSTztyj3bPzrOZUbd
|
||||
P0eXZ1PNORISVVbJduwf1qzO
|
||||
OLqN7NnWgN5j-bpGkmXGGGwW
|
||||
9sMTs2X3a2_vYqlvPOD_fNMm
|
||||
SYHHdyrMrDUdQtUKDLjyynhM
|
||||
zLGbtgl9hOUSCs8ZhtEHUJPs
|
||||
3OAvKUjeQ7_BNHl7WTV43TRJ
|
||||
nuBpnUvqZRuYbYaVbRrWyO0I
|
||||
U1VxeKdyJmhCCN0uypXOD-Ka
|
||||
DOx0t_avzUGYTJaogiZChMNn
|
||||
w3cARp7ux_Fy1X5q88NlBq0C
|
||||
9SATv6VSaeTvAsnVGoIiTGmO
|
||||
S646_s8br7-uJZUezJVVM8FH
|
||||
Sgt3Lusd8IOh4Czq99NAAl7s
|
||||
IOqcAtgNDf5jTh2iv9b1l6Rw
|
||||
KsGAGeQUwT4Lurbjz4IE9zvl
|
||||
ZzStlTDliUiyZIKVzs__3O5f
|
||||
UHrWlTDgnr78BbH2gCEwyrt4
|
||||
TtFovUEQo6p3285L44hJVBm9
|
||||
wwhM4IHTnoXxrrGuI9qY2w2I
|
||||
PfvG5wz8CXYgOQBzeBB1ta6j
|
||||
QddyOKLifJGWheIng0oa61Pt
|
||||
QpHYkQ-QUJSD983gRGygt5T2
|
||||
XA3pnyqDOcNFqCHJAIysm4q0
|
||||
oYWONKfSf7WPlppXCyx-PYWN
|
||||
rzAICTO5lnmUaanTIWuvFr5A
|
||||
XOnmYuC6-Qy7hYJ-CiGAeExA
|
||||
_RvFmknOCqUnsQxT4oux0GrL
|
||||
-KZNGfk-pTzYWhICHeiLU13d
|
||||
IvhGEXcI7s4qPke4ouIKIk1Q
|
||||
QIYELiD8w4Uio0KedDqFkuzb
|
||||
GcmzuvojKMFalIaCbkfJfcDM
|
||||
mkcuvsclPumbeIj3si0MVsjl
|
||||
AIi_035d5SAgUb-T5qkNXLPu
|
||||
TL-uvxhyGNk1T_nksCN6tn4d
|
||||
ptr4ZnlcABWk7Mmr3Q4vw7EP
|
||||
KzrvN8OO3uhpSiDhWaBy-y5X
|
||||
nlgki7YlAP43303vdF2n7CdW
|
||||
SVpdR5koE_s7zuWNGuDvemCC
|
||||
SjfXlN0lZjY8xHvNeoekF5OJ
|
||||
jyhpPdLBxNQDJvoiYvAX4FIl
|
||||
eRZrGhoevWq-y2YNvUjtgNLX
|
||||
9ZjRbUYh1dQHedOtgS4cLRar
|
||||
7a1OEAKh1VWu6Xok26ZfCQxM
|
||||
zJbRBY4D-4JZZ8TnwaCc6BJ1
|
||||
xCeonrXZ8OjekdIq2Tmn9Rex
|
||||
-ewdgbGOCV5CZaSAaixGuImv
|
||||
53EtHLVD5DMPD446bXrg_DRh
|
||||
1PvFJQVu5f7i8b0b94p-OIZG
|
||||
rJUf-AGN9TgQA3AigG86rcqR
|
||||
Eq0yic_-Ik0j74v-Hywv0-MN
|
||||
JOIu9Xo-gn-v-rza0Mtji41z
|
||||
Z05Gbug-An9GKt-tR981b_Js
|
||||
Q82N6ZMpns1-_EWR4qm_f_3w
|
||||
UoaqVg_kufdk_JZibVWTKk5e
|
||||
OKonDsEjocAvb7T4C7Y9WBm7
|
||||
8JFtRnU2rAbw2YGicT4nXhvW
|
||||
hAtomKser1yudmaJAU2irA3k
|
||||
XNPFwJ2MhelcvyHpOrVXOSok
|
||||
8HdCByqfbvzzDTeKCM_Jorsb
|
||||
aK-IyB8EsYBgs1ke2QB3sQsg
|
||||
BqRRWZQHtt4f3EZ5MkVXp8K3
|
||||
RSPEHx05UxQcShE2csOP53EZ
|
||||
n5t67wKwJZoCUs49lTPAxVDT
|
||||
oKLf3-qb6tM0afa1LKet_EaJ
|
||||
xPCj1iM36RxSQiP-8Fk_Gg4s
|
||||
WguHyWmYpfgRpkhMpIm5CjF_
|
||||
qOZlw7g3yl_LJd_JY6BA8237
|
||||
V7YY1Pcl5Jz-0Z7N5CNvU3vx
|
||||
fgisVVLTWGYuS_pALQCGPkkf
|
||||
V3T-9hfpbKy0YMQtUaVGx_b6
|
||||
XLlhqkocTizWGtZPTiiTGMx0
|
||||
mQ9xclAwEE6wTpf-0m24A9qZ
|
||||
ATbBCksfvemyJ6gfaIgmHonn
|
||||
XJXnYcSbFCuqsAi8kX_nOl8l
|
||||
II0801owZZukLyiNZsxwuJvk
|
||||
9kAtqi_I6h1hfbbw_2M5NnOG
|
||||
kYBE31hGYbSneEoTktlib-We
|
||||
MOFqI4_2kKL9-mhHVqW9J4Yg
|
||||
62f_QTLFMSZ19NcauqyV1cRm
|
||||
IkTWODrYXWjFupdowoJ04rCo
|
||||
jt7gTbiBx47g0XCDNkkqPyKr
|
||||
akoelboFgZaFG0tHpl0JPaUC
|
||||
257SVY4P7gu_TBqLrTUUWNZg
|
||||
7bo9mCFU0Mp8wmsWBM293fsR
|
||||
6qBGcXOzZ_2epHiK2rJdWTke
|
||||
qLvfiN4HxLltdbewpbzlIOy0
|
||||
gbo7Nn40X7GC38PNOUtREDOr
|
||||
-R9o99l_NhwbrzJebvM8IIPZ
|
||||
3sTdwR2oMli_AYH4Qknyh0GW
|
||||
nqE3EsEx_c1P9G63gH_97sJ6
|
||||
ZTcHrvDd9Oi1uEHF9JuNYdBQ
|
||||
4Xn7bDt9Mpb_B6Dz6p32maMp
|
||||
BJP6HHf4BmPl0FRzmg8tkgW3
|
||||
wZuQdo3Fy5xzv5LLX5SWwRxG
|
||||
LrjnfmIkzsfyYyx3Qxl0Rm9a
|
||||
5VpWOQAOeFS4SKRuYOl0QiAE
|
||||
6KbVLSrMSezIhQmcILlIzU_e
|
||||
GxHOvZlrH6F7j0EgbdJC6B8O
|
||||
m_EqVjP5rC_Dht2P0cNEBY_B
|
||||
aW88tBncstMpt7TY8APxW3Yf
|
||||
AD2yY0cdlzzimORg03I1H9KX
|
||||
_AJMzKxP8vZnKjickxzUWFAX
|
||||
6KHmRhjNswy6Uzu6fbFNwFz2
|
||||
0-pfH9dpsIyLZSYpObANht0B
|
||||
FSOVM3_DvC1R7HWqwbP__Gxg
|
||||
0MmX2uR8ZX3N4I85qhTE0Ykn
|
||||
vJ4z6UCHbDqgFFLhRConYvEJ
|
||||
v894AOnvqimcyFDgZ4de4Ulj
|
||||
s7iDGjbVbJ32EXqAaEo8lKaE
|
||||
DCUqgT_0HctZFmRmA0IUI14s
|
||||
l_amxmNI0MN0hLkYVFBSo1aC
|
||||
CyF27Xz3xEsYpLcJzakNnQMA
|
||||
myg0ey8asUjNvrpPKB8lYHdy
|
||||
246Ll9sDuvLWScNKvng_TbpF
|
||||
9ldiDO0hlO1Zm0ywRm0HqOdz
|
||||
-ZzRFnItK3kg9-rDTDpLTFjQ
|
||||
lAl9rhxy2L86TkyTbUqFGP-R
|
||||
BOxd-ikvWDIqux9P6rPqa6OM
|
||||
QbQ5Yw3ccbonL7d84zOfYUlm
|
||||
swOP6ZGtoRTDZg0Tyv7Dh-AT
|
||||
vvLHRa-0ZTK1_mQ00jkp2BL2
|
||||
AP3Km2QiUtL6rFOpe2lB-eAf
|
||||
9ofMSV8bZ1oDDAjeX7aUhdSc
|
||||
OxgB36AacnzjQHRmg-4W7GCq
|
||||
tVTQi18sakruYJvOouU015N1
|
||||
IA0tfceEKceaUik0bT2v74CA
|
||||
L2mNpmpiezrMK6NeyJSlkN6L
|
||||
7GvwHTKDpF31MuMsSbBKUqSd
|
||||
Km6TQx7KSEF-x93GEhnr45AA
|
||||
pGEJQWca83BhNJgqHi-sSF0y
|
||||
mQyEfGclvxtHcPcpHlXpIb-u
|
||||
+500
@@ -0,0 +1,500 @@
|
||||
-JO_BmNxokKq4xGrnMo9sdDu
|
||||
-KZNGfk-pTzYWhICHeiLU13d
|
||||
-ME36huPTvwxZM8j6LM7nhVL
|
||||
-MUFBhEpBOBb0msxC2TijK87
|
||||
-R9o99l_NhwbrzJebvM8IIPZ
|
||||
-WyAggjxK1C_FI9AJZdtcUNe
|
||||
-ZzRFnItK3kg9-rDTDpLTFjQ
|
||||
-eQpQgTgRWxIQH9Goju0Mz58
|
||||
-ewdgbGOCV5CZaSAaixGuImv
|
||||
-iOYc3DXzFbfownFY2O9s-Se
|
||||
-j2JLdD63weBN32FkUNRnWv2
|
||||
-rBo6kWyY7DnAXBzXZTMk583
|
||||
0-pfH9dpsIyLZSYpObANht0B
|
||||
03Y2zPbTS3FVHDy6HV4kuyzq
|
||||
0CTXp7hdeR2Vj8-U5AjNcrPW
|
||||
0DDc7RjjNE0QArrh_8-DgPIj
|
||||
0MmX2uR8ZX3N4I85qhTE0Ykn
|
||||
0QAei_1e6wQXvZL-VeZEmjGo
|
||||
1Boz4eFTgwYlec5FUr6Z1r3p
|
||||
1PvFJQVu5f7i8b0b94p-OIZG
|
||||
237SWgxKWKIdMLrYNg8-8bg5
|
||||
246Ll9sDuvLWScNKvng_TbpF
|
||||
257SVY4P7gu_TBqLrTUUWNZg
|
||||
2Hgjtn-lI4BiD5lhwBWY5Qri
|
||||
2JHlAOp0LTr4beRpMQxvRd3n
|
||||
2KnIrncxlFXIzwhgwy2bpWIG
|
||||
2VRr1GOeOt1SsauYbkfiDM6k
|
||||
2j_16KxvpIoSFBSzI3AgaM38
|
||||
2mFYQawzu6zbgMnJ4InW7ckG
|
||||
2nVv1eLedgzlssZi6miDEQ6C
|
||||
2qktrAu06JoYEMfIMWkcoOgp
|
||||
2vMpUEe2QrdjIdnAjYzM1MVu
|
||||
2xd-BmRxuOyXnKDoiASQLcV3
|
||||
3-r78PKDYip_DO3hA6bpIxe5
|
||||
3GNbWAa-OcnvlQSFnf0PWOK7
|
||||
3OAvKUjeQ7_BNHl7WTV43TRJ
|
||||
3mU_KXt8mmVGzE1Lo6wmZ7Cr
|
||||
3sTdwR2oMli_AYH4Qknyh0GW
|
||||
4-sCeOjs2tqZ_ZCsXJvnr7WS
|
||||
415_8nce9ItgY5LfxRjiotsq
|
||||
44aGZneIxEbHLNtR9NO8SacF
|
||||
48Wk-8DylzG_-Xm6pQ4UIwhf
|
||||
4Az25KMAMETSyP4Dm7ZMSAho
|
||||
4KVNy5S-s0uL1PRfraKKhaNd
|
||||
4Xn7bDt9Mpb_B6Dz6p32maMp
|
||||
4wIh5dXMFB1gLfeIs2XjNUHE
|
||||
53EtHLVD5DMPD446bXrg_DRh
|
||||
5G3dKpPi-fzUdfnMNzAZyh1n
|
||||
5Q-PCDe19vl5BKnUgYPwkHKZ
|
||||
5Qgs052gLvOZEcwLK9-EISTt
|
||||
5VpWOQAOeFS4SKRuYOl0QiAE
|
||||
5eUc49iy0V6jSjI5UwEWEzY8
|
||||
5hFTCKNy_Xe75E79aLdflBCq
|
||||
5odNvUYIIwM0VHjLq_DFTqhv
|
||||
5vq0CSI-0Niq-R-rmWeA0wsN
|
||||
6-6T3Xtwwc-JwLDU8KmQQozK
|
||||
62f_QTLFMSZ19NcauqyV1cRm
|
||||
6HbO5oFxeYvjYoov-BGWm-5I
|
||||
6KHmRhjNswy6Uzu6fbFNwFz2
|
||||
6KbVLSrMSezIhQmcILlIzU_e
|
||||
6M3zX01JjbOtcPufal8sjUQp
|
||||
6S4wRTSW3wlIWYmlsnE39WBd
|
||||
6Y99PGcVeAa4E6T0fnkdVfZn
|
||||
6ggUHgc_se899qTODgMcBc30
|
||||
6qBGcXOzZ_2epHiK2rJdWTke
|
||||
78W5GiP-BCRMo9aud4T5a80I
|
||||
7Dx1AIxeKbL3bClWlylCWJvU
|
||||
7Yfy7nYivWOMz8_0l7bFD3dD
|
||||
7a1OEAKh1VWu6Xok26ZfCQxM
|
||||
7bo9mCFU0Mp8wmsWBM293fsR
|
||||
8EYQsT_cYy5v5zP6dHG0hLWM
|
||||
8HdCByqfbvzzDTeKCM_Jorsb
|
||||
8JFtRnU2rAbw2YGicT4nXhvW
|
||||
8iuvGtitP9jsYAlJueE-cJlv
|
||||
92tT7J3s8rSe34kAUNJEUC5J
|
||||
9Fp2UhnPPMXzkU94uPwX8y_4
|
||||
9SATv6VSaeTvAsnVGoIiTGmO
|
||||
9SUOI6c6IybVHJN40KQXUXRj
|
||||
9VYGfnH_3rfhsGAd7zpcYa-L
|
||||
9ZjRbUYh1dQHedOtgS4cLRar
|
||||
9gSJdX5pTpdFN8LkOEO47Dvv
|
||||
9kAtqi_I6h1hfbbw_2M5NnOG
|
||||
9ldiDO0hlO1Zm0ywRm0HqOdz
|
||||
9nB8633S9qyo-5YJ5KXMS6eX
|
||||
9ofMSV8bZ1oDDAjeX7aUhdSc
|
||||
9sMTs2X3a2_vYqlvPOD_fNMm
|
||||
9yKD4QPWCziJgHuWOI3slo0z
|
||||
9zmyf7jFV7V7H9C2h7HMHZfn
|
||||
A6iQTij8277LasFY37J6Hww3
|
||||
A8sYgpAgtglnOdzkairNLg5F
|
||||
AB1Y3EWKfUqZrJxjLuZJmbOK
|
||||
AD2yY0cdlzzimORg03I1H9KX
|
||||
AIi_035d5SAgUb-T5qkNXLPu
|
||||
ANe70iwAUf0xVcyPy2c0E7NT
|
||||
AOgteP0ki9batWdT0gg_f9bP
|
||||
AP3Km2QiUtL6rFOpe2lB-eAf
|
||||
APLsloBWZAM-yXDqMxVMgGfD
|
||||
ATbBCksfvemyJ6gfaIgmHonn
|
||||
AZLFfMSR59n76tLq_187UQrJ
|
||||
AbaXOng6J8MC4fgVQ4uy4jRa
|
||||
Aig9sfnTeV8K6oIZ6cK7mIJe
|
||||
Azy_z6GQbL6ifrS2zHS2lyTl
|
||||
BEH9RybfPMxIYRQucLhn1gJQ
|
||||
BEqOLAU4yc7SByVHfAcs3Qo5
|
||||
BJMVwX-e50JD6PvXB6o1GSyh
|
||||
BJP6HHf4BmPl0FRzmg8tkgW3
|
||||
BNuuQS1lrRMFvMa-uIiW4GLN
|
||||
BOxd-ikvWDIqux9P6rPqa6OM
|
||||
BWQ3TdQY1hm7tIQo4ZCD02w3
|
||||
BYedvgoBkwEH-YRYp5WTQPff
|
||||
BqRRWZQHtt4f3EZ5MkVXp8K3
|
||||
BsD7US_nvA3ezta_W2EpCzMq
|
||||
BwzndDrW3Z9iLtyRKjYnmqLF
|
||||
C2BVNQp7nT_gpDqBH_bjXZZF
|
||||
CA9ukcG2sbSqqwfd3YJGDQrB
|
||||
CLXuWDhV4-KNHs12g6GganYY
|
||||
CNL6gHtiqZc8vo0B97vlDK5_
|
||||
CU_PGGKlSTztyj3bPzrOZUbd
|
||||
CmjzS5t3UH_wIbWhPWQL6wi0
|
||||
CyF27Xz3xEsYpLcJzakNnQMA
|
||||
DALI916VzKs4O6O8o8WN-Dqs
|
||||
DCUqgT_0HctZFmRmA0IUI14s
|
||||
DIuTsn1Ju2ZxdXX96EI84aCx
|
||||
DOx0t_avzUGYTJaogiZChMNn
|
||||
DdOJ9sq5g7PcYJ9I1IhOUd2y
|
||||
DetrLdRhi5ycSlkDiZNXw7Yi
|
||||
DgdHfl9QlsaJBFsiJOOFBsuc
|
||||
DwelhesRqKb640x8L2TZi8My
|
||||
E0TYTy18aKYqFZxxxuragQvp
|
||||
EQK_d9cuVgQAuIboLJkaLQ9C
|
||||
ET3hrTAZVbRTTxxABXAXjBjW
|
||||
EgvISC2bMpc5h4c9xOjp_wq1
|
||||
Ei7Ds1gZ5_JSvirBFvIOiheB
|
||||
Eq0yic_-Ik0j74v-Hywv0-MN
|
||||
FBxCjDCqK84cDza15TG-AtK6
|
||||
FC4ONZ6QZktH4tSQlRYYnJAS
|
||||
FSOVM3_DvC1R7HWqwbP__Gxg
|
||||
FZHGGwLPntm7a_HmfmS54YwS
|
||||
FaGQBneRKo5QM0OopPVdbzpC
|
||||
FaTfmrqZT8K8MUY-bdBlAwOp
|
||||
FjZWF0VZ1w-7GDQB6zFNjlgE
|
||||
FkJ1ZdSXBQrTT7vaxpxfL4pI
|
||||
G4WcTcK1ZKCXIX3QPtakZxwv
|
||||
GDbVMetYHme438tt7FpFdN5r
|
||||
GMSEMPCiXj5_SSNZZhat5nAm
|
||||
G_LWrhppp9OaxZyyQJdi1F_Q
|
||||
GcmzuvojKMFalIaCbkfJfcDM
|
||||
Gp4xty5BH488-1WBwC3rpJIQ
|
||||
GqO72h3jYxG5SxG1xpmYwa9E
|
||||
GxHOvZlrH6F7j0EgbdJC6B8O
|
||||
H3KrqbZmY0knuCNaJ05T876t
|
||||
HGC0FpAiduHLlszXU0ZXZXvN
|
||||
HrDcHyfGUyiN6ihnH0tmjJbE
|
||||
Hu-G8_qLleowX7f-tQGQkzeO
|
||||
I1B_s9OWm2xfaByFkOLgQ0yl
|
||||
I1VWhaUvyALDY89G15rIz_gd
|
||||
IA0tfceEKceaUik0bT2v74CA
|
||||
II0801owZZukLyiNZsxwuJvk
|
||||
IOqcAtgNDf5jTh2iv9b1l6Rw
|
||||
ITPQlC37yAqXl1817P7SVvsk
|
||||
IVmUcwlJ4GIWpmo_KX65VJFE
|
||||
Ih06QbD4Xcnr1KqM0M_Kg0Rj
|
||||
IkTWODrYXWjFupdowoJ04rCo
|
||||
InJJT5lwcAHPtpZ2LfHAhrMm
|
||||
ItnegxZe67BvR3Wk4XtdKI0W
|
||||
IvhGEXcI7s4qPke4ouIKIk1Q
|
||||
J0E89H_Kzpu428WBLke6fVU8
|
||||
JIdbCAZvH8ES5pzOkZcJK5ck
|
||||
JOIu9Xo-gn-v-rza0Mtji41z
|
||||
JduG4TJiEBG47xOYVHvAhxuz
|
||||
JgUfVIYkYs2zuK66yVjAUNT9
|
||||
Ji282vu4z8vFuTjEouwwHryn
|
||||
K9Z4E67jPcuPvtf7RLPdnpaw
|
||||
KK_EIDPfpixjHV-Ka2i9JvIA
|
||||
KLMlKgtR7bBOSlvymsgc4MEF
|
||||
KZoUUKRJEmIZw00qYN5FaMdE
|
||||
KbyfoDc65xzJRODGJcwM_-2T
|
||||
KcZN-RLY0WptumOoKgyk0Qm8
|
||||
Khc0j-3eR93prAheVNqbBLUT
|
||||
KsGAGeQUwT4Lurbjz4IE9zvl
|
||||
KvSR6ma46yVby-C6WmPNRicJ
|
||||
KzrvN8OO3uhpSiDhWaBy-y5X
|
||||
L2mNpmpiezrMK6NeyJSlkN6L
|
||||
L3v5f7Bh7rPnxF1I0_K7wEGs
|
||||
LV7jbq2b1ipFYQCdpaUSpmlR
|
||||
LYPhpVyxN9T8ckICFfdfs1Jo
|
||||
LgGYdJZbieA5sPnctxzVSorf
|
||||
LrjnfmIkzsfyYyx3Qxl0Rm9a
|
||||
Lse51KaglOHU0Qg_5447P2RL
|
||||
LtRMKJagqW05j1Sj8IGYmfee
|
||||
Lu53Amw7OLvHrqxqnRG_XhcC
|
||||
MH_zYaBuxhCuRbCoioUt0SOJ
|
||||
MOFqI4_2kKL9-mhHVqW9J4Yg
|
||||
MWmREEfwmhHJv-4-W06qBCEB
|
||||
MXoWr2GY6APgQEo952yq0Hmi
|
||||
N632pRMLVzeTY5EevfhBYVQ7
|
||||
N6AaNNvMEAVjS9ExJsvzwdIN
|
||||
N7O7UX8nPnP9inWUOXGHynQr
|
||||
NMBAi71OCk2W4L-UynQbYR8Y
|
||||
Nd1XOhOyQ0N1k2H-NF5BMMem
|
||||
NrIccqOOmoc54NwCM8Qzpjz6
|
||||
OKonDsEjocAvb7T4C7Y9WBm7
|
||||
OLqN7NnWgN5j-bpGkmXGGGwW
|
||||
OPX-fEeltPxZ8HXmPI5ZspT0
|
||||
ORaGMCRwWc5AYd9L7zp8SMVu
|
||||
OViud6CvOQ42TPGoBWWceibG
|
||||
OX51hgI2CoXNuZtAfs66i-Yg
|
||||
OXWPAKt7TlALp8HY5xpqzc0p
|
||||
Ocz-y73g1iL8FI2GtEbapPHp
|
||||
OxgB36AacnzjQHRmg-4W7GCq
|
||||
P0eXZ1PNORISVVbJduwf1qzO
|
||||
P8cXl7B8qAnBKRqwUYTF35Zm
|
||||
P9adlYDU4aT2IWwH6Mr7oui8
|
||||
PL0rRwcHoVPmrJABnmgtXt24
|
||||
PS42EIUhKnkUlymcn_IxEHjp
|
||||
PW2_rKNj517kcN8QxP4tuNek
|
||||
PfvG5wz8CXYgOQBzeBB1ta6j
|
||||
PjupiP5HHnVwohT8LYNssdCk
|
||||
PyMGN5W-TAyGI4dM5wRCrfQh
|
||||
Q-QPgXDoaRxCjSQZn1w72-WB
|
||||
Q82N6ZMpns1-_EWR4qm_f_3w
|
||||
QGWhm0XJz9EjbC3dxk6_sGGl
|
||||
QIYELiD8w4Uio0KedDqFkuzb
|
||||
QLdbL702fAxSpOcQ4Mi_R0cn
|
||||
QOGiLcFcbN105_D17MklAaRV
|
||||
QW6anvWA2JA8RirC6KPTvcbr
|
||||
QZ_opi_ebT5NRS9mrCLMvmlB
|
||||
QbQ5Yw3ccbonL7d84zOfYUlm
|
||||
QddyOKLifJGWheIng0oa61Pt
|
||||
QfYZ_mTRvxnnf0Hz7E_y7Jj2
|
||||
QpHYkQ-QUJSD983gRGygt5T2
|
||||
Qvt7A5eJwUkXJp4QNoiItGhY
|
||||
RIEfl_eW914OLHqrPhlVEISk
|
||||
RSPEHx05UxQcShE2csOP53EZ
|
||||
RfOlIMljxHhacuJpzM1MbYJ9
|
||||
RgPzlPNmRXEQ_IqIuQ4J-P6c
|
||||
RwXFwzd3j9dLHZz2bL2Uq5QO
|
||||
S646_s8br7-uJZUezJVVM8FH
|
||||
SVpdR5koE_s7zuWNGuDvemCC
|
||||
SYHHdyrMrDUdQtUKDLjyynhM
|
||||
Sd4u6XWrBeJEK6FDY-sI56qg
|
||||
Sgt3Lusd8IOh4Czq99NAAl7s
|
||||
SjfXlN0lZjY8xHvNeoekF5OJ
|
||||
Sq27WVRV8npJotWW_AFTLgiS
|
||||
StYvtb25ygivRcQnxUbuQnpM
|
||||
T3uBlwjup_LlHT-Ci7IOtlub
|
||||
T9H27mE8hcTln8sT0Zt6eN6M
|
||||
TL-uvxhyGNk1T_nksCN6tn4d
|
||||
TOxAcrPsl5PMm1zXkJckzNUr
|
||||
Tmv87v_1HdS_FP7gYn3aMgCn
|
||||
Trms3Ly90MqaWQ51lOjC_RQP
|
||||
TtFovUEQo6p3285L44hJVBm9
|
||||
U1VxeKdyJmhCCN0uypXOD-Ka
|
||||
UE69K_dIr-otaaVLraDMKp2u
|
||||
UHrWlTDgnr78BbH2gCEwyrt4
|
||||
UPTgqqMw_RcuK6nGFPwt9RH7
|
||||
UPZ9kYA_PZNBJm-PrCEtaDFt
|
||||
USGrRTq6oH-2ObyIBvWItnsc
|
||||
UdwfgbSDfKzQ0p9OJibITlYJ
|
||||
UoaqVg_kufdk_JZibVWTKk5e
|
||||
UwT7ubtiuYFd2VbdeqZ_-Jkw
|
||||
V-Kbn9pCYI-GLWnumxCF8pVo
|
||||
V3T-9hfpbKy0YMQtUaVGx_b6
|
||||
V7YY1Pcl5Jz-0Z7N5CNvU3vx
|
||||
V7rANpxoQOrnrXhNIlsI8_yt
|
||||
VCRHLnu5aZt1P1NQIZixClUI
|
||||
VXtrHxF-9kLz1Gik-aOZUZwe
|
||||
Va8yVFMIhEqHnikOGujHhQCc
|
||||
VllDXskGApZ2Qk5CVj96uk1c
|
||||
W1sudUI7yZ6wyVSe78rOOCqm
|
||||
WCq-Fgq_6h3CPW14OeDxdwl7
|
||||
WJebigkpHQwFKgcwAOQurDZv
|
||||
WPikWesnqYwgindpgV72fhvn
|
||||
WguHyWmYpfgRpkhMpIm5CjF_
|
||||
WxjPVyLYhtfM5GwRtOiBksay
|
||||
X9RB8pmvI3Dt8ARcQ6xqrSzk
|
||||
XA3pnyqDOcNFqCHJAIysm4q0
|
||||
XJXnYcSbFCuqsAi8kX_nOl8l
|
||||
XLlhqkocTizWGtZPTiiTGMx0
|
||||
XNPFwJ2MhelcvyHpOrVXOSok
|
||||
XOnmYuC6-Qy7hYJ-CiGAeExA
|
||||
XnxaWuJYLtuyI27HrxCWrWPt
|
||||
YBBGsWjx8CcCMIB6_N8iSdC4
|
||||
YFUfmGvYE_fVhyeIBpqYCmce
|
||||
YFpOGYuP8xixHYh256d2I85l
|
||||
YKVXHlwPBGY7Vs4HoF5n97ZI
|
||||
YPZOaOnYRCeqyEvQ2mBBysGZ
|
||||
YfRez6odcEJ6w0_0PbX7AhcL
|
||||
Ygrb8UrMyxRNGrqmWR3yyHFA
|
||||
YyhWs3Q8biQlzsohe7xj83Jc
|
||||
Z05Gbug-An9GKt-tR981b_Js
|
||||
Z47uFGZRuFVhS59f9xHCYZe2
|
||||
ZEXh-ng1RrG9ecu1q0wU3a-u
|
||||
ZFCVwidCXaEtha07bUWxfRvp
|
||||
ZRojLRbfSTQd-d2HGPOnTrVU
|
||||
ZTcHrvDd9Oi1uEHF9JuNYdBQ
|
||||
Zf50A7SUTls-KJiECi7o2Frk
|
||||
Zp0il5o_OkyR-Z7MqAwKS3I8
|
||||
ZuLVjKSwjnCBuKBgZKNKoqQO
|
||||
Zw3D00Q2E21DL-yWMt3zSak7
|
||||
ZzStlTDliUiyZIKVzs__3O5f
|
||||
_AJMzKxP8vZnKjickxzUWFAX
|
||||
_Ca9JKcvQAWZ3ckH9VPpC5Ll
|
||||
_MXUTp6mfaLEUHutHx3JaVbI
|
||||
_RvFmknOCqUnsQxT4oux0GrL
|
||||
_dcmUSiTDfd0PQeI05au8QEJ
|
||||
_yLJkqQyzbcKJPU_CeVWzm00
|
||||
a5u4u6-UC6-PBOUzvmfs7Z1L
|
||||
a5vD0uzi5jm2f0hFfMT64Pfv
|
||||
a63nB0tU-DTtM42G2aNkrShA
|
||||
a9ALeLOvcf7mvy8i1dUM-JHj
|
||||
aDnglVIUWPlwL5aWj_l9Wm1t
|
||||
aK-IyB8EsYBgs1ke2QB3sQsg
|
||||
aW88tBncstMpt7TY8APxW3Yf
|
||||
aWh8TLJsvgFgU7QY7tYQpqe_
|
||||
ai1H9pMfFn59XB-FuY1Bqon7
|
||||
akoelboFgZaFG0tHpl0JPaUC
|
||||
an1arYczph4N59wQiHWrl5UJ
|
||||
aupobNeJ7KCcaaz0MGMCelPW
|
||||
bC7ZciCDA1IZTAxQaqHA6V_2
|
||||
bSGuwEoJ_-hWIkeE7T32J0Y5
|
||||
bYQ9bzVOtWIT1KP7SNYhw9ql
|
||||
biuITlCpFfI850UE1CzhZ5kt
|
||||
bjeVoSuvrscih2gKCeTp3i7v
|
||||
bnfkfmba5lyIbRtS_by4_VYY
|
||||
c61d0UXHvOHQ1Y2Uadjpx5R-
|
||||
c6oZkWkGjgmhmsOvpf7koCeB
|
||||
cA7zfkYe5tp3_JGVJJIOECxy
|
||||
cEUbgxTFCCVac-RVpeOh74Pg
|
||||
cG4rAEShLNcIxf4YYokXLx3v
|
||||
cUKngAaPI1p37sYiAV5wN_gP
|
||||
cYdJyXLJ7_EQ4djuHFdSKeAk
|
||||
cprAnp5QHSCapUezuvUcJqVT
|
||||
cuZDqRTKhq3yl6X4lw5yLnFD
|
||||
d4dNIg5wu28BVkDsjTSHsTl7
|
||||
dO-rfebtISRpSrRmu3uAueOP
|
||||
dPkgXy3_owa1zO4u5Gv3UjFp
|
||||
e0DBr9Sysz0AygEQYcxIFvan
|
||||
eCVqcs-N4JuMHikayeDmOPzJ
|
||||
eRW6kj6gLR8Xupz8Cz90tzGb
|
||||
eRZrGhoevWq-y2YNvUjtgNLX
|
||||
e_7NTJt2SN65yqzDKbOcDUz2
|
||||
e_XiOoHyScbKuMLLTmIixoWq
|
||||
ecHiJKxLqpXJ_rYBXiFQ24LG
|
||||
eq8y7aMMaqgN9JEZiH85_Y8O
|
||||
f3OO66VVTWqzdwiWyHDhnYcf
|
||||
f418KGJuhr-SsjwFOSddc-LI
|
||||
fAik45g3PlcDEFXDt9bYEoC0
|
||||
fFBmvaepZapInzsarwTWBW5d
|
||||
fNTEOPg7XXRv0wq5vdTxmaPG
|
||||
fS0MRVojc9SnOkCCc8RumdOn
|
||||
fSVUpLWR-5KV0IoemXImOqVc
|
||||
fT49InAdr6485t9mfvMhzBf7
|
||||
fVcX9_uCMGCxd6MbTwQofsxG
|
||||
fbQc2uV_6z3Y7_iG8cbdT5ws
|
||||
fgisVVLTWGYuS_pALQCGPkkf
|
||||
fikbwSsggUFJSxy_GqTRMQn1
|
||||
gCPcePb_wXPiKz1StSfhWFfI
|
||||
gGhyHFIYY1a0NLLA70Hlby96
|
||||
gIWNTcRQMjPKXb7rbjpUfkcI
|
||||
gOYn2V3c3u66jrRhsMXmzzeV
|
||||
gbo7Nn40X7GC38PNOUtREDOr
|
||||
gkJGnjWYtrrvpI1rJlu04HE1
|
||||
gxwFpiH6SDXQGdh2LaZwPcks
|
||||
gza7QkV8f616sfWOzQGGDkw_
|
||||
h2mInl4RfG3qZeiHNh9lFc0_
|
||||
h5635XaY7uxPYE15jcMcrLyb
|
||||
hAtomKser1yudmaJAU2irA3k
|
||||
hPyXQ7ILCNluOxMQLR-5gyV_
|
||||
hVAs40fXNMFAAmB142mQguHq
|
||||
hVMpArWIEYtvzruPzC6ickln
|
||||
hc-ZQJ6oDGwhF49sJFsI2QYV
|
||||
hlVXERwo6JmxFRul8Y51p5CV
|
||||
hp4Rr3XIQiJxRyytautC-TZW
|
||||
hxj2vBf2TX5c3JKEX9T7oe-u
|
||||
i-vrMeas5MFTntV7TVEHJVNd
|
||||
i5z-sJv24UKG6XMCEW-XskO5
|
||||
iOwLXZWS_KkFEwb-S6dN4wPK
|
||||
jJNeWFzCXfMAutwIpJBNIyoQ
|
||||
jT23F1UVfkaUn6a4aK-pEwOi
|
||||
jZ_DEGyJLj8tEKzDNlDeSaLc
|
||||
jlRjSqs7zB4yBpHPbInalsC0
|
||||
jt7gTbiBx47g0XCDNkkqPyKr
|
||||
jyhpPdLBxNQDJvoiYvAX4FIl
|
||||
kHSiFkr-h2DpbYNewUYeQoL7
|
||||
kYBE31hGYbSneEoTktlib-We
|
||||
ko_nMs8H8VAhdnflAmyvFjoD
|
||||
ktjEUG0hFPMjavPfbU5wh8Xz
|
||||
l-W2fBUg-1yq5zqubAWnq9Js
|
||||
lAl9rhxy2L86TkyTbUqFGP-R
|
||||
lB0fmYMhFk-vvvrDp4wy-ZOZ
|
||||
lCKCw-7fVPoTBWL4z1I_sVq5
|
||||
lNZkDgDVoFWDzTkbfjVtJr1S
|
||||
lPyqShwAgAxRmyTJEBIWhin5
|
||||
lR9Xgbmfwsg0q2ZrYn9PJn91
|
||||
lRa7DcWhrQMp8Wj8IQDaLKgr
|
||||
l_amxmNI0MN0hLkYVFBSo1aC
|
||||
m47pUEzlAI0Ey1YHx8-Zdcld
|
||||
m9lM9SJvfsoHxqq_JYOG6j3Y
|
||||
mFD81QW4vTNwKdWkW74b-BxQ
|
||||
mL1g3O5aAUF9eUATiJaJvox1
|
||||
mPLnzDNPhDuZxAJutVyvDzZ3
|
||||
mQ9xclAwEE6wTpf-0m24A9qZ
|
||||
mYdmniKoHbwafvxRsNIDe2kC
|
||||
m_EqVjP5rC_Dht2P0cNEBY_B
|
||||
mkcuvsclPumbeIj3si0MVsjl
|
||||
ms7AkuepLGqGUHyunPg8DiRB
|
||||
mwAtHwaCCTYQnZ57KRbQRRP5
|
||||
myg0ey8asUjNvrpPKB8lYHdy
|
||||
n5t67wKwJZoCUs49lTPAxVDT
|
||||
nEolku0gqtIzn146v2-oDn-2
|
||||
nc9Uvp6uRbl-_dgEyvy-TVbj
|
||||
njwFnPRvX7bnJtKsGmnqeWWz
|
||||
nlgki7YlAP43303vdF2n7CdW
|
||||
nm5esBfzK_KqD5b4yo3REluh
|
||||
nqE3EsEx_c1P9G63gH_97sJ6
|
||||
nu3G30byq3f6khGkz4yv4Zn6
|
||||
nuBpnUvqZRuYbYaVbRrWyO0I
|
||||
o23GeKj9U5AnnQ-mLUdWAyNA
|
||||
o3xbdCWvzkAKGdpn6cdybvtt
|
||||
oElL3xIzKMWx3vrWtV3ihp0-
|
||||
oF8cjJ0EfUG7vePzKvCFrrTa
|
||||
oGzo6GcTh8Kob6a_IWLEHSdu
|
||||
oKLf3-qb6tM0afa1LKet_EaJ
|
||||
oLtxXwrpsMBX-I3R6dujCLX_
|
||||
oTe9nqBbruD12pI6WdtkvQy8
|
||||
oYWONKfSf7WPlppXCyx-PYWN
|
||||
o_PEnAv_mqXbjMRh92zYPvHa
|
||||
ocRNoA33S9vzPy_WftoX3SqW
|
||||
okj12Oww_YghgerNyCs24CTo
|
||||
ou4bK9WVbsgsC6ndmxwjzPeV
|
||||
pabYzqEA8AwxV-8oweXEn_XH
|
||||
pbOIgII3oj6md-lvOl1k6yVQ
|
||||
ptr4ZnlcABWk7Mmr3Q4vw7EP
|
||||
qD9yFyK6i2AI1t112pcPM7_u
|
||||
qEnjjonbycXPYMKbAbnsjEVg
|
||||
qGN51Xsu5i0IUY2oKJC5zNgw
|
||||
qLvfiN4HxLltdbewpbzlIOy0
|
||||
qOZlw7g3yl_LJd_JY6BA8237
|
||||
qR6uvPaFtHjpLNX_fFk6vEM7
|
||||
qScGDejGduYCeCBg-q7M7MiM
|
||||
qlNNGK8Fa-_x_2pgY8deY_AN
|
||||
qpnjL7YXTpuIbjO3FwGhtwLg
|
||||
qsVN8_f-ghRJ-XNY86zDSyMc
|
||||
qz6BbttJVmW-ZS_NmiHDr_lN
|
||||
rAa2ZmCz1jDkpDCZESSj7FvW
|
||||
rJUf-AGN9TgQA3AigG86rcqR
|
||||
rM_dRnZBQCXs7k_4sXvS7Kec
|
||||
ra1rmavYgL8JTX1gehxsZc5W
|
||||
rzAICTO5lnmUaanTIWuvFr5A
|
||||
s4Jb7PGFyxNpDHAhSAfaQPn5
|
||||
s7iDGjbVbJ32EXqAaEo8lKaE
|
||||
s94vRXFVhCegv651KpxgdaPm
|
||||
sAQA8bWIsgcQCYJntG2dyybK
|
||||
sAYsruYRg7JzXKD0v9RTE3co
|
||||
sR0vvOC-XUL2AHwQwmFvDc27
|
||||
sSEuthADzEcMuhZtydhOo4OU
|
||||
sUyO7Bcna4kDF-LA2r-YSvOH
|
||||
sa84HQ3sP5HzkE-laAKQI02l
|
||||
sbeCM86e6Oh5m0dd4c6ZIhVz
|
||||
sqqFxqnfuChGii0dOoBwJM2M
|
||||
swOP6ZGtoRTDZg0Tyv7Dh-AT
|
||||
t3XgOkTPn_S6UFxAT54PazCG
|
||||
t8jICi79dGglrjG3L1IC6Eso
|
||||
tA-CX-nuGxgXinQpqtkdSa46
|
||||
tD9ee9lEYm70ADB0gWJ_KZ1F
|
||||
tFn4Zh-d4Pb8G-i6LtcT1Fq1
|
||||
tVTQi18sakruYJvOouU015N1
|
||||
tW_GEcTGMJqC6kIlg47DNk90
|
||||
tacaE9-Xf9vb_qyZuvn-vyyN
|
||||
u_TJoU0pncvmCAx3jmwENg0W
|
||||
ueAejaJT9tywSYYojnHKULfD
|
||||
v4IN0DtS71aDEoQEDx_K-FwJ
|
||||
v894AOnvqimcyFDgZ4de4Ulj
|
||||
vDQq22g0uH3KduMv9iMpXkvh
|
||||
vJ4z6UCHbDqgFFLhRConYvEJ
|
||||
vTkmhyaDNoP8CIZwB6Fmfxrm
|
||||
vUaBWvL_aQ7nAaJ6bcBdi6-U
|
||||
vXhFjpGXZHkynf18c_V9_Zy1
|
||||
vkNd-5xNKExm4x1FxB5Jr6IQ
|
||||
vqQd1_dF6NVmIXk0A5cbDel7
|
||||
vvLHRa-0ZTK1_mQ00jkp2BL2
|
||||
w3cARp7ux_Fy1X5q88NlBq0C
|
||||
w9XSjyCc3YdTPvkukoWrnpUg
|
||||
wHvCxA_H8xFRnPzlpgNcEQ41
|
||||
wZuQdo3Fy5xzv5LLX5SWwRxG
|
||||
wwhM4IHTnoXxrrGuI9qY2w2I
|
||||
x9naqirRz-Hy23xf50FIfae9
|
||||
xCeonrXZ8OjekdIq2Tmn9Rex
|
||||
xPCj1iM36RxSQiP-8Fk_Gg4s
|
||||
xd71dAhCMvbj1_dsdEEkXC7K
|
||||
yD7bdAq6FzoXncSLUREyOLkW
|
||||
yVgQkwinz_mujY9Vial9Zd-Y
|
||||
ybcS7Q5IUwyorrDfI4hXw-WV
|
||||
ywvUEXkHYpIfxklAswUhy6_w
|
||||
z2PYShDzIOivcCGfK30j0u9d
|
||||
zEtgl8tysLCOye9BPVIiTCBH
|
||||
zJbRBY4D-4JZZ8TnwaCc6BJ1
|
||||
zLGbtgl9hOUSCs8ZhtEHUJPs
|
||||
zkVVoFSyfZwfcsaA0BretTU1
|
||||
+500
@@ -0,0 +1,500 @@
|
||||
-JO_BmNxokKq4xGrnMo9sdDu
|
||||
-KZNGfk-pTzYWhICHeiLU13d
|
||||
-ME36huPTvwxZM8j6LM7nhVL
|
||||
-MUFBhEpBOBb0msxC2TijK87
|
||||
-R9o99l_NhwbrzJebvM8IIPZ
|
||||
-WyAggjxK1C_FI9AJZdtcUNe
|
||||
-ZzRFnItK3kg9-rDTDpLTFjQ
|
||||
-eQpQgTgRWxIQH9Goju0Mz58
|
||||
-ewdgbGOCV5CZaSAaixGuImv
|
||||
-iOYc3DXzFbfownFY2O9s-Se
|
||||
-j2JLdD63weBN32FkUNRnWv2
|
||||
-rBo6kWyY7DnAXBzXZTMk583
|
||||
0-pfH9dpsIyLZSYpObANht0B
|
||||
03Y2zPbTS3FVHDy6HV4kuyzq
|
||||
0CTXp7hdeR2Vj8-U5AjNcrPW
|
||||
0DDc7RjjNE0QArrh_8-DgPIj
|
||||
0MmX2uR8ZX3N4I85qhTE0Ykn
|
||||
0QAei_1e6wQXvZL-VeZEmjGo
|
||||
1Boz4eFTgwYlec5FUr6Z1r3p
|
||||
1PvFJQVu5f7i8b0b94p-OIZG
|
||||
237SWgxKWKIdMLrYNg8-8bg5
|
||||
246Ll9sDuvLWScNKvng_TbpF
|
||||
257SVY4P7gu_TBqLrTUUWNZg
|
||||
2Hgjtn-lI4BiD5lhwBWY5Qri
|
||||
2JHlAOp0LTr4beRpMQxvRd3n
|
||||
2KnIrncxlFXIzwhgwy2bpWIG
|
||||
2VRr1GOeOt1SsauYbkfiDM6k
|
||||
2j_16KxvpIoSFBSzI3AgaM38
|
||||
2mFYQawzu6zbgMnJ4InW7ckG
|
||||
2nVv1eLedgzlssZi6miDEQ6C
|
||||
2qktrAu06JoYEMfIMWkcoOgp
|
||||
2vMpUEe2QrdjIdnAjYzM1MVu
|
||||
2xd-BmRxuOyXnKDoiASQLcV3
|
||||
3-r78PKDYip_DO3hA6bpIxe5
|
||||
3GNbWAa-OcnvlQSFnf0PWOK7
|
||||
3OAvKUjeQ7_BNHl7WTV43TRJ
|
||||
3mU_KXt8mmVGzE1Lo6wmZ7Cr
|
||||
3sTdwR2oMli_AYH4Qknyh0GW
|
||||
4-sCeOjs2tqZ_ZCsXJvnr7WS
|
||||
415_8nce9ItgY5LfxRjiotsq
|
||||
44aGZneIxEbHLNtR9NO8SacF
|
||||
48Wk-8DylzG_-Xm6pQ4UIwhf
|
||||
4Az25KMAMETSyP4Dm7ZMSAho
|
||||
4KVNy5S-s0uL1PRfraKKhaNd
|
||||
4Xn7bDt9Mpb_B6Dz6p32maMp
|
||||
4wIh5dXMFB1gLfeIs2XjNUHE
|
||||
53EtHLVD5DMPD446bXrg_DRh
|
||||
5G3dKpPi-fzUdfnMNzAZyh1n
|
||||
5Q-PCDe19vl5BKnUgYPwkHKZ
|
||||
5Qgs052gLvOZEcwLK9-EISTt
|
||||
5VpWOQAOeFS4SKRuYOl0QiAE
|
||||
5eUc49iy0V6jSjI5UwEWEzY8
|
||||
5hFTCKNy_Xe75E79aLdflBCq
|
||||
5odNvUYIIwM0VHjLq_DFTqhv
|
||||
5vq0CSI-0Niq-R-rmWeA0wsN
|
||||
6-6T3Xtwwc-JwLDU8KmQQozK
|
||||
62f_QTLFMSZ19NcauqyV1cRm
|
||||
6HbO5oFxeYvjYoov-BGWm-5I
|
||||
6KHmRhjNswy6Uzu6fbFNwFz2
|
||||
6KbVLSrMSezIhQmcILlIzU_e
|
||||
6M3zX01JjbOtcPufal8sjUQp
|
||||
6S4wRTSW3wlIWYmlsnE39WBd
|
||||
6Y99PGcVeAa4E6T0fnkdVfZn
|
||||
6ggUHgc_se899qTODgMcBc30
|
||||
6qBGcXOzZ_2epHiK2rJdWTke
|
||||
78W5GiP-BCRMo9aud4T5a80I
|
||||
7Dx1AIxeKbL3bClWlylCWJvU
|
||||
7Yfy7nYivWOMz8_0l7bFD3dD
|
||||
7a1OEAKh1VWu6Xok26ZfCQxM
|
||||
7bo9mCFU0Mp8wmsWBM293fsR
|
||||
8EYQsT_cYy5v5zP6dHG0hLWM
|
||||
8HdCByqfbvzzDTeKCM_Jorsb
|
||||
8JFtRnU2rAbw2YGicT4nXhvW
|
||||
8iuvGtitP9jsYAlJueE-cJlv
|
||||
92tT7J3s8rSe34kAUNJEUC5J
|
||||
9Fp2UhnPPMXzkU94uPwX8y_4
|
||||
9SATv6VSaeTvAsnVGoIiTGmO
|
||||
9SUOI6c6IybVHJN40KQXUXRj
|
||||
9VYGfnH_3rfhsGAd7zpcYa-L
|
||||
9ZjRbUYh1dQHedOtgS4cLRar
|
||||
9gSJdX5pTpdFN8LkOEO47Dvv
|
||||
9kAtqi_I6h1hfbbw_2M5NnOG
|
||||
9ldiDO0hlO1Zm0ywRm0HqOdz
|
||||
9nB8633S9qyo-5YJ5KXMS6eX
|
||||
9ofMSV8bZ1oDDAjeX7aUhdSc
|
||||
9sMTs2X3a2_vYqlvPOD_fNMm
|
||||
9yKD4QPWCziJgHuWOI3slo0z
|
||||
9zmyf7jFV7V7H9C2h7HMHZfn
|
||||
A6iQTij8277LasFY37J6Hww3
|
||||
A8sYgpAgtglnOdzkairNLg5F
|
||||
AB1Y3EWKfUqZrJxjLuZJmbOK
|
||||
AD2yY0cdlzzimORg03I1H9KX
|
||||
AIi_035d5SAgUb-T5qkNXLPu
|
||||
ANe70iwAUf0xVcyPy2c0E7NT
|
||||
AOgteP0ki9batWdT0gg_f9bP
|
||||
AP3Km2QiUtL6rFOpe2lB-eAf
|
||||
APLsloBWZAM-yXDqMxVMgGfD
|
||||
ATbBCksfvemyJ6gfaIgmHonn
|
||||
AZLFfMSR59n76tLq_187UQrJ
|
||||
AbaXOng6J8MC4fgVQ4uy4jRa
|
||||
Aig9sfnTeV8K6oIZ6cK7mIJe
|
||||
Azy_z6GQbL6ifrS2zHS2lyTl
|
||||
BEH9RybfPMxIYRQucLhn1gJQ
|
||||
BEqOLAU4yc7SByVHfAcs3Qo5
|
||||
BJMVwX-e50JD6PvXB6o1GSyh
|
||||
BJP6HHf4BmPl0FRzmg8tkgW3
|
||||
BNuuQS1lrRMFvMa-uIiW4GLN
|
||||
BOxd-ikvWDIqux9P6rPqa6OM
|
||||
BWQ3TdQY1hm7tIQo4ZCD02w3
|
||||
BYedvgoBkwEH-YRYp5WTQPff
|
||||
BqRRWZQHtt4f3EZ5MkVXp8K3
|
||||
BsD7US_nvA3ezta_W2EpCzMq
|
||||
BwzndDrW3Z9iLtyRKjYnmqLF
|
||||
C2BVNQp7nT_gpDqBH_bjXZZF
|
||||
CA9ukcG2sbSqqwfd3YJGDQrB
|
||||
CLXuWDhV4-KNHs12g6GganYY
|
||||
CNL6gHtiqZc8vo0B97vlDK5_
|
||||
CU_PGGKlSTztyj3bPzrOZUbd
|
||||
CmjzS5t3UH_wIbWhPWQL6wi0
|
||||
CyF27Xz3xEsYpLcJzakNnQMA
|
||||
DALI916VzKs4O6O8o8WN-Dqs
|
||||
DCUqgT_0HctZFmRmA0IUI14s
|
||||
DIuTsn1Ju2ZxdXX96EI84aCx
|
||||
DOx0t_avzUGYTJaogiZChMNn
|
||||
DdOJ9sq5g7PcYJ9I1IhOUd2y
|
||||
DetrLdRhi5ycSlkDiZNXw7Yi
|
||||
DgdHfl9QlsaJBFsiJOOFBsuc
|
||||
DwelhesRqKb640x8L2TZi8My
|
||||
E0TYTy18aKYqFZxxxuragQvp
|
||||
EQK_d9cuVgQAuIboLJkaLQ9C
|
||||
ET3hrTAZVbRTTxxABXAXjBjW
|
||||
EgvISC2bMpc5h4c9xOjp_wq1
|
||||
Ei7Ds1gZ5_JSvirBFvIOiheB
|
||||
Eq0yic_-Ik0j74v-Hywv0-MN
|
||||
FBxCjDCqK84cDza15TG-AtK6
|
||||
FC4ONZ6QZktH4tSQlRYYnJAS
|
||||
FSOVM3_DvC1R7HWqwbP__Gxg
|
||||
FZHGGwLPntm7a_HmfmS54YwS
|
||||
FaGQBneRKo5QM0OopPVdbzpC
|
||||
FaTfmrqZT8K8MUY-bdBlAwOp
|
||||
FjZWF0VZ1w-7GDQB6zFNjlgE
|
||||
FkJ1ZdSXBQrTT7vaxpxfL4pI
|
||||
G4WcTcK1ZKCXIX3QPtakZxwv
|
||||
GDbVMetYHme438tt7FpFdN5r
|
||||
GMSEMPCiXj5_SSNZZhat5nAm
|
||||
G_LWrhppp9OaxZyyQJdi1F_Q
|
||||
GcmzuvojKMFalIaCbkfJfcDM
|
||||
Gp4xty5BH488-1WBwC3rpJIQ
|
||||
GqO72h3jYxG5SxG1xpmYwa9E
|
||||
GxHOvZlrH6F7j0EgbdJC6B8O
|
||||
H3KrqbZmY0knuCNaJ05T876t
|
||||
HGC0FpAiduHLlszXU0ZXZXvN
|
||||
HrDcHyfGUyiN6ihnH0tmjJbE
|
||||
Hu-G8_qLleowX7f-tQGQkzeO
|
||||
I1B_s9OWm2xfaByFkOLgQ0yl
|
||||
I1VWhaUvyALDY89G15rIz_gd
|
||||
IA0tfceEKceaUik0bT2v74CA
|
||||
II0801owZZukLyiNZsxwuJvk
|
||||
IOqcAtgNDf5jTh2iv9b1l6Rw
|
||||
ITPQlC37yAqXl1817P7SVvsk
|
||||
IVmUcwlJ4GIWpmo_KX65VJFE
|
||||
Ih06QbD4Xcnr1KqM0M_Kg0Rj
|
||||
IkTWODrYXWjFupdowoJ04rCo
|
||||
InJJT5lwcAHPtpZ2LfHAhrMm
|
||||
ItnegxZe67BvR3Wk4XtdKI0W
|
||||
IvhGEXcI7s4qPke4ouIKIk1Q
|
||||
J0E89H_Kzpu428WBLke6fVU8
|
||||
JIdbCAZvH8ES5pzOkZcJK5ck
|
||||
JOIu9Xo-gn-v-rza0Mtji41z
|
||||
JduG4TJiEBG47xOYVHvAhxuz
|
||||
JgUfVIYkYs2zuK66yVjAUNT9
|
||||
Ji282vu4z8vFuTjEouwwHryn
|
||||
K9Z4E67jPcuPvtf7RLPdnpaw
|
||||
KK_EIDPfpixjHV-Ka2i9JvIA
|
||||
KLMlKgtR7bBOSlvymsgc4MEF
|
||||
KZoUUKRJEmIZw00qYN5FaMdE
|
||||
KbyfoDc65xzJRODGJcwM_-2T
|
||||
KcZN-RLY0WptumOoKgyk0Qm8
|
||||
Khc0j-3eR93prAheVNqbBLUT
|
||||
KsGAGeQUwT4Lurbjz4IE9zvl
|
||||
KvSR6ma46yVby-C6WmPNRicJ
|
||||
KzrvN8OO3uhpSiDhWaBy-y5X
|
||||
L2mNpmpiezrMK6NeyJSlkN6L
|
||||
L3v5f7Bh7rPnxF1I0_K7wEGs
|
||||
LV7jbq2b1ipFYQCdpaUSpmlR
|
||||
LYPhpVyxN9T8ckICFfdfs1Jo
|
||||
LgGYdJZbieA5sPnctxzVSorf
|
||||
LrjnfmIkzsfyYyx3Qxl0Rm9a
|
||||
Lse51KaglOHU0Qg_5447P2RL
|
||||
LtRMKJagqW05j1Sj8IGYmfee
|
||||
Lu53Amw7OLvHrqxqnRG_XhcC
|
||||
MH_zYaBuxhCuRbCoioUt0SOJ
|
||||
MOFqI4_2kKL9-mhHVqW9J4Yg
|
||||
MWmREEfwmhHJv-4-W06qBCEB
|
||||
MXoWr2GY6APgQEo952yq0Hmi
|
||||
N632pRMLVzeTY5EevfhBYVQ7
|
||||
N6AaNNvMEAVjS9ExJsvzwdIN
|
||||
N7O7UX8nPnP9inWUOXGHynQr
|
||||
NMBAi71OCk2W4L-UynQbYR8Y
|
||||
Nd1XOhOyQ0N1k2H-NF5BMMem
|
||||
NrIccqOOmoc54NwCM8Qzpjz6
|
||||
OKonDsEjocAvb7T4C7Y9WBm7
|
||||
OLqN7NnWgN5j-bpGkmXGGGwW
|
||||
OPX-fEeltPxZ8HXmPI5ZspT0
|
||||
ORaGMCRwWc5AYd9L7zp8SMVu
|
||||
OViud6CvOQ42TPGoBWWceibG
|
||||
OX51hgI2CoXNuZtAfs66i-Yg
|
||||
OXWPAKt7TlALp8HY5xpqzc0p
|
||||
Ocz-y73g1iL8FI2GtEbapPHp
|
||||
OxgB36AacnzjQHRmg-4W7GCq
|
||||
P0eXZ1PNORISVVbJduwf1qzO
|
||||
P8cXl7B8qAnBKRqwUYTF35Zm
|
||||
P9adlYDU4aT2IWwH6Mr7oui8
|
||||
PL0rRwcHoVPmrJABnmgtXt24
|
||||
PS42EIUhKnkUlymcn_IxEHjp
|
||||
PW2_rKNj517kcN8QxP4tuNek
|
||||
PfvG5wz8CXYgOQBzeBB1ta6j
|
||||
PjupiP5HHnVwohT8LYNssdCk
|
||||
PyMGN5W-TAyGI4dM5wRCrfQh
|
||||
Q-QPgXDoaRxCjSQZn1w72-WB
|
||||
Q82N6ZMpns1-_EWR4qm_f_3w
|
||||
QGWhm0XJz9EjbC3dxk6_sGGl
|
||||
QIYELiD8w4Uio0KedDqFkuzb
|
||||
QLdbL702fAxSpOcQ4Mi_R0cn
|
||||
QOGiLcFcbN105_D17MklAaRV
|
||||
QW6anvWA2JA8RirC6KPTvcbr
|
||||
QZ_opi_ebT5NRS9mrCLMvmlB
|
||||
QbQ5Yw3ccbonL7d84zOfYUlm
|
||||
QddyOKLifJGWheIng0oa61Pt
|
||||
QfYZ_mTRvxnnf0Hz7E_y7Jj2
|
||||
QpHYkQ-QUJSD983gRGygt5T2
|
||||
Qvt7A5eJwUkXJp4QNoiItGhY
|
||||
RIEfl_eW914OLHqrPhlVEISk
|
||||
RSPEHx05UxQcShE2csOP53EZ
|
||||
RfOlIMljxHhacuJpzM1MbYJ9
|
||||
RgPzlPNmRXEQ_IqIuQ4J-P6c
|
||||
RwXFwzd3j9dLHZz2bL2Uq5QO
|
||||
S646_s8br7-uJZUezJVVM8FH
|
||||
SVpdR5koE_s7zuWNGuDvemCC
|
||||
SYHHdyrMrDUdQtUKDLjyynhM
|
||||
Sd4u6XWrBeJEK6FDY-sI56qg
|
||||
Sgt3Lusd8IOh4Czq99NAAl7s
|
||||
SjfXlN0lZjY8xHvNeoekF5OJ
|
||||
Sq27WVRV8npJotWW_AFTLgiS
|
||||
StYvtb25ygivRcQnxUbuQnpM
|
||||
T3uBlwjup_LlHT-Ci7IOtlub
|
||||
T9H27mE8hcTln8sT0Zt6eN6M
|
||||
TL-uvxhyGNk1T_nksCN6tn4d
|
||||
TOxAcrPsl5PMm1zXkJckzNUr
|
||||
Tmv87v_1HdS_FP7gYn3aMgCn
|
||||
Trms3Ly90MqaWQ51lOjC_RQP
|
||||
TtFovUEQo6p3285L44hJVBm9
|
||||
U1VxeKdyJmhCCN0uypXOD-Ka
|
||||
UE69K_dIr-otaaVLraDMKp2u
|
||||
UHrWlTDgnr78BbH2gCEwyrt4
|
||||
UPTgqqMw_RcuK6nGFPwt9RH7
|
||||
UPZ9kYA_PZNBJm-PrCEtaDFt
|
||||
USGrRTq6oH-2ObyIBvWItnsc
|
||||
UdwfgbSDfKzQ0p9OJibITlYJ
|
||||
UoaqVg_kufdk_JZibVWTKk5e
|
||||
UwT7ubtiuYFd2VbdeqZ_-Jkw
|
||||
V-Kbn9pCYI-GLWnumxCF8pVo
|
||||
V3T-9hfpbKy0YMQtUaVGx_b6
|
||||
V7YY1Pcl5Jz-0Z7N5CNvU3vx
|
||||
V7rANpxoQOrnrXhNIlsI8_yt
|
||||
VCRHLnu5aZt1P1NQIZixClUI
|
||||
VXtrHxF-9kLz1Gik-aOZUZwe
|
||||
Va8yVFMIhEqHnikOGujHhQCc
|
||||
VllDXskGApZ2Qk5CVj96uk1c
|
||||
W1sudUI7yZ6wyVSe78rOOCqm
|
||||
WCq-Fgq_6h3CPW14OeDxdwl7
|
||||
WJebigkpHQwFKgcwAOQurDZv
|
||||
WPikWesnqYwgindpgV72fhvn
|
||||
WguHyWmYpfgRpkhMpIm5CjF_
|
||||
WxjPVyLYhtfM5GwRtOiBksay
|
||||
X9RB8pmvI3Dt8ARcQ6xqrSzk
|
||||
XA3pnyqDOcNFqCHJAIysm4q0
|
||||
XJXnYcSbFCuqsAi8kX_nOl8l
|
||||
XLlhqkocTizWGtZPTiiTGMx0
|
||||
XNPFwJ2MhelcvyHpOrVXOSok
|
||||
XOnmYuC6-Qy7hYJ-CiGAeExA
|
||||
XnxaWuJYLtuyI27HrxCWrWPt
|
||||
YBBGsWjx8CcCMIB6_N8iSdC4
|
||||
YFUfmGvYE_fVhyeIBpqYCmce
|
||||
YFpOGYuP8xixHYh256d2I85l
|
||||
YKVXHlwPBGY7Vs4HoF5n97ZI
|
||||
YPZOaOnYRCeqyEvQ2mBBysGZ
|
||||
YfRez6odcEJ6w0_0PbX7AhcL
|
||||
Ygrb8UrMyxRNGrqmWR3yyHFA
|
||||
YyhWs3Q8biQlzsohe7xj83Jc
|
||||
Z05Gbug-An9GKt-tR981b_Js
|
||||
Z47uFGZRuFVhS59f9xHCYZe2
|
||||
ZEXh-ng1RrG9ecu1q0wU3a-u
|
||||
ZFCVwidCXaEtha07bUWxfRvp
|
||||
ZRojLRbfSTQd-d2HGPOnTrVU
|
||||
ZTcHrvDd9Oi1uEHF9JuNYdBQ
|
||||
Zf50A7SUTls-KJiECi7o2Frk
|
||||
Zp0il5o_OkyR-Z7MqAwKS3I8
|
||||
ZuLVjKSwjnCBuKBgZKNKoqQO
|
||||
Zw3D00Q2E21DL-yWMt3zSak7
|
||||
ZzStlTDliUiyZIKVzs__3O5f
|
||||
_AJMzKxP8vZnKjickxzUWFAX
|
||||
_Ca9JKcvQAWZ3ckH9VPpC5Ll
|
||||
_MXUTp6mfaLEUHutHx3JaVbI
|
||||
_RvFmknOCqUnsQxT4oux0GrL
|
||||
_dcmUSiTDfd0PQeI05au8QEJ
|
||||
_yLJkqQyzbcKJPU_CeVWzm00
|
||||
a5u4u6-UC6-PBOUzvmfs7Z1L
|
||||
a5vD0uzi5jm2f0hFfMT64Pfv
|
||||
a63nB0tU-DTtM42G2aNkrShA
|
||||
a9ALeLOvcf7mvy8i1dUM-JHj
|
||||
aDnglVIUWPlwL5aWj_l9Wm1t
|
||||
aK-IyB8EsYBgs1ke2QB3sQsg
|
||||
aW88tBncstMpt7TY8APxW3Yf
|
||||
aWh8TLJsvgFgU7QY7tYQpqe_
|
||||
ai1H9pMfFn59XB-FuY1Bqon7
|
||||
akoelboFgZaFG0tHpl0JPaUC
|
||||
an1arYczph4N59wQiHWrl5UJ
|
||||
aupobNeJ7KCcaaz0MGMCelPW
|
||||
bC7ZciCDA1IZTAxQaqHA6V_2
|
||||
bSGuwEoJ_-hWIkeE7T32J0Y5
|
||||
bYQ9bzVOtWIT1KP7SNYhw9ql
|
||||
biuITlCpFfI850UE1CzhZ5kt
|
||||
bjeVoSuvrscih2gKCeTp3i7v
|
||||
bnfkfmba5lyIbRtS_by4_VYY
|
||||
c61d0UXHvOHQ1Y2Uadjpx5R-
|
||||
c6oZkWkGjgmhmsOvpf7koCeB
|
||||
cA7zfkYe5tp3_JGVJJIOECxy
|
||||
cEUbgxTFCCVac-RVpeOh74Pg
|
||||
cG4rAEShLNcIxf4YYokXLx3v
|
||||
cUKngAaPI1p37sYiAV5wN_gP
|
||||
cYdJyXLJ7_EQ4djuHFdSKeAk
|
||||
cprAnp5QHSCapUezuvUcJqVT
|
||||
cuZDqRTKhq3yl6X4lw5yLnFD
|
||||
d4dNIg5wu28BVkDsjTSHsTl7
|
||||
dO-rfebtISRpSrRmu3uAueOP
|
||||
dPkgXy3_owa1zO4u5Gv3UjFp
|
||||
e0DBr9Sysz0AygEQYcxIFvan
|
||||
eCVqcs-N4JuMHikayeDmOPzJ
|
||||
eRW6kj6gLR8Xupz8Cz90tzGb
|
||||
eRZrGhoevWq-y2YNvUjtgNLX
|
||||
e_7NTJt2SN65yqzDKbOcDUz2
|
||||
e_XiOoHyScbKuMLLTmIixoWq
|
||||
ecHiJKxLqpXJ_rYBXiFQ24LG
|
||||
eq8y7aMMaqgN9JEZiH85_Y8O
|
||||
f3OO66VVTWqzdwiWyHDhnYcf
|
||||
f418KGJuhr-SsjwFOSddc-LI
|
||||
fAik45g3PlcDEFXDt9bYEoC0
|
||||
fFBmvaepZapInzsarwTWBW5d
|
||||
fNTEOPg7XXRv0wq5vdTxmaPG
|
||||
fS0MRVojc9SnOkCCc8RumdOn
|
||||
fSVUpLWR-5KV0IoemXImOqVc
|
||||
fT49InAdr6485t9mfvMhzBf7
|
||||
fVcX9_uCMGCxd6MbTwQofsxG
|
||||
fbQc2uV_6z3Y7_iG8cbdT5ws
|
||||
fgisVVLTWGYuS_pALQCGPkkf
|
||||
fikbwSsggUFJSxy_GqTRMQn1
|
||||
gCPcePb_wXPiKz1StSfhWFfI
|
||||
gGhyHFIYY1a0NLLA70Hlby96
|
||||
gIWNTcRQMjPKXb7rbjpUfkcI
|
||||
gOYn2V3c3u66jrRhsMXmzzeV
|
||||
gbo7Nn40X7GC38PNOUtREDOr
|
||||
gkJGnjWYtrrvpI1rJlu04HE1
|
||||
gxwFpiH6SDXQGdh2LaZwPcks
|
||||
gza7QkV8f616sfWOzQGGDkw_
|
||||
h2mInl4RfG3qZeiHNh9lFc0_
|
||||
h5635XaY7uxPYE15jcMcrLyb
|
||||
hAtomKser1yudmaJAU2irA3k
|
||||
hPyXQ7ILCNluOxMQLR-5gyV_
|
||||
hVAs40fXNMFAAmB142mQguHq
|
||||
hVMpArWIEYtvzruPzC6ickln
|
||||
hc-ZQJ6oDGwhF49sJFsI2QYV
|
||||
hlVXERwo6JmxFRul8Y51p5CV
|
||||
hp4Rr3XIQiJxRyytautC-TZW
|
||||
hxj2vBf2TX5c3JKEX9T7oe-u
|
||||
i-vrMeas5MFTntV7TVEHJVNd
|
||||
i5z-sJv24UKG6XMCEW-XskO5
|
||||
iOwLXZWS_KkFEwb-S6dN4wPK
|
||||
jJNeWFzCXfMAutwIpJBNIyoQ
|
||||
jT23F1UVfkaUn6a4aK-pEwOi
|
||||
jZ_DEGyJLj8tEKzDNlDeSaLc
|
||||
jlRjSqs7zB4yBpHPbInalsC0
|
||||
jt7gTbiBx47g0XCDNkkqPyKr
|
||||
jyhpPdLBxNQDJvoiYvAX4FIl
|
||||
kHSiFkr-h2DpbYNewUYeQoL7
|
||||
kYBE31hGYbSneEoTktlib-We
|
||||
ko_nMs8H8VAhdnflAmyvFjoD
|
||||
ktjEUG0hFPMjavPfbU5wh8Xz
|
||||
l-W2fBUg-1yq5zqubAWnq9Js
|
||||
lAl9rhxy2L86TkyTbUqFGP-R
|
||||
lB0fmYMhFk-vvvrDp4wy-ZOZ
|
||||
lCKCw-7fVPoTBWL4z1I_sVq5
|
||||
lNZkDgDVoFWDzTkbfjVtJr1S
|
||||
lPyqShwAgAxRmyTJEBIWhin5
|
||||
lR9Xgbmfwsg0q2ZrYn9PJn91
|
||||
lRa7DcWhrQMp8Wj8IQDaLKgr
|
||||
l_amxmNI0MN0hLkYVFBSo1aC
|
||||
m47pUEzlAI0Ey1YHx8-Zdcld
|
||||
m9lM9SJvfsoHxqq_JYOG6j3Y
|
||||
mFD81QW4vTNwKdWkW74b-BxQ
|
||||
mL1g3O5aAUF9eUATiJaJvox1
|
||||
mPLnzDNPhDuZxAJutVyvDzZ3
|
||||
mQ9xclAwEE6wTpf-0m24A9qZ
|
||||
mYdmniKoHbwafvxRsNIDe2kC
|
||||
m_EqVjP5rC_Dht2P0cNEBY_B
|
||||
mkcuvsclPumbeIj3si0MVsjl
|
||||
ms7AkuepLGqGUHyunPg8DiRB
|
||||
mwAtHwaCCTYQnZ57KRbQRRP5
|
||||
myg0ey8asUjNvrpPKB8lYHdy
|
||||
n5t67wKwJZoCUs49lTPAxVDT
|
||||
nEolku0gqtIzn146v2-oDn-2
|
||||
nc9Uvp6uRbl-_dgEyvy-TVbj
|
||||
njwFnPRvX7bnJtKsGmnqeWWz
|
||||
nlgki7YlAP43303vdF2n7CdW
|
||||
nm5esBfzK_KqD5b4yo3REluh
|
||||
nqE3EsEx_c1P9G63gH_97sJ6
|
||||
nu3G30byq3f6khGkz4yv4Zn6
|
||||
nuBpnUvqZRuYbYaVbRrWyO0I
|
||||
o23GeKj9U5AnnQ-mLUdWAyNA
|
||||
o3xbdCWvzkAKGdpn6cdybvtt
|
||||
oElL3xIzKMWx3vrWtV3ihp0-
|
||||
oF8cjJ0EfUG7vePzKvCFrrTa
|
||||
oGzo6GcTh8Kob6a_IWLEHSdu
|
||||
oKLf3-qb6tM0afa1LKet_EaJ
|
||||
oLtxXwrpsMBX-I3R6dujCLX_
|
||||
oTe9nqBbruD12pI6WdtkvQy8
|
||||
oYWONKfSf7WPlppXCyx-PYWN
|
||||
o_PEnAv_mqXbjMRh92zYPvHa
|
||||
ocRNoA33S9vzPy_WftoX3SqW
|
||||
okj12Oww_YghgerNyCs24CTo
|
||||
ou4bK9WVbsgsC6ndmxwjzPeV
|
||||
pabYzqEA8AwxV-8oweXEn_XH
|
||||
pbOIgII3oj6md-lvOl1k6yVQ
|
||||
ptr4ZnlcABWk7Mmr3Q4vw7EP
|
||||
qD9yFyK6i2AI1t112pcPM7_u
|
||||
qEnjjonbycXPYMKbAbnsjEVg
|
||||
qGN51Xsu5i0IUY2oKJC5zNgw
|
||||
qLvfiN4HxLltdbewpbzlIOy0
|
||||
qOZlw7g3yl_LJd_JY6BA8237
|
||||
qR6uvPaFtHjpLNX_fFk6vEM7
|
||||
qScGDejGduYCeCBg-q7M7MiM
|
||||
qlNNGK8Fa-_x_2pgY8deY_AN
|
||||
qpnjL7YXTpuIbjO3FwGhtwLg
|
||||
qsVN8_f-ghRJ-XNY86zDSyMc
|
||||
qz6BbttJVmW-ZS_NmiHDr_lN
|
||||
rAa2ZmCz1jDkpDCZESSj7FvW
|
||||
rJUf-AGN9TgQA3AigG86rcqR
|
||||
rM_dRnZBQCXs7k_4sXvS7Kec
|
||||
ra1rmavYgL8JTX1gehxsZc5W
|
||||
rzAICTO5lnmUaanTIWuvFr5A
|
||||
s4Jb7PGFyxNpDHAhSAfaQPn5
|
||||
s7iDGjbVbJ32EXqAaEo8lKaE
|
||||
s94vRXFVhCegv651KpxgdaPm
|
||||
sAQA8bWIsgcQCYJntG2dyybK
|
||||
sAYsruYRg7JzXKD0v9RTE3co
|
||||
sR0vvOC-XUL2AHwQwmFvDc27
|
||||
sSEuthADzEcMuhZtydhOo4OU
|
||||
sUyO7Bcna4kDF-LA2r-YSvOH
|
||||
sa84HQ3sP5HzkE-laAKQI02l
|
||||
sbeCM86e6Oh5m0dd4c6ZIhVz
|
||||
sqqFxqnfuChGii0dOoBwJM2M
|
||||
swOP6ZGtoRTDZg0Tyv7Dh-AT
|
||||
t3XgOkTPn_S6UFxAT54PazCG
|
||||
t8jICi79dGglrjG3L1IC6Eso
|
||||
tA-CX-nuGxgXinQpqtkdSa46
|
||||
tD9ee9lEYm70ADB0gWJ_KZ1F
|
||||
tFn4Zh-d4Pb8G-i6LtcT1Fq1
|
||||
tVTQi18sakruYJvOouU015N1
|
||||
tW_GEcTGMJqC6kIlg47DNk90
|
||||
tacaE9-Xf9vb_qyZuvn-vyyN
|
||||
u_TJoU0pncvmCAx3jmwENg0W
|
||||
ueAejaJT9tywSYYojnHKULfD
|
||||
v4IN0DtS71aDEoQEDx_K-FwJ
|
||||
v894AOnvqimcyFDgZ4de4Ulj
|
||||
vDQq22g0uH3KduMv9iMpXkvh
|
||||
vJ4z6UCHbDqgFFLhRConYvEJ
|
||||
vTkmhyaDNoP8CIZwB6Fmfxrm
|
||||
vUaBWvL_aQ7nAaJ6bcBdi6-U
|
||||
vXhFjpGXZHkynf18c_V9_Zy1
|
||||
vkNd-5xNKExm4x1FxB5Jr6IQ
|
||||
vqQd1_dF6NVmIXk0A5cbDel7
|
||||
vvLHRa-0ZTK1_mQ00jkp2BL2
|
||||
w3cARp7ux_Fy1X5q88NlBq0C
|
||||
w9XSjyCc3YdTPvkukoWrnpUg
|
||||
wHvCxA_H8xFRnPzlpgNcEQ41
|
||||
wZuQdo3Fy5xzv5LLX5SWwRxG
|
||||
wwhM4IHTnoXxrrGuI9qY2w2I
|
||||
x9naqirRz-Hy23xf50FIfae9
|
||||
xCeonrXZ8OjekdIq2Tmn9Rex
|
||||
xPCj1iM36RxSQiP-8Fk_Gg4s
|
||||
xd71dAhCMvbj1_dsdEEkXC7K
|
||||
yD7bdAq6FzoXncSLUREyOLkW
|
||||
yVgQkwinz_mujY9Vial9Zd-Y
|
||||
ybcS7Q5IUwyorrDfI4hXw-WV
|
||||
ywvUEXkHYpIfxklAswUhy6_w
|
||||
z2PYShDzIOivcCGfK30j0u9d
|
||||
zEtgl8tysLCOye9BPVIiTCBH
|
||||
zJbRBY4D-4JZZ8TnwaCc6BJ1
|
||||
zLGbtgl9hOUSCs8ZhtEHUJPs
|
||||
zkVVoFSyfZwfcsaA0BretTU1
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
7GvwHTKDpF31MuMsSbBKUqSd
|
||||
Km6TQx7KSEF-x93GEhnr45AA
|
||||
mQyEfGclvxtHcPcpHlXpIb-u
|
||||
pGEJQWca83BhNJgqHi-sSF0y
|
||||
+6
@@ -0,0 +1,6 @@
|
||||
DELETE 500
|
||||
DB=0
|
||||
LOG=none
|
||||
PG_READY=true
|
||||
CLUSTER0=2.0
|
||||
CLUSTER1=2.0
|
||||
+95
-67
@@ -31,7 +31,7 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API
|
||||
- **readiness 가 깨진 노드를 시야에서 먼저 치운다**
|
||||
Ready 파드가 0개가 되고 `ready` 주소가 빈 목록이 되는 경로를 다룬다.
|
||||
- **세션 캐시와 persistent session store의 경계를 손으로 가른다**
|
||||
A-0 재검증에서 정상 2노드의 교차 refresh는 반대편 DB 세션 SQL 없이도 성공했다. 여기서는 DB 자체를 내려 **캐시만으로 처리할 수 없는 쓰기 경로가 무엇인지** 확인한다.
|
||||
A-0의 2026-09-22 격리 재검증에서는 정상 2노드의 교차 refresh도 반대편 노드가 persistent session store를 `SELECT`·`UPDATE`했다. 여기서는 DB 자체를 내려 **로컬 cache entry가 있어도 완료할 수 없는 경로가 무엇인지** 확인한다.
|
||||
- **PostgreSQL 을 진짜로 크래시시키고 잃은 로그인을 센다**
|
||||
같은 데이터베이스를 SIGKILL 로 죽이는 편이다. 정상 종료가 아무것도 잃지 않는다는 이 편의 결과가 그쪽의 대조군이 된다.
|
||||
|
||||
@@ -75,11 +75,11 @@ A-1 과의 대비가 이 실험의 값이다.
|
||||
| # | 경로 | 무엇을 보는가 |
|
||||
|---|---|---|
|
||||
| ① | **캐시를 가진 노드**에서 refresh | 캐시가 DB 를 대신할 수 있는가 |
|
||||
| ② | 캐시가 없는 노드에서 refresh | 완전한 DB 의존 |
|
||||
| ② | **K1에서 만든 세션을 K0에서** refresh | K0 로컬 캐시에 없는 세션의 DB 의존 |
|
||||
| ③ | 새 로그인 | 쓰기 경로 |
|
||||
| ④ | 이미 발급된 토큰으로 관리 API 조회 | 서명만으로 되는 경로가 있는가 |
|
||||
| ④ | 이미 발급된 access token으로 관리 API 조회 | 토큰 발급 뒤의 세션 조회도 DB에 의존하는가 |
|
||||
|
||||
절차를 끝까지 밟으면 캐시에 세션을 가진 노드도 refresh 가 `500` 인 것, JWKS 와 `.well-known` 만 `200` 으로 살아 있는 것, Ready 파드가 0개이고 `ready` 주소가 빈 목록인 것, 정문이 `503` 을 주는 것, 헬스 네 항목 중 `database connections` 만 DOWN 인 본문, `up = 1` 인 채로 전면 장애가 나 있는 것, 15초 만에 재시작 0회로 스스로 돌아오는 것을 자기 화면에서 보게 된다.
|
||||
절차를 끝까지 밟으면 캐시에 세션을 가진 노드도 refresh 가 `500` 인 것, JWKS 와 `.well-known` 만 `200` 으로 살아 있는 것, Ready 파드가 0개이고 `ready` 주소가 빈 목록인 것, 정문이 `503` 을 주는 것, 헬스 네 항목 중 `database connections` 만 DOWN 인 본문, `up = 1` 인 채로 전면 장애가 나 있는 것, DB 복구 뒤 Keycloak 재시작 0회로 스스로 돌아오는 것을 자기 화면에서 보게 된다.
|
||||
|
||||
## 전제와 되돌리기
|
||||
|
||||
@@ -184,32 +184,31 @@ kubectl -n keycloak-lab exec a2-probe -- sh -c 'echo "K0=$K0 K1=$K1 PW길이=${#
|
||||
kubectl -n keycloak-lab exec -it a2-probe -- sh
|
||||
```
|
||||
|
||||
### 5. 양쪽 노드에 세션을 하나씩 만든다
|
||||
### 5. 양쪽 노드에 세션을 하나씩 만들고 토큰을 보관한다
|
||||
|
||||
**무엇을 보는가** — ① 과 ② 를 구분하려면 캐시를 가진 노드와 없는 노드가 있어야 한다. A-0 에서 확인한 성질을 그대로 쓴다 — 각 노드는 자기가 로그인시킨 세션만 캐시한다.
|
||||
**무엇을 보는가** — ①과 ②를 제대로 구분하려면 먼저 **K0이 만든 세션 하나, K1이 만든 세션 하나**만 있어야 한다. 그리고 DB를 내린 뒤 같은 세션을 다시 시험해야 하므로 refresh token을 여기서 변수에 담아 둔다.
|
||||
|
||||
```sh label="[탐침 파드] 두 노드에 각각 로그인하고 sid 를 뽑는다"
|
||||
```sh label="[탐침 파드] K0·K1에 한 번씩만 로그인한다"
|
||||
TOK=/realms/master/protocol/openid-connect/token
|
||||
for H in "$K0" "$K1"; do
|
||||
echo -n "$H : "
|
||||
curl -s -X POST "http://$H:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli \
|
||||
-d username=admin -d "password=$PW" \
|
||||
| sed -n 's/.*"access_token":"\([^"]*\)".*/\1/p' \
|
||||
| cut -d. -f2 | tr '_-' '/+' | base64 -d 2>/dev/null \
|
||||
| sed -n 's/.*"sid":"\([^"]*\)".*/\1/p'
|
||||
done
|
||||
|
||||
R0=$(curl -s -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli \
|
||||
-d username=admin -d "password=$PW")
|
||||
AT=$(echo "$R0" | sed -n 's/.*"access_token":"\([^"]*\)".*/\1/p')
|
||||
RT0=$(echo "$R0" | sed -n 's/.*"refresh_token":"\([^"]*\)".*/\1/p')
|
||||
|
||||
R1=$(curl -s -X POST "http://$K1:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli \
|
||||
-d username=admin -d "password=$PW")
|
||||
RT1=$(echo "$R1" | sed -n 's/.*"refresh_token":"\([^"]*\)".*/\1/p')
|
||||
|
||||
echo "K0 access=${#AT} refresh=${#RT0}"
|
||||
echo "K1 refresh=${#RT1}"
|
||||
```
|
||||
|
||||
**어디를 보나** — 실측은 이렇다(observed, `02-setup-sessions.txt`).
|
||||
세 길이가 모두 `0`보다 커야 한다. 토큰 문자열 자체는 화면에 찍지 않는다. `RT0`은 K0이 만든 세션, `RT1`은 K1이 만든 세션이다. 이 구분이 뒤의 ①·② 비교축이다.
|
||||
|
||||
```text
|
||||
=== [준비] 양쪽 노드에 세션을 하나씩 만든다 ===
|
||||
keycloak-0 에서 로그인 sid=EAXV5HcG2J1BZ3vnwONf64AQ 토큰길이=613
|
||||
keycloak-1 에서 로그인 sid=McyTj5lj3n_JqApCXeuAHExc 토큰길이=613
|
||||
```
|
||||
|
||||
**이 값이 뜻하는 것** — 빈 줄이 나오면 로그인이 실패했거나 base64 패딩 때문에 sid 를 못 뽑은 것이므로 응답 전체를 한 번 그대로 본다.
|
||||
2026-09-22 수정 재검증에서는 두 세션을 만든 직후 K0·K1의 `sessions` 고유 엔트리가 각각 `1`, PostgreSQL online session이 `2`였다.
|
||||
|
||||
### 6. 세션이 각자 노드에만 캐시됐는가
|
||||
|
||||
@@ -221,62 +220,87 @@ for POD in keycloak-0 keycloak-1; do
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_statistics_approximate_entries_unique' \
|
||||
| grep -E 'cache="(sessions|clientSessions)"'
|
||||
| grep 'cache="sessions"'
|
||||
done
|
||||
```
|
||||
|
||||
```bash label="[lab host] PostgreSQL에 저장된 online session 수를 센다"
|
||||
```bash label="[lab host] PostgreSQL의 online session 수를 센다"
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
-c "select offline_flag, count(*) from offline_user_session group by offline_flag order by offline_flag"
|
||||
-c "select count(*) from offline_user_session where offline_flag='0'"
|
||||
```
|
||||
|
||||
2026-09-22 재검증에서는 A-2 직전 online session이 `2`건이었다. 이 숫자를 복구 뒤와 비교한다.
|
||||
**어디를 보나** — 이 시점에는 `K0=1`, `K1=1`, `DB=2`가 기준이다. K0과 K1 중 한쪽이 `0`이면 두 로그인 중 하나가 실패한 것이므로 여기서 멈춘다.
|
||||
|
||||
### 7. ④ 에 쓸 클라이언트 id 를 미리 뽑는다
|
||||
### 7. ④에 쓸 클라이언트 id를 미리 뽑는다
|
||||
|
||||
**무엇을 보는가** — DB 가 죽은 뒤에는 이 조회 자체가 실패하므로 지금 뽑아 둔다.
|
||||
**무엇을 보는가** — DB가 죽은 뒤에는 이 조회 자체가 실패하므로 지금 뽑아 둔다. 새로 로그인하지 않고 5번에서 이미 받은 `AT`를 그대로 쓴다. 그래야 준비 단계에서 세션 수가 불필요하게 늘지 않는다.
|
||||
|
||||
```sh label="[탐침 파드] ① 응답을 한 번 그대로 본다"
|
||||
AT=$(curl -s -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli \
|
||||
-d username=admin -d "password=$PW" \
|
||||
| sed -n 's/.*"access_token":"\([^"]*\)".*/\1/p')
|
||||
```sh label="[탐침 파드] admin-cli 내부 id를 찾는다"
|
||||
curl -s -H "Authorization: Bearer $AT" \
|
||||
"http://$K0:8080/admin/realms/master/clients?clientId=admin-cli"
|
||||
```
|
||||
|
||||
잘라내는 줄은 미검증이다(unknown).
|
||||
|
||||
```sh label="[탐침 파드] ② 첫 번째 id 만 잘라낸다"
|
||||
CID=$(curl -s -H "Authorization: Bearer $AT" \
|
||||
"http://$K0:8080/admin/realms/master/clients?clientId=admin-cli" \
|
||||
| tr ',' '\n' | grep -m1 '"id"' | cut -d'"' -f4)
|
||||
echo "CID=$CID"
|
||||
```
|
||||
|
||||
`CID`가 빈 문자열이면 다음 단계로 가지 않는다. 이 파싱은 A-0에서 사용한 것과 같은 방식이다.
|
||||
|
||||
### 8. 네 경로를 정상 상태에서 한 번 돌린다
|
||||
|
||||
```sh label="[탐침 파드] 토큰 둘을 받고 네 경로를 차례로 친다"
|
||||
R0=$(curl -s -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli -d username=admin -d "password=$PW")
|
||||
RT0=$(echo "$R0" | sed -n 's/.*"refresh_token":"\([^"]*\)".*/\1/p')
|
||||
R1=$(curl -s -X POST "http://$K1:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli -d username=admin -d "password=$PW")
|
||||
RT1=$(echo "$R1" | sed -n 's/.*"refresh_token":"\([^"]*\)".*/\1/p')
|
||||
여기서 ①과 ②가 다르다는 점이 중요하다.
|
||||
|
||||
curl -s -o /dev/null -w '① %{http_code}\n' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT0"
|
||||
curl -s -o /dev/null -w '② %{http_code}\n' --max-time 10 -X POST "http://$K1:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT1"
|
||||
```text
|
||||
① RT0은 K0이 만든 세션 → K0 로컬 캐시에 있다 → K0에서 refresh
|
||||
② RT1은 K1이 만든 세션 → K0 로컬 캐시에 없다 → K0에서 refresh
|
||||
```
|
||||
|
||||
refresh token은 사용 뒤 새 값으로 회전할 수 있다. 그래서 상태코드만 보고 버리지 않고 **응답 본문에서 새 refresh token을 다시 변수에 저장한다.** 이 작업을 빼면 DB 정지 뒤 옛 토큰을 재사용하게 되어 `500`의 원인을 DB 장애와 토큰 재사용 중에서 구분할 수 없다.
|
||||
|
||||
```sh label="[탐침 파드] ① K0이 만든 세션을 K0에서 refresh"
|
||||
R=$(curl -s -w '\n%{http_code}' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT0")
|
||||
CODE=$(echo "$R" | tail -1)
|
||||
BODY=$(echo "$R" | sed '$d')
|
||||
RT0=$(echo "$BODY" | sed -n 's/.*"refresh_token":"\([^"]*\)".*/\1/p')
|
||||
AT=$(echo "$BODY" | sed -n 's/.*"access_token":"\([^"]*\)".*/\1/p')
|
||||
echo "① $CODE"
|
||||
```
|
||||
|
||||
```sh label="[탐침 파드] ② K1이 만든 세션을 K0에서 refresh"
|
||||
R=$(curl -s -w '\n%{http_code}' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT1")
|
||||
CODE=$(echo "$R" | tail -1)
|
||||
BODY=$(echo "$R" | sed '$d')
|
||||
RT1=$(echo "$BODY" | sed -n 's/.*"refresh_token":"\([^"]*\)".*/\1/p')
|
||||
echo "② $CODE"
|
||||
```
|
||||
|
||||
②가 끝난 직후에도 K0의 `sessions` 고유 엔트리가 1인지 관찰용 터미널에서 확인한다. 2026-09-22 수정 재검증에서는 ②가 `200`인데도 `K0=1`, `K1=1` 그대로였다. 즉 ②는 실제로 **K0 로컬 cache entry가 없는 세션**을 처리한 대조군이다.
|
||||
|
||||
```sh label="[탐침 파드] ③ 새 로그인 · ④ 이미 받은 access token으로 관리 API"
|
||||
curl -s -o /dev/null -w '③ %{http_code}\n' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli -d username=admin -d "password=$PW"
|
||||
curl -s -o /dev/null -w '④ %{http_code}\n' --max-time 10 -H "Authorization: Bearer $AT" \
|
||||
-d grant_type=password -d client_id=admin-cli \
|
||||
-d username=admin -d "password=$PW"
|
||||
|
||||
curl -s -o /dev/null -w '④ %{http_code}\n' --max-time 10 \
|
||||
-H "Authorization: Bearer $AT" \
|
||||
"http://$K0:8080/admin/realms/master/clients/$CID/user-sessions?max=100"
|
||||
```
|
||||
|
||||
**어디를 보나** — 정상 상태에서는 네 줄이 전부 `200` 이다.
|
||||
**어디를 보나** — 정상 상태에서는 `① 200`, `② 200`, `③ 200`, `④ 200`이다.
|
||||
|
||||
**이 값이 뜻하는 것** — `-o /dev/null` 을 빼면 안 된다. 빼면 본문과 상태코드가 한 줄에 섞여 나오고, 원래 실행이 정확히 그것을 당했다.
|
||||
③은 성공하면 세션을 하나 더 만든다. 따라서 주입 직전 DB row 수는 처음의 `2`가 아니라 `3`이다. 고정 숫자를 외우지 말고 실제 값을 변수처럼 기록한다.
|
||||
|
||||
```bash label="[lab host] 주입 직전 DB 세션 수를 기록한다"
|
||||
DB_BEFORE=$(kubectl -n keycloak-lab exec deploy/postgres -- \
|
||||
psql -U keycloak -d keycloak -Atc \
|
||||
"select count(*) from offline_user_session where offline_flag='0'")
|
||||
echo "DB_BEFORE=$DB_BEFORE"
|
||||
```
|
||||
|
||||
2026-09-22 수정 재검증은 `DB_BEFORE=3`이었다. 복구 뒤에는 이 값과 다시 비교한다.
|
||||
|
||||
상태가 필요 없는 경로도 미리 재 둔다.
|
||||
|
||||
@@ -393,12 +417,12 @@ kubectl -n keycloak-lab exec -it a2-probe -- sh
|
||||
|
||||
**여기서 시계를 본다.** 7번에서 `AT` 를 받은 지 60초가 지났으면 ④ 는 `401` 을 준다. 그 `401` 은 DB 때문이 아니라 토큰이 만료돼서 나온 것이라, 이 실험이 재려는 값이 아니다. 60초를 넘겼으면 ④ 는 이 회차에서 못 잰다 — DB 가 없는 동안에는 새 토큰을 받을 수 없다(③ 이 이미 `500` 이다). 복구 절까지 가서 ④ 만 다시 쳐도 안 된다 — 그때는 DB 가 살아 있어 `200` 이 나오므로 이 표가 묻는 값이 아니다. ④ 가 필요하면 복구한 뒤 토큰을 새로 받고 주입부터 다시 돈다. ①·②·③ 은 `AT` 를 쓰지 않으므로 그대로 쓴다.
|
||||
|
||||
주입 전 8번에서 친 것과 글자까지 같은 블록이다.
|
||||
①·②는 8번에서 갱신해 둔 **최신 `RT0`·`RT1`**을 그대로 쓴다. ②의 대상은 K1이 아니라 K0다.
|
||||
|
||||
```sh label="[탐침 파드] 네 경로를 다시 친다"
|
||||
curl -s -o /dev/null -w '① %{http_code}\n' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT0"
|
||||
curl -s -o /dev/null -w '② %{http_code}\n' --max-time 10 -X POST "http://$K1:8080$TOK" \
|
||||
curl -s -o /dev/null -w '② %{http_code}\n' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT1"
|
||||
curl -s -o /dev/null -w '③ %{http_code}\n' --max-time 10 -X POST "http://$K0:8080$TOK" \
|
||||
-d grant_type=password -d client_id=admin-cli -d username=admin -d "password=$PW"
|
||||
@@ -410,11 +434,13 @@ curl -s -o /dev/null -w '④ %{http_code}\n' --max-time 10 -H "Authorization: Be
|
||||
|
||||
```text
|
||||
① 캐시를 가진 노드(keycloak-0)에서 refresh HTTP 500
|
||||
② 캐시가 없는 노드(keycloak-1)에서 refresh HTTP 500
|
||||
② K1 세션을 cache 없는 K0에서 refresh HTTP 500
|
||||
③ 새 로그인 HTTP 500
|
||||
④ 관리 API (세션 조회 필요) HTTP 500
|
||||
```
|
||||
|
||||
2026-09-22 수정 재검증에서도 네 경로가 모두 `500`이었다. 이 회차는 ②를 실제 cross-node/no-local-cache 경로로 바로잡고 다시 실행한 결과다. 원본은 `final/evidence/raw/2026-09-22-test-server-revalidation/a2-07-corrected-control-refreshes.txt`, `a2-08-corrected-control-four-paths.txt`, `a2-09-corrected-outage-and-recovery.txt`에 남겼다.
|
||||
|
||||
본문도 한 번 그대로 본다.
|
||||
|
||||
```sh label="[탐침 파드] 500 의 본문을 본다"
|
||||
@@ -448,7 +474,7 @@ HTTP 000000{"error":"HTTP 401 Unauthorized"}401
|
||||
|
||||
`curl -w '%{http_code}'` 를 쓰면서 `-o /dev/null` 을 빼면 본문이 표준출력으로 같이 나오고, 거기에 `--retry` 까지 걸려 있어 실패한 시도의 `000` 이 앞에 쌓인다. 위 표의 ④ `500` 은 아래 「서명 검증만 필요한 두 경로와 ④」 블록에서 DB 가 아직 내려가 있는 동안 다시 잰 값이다. 첫 측정은 쓰지 않았다 — 오염된 측정은 버리고 다시 잰다.
|
||||
|
||||
①의 `500`이 이 실험의 핵심이다. 세션이 메모리 캐시에 있어도 refresh는 DB가 없으면 완료되지 않았다. **여기서 필요한 결론은 특정 SQL 문장을 단정하는 것이 아니라, refresh 처리에 persistent session store 쓰기 경로가 포함된다는 것**이다. A-0의 2026-09-22 정상 클러스터 재검증에서는 반대편 refresh에 별도 세션 SELECT가 없었으므로, 오래된 `UPDATE OFFLINE_USER_SESSION ...` 한 줄을 모든 refresh의 고정 경로처럼 설명하지 않는다.
|
||||
①과 ②가 **둘 다 `500`**이라는 것이 이 실험의 핵심이다. 로컬 cache entry가 있는 세션도, 없는 세션도 DB가 없으면 refresh를 완료하지 못했다. **여기서 필요한 결론은 refresh 처리에 persistent session store의 read/write 경로가 포함된다는 것**이다. A-0의 2026-09-22 격리 재검증에서도 반대편 refresh가 `OFFLINE_USER_SESSION`·`OFFLINE_CLIENT_SESSION`을 `SELECT`하고 `UPDATE`하는 것을 직접 확인했다. 다만 SQL 문장 수나 순서를 모든 refresh의 고정 계약처럼 일반화하지 않고, 이 실험에서는 DB 의존성 자체를 판정한다.
|
||||
|
||||
상태가 필요 없는 경로는 살아남는다. ④ 도 여기서 한 번 더 친다 — 표에 적은 ④ `500` 이 이 블록이 낸 값이다. 셋을 한 블록에 두면 세 경로의 답이 한 화면에 나란히 나온다.
|
||||
|
||||
@@ -662,18 +688,20 @@ deployment "postgres" successfully rolled out
|
||||
|
||||
**목적** — 정상 종료가 데이터를 잃지 않았다는 것을 숫자로 확인하고 실험 도구를 치운다.
|
||||
|
||||
```bash label="[lab host] ① 세션 수를 다시 센다"
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
-c "select offline_flag, count(*) from offline_user_session group by offline_flag"
|
||||
```bash label="[lab host] ① 주입 전후 세션 수를 한 줄로 비교한다"
|
||||
DB_AFTER=$(kubectl -n keycloak-lab exec deploy/postgres -- \
|
||||
psql -U keycloak -d keycloak -Atc \
|
||||
"select count(*) from offline_user_session where offline_flag='0'")
|
||||
echo "DB_BEFORE=$DB_BEFORE DB_AFTER=$DB_AFTER"
|
||||
```
|
||||
|
||||
```bash label="[lab host] ② 탐침 파드를 직접 지운다"
|
||||
kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
|
||||
```
|
||||
|
||||
**예상 결과** — 2026-09-22 재검증은 주입 전 `2`, 복구 후 `2`였다. 정상 종료 구간에서 새 로그인은 `500`으로 실패했으므로 이번 회차에는 세션 수가 늘 이유도 없었다.
|
||||
**예상 결과** — 복구 뒤 세션 수가 앞에서 기록한 `DB_BEFORE`와 같아야 한다. 2026-09-22 수정 재검증에서는 `DB_BEFORE=3`, `DB_AFTER=3`이었다. DB가 내려간 동안 ③ 새 로그인은 `500`으로 실패했으므로 장애 구간에서 새 세션이 추가되지 않았다.
|
||||
|
||||
**왜 필요한가** — 주입 전후 동일한 `2`건이 남아 정상 종료 자체가 저장된 세션 행을 잃지 않았음을 확인했다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다.
|
||||
**왜 필요한가** — `DB_AFTER == DB_BEFORE`가 정상 종료 자체가 저장된 세션 행을 잃지 않았음을 확인한다. 특정 숫자 `2`를 기준으로 삼지 않는다. 준비·대조군 단계에서 만드는 세션 수가 바뀌면 숫자도 바뀌기 때문이다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다.
|
||||
|
||||
**문제가 생기면** — 세션 수가 주입 전보다 적으면 이 실험 밖에서 누가 지운 것이다. A-3 의 정리 단계가 돌았는지 본다.
|
||||
|
||||
@@ -685,7 +713,7 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
|
||||
| 헬스 | `exec a2-probe -- curl -s "http://$K0:9000/health/ready"` | 전체 `UP` |
|
||||
| 클러스터 | `vendor_cluster_size` | 양쪽 `2` |
|
||||
| 탐침 파드 | `kubectl -n keycloak-lab get pod a2-probe` | 지웠으면 `NotFound` |
|
||||
| 밖 | `curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` |
|
||||
| edge 경로 | `curl -skS --resolve auth.hyeonworks.com:443:192.168.122.10 -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` |
|
||||
|
||||
표는 위에서 아래로 한 번에 치지 않는다. 막혔을 때 해당하는 줄만 짚는다. 헬스 줄의 `$K0` 는 관찰 절에서 관찰용 터미널에 잡아 둔 값이라 그 터미널을 닫았으면 그 두 줄부터 다시 친다. 헬스 줄 자체는 탐침 파드가 남아 있을 때만 되므로 ② 로 지웠으면 건너뛴다.
|
||||
|
||||
@@ -711,12 +739,12 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
|
||||
|
||||
2026-09-22 현재 lab에서 A-2를 다시 실행했다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a2-*.txt`에 있다.
|
||||
|
||||
- (observed, 2026-09-22) 주입 전 Keycloak 두 파드 Ready, cluster size `2/2`, online session `2`, 정문 `200`.
|
||||
- (observed, 2026-09-22) PostgreSQL을 `replicas=0`으로 내린 직후 두 파드의 기존 refresh가 모두 `500`, 새 login `500`, admin session API `500`, JWKS와 `.well-known`은 `200`.
|
||||
- (observed, 2026-09-22) 수정 재검증에서 준비 직후에는 K0·K1 `sessions=1/1`, online session `2`. 대조군의 ③ 새 로그인까지 끝낸 **주입 직전**에는 `K0=2`, `K1=1`, `DB_BEFORE=3`, cluster size `2/2`, edge `200`이었다.
|
||||
- (observed, 2026-09-22) PostgreSQL을 `replicas=0`으로 내리자 ① K0 로컬 세션 refresh `500`, ② K1에서 만든 세션을 K0에서 refresh `500`, ③ 새 login `500`, ④ admin session API `500`이었다. 첫 회차에서 JWKS와 `.well-known`은 계속 `200`이었다.
|
||||
- (observed, 2026-09-22) 두 Keycloak은 restart count 증가 없이 `Ready=false`, EndpointSlice `false,false`, edge와 외부 응답은 `503`.
|
||||
- (observed, 2026-09-22) 직접 Pod IP의 `/health/ready`를 보면 전체 `DOWN`, `database connections async health check`만 `DOWN`, cluster health와 initialized는 `UP`.
|
||||
- (observed, 2026-09-22) `kube_pod_status_ready` Prometheus query는 여전히 빈 배열이다.
|
||||
- (observed, 2026-09-22) PostgreSQL은 13:56:21 KST에 Ready가 됐고 13:56:37 확인 시 두 Keycloak은 재시작 없이 Ready, edge/외부 `200`, online session은 주입 전과 같은 `2`, cluster size `2/2`.
|
||||
- (observed, 2026-09-22) 수정 재검증 복구 뒤 `DB_AFTER=3`으로 `DB_BEFORE=3`과 같았고, 두 Keycloak은 restart count `0`인 채 Ready, edge `200`으로 돌아왔다. 첫 회차에서도 PostgreSQL Ready 뒤 Keycloak이 재시작 없이 Service에 재진입했다.
|
||||
- (command finding) 현재 Keycloak 26.7.0 이미지에는 `curl`, `wget`뿐 아니라 `awk`도 없다. 컨테이너 내부 명령은 일반적인 userland를 가정하지 않는다.
|
||||
|
||||
아래 2026-09-04/17 숫자는 과거 실행 기록이다. 날짜가 다른 값은 현재 불변값처럼 섞지 않는다.
|
||||
|
||||
+15
-10
@@ -285,7 +285,7 @@ kubectl -n keycloak-lab get pods -o wide
|
||||
0건이다. 파드 안에서 `( ... ) &` 로 띄운 루프가 `exec` 세션이 끝날 때 같이 죽었고 측정 자체가 없었다. 그래서 편집기로 파일을 연다.
|
||||
|
||||
```bash label="[lab host] ① 편집기로 루프 파일을 연다"
|
||||
vim /tmp/a3-login-loop.sh
|
||||
nano /tmp/a3-login-loop.sh
|
||||
```
|
||||
|
||||
```sh label="/tmp/a3-login-loop.sh — 이 내용을 적는다"
|
||||
@@ -329,17 +329,16 @@ printf "%s" '{"sid":"ABC"}' | sed -n 's/.*"sid":"\([^"]*\)".*/\1/p' | od -c
|
||||
|
||||
`/tmp/sids` 에는 클라이언트가 `200` 과 토큰을 실제로 받은 것만 쌓인다. `AT` 가 비면 아무것도 안 적으므로 이 파일이 「서버가 COMMIT 했다고 응답한 것」의 목록이고, 그게 이 실험의 시험군이다.
|
||||
|
||||
```bash label="[lab host] ② 파일을 파드 안으로 밀어 넣고 줄 수를 센다"
|
||||
kubectl -n keycloak-lab exec -i a3-probe -- sh -c 'cat > /tmp/a3-login-loop.sh' \
|
||||
< /tmp/a3-login-loop.sh
|
||||
```bash label="[lab host] ② 파일을 파드 안으로 복사하고 줄 수를 센다"
|
||||
kubectl -n keycloak-lab cp /tmp/a3-login-loop.sh a3-probe:/tmp/a3-login-loop.sh
|
||||
kubectl -n keycloak-lab exec a3-probe -- wc -l /tmp/a3-login-loop.sh
|
||||
```
|
||||
|
||||
**예상 결과** — 줄 수가 `19 /tmp/a3-login-loop.sh` 로 나오면 들어갔다. 원래 실행의 파일은 `17` 줄이었고, 위에서 sid 를 변수로 받는 두 줄로 바꾸면서 늘었다.
|
||||
|
||||
**왜 필요한가** — `kubectl cp` 도 되지만 컨테이너에 `tar` 가 있어야 한다. 이 실험대의 `curlimages/curl:8.11.1` 에 `tar` 가 있는지는 재지 않았다(unknown). 그래서 가이드는 `cat >` 로 밀어 넣는 쪽이 어디서나 통한다고 적고 그쪽을 골랐다.
|
||||
**왜 필요한가** — 긴 셸 내용을 원격 `sh -c` 한 줄에 다시 욱여넣지 않기 위해 파일로 분리한다. `kubectl cp` 는 컨테이너 안의 `tar` 를 사용한다. 2026-09-22 현재 이 실험의 `curlimages/curl:8.11.1` 에 `/bin/tar` 가 있는 것을 직접 확인했으므로, 독자가 읽기 쉬운 `kubectl cp` 를 기본 절차로 쓴다.
|
||||
|
||||
**문제가 생기면** — 줄 수가 0 이면 로컬 파일이 비었거나 경로가 틀린 것이므로 `wc -l /tmp/a3-login-loop.sh` 를 로컬에서 먼저 친다.
|
||||
**문제가 생기면** — 줄 수가 0 이면 로컬 파일이 비었거나 경로가 틀린 것이므로 `wc -l /tmp/a3-login-loop.sh` 를 로컬에서 먼저 친다. 2026-09-22 현재 lab host에는 `nano`가 있고 `vim`은 없어서, 편집기 예시는 실제 설치된 `nano`로 맞췄다.
|
||||
|
||||
### 2. 터미널 하나를 루프에 통째로 쓴다
|
||||
|
||||
@@ -431,7 +430,7 @@ kubectl -n keycloak-lab exec deploy/postgres -- kill -9 <PID>
|
||||
이 두 줄 형태는 이 실험대에서 치지 않았다(unknown). **실제로 친 것은 이름으로 고르는 쪽이다** — 백엔드가 여럿이면 이쪽이 한 번에 전부 끊는다.
|
||||
|
||||
```bash label="[터미널 ②] 이 실험대가 실제로 친 형태 (observed)"
|
||||
kubectl exec deploy/postgres -- pkill -9 -f 'postgres: keycloak'
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- pkill -9 -f 'postgres: keycloak'
|
||||
```
|
||||
|
||||
이 실험대는 한 줄에 원격 셸과 명령 치환을 겹쳐서 쳤다(observed).
|
||||
@@ -475,11 +474,13 @@ kubectl -n keycloak-lab exec deploy/postgres -- \
|
||||
|
||||
### 1. 시도 ① 의 검증 — 죽인 적이 없다
|
||||
|
||||
```bash label="[lab host] 새 파드를 기다리고 기동 로그를 본다"
|
||||
kubectl -n keycloak-lab rollout status deployment/postgres --timeout=180s
|
||||
```bash label="[lab host] 새 PostgreSQL 파드가 실제 Ready 가 될 때까지 기다리고 기동 로그를 본다"
|
||||
kubectl -n keycloak-lab wait --for=condition=Ready pod -l app=postgres --timeout=180s
|
||||
kubectl -n keycloak-lab logs deploy/postgres | grep -E 'not properly shut down|redo|ready to accept'
|
||||
```
|
||||
|
||||
2026-09-22 재검증에서는 `kubectl rollout status deployment/postgres` 가 새 파드가 아직 `ContainerCreating` 인데도 성공을 반환했다. 강제 삭제 직후에는 Deployment 세대가 바뀐 것이 아니므로 이 명령을 Ready 대기로 쓰지 않는다. 파드 조건을 직접 기다리는 `kubectl wait` 가 이 단계의 의도와 맞다.
|
||||
|
||||
실측은 이렇다(observed, `02-design-check.txt`).
|
||||
|
||||
```text
|
||||
@@ -817,10 +818,14 @@ rm -f /tmp/client-sids.txt /tmp/db-sids.txt /tmp/a.txt /tmp/b.txt /tmp/a3-login-
|
||||
|
||||
## 무엇이 관측이고 무엇이 아닌가
|
||||
|
||||
2026-09-22 현재 lab에서도 세 주입을 다시 확인했다. `--grace-period=0 --force` 뒤 새 PostgreSQL에는 crash-recovery marker가 없었고, 컨테이너 안의 `kill -9 1` 뒤에도 같은 Pod/UID, restart `0`, Ready 상태가 유지됐다. 반면 Keycloak backend PID 하나를 SIGKILL하자 PostgreSQL이 다른 backend를 종료하고 redo/crash recovery를 수행했다. 이번 회차에서도 ACK 받은 세션 `504`개 중 DB에는 `500`개만 남아 `4`개가 유실됐다.
|
||||
|
||||
이 절차의 숫자는 `2026-09-04 11:58–12:05 KST` 에 돈 한 번의 실행에서 나왔다(observed).
|
||||
|
||||
- (observed) `offline_user_session` 의 시각 컬럼이 `integer`, 로그인 트랜잭션에도 붙은 `SET LOCAL synchronous_commit TO OFF`, WAL 설정 네 줄(`wal_writer_delay 200 ms default` 포함), 시도 ①·②·③ 의 시각 `12:00:26.511`·`12:03:21.441`·`12:04:22.063`, crash recovery 로그 여섯 줄, `153 / 149 / 4`, 유실 sid 네 개, 초당 14건, `DELETE 375`, 비밀번호 길이 `19`.
|
||||
- (unknown) `LC_ALL=C sort` 와 `comm -23` 세 줄, 루프를 앞으로 두고 돌리는 형태(원래 실행은 호스트에서 배경 `exec` 로 했다), `kubectl exec ... kill -9 40` 으로 PID 를 옮겨 적는 형태, 노드에서 호스트 PID 를 죽이는 (b) 갈래, `curlimages/curl:8.11.1` 에 `tar` 가 있는지.
|
||||
- (observed, 2026-09-22) 재검증에서는 backend PID 하나를 골라 `kubectl ... exec deploy/postgres -- kill -9 <PID>` 형태로 SIGKILL 했고 실제 crash recovery가 돌았다. 성공 응답 SID `504`, 복구 후 DB SID `500`, `LC_ALL=C sort` + `comm -23` 으로 유실 `4`건을 다시 확인했다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a3-05-load-console.txt`, `a3-06-backend-kill.txt`, `a3-07-client-sids.sorted.txt`, `a3-08-db-sids.sorted.txt`, `a3-09-lost-sids.txt`다.
|
||||
- (observed, 2026-09-22) 로그인 루프를 foreground `kubectl exec` 세션으로 유지하는 방식이 실제로 동작했고, `curlimages/curl:8.11.1` 에 `/bin/tar` 가 있어 `kubectl cp` 를 사용할 수 있다.
|
||||
- (unknown) 게스트 노드에서 컨테이너의 host PID 를 찾아 직접 죽이는 (b) 갈래는 이번 재검증에서도 실행하지 않았다.
|
||||
- 이 실험이 두 번 틀렸다가 고친 것 — 「`--force` 로 죽였다」와 「`kill -9 1` 로 죽였다」가 둘 다 유실 0건이라는 깨끗한 결과를 냈다. 주입 성공 신호를 미리 정해 두지 않았다면 결론은 「Keycloak 은 DB 크래시에도 데이터를 잃지 않는다」가 됐을 것이다.
|
||||
- 추정이었다가 나중에 잰 값 — `wal_writer_delay` 200ms. 원래 문서는 결과를 먼저 쓰고 그 값과 맞는다고 주장했는데 그때는 조회한 적이 없었고, 로그인 속도도 초당 19건으로 잘못 적었다가 14건으로 정정했다.
|
||||
|
||||
|
||||
+42
-44
@@ -73,10 +73,10 @@ k3s 의 `kubectl` 은 `~/.kube/config` 가 없으면 `/etc/rancher/k3s/k3s.yaml`
|
||||
| 네임스페이스 | `keycloak-lab` · 관측 스택은 `observability` |
|
||||
| 대상 | StatefulSet `keycloak` 파드 둘 · Deployment `postgres` 하나 |
|
||||
| 탐침 파드 | `kc-probe` — `curlimages/curl:8.11.1`, `--rm -it`, `--restart=Never` |
|
||||
| 주 계기 | `vendor_statistics_approximate_entries_unique` 와 PostgreSQL 문장 로그 |
|
||||
| 스크레이프 간격 | 15초. 지표를 다시 묻기 전에 30초 기다린다 |
|
||||
| 주 계기 | 각 파드의 `/metrics`에서 읽는 `vendor_statistics_approximate_entries_unique`와 PostgreSQL 문장 로그 |
|
||||
| 지표 읽기 | 현재값은 `kubectl get --raw`로 직접 읽는다. Prometheus의 15초 scrape를 기다리지 않는다 |
|
||||
| 걸리는 시간 | 전 구간 약 40분 |
|
||||
| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 |
|
||||
| 도구 | `jq` 없이도 된다. text metrics는 `grep`으로 필요한 캐시만 고른다 |
|
||||
|
||||
## 이 실험이 가르는 것
|
||||
|
||||
@@ -637,7 +637,7 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
-c "select pg_reload_conf()"
|
||||
```
|
||||
|
||||
`pg_reload_conf` 가 `t` 를 돌려준다. `%h` 가 클라이언트 주소를 로그 줄 앞에 남기는데, 이것이 없으면 어느 파드가 보낸 질의인지 구별할 수 없어 이 시험의 판정이 성립하지 않는다.
|
||||
`pg_reload_conf` 가 `t` 를 돌려준다. `%h` 가 클라이언트 주소를 로그 줄 앞에 남기는데, 이것이 없으면 어느 파드가 보낸 질의인지 구별할 수 없어 이 시험의 판정이 성립하지 않는다. `ALTER SYSTEM`은 한 `-c "...; ..."` 문자열에 합치지 않는다. 2026-09-22 재검증에서 그렇게 합쳤더니 `ALTER SYSTEM cannot run inside a transaction block`으로 실패했다. 위처럼 `-c`를 명령마다 나누면 각 문장이 독립적으로 실행된다.
|
||||
|
||||
```bash label="[lab host] ② 두 설정이 실제로 적용됐는지 읽는다"
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
@@ -670,14 +670,18 @@ curl -s -o /dev/null -w '%{http_code}\n' -X POST "http://$K1:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT"
|
||||
```
|
||||
|
||||
2026-09-22 재검증에서는 요청 자체는 성공했지만, **예전 문서와 SQL 경로가 달랐다.**
|
||||
2026-09-22에는 중간 재검증 한 번에서 `keycloak-1`의 세션 SQL이 보이지 않았다. 하지만 그 구간은 다른 작업과 겹쳐 파드 IP가 바뀌었고, 캐시 출발값도 고정하지 못한 상태였다. 이 결과는 판정에서 제외했다.
|
||||
|
||||
캐시와 DB 세션을 0으로 만들고 두 Keycloak 파드를 다시 띄운 뒤 같은 절차를 짧은 구간으로 다시 묶어 측정했다. 출발값은 양쪽 `sessions=0`, `hits=0`, `misses=0`, `stores=0`이었다. 그 상태에서 `keycloak-0`에 로그인하고 `keycloak-1`에서 같은 refresh token을 사용했다.
|
||||
|
||||
```text
|
||||
SID=0jdhDrcu6VUaGIFCjWzNXDs2
|
||||
refresh_on_keycloak_1=200
|
||||
keycloak-0 = 10.42.1.32
|
||||
keycloak-1 = 10.42.0.29
|
||||
SID=iRziuATDE0qiNEG1yU7K7XT4
|
||||
REFRESH_ON_K1=200
|
||||
```
|
||||
|
||||
먼저 현재 파드 IP를 다시 잡는다.
|
||||
먼저 현재 파드 IP를 다시 잡는다. 로그의 `%h`와 맞춰 어느 파드가 SQL을 보냈는지 구분하기 위해서다.
|
||||
|
||||
```bash label="[lab host] PostgreSQL 로그를 파드 IP와 sid로 나눠 볼 준비"
|
||||
K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}')
|
||||
@@ -685,60 +689,54 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
|
||||
echo "$K0 $K1"
|
||||
```
|
||||
|
||||
그다음 refresh를 받은 `keycloak-1`의 세션 SQL을 찾는다.
|
||||
refresh를 받은 `keycloak-1`이 세션 테이블을 실제로 읽고 썼는지 찾는다.
|
||||
|
||||
```bash label="[lab host] 반대편 노드의 세션 테이블 SQL만 찾는다"
|
||||
```bash label="[lab host] 반대편 노드의 세션 SQL만 찾는다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=2m \
|
||||
| grep "$K1" \
|
||||
| grep -E 'OFFLINE_USER_SESSION|OFFLINE_CLIENT_SESSION'
|
||||
| grep -E 'OFFLINE_USER_SESSION|OFFLINE_CLIENT_SESSION|synchronous_commit'
|
||||
```
|
||||
|
||||
2026-09-22 재검증에서는 **출력이 없었다.** 같은 시간대 `keycloak-1` 주소에는 `JGROUPS_PING`의 `DELETE/INSERT/SELECT`만 있었고, 방금 만든 sid가 들어간 `OFFLINE_*_SESSION` 질의는 없었다.
|
||||
격리 재검증에서는 다음 흐름이 그대로 나왔다.
|
||||
|
||||
sid 자체로 한 번 더 확인한다.
|
||||
```text
|
||||
keycloak-1 refresh
|
||||
SELECT OFFLINE_USER_SESSION
|
||||
SELECT ... VERSION ... FOR NO KEY UPDATE ... SKIP LOCKED
|
||||
SELECT OFFLINE_CLIENT_SESSION
|
||||
SELECT ... VERSION ... FOR NO KEY UPDATE ... SKIP LOCKED
|
||||
UPDATE OFFLINE_CLIENT_SESSION
|
||||
UPDATE OFFLINE_USER_SESSION
|
||||
SET LOCAL synchronous_commit TO OFF
|
||||
```
|
||||
|
||||
같은 sid로 한 번 더 확인한다.
|
||||
|
||||
```bash label="[lab host] 이번 로그인 sid가 어느 DB 연결에서 보였는지 찾는다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=2m \
|
||||
| grep '{{SID}}'
|
||||
```
|
||||
|
||||
현재 실측에서는 sid 관련 SQL이 모두 `keycloak-0` 주소에서 나왔다. 로그인 시 `OFFLINE_USER_SESSION`·`OFFLINE_CLIENT_SESSION`을 조회하고 새 행을 넣었으며, 마지막에는 `SET LOCAL synchronous_commit TO OFF` 뒤 `COMMIT`했다. 반면 `keycloak-1` refresh는 `200`인데 그 sid의 DB SQL은 만들지 않았다.
|
||||
로그인 시에는 `keycloak-0` 주소가 같은 sid를 만들었고, 약 0.7초 뒤 `keycloak-1` 주소가 그 sid를 `SELECT`하고 `UPDATE`했다. 따라서 이 실험대에서 교차 노드 refresh는 **반대편 노드가 persistent user session을 PostgreSQL에서 다시 읽고 갱신하는 경로**로 확인됐다.
|
||||
|
||||
캐시 지표도 함께 보면 해석이 더 분명하다.
|
||||
|
||||
```text
|
||||
keycloak-0 login
|
||||
SELECT OFFLINE_USER_SESSION
|
||||
SELECT OFFLINE_CLIENT_SESSION
|
||||
INSERT OFFLINE_USER_SESSION
|
||||
INSERT OFFLINE_CLIENT_SESSION
|
||||
SET LOCAL synchronous_commit TO OFF
|
||||
COMMIT
|
||||
|
||||
keycloak-1 refresh
|
||||
HTTP 200
|
||||
sid 관련 OFFLINE_*_SESSION SQL 없음
|
||||
entries hits misses stores
|
||||
시작 K0 0 0 0 0
|
||||
시작 K1 0 0 0 0
|
||||
refresh 뒤 K0 1 0 1 1
|
||||
refresh 뒤 K1 0 1 0 1
|
||||
```
|
||||
|
||||
따라서 현재 환경에서 확인된 경로는 다음처럼 읽는 것이 맞다.
|
||||
`keycloak-1`의 `hits`와 `stores` 계수기는 움직였지만 `approximate_entries_unique`는 계속 `0`이었다. 따라서 `hits`나 `stores` 하나만 보고 “그 세션이 K1 로컬 캐시에 상주한다”고 읽으면 안 된다. **세션 거처는 엔트리 수로 보고, 실제 read/write 경로는 SQL 로그로 확인한다.**
|
||||
|
||||
```text
|
||||
keycloak-1 이 요청을 받음
|
||||
↓
|
||||
자기 로컬 sessions 엔트리는 없음
|
||||
↓
|
||||
Infinispan/JGroups 분산 캐시를 통해 owner 엔트리를 사용 가능
|
||||
↓
|
||||
이번 refresh에서는 PostgreSQL 세션 행을 직접 읽지 않음
|
||||
```
|
||||
현재 재검증 결과는 2026-09-04의 기존 관측과 같은 방향이다. 반대편 노드는 세션을 DB에서 읽고 갱신하며, 그 세션을 자기 `sessions` 엔트리로 계속 보유하지 않았다. 최신 격리 재검증 전체 로그는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-18-isolated-sql-path.txt`에 있다.
|
||||
|
||||
중요한 점은 **"로컬 캐시에 없다"와 "DB에서 읽는다" 사이에 등호를 놓으면 안 된다는 것**이다. PostgreSQL은 persistent user session의 저장소지만, 살아 있는 2노드 클러스터에서 모든 교차 노드 요청이 DB를 다시 읽는 것은 아니다. DB fallback이나 재적재 경로는 캐시 miss, 노드 상실, 재시작 같은 조건을 따로 주입해 확인해야 한다.
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-17-isolated-0d-reset.txt`
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-18-isolated-0d-measurement.txt`
|
||||
|
||||
2026-09-04의 옛 실험 기록에는 반대편 노드가 `OFFLINE_*_SESSION`을 SELECT/UPDATE한 흔적이 있었다. 그 값은 당시 관측으로 남기되 **현재 Keycloak 26.7.0 실험대의 불변 동작으로 일반화하지 않는다.** 이번 재검증 증거는 다음 파일에 있다.
|
||||
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt`
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt`
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt`
|
||||
|
||||
전역 `synchronous_commit`은 여전히 `on`이었고, `keycloak-0`이 로그인 세션을 저장하는 트랜잭션에서만 `SET LOCAL synchronous_commit TO OFF`가 관측됐다. `SET LOCAL`은 해당 트랜잭션이 끝나면 되돌아간다. A-3에서 DB crash 직전 쓰기 손실을 볼 때는 **실제로 어떤 요청이 이 구문을 실행했는지 SQL 로그로 같이 묶어** 해석한다.
|
||||
전역 `synchronous_commit`은 `on`이었고, 세션 쓰기 트랜잭션 안에서만 `SET LOCAL synchronous_commit TO OFF`가 관측됐다. `SET LOCAL`은 해당 트랜잭션이 끝나면 되돌아간다. A-3에서 DB crash 직전 쓰기 손실을 볼 때는 실제 요청과 이 구문을 같은 SQL 로그로 묶어 해석한다.
|
||||
|
||||
여기까지가 탐침 파드에서 칠 것의 마지막이다. 파드 셸을 붙잡고 있던 터미널에서 나온다. 나가지 않으면 `--rm` 이 파드를 안 지우고 원상복구 확인표의 `kc-probe` 줄이 `NotFound` 가 아니게 된다.
|
||||
|
||||
@@ -846,7 +844,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
|
||||
|
||||
- (observed, 2026-09-22) 양쪽 `vendor_cluster_size=2.0`, 교차 노드 refresh `200`, 같은 sid 유지, 반대편 logout `204`, 그 뒤 원래 노드 refresh `400 invalid_grant`.
|
||||
- (observed, 2026-09-22) 로컬 cache ownership은 `2/0 → 2/5 → 7/5`, DB online row는 `2 → 7 → 12`였다.
|
||||
- (changed, 2026-09-22) 반대편 refresh가 성공했지만 그 파드 주소에서 해당 sid의 `OFFLINE_USER_SESSION`/`OFFLINE_CLIENT_SESSION` SQL은 나오지 않았다. 옛 기록의 "반대편은 매번 DB를 읽는다"는 설명은 현재 동작으로 일반화하지 않는다.
|
||||
- (observed, 2026-09-22) 캐시와 DB를 0으로 만든 격리 재검증에서 반대편 refresh는 `200`이었고, 같은 sid가 PostgreSQL 로그에서 `keycloak-0` 6줄과 `keycloak-1` 6줄로 확인됐다. 따라서 이 실험대에서는 반대편 노드가 persistent session을 PostgreSQL에서 다시 읽고 갱신한다. 증거는 `a0-18-isolated-sql-path.txt`다.
|
||||
- (observed, 2026-09-22) 로그인한 owner 쪽에서는 `OFFLINE_*_SESSION` SELECT/INSERT와 `SET LOCAL synchronous_commit TO OFF`가 확인됐다.
|
||||
- (observed, 2026-09-22) 정리 후 DB 세션 0, 두 파드 캐시 0, cluster size 2, `log_statement=none`, 외부 realm HTTP 200으로 돌아왔다. 증거는 `a0-15-cleanup.txt`다.
|
||||
|
||||
|
||||
+49
-42
@@ -65,7 +65,7 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800
|
||||
|
||||
## 이 실험이 가르는 것
|
||||
|
||||
A-0 재검증에서는 `owners=1`인 분산 캐시와 PostgreSQL persistent session store가 함께 동작했다. 정상 2노드 상태의 교차 refresh는 반대편 노드에서 세션 SQL 없이도 성공했으므로, "로컬 캐시에 없으면 DB에서 읽는다"는 단순 모델은 버렸다. A-1은 7800을 끊었을 때 **원격 owner 접근과 캐시 무효화가 어떻게 달라지는지**를 직접 본다.
|
||||
A-0의 2026-09-22 격리 재검증에서는 `owners=1`인 분산 캐시와 PostgreSQL persistent session store가 함께 동작했다. `keycloak-0`에서 만든 세션을 `keycloak-1`에서 refresh하자 `keycloak-1`이 `OFFLINE_USER_SESSION`과 `OFFLINE_CLIENT_SESSION`을 직접 `SELECT`·`UPDATE`했고, 그 뒤에도 `keycloak-1`의 `sessions` 고유 엔트리는 `0`이었다. 따라서 A-1에서 7800을 끊고 보는 핵심은 "원격 owner에서 세션을 읽을 수 있나"가 아니라 **DB 기반 세션 처리는 계속되더라도 JGroups가 맡던 클러스터 상태·무효화 신호가 끊기면 무엇이 달라지는가**다.
|
||||
|
||||
끊을 때 두 가지를 갈라야 한다.
|
||||
|
||||
@@ -83,6 +83,7 @@ A-0 재검증에서는 `owners=1`인 분산 캐시와 PostgreSQL persistent sess
|
||||
- `05-keycloak` · `06-observability` 가 끝나 있다.
|
||||
- 두 Keycloak 파드가 서로 다른 노드에 있어야 한다. 단일 노드에서는 이 고장을 만들 수 없다.
|
||||
- `kc-lab-2` 에 `ssh` 로 붙을 수 있어야 한다. **conntrack 은 두 노드 모두에서** 봐야 한다.
|
||||
- 이 실험을 하는 동안 다른 세션이나 자동화가 같은 `keycloak-lab`의 NetworkPolicy·Keycloak 파드를 건드리지 않아야 한다. 2026-09-22 재검증에서 다른 작업이 `a1-block-jgroups-transport`를 중간에 지워 분단이 약 90초 뒤 저절로 풀린 것처럼 보였다. 관찰 중에는 `kubectl -n keycloak-lab get networkpolicy a1-block-jgroups-transport`가 계속 존재하는지도 전제 조건으로 본다.
|
||||
|
||||
**이건 상태를 부수는 실험이다.** Keycloak 클러스터를 실제로 분단시키고 파드를 재시작한다. **실험대에서만 한다.** 중간에 그만두려면 아래 한 줄이면 된다.
|
||||
|
||||
@@ -488,6 +489,8 @@ exit
|
||||
|
||||
폴더 README 는 게스트 셸이 필요한 것을 `nft`·`tc`·`systemctl` 처럼 노드 자체를 건드리는 명령뿐이라고 적는데, `conntrack` 이 그 경우다.
|
||||
|
||||
이 절을 하나의 `bash -s` 스크립트로 자동화한다면 내부 `ssh kc-lab-1 ...` / `ssh kc-lab-2 ...`에는 `-n`을 붙인다. 바깥 스크립트 자체를 stdin으로 실행하는 중 nested `ssh`가 같은 stdin을 읽으면 남은 스크립트를 소비해 명령이 오류 없이 중간에서 끝날 수 있다. 2026-09-22 재검증에서 실제로 이 현상을 확인했고 `ssh -n`으로 다시 실행했다. 사람이 문서대로 셸을 하나씩 이동하며 칠 때는 이 문제가 없다.
|
||||
|
||||
실측은 이렇다(observed, `05-conntrack-problem.txt`).
|
||||
|
||||
```text
|
||||
@@ -501,49 +504,43 @@ exit
|
||||
|
||||
`2>/dev/null` 은 `conntrack` 이 stderr 로 찍는 「N flow entries have been shown」 요약을 지우려는 것이고, **처음에는 반드시 빼고 친다** — 위에서 본 `command not found` 가 거기로 나가기 때문이다. 상태 열을 읽는다 — `ESTABLISHED` 는 양방향 통신이 성립해 규칙 평가를 건너뛰고, `[ASSURED]` 는 표가 꽉 차도 안 지워지는 오래된 연결이며, `SYN_SENT [UNREPLIED]` 가 정책이 동작하고 있다는 것을 보여 준다. `dport=57800` 도 ESTABLISHED 로 살아 있다. NetworkPolicy 는 이미 붙어 있는 연결을 떼어내지 못하므로, 보안 사고 대응으로 「지금 당장 이 통신을 끊어라」에 NetworkPolicy 를 걸면 새 연결만 막히고 진행 중인 연결은 계속된다. 같은 7800 을 한 방향만 끊는 A-5 가 NetworkPolicy 대신 `iptables` 의 raw PREROUTING 으로 간 까닭도 여기서 나왔다 — 그 체인은 conntrack 조회보다 먼저 평가된다.
|
||||
|
||||
### 5. conntrack 항목을 튜플 그대로 지운다
|
||||
### 5. conntrack 항목을 JGroups 포트로 지운다
|
||||
|
||||
**목적** — 규칙 평가를 건너뛰게 만들던 기존 연결 기록을 표에서 없앤다.
|
||||
**목적** — NetworkPolicy 적용 전에 만들어져 있던 7800·57800 연결의 conntrack 상태를 없애 다음 패킷이 정책을 만나게 한다.
|
||||
|
||||
네 값은 바로 위 4단계의 `conntrack -L` 출력에서 읽는다. 한 줄에 `src=` `dst=` `sport=` `dport=` 가 두 벌 나오는데 **앞의 한 벌이 원 방향, 뒤의 한 벌이 응답 방향**이고 두 벌을 각각 한 번씩 지운다. 포트는 ephemeral 이라 재시작할 때마다 바뀐다.
|
||||
처음 문서에서는 `conntrack -L`의 `src`·`dst`·`sport`·`dport`를 손으로 옮겨 적어 튜플 하나씩 지우게 했다. 재현은 되지만 ephemeral port가 매번 달라 독자가 복사해야 할 값이 많고 오타도 나기 쉽다. 2026-09-22 현재 전용 lab에서는 **목적 포트만 지정해도 해당 conntrack entry 전체가 삭제되는 것**을 확인했다.
|
||||
|
||||
```bash label="[kc-lab-1] -L 출력의 네 값을 그대로 옮겨 한 항목씩 지운다"
|
||||
sudo conntrack -D -p tcp -s <src> -d <dst> --sport <sp> --dport <dp>
|
||||
`kc-lab-1`에서 두 포트를 지운다.
|
||||
|
||||
```bash label="[kc-lab-1] JGroups transport와 FD_SOCK2 conntrack을 지운다"
|
||||
sudo conntrack -D -p tcp --dport 7800
|
||||
sudo conntrack -D -p tcp --dport 57800
|
||||
```
|
||||
|
||||
이 실험대에서는 7800 두 방향과 57800 한 방향, 이렇게 세 번 쳤다(observed). 그대로 옮겨 치면 자기 실험대에는 없는 튜플이라 0건이 나온다.
|
||||
같은 두 줄을 `kc-lab-2`에서도 친다.
|
||||
|
||||
```text
|
||||
sudo conntrack -D -p tcp -s 10.42.0.35 -d 10.42.1.43 --sport 40023 --dport 7800
|
||||
sudo conntrack -D -p tcp -s 10.42.1.43 -d 10.42.0.35 --sport 7800 --dport 40023
|
||||
sudo conntrack -D -p tcp -s 10.42.0.35 -d 10.42.1.43 --sport 50477 --dport 57800
|
||||
```bash label="[kc-lab-2] 반대편 노드에서도 같은 두 포트를 지운다"
|
||||
sudo conntrack -D -p tcp --dport 7800
|
||||
sudo conntrack -D -p tcp --dport 57800
|
||||
```
|
||||
|
||||
`kc-lab-2` 에서도 같은 일을 한다. 서버 쪽 노드에는 튜플이 뒤집혀 기록되어 있으므로, 그쪽에 붙어 그쪽 `-L` 출력을 보고 옮긴다.
|
||||
**어디를 보나** — `N flow entries have been deleted`에서 `N`이 1 이상인지 본다. 2026-09-22 재검증에서는 `kc-lab-1`의 7800에서 2건(기존 JGroups 연결과 직전 포트 탐침), 57800에서 1건이 지워졌고 `kc-lab-2`에서는 각각 1건씩 지워졌다. 그 뒤 두 노드의 7800·57800 conntrack 목록은 비었다.
|
||||
|
||||
```bash label="[lab host] ① 반대편 노드에 붙는다"
|
||||
ssh kc-lab-2
|
||||
```bash label="[각 게스트] 남은 JGroups conntrack이 없는지 확인한다"
|
||||
sudo conntrack -L 2>/dev/null | grep -E 'dport=(7800|57800)|sport=(7800|57800)'
|
||||
```
|
||||
|
||||
```bash label="[kc-lab-2] ② 이 노드의 표를 다시 보고 네 값을 읽는다"
|
||||
sudo conntrack -L 2>/dev/null | grep 7800
|
||||
```
|
||||
출력이 없으면 현재 표에는 해당 흐름이 없다는 뜻이다. 새 `SYN_SENT [UNREPLIED]`가 다시 생길 수 있는데, 그것은 정책 아래에서 재연결을 시도했지만 응답받지 못했다는 증거다.
|
||||
|
||||
```bash label="[kc-lab-2] ③ 읽은 값으로 지운다"
|
||||
sudo conntrack -D -p tcp -s <src> -d <dst> --sport <sp> --dport <dp>
|
||||
```
|
||||
**왜 `--sport`까지 두 번 지우지 않는가** — conntrack 한 항목에는 원 방향과 응답 방향이 함께 들어 있다. `--dport 7800`으로 원 방향 항목을 지우면 같은 entry의 응답 방향도 같이 사라진다. 2026-09-22에는 이어서 `--sport 7800`을 쳤을 때 `0 flow entries have been deleted`가 나왔다.
|
||||
|
||||
```bash label="[kc-lab-2] ④ 나온다"
|
||||
exit
|
||||
```
|
||||
:::warning
|
||||
|
||||
**예상 결과** — 삭제 건수가 나온다.
|
||||
이 축약형은 **JGroups 전용 포트 7800·57800을 다른 워크로드가 쓰지 않는 전용 lab**을 전제로 한다. 공유 노드에서 특정 연결 하나만 지워야 한다면 `conntrack -L`에서 네 값을 읽어 `-s <src> -d <dst> --sport <sp> --dport <dp>`로 좁혀 지우는 편이 안전하다.
|
||||
|
||||
**왜 필요한가** — 위 소켓 출력이 보여 준 대로 ESTABLISHED 인 연결은 규칙 평가 앞에서 통과한다. 그 기록을 지워야 다음 패킷이 정책을 만난다.
|
||||
:::
|
||||
|
||||
**문제가 생기면** — `0 flow entries have been deleted` 면 튜플이 틀린 것이고, `--dport 7800` 만 주면 0건이 나온다. 원래 실행에서 실제로 그렇게 나왔다.
|
||||
|
||||
여기에 정직하게 적어 둘 것이 있다(observed). 원래 실행에서 conntrack 을 지운 뒤에도 `vendor_cluster_size` 는 계속 2 였다. 해설 문서는 처음에 「conntrack 삭제 → 3분 뒤 분단」이라고 썼다가 증거를 다시 보고 정정했고, 실제 하락은 파드가 재시작된 4초 뒤에 일어났다. 이 단계만으로 분단이 만들어지는지는 이 실험이 판정하지 못했다.
|
||||
삭제 직후에도 `vendor_cluster_size`가 바로 1로 바뀐다고 가정하지 않는다. 2026-09-22 재검증에서도 두 conntrack 표를 비운 직후에는 두 파드가 모두 `2.0`이었다. 이 단계는 **기존 연결 우회 가능성을 제거했다**는 것까지만 확인하고, 분단 자체는 다음 단계에서 새 파드를 띄워 확정한다.
|
||||
|
||||
### 6. 정책이 걸린 채로 파드를 지워 분단을 확정한다
|
||||
|
||||
@@ -576,9 +573,13 @@ keycloak-0 false 10.42.1.67 2026-09-04T02:44:23Z
|
||||
|
||||
## 관찰
|
||||
|
||||
```bash label="[lab host] 두 노드가 아는 멤버 수"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
|
||||
```bash label="[lab host] 두 노드가 아는 현재 멤버 수"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
printf '%s ' "$POD"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
실측은 이렇다(observed).
|
||||
@@ -779,7 +780,7 @@ exit
|
||||
[4] keycloak-0 에서 재갱신 시도 HTTP 200 ← 400 이어야 했다
|
||||
```
|
||||
|
||||
[2]에서 반대편 refresh `200`은 **분단 상태에서도 PostgreSQL에 남은 persistent session을 이용해 세션을 재적재할 수 있음**을 보여 준다. A-0 정상 클러스터에서는 같은 교차 refresh가 DB 세션 SQL 없이 성공했으므로, "세션은 항상 DB로 읽힌다"고 일반화하지 않는다. [4]에서는 로그아웃 무효화가 분단을 건너지 못해 대조군 `400 invalid_grant`와 달리 `200`이 나왔다.
|
||||
[2]의 반대편 refresh `200`은 **JGroups가 끊겨도 shared PostgreSQL persistent session store를 이용한 refresh 자체는 계속될 수 있음**을 보여 준다. A-0의 2026-09-22 격리 재검증에서도 정상 클러스터의 교차 refresh가 `OFFLINE_USER_SESSION`·`OFFLINE_CLIENT_SESSION`을 `SELECT`·`UPDATE`했다. A-1에서 달라진 것은 DB read/write 가능 여부가 아니라 **로그아웃 뒤 다른 노드의 로컬 캐시를 지우는 무효화 신호가 7800 분단을 건너지 못했다는 점**이다. 그래서 [4]가 대조군 `400 invalid_grant`와 달리 `200`이 된다.
|
||||
|
||||
[4] 의 200 이 로그아웃이 아예 안 됐다는 뜻인지 확인한다. sid 는 [1] 에서 JWT payload 를 풀어 화면에 찍고 적어 둔 그 값이다. 로그인할 때마다 새로 생기므로 자기 실행의 값을 넣는다.
|
||||
|
||||
@@ -821,7 +822,7 @@ done
|
||||
keycloak-0 은 자기 캐시로 200 을 준다 ◀────────────┘
|
||||
```
|
||||
|
||||
캐시의 stale 엔트리는 매 요청마다 DB와 대조되지 않았다. 이번 분단에서는 K1이 persistent session을 이용해 refresh를 처리하고 DB 행을 삭제했지만, K0의 기존 cache entry 무효화는 7800 분단을 건너지 못했다. 따라서 **정상 클러스터의 원격 owner 경로와 분단 뒤 DB 재적재/fallback 경로를 같은 것으로 설명하지 않는다.** 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다.
|
||||
캐시의 stale 엔트리는 매 요청마다 DB와 대조되지 않았다. A-0 정상 상태와 A-1 분단 상태 모두 교차 refresh에서 persistent session store의 read/write가 관측됐지만, **A-1에서만 JGroups 무효화가 끊겨 DB 행 삭제 뒤에도 K0의 기존 cache entry가 남았다.** 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 이 시험은 파드 주소로 직접 쳤고, 실제 사용자 경로인 edge nginx → Traefik → Service 에서는 NotReady 인 `keycloak-0` 이 EndpointSlice에서 제외된다. 2026-09-22 재검증 원본은 `final/evidence/raw/2026-09-22-test-server-revalidation/a1-08-split-behavior.txt`와 `a1-09-service-impact.txt`에 남겼다.
|
||||
|
||||
## 복구와 원상복구 확인표
|
||||
|
||||
@@ -856,24 +857,30 @@ networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keyclo
|
||||
+90초 keycloak-0=2 keycloak-1=2 ← 재형성
|
||||
```
|
||||
|
||||
**왜 필요한가** — 재형성은 즉시가 아니다. 2026-09-04에는 약 90초가 걸렸지만, 2026-09-22에는 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 회복됐고, `keycloak-0` readiness는 그 뒤 약 15초 더 지나 `true`로 돌아왔다. **cluster merge와 Service endpoint 복귀를 같은 시각으로 가정하지 않는다.**
|
||||
**왜 필요한가** — 재형성은 즉시가 아니다. 2026-09-04에는 약 90초가 걸렸다. 2026-09-22 재검증에서도 정책 해제 직후에는 `1/1 + coordinator 2개`가 유지됐고, 약 38초 뒤 cluster size `2/2`와 coordinator 1개가 먼저 회복됐다. `keycloak-0` readiness는 그 뒤 약 15초 더 지나 `true`가 됐다. **cluster merge와 Service endpoint 복귀를 같은 시각으로 가정하지 않는다.**
|
||||
|
||||
**문제가 생기면** — 2~3분이 지나도 1 이면 MERGE3 주기 밖이거나 정책이 안 지워진 것이므로 `get networkpolicy` 부터 본다.
|
||||
|
||||
2026-09-22 원자 재검증에서는 정책 존재를 매 poll마다 확인하며 진행했다. 9번째 5초 poll에서 `cluster_size=1/1`, coordinator 2개로 분단을 확정했고, 정책 제거 뒤 13번째 5초 poll에서 `cluster_size=2/2`, coordinator 1개, 양쪽 Ready로 복구됐다. 전체 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a1-07-atomic-revalidation-v2.txt`다.
|
||||
|
||||
### 2. 누가 붙였는지 카운터로 확인한다
|
||||
|
||||
**목적** — 재형성이 저절로 일어난 것인지 확인한다.
|
||||
|
||||
```bash label="[lab host] 병합 이벤트 계수기를 다시 읽는다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_jgroups_merge3_get_num_merge_events'
|
||||
```bash label="[lab host] 각 파드에서 병합 이벤트 계수기를 직접 읽는다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_jgroups_merge3_get_num_merge_events'
|
||||
done
|
||||
```
|
||||
|
||||
**예상 결과** — 실측은 `merge_events keycloak-0 = 1`, `merge_events keycloak-1 = 1` 이다(observed). 주입 전에 `0.0` 이던 값이 1 이다.
|
||||
**예상 결과** — 두 값이 반드시 같이 오를 필요는 없다. 2026-09-22 이번 재검증에서는 정책 해제 전 `0/0`이었고, 복구 뒤 `keycloak-0=0`, `keycloak-1=1`이었다. K1에서 merge event가 발생했고 동시에 cluster size가 `2/2`, `JGROUPS_PING` coordinator가 하나로 돌아왔다.
|
||||
|
||||
**왜 필요한가** — MERGE3 는 split brain 을 감지해 갈라진 뷰를 병합하는 JGroups 프로토콜이고, `0 → 1` 로 오른 카운터가 그 프로토콜이 실제로 일했다고 말한다.
|
||||
**왜 필요한가** — MERGE3 는 split brain 을 감지해 갈라진 뷰를 병합하는 JGroups 프로토콜이다. 이 카운터는 **어느 노드가 merge event를 처리했는지** 보조 증거로 쓰고, 양쪽 카운터가 같은 값이어야 한다는 조건으로 쓰지 않는다.
|
||||
|
||||
**문제가 생기면** — 값이 그대로 0 이면 재형성이 다른 경로로 일어났거나 아직 안 일어난 것이므로 `vendor_cluster_size` 를 다시 본다.
|
||||
**문제가 생기면** — 두 값이 모두 0이어도 카운터 하나만으로 복구 실패라고 단정하지 않는다. `vendor_cluster_size=2/2`, coordinator 1개, 양쪽 Ready를 먼저 확인하고 로그의 `ISPN000093` merge view까지 본다.
|
||||
|
||||
코디네이터도 하나로 돌아온다. 실측은 이렇다(observed).
|
||||
|
||||
@@ -893,7 +900,7 @@ kubectl -n observability exec deploy/prometheus -- \
|
||||
| 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** |
|
||||
| 지표 | `vendor_cluster_size` | 양쪽 `2` |
|
||||
| 임시 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) |
|
||||
| 밖 | `curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` |
|
||||
| edge 경로 | `curl -skS --resolve auth.hyeonworks.com:443:192.168.122.10 -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` |
|
||||
|
||||
conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시 채워진다.
|
||||
|
||||
@@ -902,7 +909,7 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시
|
||||
| 증상 | 원인 | 확인 |
|
||||
|---|---|---|
|
||||
| 정책을 걸었는데 지표가 안 변한다 | conntrack 의 ESTABLISHED 가 먼저 통과시킨다 | `sudo conntrack -L 2>/dev/null \| grep 7800` |
|
||||
| `conntrack -D` 가 `0 flow entries` | 튜플이 틀렸다. `--dport` 만으로는 0건 | `-L` 출력의 src/dst/sport/dport 를 **그대로** 옮긴다 |
|
||||
| `conntrack -D --dport 7800` 이 `0 flow entries` | 이미 지웠거나 해당 흐름이 아직 없다 | 먼저 `conntrack -L`로 7800·57800 흐름이 실제로 있는지 확인한다 |
|
||||
| conntrack 을 지웠는데도 계속 2 | **이 실험은 그것만으로 분단되는지 판정 못 했다** | 정책이 걸린 채 파드를 재시작한다 |
|
||||
| 파드가 `0/1`로 빠진다 | 9000 접근 실패 또는 Keycloak readiness DOWN | `describe pod`와 `/health/ready`; **readiness 실패 자체는 컨테이너를 재시작하지 않는다** |
|
||||
| `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 임시 curl 파드를 띄우거나 Prometheus 에 묻는다 |
|
||||
|
||||
+42
-40
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: an-empty-token-installed-the-agent-anyway
|
||||
title: 빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다
|
||||
title: k3s agent 설치 후 두 번째 노드가 등록되지 않은 원인
|
||||
topic: build-completion-judgment
|
||||
topicName: 끝났다는 판정
|
||||
project: virtualization
|
||||
@@ -17,44 +17,46 @@ source:
|
||||
- final/document.md#184-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 빈 토큰이 조용히 흘러갔다 — 설치 출력은 성공이었고 agent 만 5초마다 다시 죽었다
|
||||
# k3s agent 설치 후 두 번째 노드가 등록되지 않은 원인
|
||||
|
||||
이 Case는 **과거 셸 변수 방식에서 생긴 실패**를 기록한다. k3s agent 설치 출력은 끝까지 진행됐지만 `kubectl get nodes`에는 노드가 하나뿐이었고, 뒤에서 `--token is required`가 드러났다. 현재 Setup은 이 경로를 그대로 쓰지 않는다. node-token을 파일로 내려받아 크기가 0이 아닌지 확인하고 `--token-file`로 넘기므로, 이 글은 왜 그 절차로 바뀌었는지를 설명하는 실패 기록으로 읽는다.
|
||||
`kc-lab-2`에 k3s agent를 설치했을 때 설치 스크립트는 오류 없이 끝났지만, `kubectl get nodes`에는 `kc-lab-1`만 보였다. `k3s-agent` 로그를 확인하니 `--token is required`가 반복되고 있었고, agent에 전달한 토큰 변수가 비어 있던 것이 원인이었다. 현재 Setup에서는 토큰을 파일로 전달해 같은 문제가 생기지 않도록 절차를 바꿨다.
|
||||
|
||||
## 설치는 끝났는데 두 번째 노드가 없었다
|
||||
## 설치 스크립트는 끝났지만 노드가 등록되지 않았다
|
||||
|
||||
k3s agent 설치가 끝까지 돌았고 출력에 오류가 없었다. 그런데 두 노드가 Ready 로 나와야 할 kubectl get nodes 에 두 번째 노드가 나타나지 않았다.
|
||||
agent 설치 스크립트는 오류 없이 종료됐다. 하지만 두 노드가 `Ready` 상태로 보여야 하는 `kubectl get nodes`에는 `kc-lab-1`만 나왔다.
|
||||
|
||||
설치 출력의 오류 : x
|
||||
kubectl get nodes 의 노드 수 : 1
|
||||
k3s-agent 유닛 : 5초마다 재시작
|
||||
journalctl -u k3s-agent : level=fatal msg="Error: --token is required"
|
||||
| 확인 항목 | 결과 |
|
||||
|---|---|
|
||||
| agent 설치 스크립트 | 오류 없이 종료 |
|
||||
| `kubectl get nodes` | `kc-lab-1`만 표시 |
|
||||
| `k3s-agent` 서비스 | 5초 간격으로 재시작 |
|
||||
| `journalctl -u k3s-agent` | `level=fatal msg="Error: --token is required"` |
|
||||
|
||||
실패가 화면에 나오지 않아 설치는 끝난 것으로 읽힌다.
|
||||
설치 스크립트가 끝났다는 사실만으로는 agent가 정상적으로 클러스터에 등록됐다고 판단할 수 없었다.
|
||||
|
||||
## 빈 토큰이 설치 단계까지 조용히 흘렀다
|
||||
## 토큰 변수에 빈 문자열이 들어간 원인
|
||||
|
||||
토큰을 꺼내는 ssh 를 게스트 안에서 쳤고 그 명령이 Host key verification failed. 로 끝났다. 명령 치환으로 감싸면 오류는 stderr 로 흘러가고 변수에는 빈 문자열이 담긴다. 셸은 아무 불평도 하지 않는다.
|
||||
토큰을 읽는 `ssh` 명령을 lab host가 아니라 게스트 안에서 실행했고, 해당 명령은 `Host key verification failed.`로 실패했다. 이 명령을 `TOKEN=$(...)` 형태로 실행하면 표준 출력만 변수에 들어가기 때문에 `TOKEN`에는 빈 문자열이 남는다.
|
||||
|
||||
agent 는 --token '' 을 받아 level=fatal msg="Error: --token is required" 로 죽지만, 설치 스크립트는 그 전까지를 다 성공으로 찍고 끝난다. 그래서 설치 출력만 보면 성공이고, 유닛이 Restart=always 라 5초마다 조용히 재시도한다.
|
||||
그 상태로 agent 설치 명령을 실행하면 `--token ''`이 전달된다. 설치 스크립트는 서비스 파일 생성과 enable 단계까지 끝내지만, 실제 `k3s-agent` 프로세스는 `level=fatal msg="Error: --token is required"`를 남기고 종료됐다. `Restart=always` 설정 때문에 서비스는 5초 간격으로 다시 시작됐다.
|
||||
|
||||
당시 바로잡은 방향 : 게스트 안에서 다시 `ssh kc-lab-1`을 부르지 않고 lab host에서 server token을 읽는다
|
||||
당시 가드 : 비밀 값을 화면에 찍지 않고 비어 있지 않은지만 확인한다. 108자는 그 실행의 관측값이지 고정 규격이 아니다
|
||||
현재 Setup : token을 파일로 받아 `wc -c`로 비어 있지 않은지 확인한 뒤 `--token-file`로 넘긴다. 셸 변수와 같은 셸 제약을 없앴다
|
||||
당시에는 게스트 안에서 다시 `ssh kc-lab-1`을 실행하지 않고 lab host에서 server token을 읽도록 수정했다. 토큰 값 자체는 출력하지 않고 비어 있는지만 확인했으며, 108자는 당시 실행에서 관측한 길이일 뿐 고정 규격으로 사용하지 않았다. 현재 Setup에서는 토큰을 파일로 받아 `wc -c`로 크기를 확인한 뒤 `--token-file`로 전달한다.
|
||||
|
||||
## 당시 k3s 실험 환경
|
||||
|
||||
호스트 : test-server, Arch Linux
|
||||
CPU : i5-1135G7, 논리 코어 8
|
||||
RAM : 11,648MiB
|
||||
QEMU : 11.1.1
|
||||
libvirt : 12.7.0
|
||||
게스트 : Debian 12 genericcloud
|
||||
k3s : v1.36.4+k3s1
|
||||
server 노드 : kc-lab-1, 192.168.122.11
|
||||
agent 노드 : kc-lab-2, 192.168.122.12
|
||||
토큰 길이 : 108자
|
||||
토큰 형식 : K10<해시>::server:<비밀번호>
|
||||
| 항목 | 값 |
|
||||
|---|---|
|
||||
| 호스트 | test-server, Arch Linux |
|
||||
| CPU | i5-1135G7, 논리 코어 8 |
|
||||
| RAM | 11,648MiB |
|
||||
| QEMU | 11.1.1 |
|
||||
| libvirt | 12.7.0 |
|
||||
| 게스트 | Debian 12 genericcloud |
|
||||
| k3s | v1.36.4+k3s1 |
|
||||
| server 노드 | kc-lab-1, 192.168.122.11 |
|
||||
| agent 노드 | kc-lab-2, 192.168.122.12 |
|
||||
| 당시 토큰 길이 | 108자 |
|
||||
| 토큰 형식 | K10<해시>::server:<비밀번호> |
|
||||
|
||||
## 같은 실패를 다시 만들려면
|
||||
|
||||
@@ -73,7 +75,7 @@ agent 노드 : kc-lab-2, 192.168.122.12
|
||||
|
||||
k3s server 는 `kc-lab-1` 에, agent 는 `kc-lab-2` 에 깔고 둘 다 lab host 에서 `ssh` 로 원격 실행한다. 가이드가 코드 블록마다 어느 기계에서 치는지를 붙여 둔 까닭이 여기에 있다 — 게스트는 libvirt NAT(`192.168.122.0/24`) 안에 있어 워크스테이션에서 직접 닿지 않고, `ssh kc-lab-1` 이라는 별칭도 lab host 의 `~/.ssh/config` 에만 있다.
|
||||
|
||||
당시 절차는 agent가 사용할 node-token을 lab host의 셸 변수에 담아 설치 명령으로 넘겼다. 바로 이 변수 전달이 실패 지점이 됐다. 현재 Setup은 token file을 사용하므로 아래 블록은 **historical failure path**다.
|
||||
당시에는 agent가 사용할 node-token을 lab host의 셸 변수에 담아 설치 명령으로 넘겼다. 문제가 생긴 지점도 이 변수 전달 과정이었다. 현재 설치 절차는 토큰 파일을 사용하므로 아래 명령은 당시 문제를 설명하기 위한 예시다.
|
||||
|
||||
```bash
|
||||
TOKEN=$(ssh kc-lab-1 'sudo cat /var/lib/rancher/k3s/server/node-token')
|
||||
@@ -89,7 +91,7 @@ ssh kc-lab-2 "curl -sfL https://get.k3s.io | sudo sh -s - agent \
|
||||
--node-ip 192.168.122.12"
|
||||
```
|
||||
|
||||
## 게스트 안에서 친 ssh 는 빈 문자열이 된다
|
||||
## 게스트에서 실행한 ssh 명령은 토큰을 가져오지 못했다
|
||||
|
||||
토큰을 꺼내려고 게스트에 먼저 들어가면 같은 명령이 다르게 끝난다. 게스트에는 lab host 의 개인키도 `~/.ssh/config` 도 없다.
|
||||
|
||||
@@ -98,11 +100,11 @@ ssh kc-lab-2 "curl -sfL https://get.k3s.io | sudo sh -s - agent \
|
||||
Host key verification failed.
|
||||
```
|
||||
|
||||
여기까지는 오류 문구가 찍힌다. 문제는 이 명령을 `TOKEN=$(...)` 로 감쌌을 때다. 명령 치환은 표준 출력만 변수에 담으므로 오류는 stderr 로 흘러가고 `TOKEN` 에는 빈 문자열이 담기며, 셸은 아무 불평도 하지 않는다. 뒤이어 치는 설치 명령은 `--token ''` 을 넘긴 것과 같아진다.
|
||||
오류 메시지는 표준 오류로 출력된다. 그런데 같은 명령을 `TOKEN=$(...)`로 감싸면 표준 출력만 변수에 들어가므로 `TOKEN`에는 빈 문자열이 남는다. 뒤이어 실행한 설치 명령은 결국 `--token ''`을 전달한 것과 같았다.
|
||||
|
||||
## 설치 출력이 성공으로 끝나는 경로
|
||||
## 설치 스크립트 종료와 agent 기동 성공은 다른 상태였다
|
||||
|
||||
빈 문자열을 받은 설치도 끝까지 돈다. agent 가 `--token ''` 을 받아 `level=fatal msg="Error: --token is required"` 로 죽는데, 설치 스크립트는 그 전까지를 다 성공으로 찍고 끝나므로 설치 출력만 보면 성공이다. 성공으로 찍힌 것은 내려받기와 유닛 생성과 `enable` 까지다. 유닛은 `Restart=always` 라 5초마다 조용히 재시도하고, 그래서 실패가 화면이 아니라 `journalctl -u k3s-agent` 안에서만 되풀이된다.
|
||||
빈 토큰을 넘겨도 설치 스크립트는 바이너리 다운로드와 서비스 파일 생성, `enable` 단계까지 진행한다. 이 때문에 스크립트가 종료된 화면만 보면 설치가 끝난 것처럼 보인다. 하지만 실제 agent 프로세스는 `--token is required` 오류로 종료됐고, `Restart=always` 설정 때문에 5초 간격으로 재시작했다. 실제 실패 원인은 `journalctl -u k3s-agent`에서 확인할 수 있었다.
|
||||
|
||||
k3s server 와 agent 를 세우는 단계가 끝났다는 판정은 lab host 에서 노드 목록을 쳐서 두 노드가 `Ready` 로 나오는 것이다.
|
||||
|
||||
@@ -116,19 +118,19 @@ kc-lab-1 Ready control-plane 47m v1.36.4+k3s1 192.168.122.11
|
||||
kc-lab-2 Ready <none> 21m v1.36.4+k3s1 192.168.122.12
|
||||
```
|
||||
|
||||
빈 토큰으로 깔린 agent 는 이 목록에 올라오지 않는다.
|
||||
토큰이 비어 있으면 agent는 정상적으로 기동하지 못하므로 이 목록에 두 번째 노드가 나타나지 않는다.
|
||||
|
||||
## 값을 보여 주지 않고 빈 토큰만 걸러낸다
|
||||
## 토큰 값은 출력하지 않고 비어 있는지만 확인한다
|
||||
|
||||
이 사건에서 필요한 확인은 토큰 내용을 눈으로 대조하는 일이 아니었다. 설치를 시작하기 전에 값이 비어 있는지만 알면 됐다. 당시 기록에는 토큰 길이가 108자로 남아 있지만, 그 숫자는 한 번의 실행에서 나온 값이지 성공 조건이 아니다.
|
||||
|
||||
과거 절차에서는 셸 변수의 길이를 확인했다. 현재 Setup은 이 실패를 피하려고 token file로 바뀌었고, `wc -c`로 파일이 비어 있지 않은지 확인한 뒤 `--token-file`로 넘긴다. 따라서 이 Case에는 원문 근거에 없던 셸 가드 명령을 새로 보태지 않는다.
|
||||
과거 절차에서는 셸 변수의 길이를 확인했다. 현재 설치 절차에서는 토큰을 파일로 받은 뒤 `wc -c`로 파일이 비어 있지 않은지 확인하고 `--token-file`로 넘긴다. 당시 기록에 없는 별도 셸 가드 명령은 추가하지 않았다.
|
||||
|
||||
길이가 `0` 으로 나올 수 있는 길은 하나로 한정되지 않는다. 게스트 안에서 다시 `ssh kc-lab-1`을 불러 실패할 수도 있고, server가 아직 token 파일을 만들지 못했을 수도 있고, 새 셸을 열면서 변수 자체가 사라졌을 수도 있다. 중요한 건 원인을 추측하기 전에 설치 직전의 입력이 비어 있는지부터 확인하는 것이다.
|
||||
|
||||
## 현재 Setup은 처음부터 token file을 쓴다
|
||||
## 현재 설치 절차는 토큰 파일을 사용한다
|
||||
|
||||
셸 변수 방식은 새 창으로 넘어가면 값이 없고, command line에 token이 들어갈 위험도 있다. 그래서 현재 Setup은 이 Case의 우회책을 정식 절차로 올려 **처음부터 파일로 넘긴다.** 아래 파이프 형태는 사건 이후 사용한 historical/reference 방식이고, 현재 Setup은 `scp`·`chmod`·`wc -c`를 나눠 실패 지점을 더 분명하게 만든다.
|
||||
셸 변수는 새 셸로 넘어가면 값이 사라질 수 있고, 토큰을 명령행 인자로 직접 넘기면 프로세스 인자에 값이 노출될 수 있다. 그래서 현재 설치 절차는 토큰을 파일로 전달한다. 아래 파이프 방식은 문제를 확인한 뒤 사용했던 방식이고, 현재 문서에서는 `scp`, `chmod`, `wc -c`를 각각 나눠 어느 단계에서 실패했는지 확인할 수 있게 했다.
|
||||
|
||||
```bash
|
||||
ssh kc-lab-1 'sudo cat /var/lib/rancher/k3s/server/node-token' \
|
||||
@@ -138,11 +140,11 @@ ssh kc-lab-2 "curl -sfL https://get.k3s.io | sudo sh -s - agent \
|
||||
--node-ip 192.168.122.12; rm -f /tmp/token"
|
||||
```
|
||||
|
||||
이 방식은 token 값을 command line 인자로 직접 넣지 않고 셸 변수에도 의존하지 않는다. 현재 canonical Setup은 여기에 파일 존재·길이 확인과 영구 경로 이동을 더해 재부팅 뒤에도 agent가 같은 token file을 읽도록 구성한다.
|
||||
이 방식은 토큰 값을 명령행 인자로 직접 넣지 않고 셸 변수에도 의존하지 않는다. 현재 설치 절차는 여기에 파일 존재 여부와 길이 확인, 영구 경로 이동을 추가해 재부팅 뒤에도 agent가 같은 토큰 파일을 읽도록 구성한다.
|
||||
|
||||
## 아직 원문 증거가 부족한 부분
|
||||
## 확인하지 못한 범위
|
||||
|
||||
원래 빈 토큰 사건의 `level=fatal msg="Error: --token is required"` 와 당시 설치 출력은 여전히 직접 raw가 없다. 다만 2026-09-17 후속 원문은 현재 정상 경로를 보강한다. `15-k3s-precheck.txt` 에는 별도 precheck에서 `Host key verification failed.`가 남아 있고, `21-k3s-token.txt` 는 재구축 시점의 **비어 있지 않은 토큰**을 길이로 확인했으며, `22-k3s-agent-install.txt` 는 그 토큰으로 agent 설치가 성공한 출력을 담는다. 이 셋은 원래 빈 토큰 실패의 재현이 아니라 **후속 정상 경로를 뒷받침하는 자료**다. 과거 사건의 토큰 108자와 후속 실행의 길이가 다르더라도 같은 측정으로 덮어쓰지 않는다.
|
||||
당시 `level=fatal msg="Error: --token is required"` 로그와 설치 출력 원문은 남아 있지 않다. 2026-09-17에 다시 구성하면서 확보한 자료에는 `Host key verification failed.`가 발생한 사전 점검, 비어 있지 않은 토큰 길이 확인, 정상적인 agent 설치 출력이 남아 있다. 이 자료는 현재 정상 절차를 확인한 것이지 과거의 빈 토큰 실패를 다시 재현한 것은 아니다. 당시 토큰 길이 108자 역시 후속 실행의 값으로 덮어쓰지 않는다.
|
||||
|
||||
이 실패를 일부러 다시 만들어 본 기록은 없다. 빈 토큰 사건은 한 번의 과거 관측이고, 현재 정상 절차는 token file 방식으로 바뀌었다. 같은 문제가 다시 발생하면 설치 출력만 보지 말고 `journalctl -u k3s-agent`의 원문과 `kubectl get nodes` 결과를 함께 보존해 실패 지점을 확인한다.
|
||||
|
||||
|
||||
+47
-43
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: cloud-init-failures-all-look-like-ssh-refused
|
||||
title: SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유
|
||||
title: SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유
|
||||
topic: build-completion-judgment
|
||||
topicName: 끝났다는 판정
|
||||
project: virtualization
|
||||
@@ -15,49 +15,53 @@ source:
|
||||
- final/document.md#186-단계-00-lab-host-가상화-준비
|
||||
---
|
||||
|
||||
# SSH 실패부터 보지 않았다 — cloud-init 시드 경로를 먼저 확인한 이유
|
||||
# SSH 연결 실패를 확인할 때 cloud-init 시드부터 본 이유
|
||||
|
||||
게스트가 `running`인데 SSH가 안 붙으면 곧바로 SSH 키부터 고치지 않았다. 먼저 cloud-init이 시드를 읽었는지 확인했다. 이 실험대에서 실제로 확인한 것은 `--cloud-init`으로 붙인 시드 경로가 기대대로 보이지 않았던 사례와 cloud-init 22.4.2의 schema 거부다. YAML 파싱 실패, `vol-upload` 누락, libvirt network autostart 문제는 같은 단계에서 점검해야 할 **가능한 실패 경로**로 남기되, 모두 이 환경에서 같은 증상으로 재현했다고 쓰지 않는다.
|
||||
게스트 세 대는 `running` 상태였지만 SSH 공개키 인증이 되지 않았고, 한 게스트의 호스트명은 `localhost`로 남아 있었다. SSH 설정만 수정하기 전에 cloud-init이 시드를 읽었는지부터 확인했다. 이 환경에서 실제로 확인한 문제는 기존 `--cloud-init` 연결에서 기대한 NoCloud 시드가 보이지 않았던 점과 cloud-init 22.4.2의 스키마 검사 결과였다. YAML 파싱 실패, `vol-upload` 누락, libvirt 네트워크 자동 시작 문제는 같은 증상을 만들 수 있는 점검 항목이지만 이 환경에서 각각 재현한 것은 아니다.
|
||||
|
||||
## VM은 떴는데 SSH만 붙지 않았다
|
||||
## 게스트는 실행 중이었지만 SSH 공개키 인증이 되지 않았다
|
||||
|
||||
게스트 세 대가 running 인데 lab host 에서 SSH 가 키로 붙지 않는다.
|
||||
가상 머신 자체는 모두 실행 중이었다. 문제는 운영체제가 기대한 초기 설정을 적용했는지였다.
|
||||
|
||||
virsh list --all : kc-lab-1 · kc-lab-2 · kc-lab-edge 모두 running
|
||||
ssh donghyeon@192.168.122.11 : Permission denied (publickey)
|
||||
게스트의 hostname : localhost
|
||||
cloud-init 이 남긴 오류 : x
|
||||
| 확인 항목 | 당시 상태 |
|
||||
|---|---|
|
||||
| `virsh list --all` | `kc-lab-1`, `kc-lab-2`, `kc-lab-edge` 모두 `running` |
|
||||
| `ssh donghyeon@192.168.122.11` | `Permission denied (publickey)` |
|
||||
| 게스트 호스트명 | `localhost` |
|
||||
| cloud-init 오류 원문 | 별도로 보존하지 않음 |
|
||||
|
||||
cloud-init이 user-data를 적용하지 못하면 기대한 사용자와 SSH key도 들어가지 않을 수 있다. 다만 원인마다 남는 로그와 상태는 다를 수 있으므로 “cloud-init이 오류를 남기지 않는다”로 일반화하지 않는다. 이 사건에서는 SSH 실패와 `localhost` hostname이 먼저 눈에 띄었고, 그래서 시드/data source 경로를 SSH 설정보다 먼저 확인했다.
|
||||
cloud-init이 `user-data`를 적용하지 못하면 사용자 계정과 SSH 공개키도 기대한 상태로 만들어지지 않을 수 있다. 이때 SSH 키만 바꾸면 원인을 놓칠 수 있으므로, 먼저 시드가 게스트에 전달됐는지 확인했다.
|
||||
|
||||
## SSH보다 먼저 cloud-init이 시드를 읽었는지 본다
|
||||
## 먼저 cloud-init이 시드를 읽었는지 확인했다
|
||||
|
||||
SSH 실패가 보이면 아래 경로를 차례로 가른다.
|
||||
SSH 연결 실패와 cloud-init 문제를 구분하기 위해 다음 항목을 순서대로 확인했다.
|
||||
|
||||
시드 연결 방식 : 이 환경에서는 `--cloud-init` 경로로 만든 시드가 guest에서 기대대로 읽히지 않았고, seed ISO를 `bus=virtio` disk로 붙인 구성에서는 `/dev/vdb`의 NoCloud data source로 확인됐다
|
||||
YAML/cloud-config : syntax와 schema를 별도로 확인한다. parser/schema 실패는 guest 로그와 `cloud-init status --long`을 함께 본다
|
||||
`vol-upload` 누락 : libvirt volume 이름만 존재하고 실제 seed 내용이 올라갔는지 용량과 업로드 절차를 확인한다
|
||||
`default` network autostart : host 재부팅 뒤 network 자체가 안 올라온 경우에는 cloud-init과 별개로 guest 접근 경로가 사라질 수 있으므로 `virsh net-info default`를 본다
|
||||
| 확인 항목 | 확인하는 내용 |
|
||||
|---|---|
|
||||
| 시드 연결 방식 | 이 환경에서는 virtio 디스크로 붙인 seed ISO가 `/dev/vdb`의 NoCloud 데이터소스로 인식됐다 |
|
||||
| YAML과 cloud-config | YAML 문법과 cloud-init 스키마 검사는 별도로 확인한다 |
|
||||
| `vol-upload` | libvirt 볼륨만 만든 것이 아니라 실제 seed ISO 내용까지 업로드됐는지 확인한다 |
|
||||
| `default` 네트워크 | 호스트 재부팅 뒤 libvirt 네트워크가 올라왔는지 `virsh net-info default`로 확인한다 |
|
||||
|
||||
판정 : SSH 설정을 고치기 전에 호스트명 한 낱말을 본다. ssh kc-lab-edge 'hostname' 이 kc-lab-edge 를 내면 시드가 읽혔고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다
|
||||
못 들어가면 : virsh screenshot 으로 화면을 떠서 로그인 프롬프트 앞의 호스트명을 읽는다
|
||||
키가 안 들어갔을 때의 탈출구 : cloud-init 의 plain_text_passwd 로 콘솔 로그인
|
||||
SSH가 가능하면 `hostname`과 `cloud-init status`를 먼저 확인한다. 접속 자체가 되지 않으면 `virsh screenshot`으로 콘솔의 호스트명을 확인할 수 있다. 공개키가 적용되지 않았을 때 콘솔 로그인이 필요하도록 `plain_text_passwd`도 당시 cloud-init 설정에 포함했다.
|
||||
|
||||
반대 방향도 하나 있다. 게스트의 cloud-init 22.4.2 스키마 검사기는 sudo 를 리스트로 쓴 것을 거부한다. 그런데 그 표기로도 부팅은 되고, kc-lab-1 과 kc-lab-2 에서 그 상태로 NOPASSWD sudo 가 돌고 있다. 검사가 통과해도 안 도는 쪽이 넷이고 검사에 걸려도 도는 쪽이 하나라, 어느 방향이든 검사 결과를 게스트의 상태로 읽으면 틀린다.
|
||||
다만 스키마 검사 결과만으로 게스트의 최종 상태를 판단하지는 않는다. cloud-init 22.4.2는 `sudo`를 리스트로 쓴 표현을 거부했지만, 기존 `kc-lab-1`과 `kc-lab-2`에서는 같은 표현으로 `NOPASSWD` sudo가 실제 동작하고 있었다. 스키마 검사는 사전 점검이고, 최종 상태는 부팅한 게스트에서 다시 확인해야 했다.
|
||||
|
||||
## 당시 cloud-init 실험 환경
|
||||
|
||||
호스트 : test-server, Arch Linux
|
||||
RAM : 11,648MiB
|
||||
QEMU : 11.1.1
|
||||
libvirt : 12.7.0
|
||||
base 이미지 : Debian 12 genericcloud amd64
|
||||
게스트 OS : Debian GNU/Linux 12 (bookworm)
|
||||
게스트 : kc-lab-edge 192.168.122.10 · kc-lab-1 192.168.122.11 · kc-lab-2 192.168.122.12
|
||||
시드 : seed-<이름>.iso, CIDATA 라벨, bus=virtio 로 붙임
|
||||
게스트의 cloud-init : 22.4.2
|
||||
cloud-init 이 깐 패키지 : curl · nftables
|
||||
running 에서 done 까지 : 약 50초
|
||||
| 항목 | 값 |
|
||||
|---|---|
|
||||
| 호스트 | test-server, Arch Linux |
|
||||
| RAM | 11,648MiB |
|
||||
| QEMU | 11.1.1 |
|
||||
| libvirt | 12.7.0 |
|
||||
| base 이미지 | Debian 12 genericcloud amd64 |
|
||||
| 게스트 OS | Debian GNU/Linux 12 (bookworm) |
|
||||
| 게스트 | kc-lab-edge 192.168.122.10 · kc-lab-1 192.168.122.11 · kc-lab-2 192.168.122.12 |
|
||||
| 시드 | `seed-<이름>.iso`, CIDATA 라벨, `bus=virtio` |
|
||||
| cloud-init | 22.4.2 |
|
||||
| cloud-init으로 설치한 패키지 | curl · nftables |
|
||||
| `running`에서 `done`까지 | 약 50초 |
|
||||
|
||||
## 같은 증상을 확인하는 순서
|
||||
|
||||
@@ -96,10 +100,10 @@ virsh vol-upload --pool default seed-kc-lab-1.iso seed-kc-lab-1.iso
|
||||
|---|---|
|
||||
| `--cloud-init`으로 붙인 시드가 guest에서 기대대로 읽히지 않음 | 이 환경에서 실제 관측. 수동 virtio seed 구성으로 바꾼 뒤 NoCloud `seed=/dev/vdb` 확인 |
|
||||
| YAML/cloud-config 파싱 또는 schema 문제 | schema 거부는 실제 관측. 임의의 YAML parsing failure를 같은 증상으로 재현한 기록은 없음 |
|
||||
| `vol-upload` 누락 | 절차상 가능한 실패 경로. 실제 누락 부팅 재현 원문은 없음 |
|
||||
| `default` network autostart 비활성 | host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제 재현한 원문은 없음 |
|
||||
| `vol-upload` 누락 | 절차상 가능한 실패 경로. 실제 누락 부팅을 재현한 기록은 없음 |
|
||||
| `default` network autostart 비활성 | host reboot 뒤 접근 경로에 영향을 줄 수 있는 사전 조건. 이 실패를 실제로 재현한 기록은 없음 |
|
||||
|
||||
시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 `--cloud-init`이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 `device=disk,bus=virtio,readonly=on`으로 붙였다. 2026-09-17의 정상 guest `cloud-init status --long`에는 `DataSourceNoCloud [seed=/dev/vdb][dsmode=net]`가 남아 있다. **원인을 ‘Debian genericcloud에는 AHCI 드라이버가 없다’로 일반화하지 않는다.** 현재 증거가 확정하는 것은 이 환경에서 virtio `vdb` seed 경로가 실제로 동작했다는 것까지다.
|
||||
시드 연결 방식은 이 실험대에서 실제로 문제를 겪은 부분이다. 당시 `--cloud-init`이 만든 연결에서는 guest가 기대한 NoCloud seed를 읽지 못했고, 최종 구성에서는 seed ISO를 `device=disk,bus=virtio,readonly=on`으로 붙였다. 2026-09-17의 정상 guest `cloud-init status --long`에는 `DataSourceNoCloud [seed=/dev/vdb][dsmode=net]`가 남아 있다. 현재 남아 있는 증거만으로 `--cloud-init` 경로가 기대대로 동작하지 않은 원인을 특정할 수는 없다. 확인된 것은 virtio `vdb`로 연결한 seed 경로가 이 환경에서 실제로 동작했다는 것까지다.
|
||||
|
||||
```bash
|
||||
virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \
|
||||
@@ -109,9 +113,9 @@ virt-install --name kc-lab-1 --memory 5120 --vcpus 2 \
|
||||
--import --os-variant debian12 --noautoconsole
|
||||
```
|
||||
|
||||
`default` network의 autostart도 guest 내부 문제와 분리해 본다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근이 함께 끊길 수 있으므로 `virsh net-info default`의 `Active`와 `Autostart`를 먼저 확인한다. 이 문서는 그 실패를 이 환경에서 실제 재현했다고 주장하지 않고, 재부팅 뒤 접근 경로를 가르는 사전 확인으로 둔다.
|
||||
`default` network의 autostart도 guest 내부 문제와 분리해 확인한다. host 재부팅 뒤 libvirt network가 올라오지 않으면 SSH 접근 경로도 사라질 수 있으므로 `virsh net-info default`의 `Active`와 `Autostart`를 확인한다. network autostart 비활성 자체는 이 환경에서 재현하지 않았으며, 재부팅 뒤 접근 경로를 확인하기 위한 점검 항목으로만 남긴다.
|
||||
|
||||
## 호스트명 한 낱말이 시드와 SSH 를 가른다
|
||||
## 호스트명과 cloud-init 상태로 시드 적용 여부를 확인했다
|
||||
|
||||
게스트에 SSH 가 붙는다면 확인은 한 줄로 끝난다.
|
||||
|
||||
@@ -125,7 +129,7 @@ enp1s0 UP 192.168.122.10/24 metric 100
|
||||
status: done
|
||||
```
|
||||
|
||||
호스트명이 바뀌었다는 것은 시드가 읽혔다는 뜻이고, 시드가 읽혔으면 같은 파일에 있던 SSH 키도 들어갔다. `localhost` 가 나오면 SSH 설정을 고치지 말고 시드부터 의심한다. `cloud-init status` 가 `running` 이면 아직 패키지를 받는 중이고, 이 실험대에서는 `done` 까지 약 50초 걸렸다.
|
||||
호스트명이 `kc-lab-edge`로 바뀌고 `cloud-init status`가 `done`이면 해당 시드가 적용된 상태로 볼 수 있었다. 반대로 `localhost`가 남아 있으면 SSH 설정을 수정하기 전에 시드 연결과 cloud-init 상태부터 다시 확인했다. 이 실험대에서는 `running`에서 `done`까지 약 50초가 걸렸다.
|
||||
|
||||
게스트에 못 들어가면 화면을 직접 뜬다.
|
||||
|
||||
@@ -133,9 +137,9 @@ status: done
|
||||
virsh screenshot kc-lab-1 /tmp/kc1.ppm # 확장자와 무관하게 PNG 로 저장된다
|
||||
```
|
||||
|
||||
로그인 프롬프트 앞의 호스트명 한 낱말만 읽는다. `localhost login:` 이면 cloud-init 이 아예 안 돌았으므로 SSH 쪽은 볼 것이 없다. `kc-lab-1 login:` 이면 cloud-init 은 돌았고 그 안의 사용자·키 단계에서 틀린 것이라 콘솔로 들어가 로그를 본다. 콘솔 로그인에 쓰는 비밀번호가 cloud-init 의 `plain_text_passwd` 이고, 키가 안 들어갔을 때 게스트로 들어가는 길이 이것 하나다.
|
||||
로그인 프롬프트의 호스트명이 `localhost`라면 시드 적용 여부부터 다시 확인한다. `kc-lab-1`처럼 기대한 호스트명이 보인다면 cloud-init은 일부 단계를 수행한 것이므로 콘솔에 로그인해 사용자와 SSH 키 적용 로그를 확인한다. 당시 설정의 `plain_text_passwd`는 공개키 인증이 되지 않을 때 콘솔로 들어가기 위한 수단이었다.
|
||||
|
||||
순서를 이렇게 정한 까닭이 여기에 있다. 화면 한 장과 콘솔에서 보는 로그 두 줄이 「SSH 가 안 되는 이유」를 절반으로 줄인다. 호스트명이 그 절반을 가르므로, 어느 쪽 절반을 볼지가 정해지기 전에는 SSH 설정을 열 이유가 없다.
|
||||
이 순서를 사용하면 SSH 설정 자체의 문제인지, 그보다 앞선 cloud-init 초기화 문제인지 먼저 구분할 수 있다.
|
||||
|
||||
## 검사가 거부해도 부팅은 된다
|
||||
|
||||
@@ -167,21 +171,21 @@ python3 -c 'import yaml,sys; yaml.safe_load(open("kc-lab-1.yaml")); print("YAML
|
||||
|
||||
`0` 과 `2` 와 `YAML OK` 셋이 맞아야 시드를 만든다. 셋이 맞아도 cloud-config 로 유효하지는 않다 — 키 이름을 `users` 대신 `user` 로 친 오타는 이 세 줄을 그냥 통과한다. 그래서 게스트가 한 대라도 떠 있으면 cloud-init 자신의 스키마 검사기를 쓴다.
|
||||
|
||||
```bash label="[lab host] [reference] historical command"
|
||||
```bash label="[lab host] 당시 사용한 명령"
|
||||
ssh donghyeon@192.168.122.11 'umask 077; cat > ~/kc-lab-2.yaml' < kc-lab-2.yaml
|
||||
ssh donghyeon@192.168.122.11 'cloud-init schema -c ~/kc-lab-2.yaml; rm -f ~/kc-lab-2.yaml'
|
||||
```
|
||||
|
||||
이 두 줄은 **당시 문서에 남은 historical command**다. 둘째 줄은 스키마 검사가 실패해도 `; rm` 때문에 파일을 지운다. 따라 하는 절차에서는 검사와 삭제를 분리하고, 검사 성공 여부를 본 뒤 삭제한다.
|
||||
이 두 줄은 당시 문서에 남아 있던 명령이다. 둘째 줄은 스키마 검사가 실패해도 `; rm` 뒤의 삭제가 실행될 수 있으므로, 현재 절차에서는 검사와 삭제를 분리하고 검사 결과를 확인한 뒤 파일을 지운다.
|
||||
|
||||
이 파일에는 콘솔 비밀번호가 평문으로 들어 있어 `/tmp` 가 아니라 자기 홈에 `600` 으로 두고, 검사가 끝나면 바로 지운다.
|
||||
|
||||
## 실제로 재현한 실패와 아직 가정인 실패
|
||||
|
||||
네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 `--cloud-init` 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 `DataSourceNoCloud [seed=/dev/vdb]`가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 `sudo` 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, `vol-upload` 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 원문이 없으므로 **진단 후보**로만 남긴다.
|
||||
네 경로 가운데 실제 관측으로 직접 닫힌 것은 두 부분이다. 첫째, 기존 `--cloud-init` 연결에서는 기대한 seed 동작을 얻지 못했고 최종 virtio seed에서는 `DataSourceNoCloud [seed=/dev/vdb]`가 확인됐다. 둘째, cloud-init 22.4.2 schema 검사기는 `sudo` 리스트 표기를 실제로 거부했다. 임의의 YAML parsing failure, `vol-upload` 누락, network autostart 비활성은 이 실험대에서 같은 SSH 증상으로 재현한 기록이 없으므로 진단 후보로만 남긴다.
|
||||
|
||||
후속 원문도 남겼다. `14-cloudinit-schema-check.txt`에는 cloud-init 22.4.2가 `sudo` 리스트 표기를 실제로 거부한 출력이 있다. `15-k3s-precheck.txt`의 `Host key verification failed.`는 2026-09-17 재구축 중 나온 별도 SSH 실패라 원래 사건의 `Permission denied (publickey)`를 재현한 것은 아니다. 원래 `Permission denied (publickey)`, `cloud-init status: done`, 약 50초, `virsh screenshot` 화면은 아직 별도 raw 파일이 없고 당시 본문 기록만 남아 있다.
|
||||
|
||||
이 Case의 과거 실패 조합 전체를 그대로 다시 만드는 재현은 하지 않았다. 다만 2026-09-21에는 worker 두 대를 실제로 철거하고 현재 Setup의 qcow2·seed ISO·cloud-init 경로로 다시 만들어 `cloud-init status: done`과 SSH, 고정 IP, k3s 재합류까지 확인했다. 따라서 **현재 정상 생성 경로는 재검증됐고**, 과거 실패 후보 각각을 일부러 다시 유발한 것은 아니다.
|
||||
과거에 의심했던 실패 조건을 하나씩 다시 만들어 보지는 않았다. 대신 2026-09-21에는 worker 두 대를 실제로 철거한 뒤 현재 문서의 qcow2, seed ISO, cloud-init 절차로 다시 생성했고 `cloud-init status: done`, SSH 접속, 고정 IP, k3s 재합류까지 확인했다. 현재 생성 절차가 동작한다는 것은 확인했지만, 과거의 각 실패 조건을 개별적으로 재현한 것은 아니다.
|
||||
|
||||
<!-- body:end -->
|
||||
|
||||
+41
-44
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: renewal-succeeded-while-the-old-certificate-kept-serving
|
||||
title: 갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초
|
||||
title: 인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제
|
||||
topic: build-completion-judgment
|
||||
topicName: 끝났다는 판정
|
||||
project: virtualization
|
||||
@@ -13,50 +13,47 @@ source:
|
||||
- final/document.md#194-이-부에서-파생될-open-question
|
||||
---
|
||||
|
||||
# 갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초
|
||||
# 인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제
|
||||
|
||||
과거 물리 호스트 배치에서는 갱신이 SUCCESS로 끝나도 nginx가 옛 인증서를 계속 내보냈다. 당시 `certbot-renew.service`에 reload 훅이 없어 갱신에서 서빙까지 2305초 걸렸고, deploy 훅을 두니 1~2초였다. **현재 2026-09-21 edge Debian 12 배치는 `certbot.timer → certbot.service`를 쓴다.** 이 글의 2305초·1~2초는 과거 배치의 측정값으로 남긴다.
|
||||
과거 물리 호스트에서 certbot 갱신은 정상 종료됐지만 nginx가 제공하는 인증서는 바뀌지 않았다. 당시 `certbot-renew.service`에는 nginx reload를 실행하는 훅이 없었고, 인증서 파일이 갱신된 뒤 실제 서비스에 반영되기까지 2305초가 걸렸다. deploy 훅을 추가한 뒤 같은 구간은 1~2초로 줄었다. 현재 Edge VM은 Debian 12의 `certbot.timer → certbot.service`를 사용하므로, 이 수치는 당시 물리 호스트 배치에서 측정한 값으로 구분한다.
|
||||
|
||||
## certbot은 성공했는데 서버 인증서는 그대로였다
|
||||
## 인증서 파일은 갱신됐지만 nginx에는 바로 반영되지 않았다
|
||||
|
||||
인증서 갱신은 매번 성공으로 끝나는데 서버가 내보내는 인증서는 옛것이었다.
|
||||
당시 상태를 나눠 보면 certbot과 nginx가 서로 다른 시점의 인증서를 보고 있었다.
|
||||
|
||||
certbot-renew.timer : 정상
|
||||
certbot-renew.service 의 결과 : SUCCESS
|
||||
유닛의 ExecStartPost 또는 --deploy-hook : x
|
||||
nginx 가 새 인증서를 읽었나 : x
|
||||
갱신에서 서빙까지 : 2305초 (38분 25초)
|
||||
무엇이 reload 했나 : 사람이 직접
|
||||
| 확인 항목 | 당시 결과 |
|
||||
|---|---|
|
||||
| `certbot-renew.timer` | 정상 동작 |
|
||||
| `certbot-renew.service` | `SUCCESS` |
|
||||
| `ExecStartPost` 또는 `--deploy-hook` | 없음 |
|
||||
| nginx reload | 자동으로 실행되지 않음 |
|
||||
| 갱신 후 서비스 반영까지 | 2305초(38분 25초) |
|
||||
| 실제 reload | 사람이 직접 실행 |
|
||||
|
||||
발현하는 날의 증상은 인증서 만료이고, 그날에도 로그에는 SUCCESS 라고 적혀 있다.
|
||||
certbot의 성공 여부만 확인하면 인증서 파일이 갱신됐다는 것까지만 알 수 있었다. nginx가 새 인증서를 읽었는지는 별도로 확인해야 했다.
|
||||
|
||||
## 갱신 성공과 nginx reload는 별도 단계였다
|
||||
|
||||
certbot-renew.service 는 /usr/bin/certbot -q renew 한 줄이고 인증서를 새로 받는 데까지만 책임진다. nginx 는 인증서를 기동 시점에 읽어 메모리에 들고 있고 certbot 은 live/ 심볼릭 링크만 갈아 끼우므로, 경로는 그대로이고 내용만 바뀌어 nginx 는 바뀐 줄 모른다.
|
||||
당시 `certbot-renew.service`는 `/usr/bin/certbot -q renew`만 실행했다. certbot은 `live/` 아래의 심볼릭 링크를 새 인증서 파일로 갱신하지만, nginx는 기동하거나 reload할 때 인증서 파일을 읽는다. 따라서 certbot이 성공해도 nginx를 reload하지 않으면 nginx는 기존 인증서를 계속 제공한다.
|
||||
|
||||
훅도 사람도 없으면 다음 nginx 재시작까지, 사실상 무기한으로 옛 인증서가 나간다.
|
||||
이를 해결하기 위해 `/etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh`에서 `nginx -t && nginx -s reload`를 실행하도록 했다. deploy 훅 파일에는 실행 권한이 필요하며, `post/` 대신 `deploy/`를 사용해 실제 갱신이 발생했을 때만 reload하도록 했다. 훅은 호스트를 다시 구성할 때 누락되지 않도록 저장소에서 관리했다.
|
||||
|
||||
해결 : /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh 에 nginx -t && nginx -s reload 를 두고 chmod +x 를 준다
|
||||
실행 권한이 없으면 : certbot 이 조용히 건너뛴다
|
||||
post/ 가 아니라 deploy/ 인 까닭 : post/ 는 갱신이 없어도 매번 돌아 하루 두 번 워커를 갈아치운다
|
||||
훅을 저장소에 두는 까닭 : 호스트에만 두었을 때는 호스트를 초기화하면 아무 오류 없이 사라졌다
|
||||
판정 : 로그 문구가 아니라 강제 갱신 전후의 nginx 워커 PID 로 한다
|
||||
적용 여부는 certbot 로그만 보지 않고 강제 갱신 전후의 nginx worker PID로 확인했다. reload 중 새 연결 8856건은 모두 200으로 응답했고 p95는 205.7ms와 204.3ms로 측정됐다.
|
||||
|
||||
훅을 넣어도 안전했다. reload 는 무중단이었고 새 연결 8856건이 전부 200, p95 는 205.7ms 대 204.3ms 로 변화가 없었다.
|
||||
## 과거 측정 배치와 현재 Edge VM 배치
|
||||
|
||||
## 과거 측정 배치와 현재 edge 배치
|
||||
|
||||
엣지 게스트 : kc-lab-edge, 192.168.122.10, Debian 12
|
||||
nginx : nginx/1.22.1
|
||||
certbot 플러그인 : dns-cloudflare
|
||||
발급 대상 : -d hyeonworks.com -d '*.hyeonworks.com'
|
||||
lineage 디렉터리 : /etc/letsencrypt/live/auth.hyeonworks.com/ (2026-09-17 현재 관측)
|
||||
nginx 가 읽는 파일 : fullchain.pem · privkey.pem
|
||||
과거 측정 배치의 타이머 : `certbot-renew.timer → certbot-renew.service`
|
||||
현재 edge Debian 12 : `certbot.timer → certbot.service`
|
||||
인증서 유효기간 : 오늘 + 90일
|
||||
2305초를 잴 때의 배치 : 훅이 물리 호스트에 있었다
|
||||
지금의 배치 : certbot · 인증서 · 갱신 타이머 · deploy 훅이 전부 엣지 게스트에 있다
|
||||
| 항목 | 값 |
|
||||
|---|---|
|
||||
| Edge VM | kc-lab-edge, 192.168.122.10, Debian 12 |
|
||||
| nginx | nginx/1.22.1 |
|
||||
| certbot 플러그인 | dns-cloudflare |
|
||||
| 발급 대상 | `-d hyeonworks.com -d '*.hyeonworks.com'` |
|
||||
| 현재 lineage | `/etc/letsencrypt/live/auth.hyeonworks.com/` (2026-09-17 확인) |
|
||||
| nginx가 읽는 파일 | `fullchain.pem`, `privkey.pem` |
|
||||
| 과거 측정 당시 타이머 | `certbot-renew.timer → certbot-renew.service` |
|
||||
| 현재 Debian 12 타이머 | `certbot.timer → certbot.service` |
|
||||
| 2305초 측정 당시 배치 | deploy 훅이 물리 호스트에 있던 구성 |
|
||||
| 현재 배치 | certbot, 인증서, 타이머, deploy 훅을 Edge VM에 배치 |
|
||||
|
||||
## worker PID로 reload 여부를 확인하는 순서
|
||||
|
||||
@@ -92,9 +89,9 @@ ExecStart=/usr/bin/certbot -q renew --no-random-sleep-on-renew
|
||||
PrivateTmp=true
|
||||
```
|
||||
|
||||
유닛 이름과 `ExecStart` 옵션은 배포판/패키지 판에 따라 달라질 수 있다. 이 Case의 핵심은 이름이 아니라 **renew 성공과 nginx reload는 별도 상태 전이**라는 점이다.
|
||||
유닛 이름과 `ExecStart` 옵션은 배포판과 패키지 버전에 따라 달라질 수 있다. 여기서 확인할 것은 certbot 갱신 성공과 nginx reload가 별도 동작이라는 점이다.
|
||||
|
||||
`ExecStartPost` 도 `--deploy-hook` 도 없다. 이 유닛은 인증서를 새로 받는 데까지만 책임지고, 받은 것을 nginx 가 읽게 만드는 일은 아무도 하지 않는다. 배포판이 이렇게 준다는 것이 요점이라, 「기본값이니 괜찮겠지」가 이 결함이 사는 곳이다.
|
||||
현재 확인한 `certbot.service`에는 `ExecStartPost`나 `--deploy-hook`이 없다. 따라서 이 유닛은 인증서 갱신까지만 수행하고 nginx reload는 실행하지 않는다.
|
||||
|
||||
그래서 이 글의 훅이 모든 배포판에 필요하지는 않다. 위 유닛에 `ExecStartPost` 나 `--deploy-hook` 이 이미 적혀 있는 배포판이라면 훅을 새로 넣을 것이 아니라 거기 적힌 명령이 nginx 를 reload 하는지만 본다.
|
||||
|
||||
@@ -102,11 +99,11 @@ PrivateTmp=true
|
||||
|
||||
nginx 는 `ssl_certificate` 에 적힌 파일을 기동과 reload 시점에 읽어 메모리에 들고 있고, certbot 은 `live/` 아래의 심볼릭 링크를 새 파일로 갈아 끼운다. 설정에 적힌 경로는 한 글자도 바뀌지 않고 그 경로가 가리키는 파일만 바뀌므로, nginx 쪽에서는 다시 읽을 계기가 생기지 않는다. 갱신이 끝난 뒤에 nginx 로 reload 를 걸어 주는 것이 없으면 옛 인증서가 계속 나간다.
|
||||
|
||||
## 88일 동안 이 결함이 보이지 않는다
|
||||
## 자동 갱신 상태만 보면 문제를 늦게 발견할 수 있다
|
||||
|
||||
타이머는 정상이고 갱신은 매번 `SUCCESS` 로 끝난다. 만료 30일 전까지는 갱신 자체를 하지 않으므로 88일 동안 발현할 기회가 없다. 발현하는 날의 증상은 인증서 만료이고, 그날에도 로그에는 `SUCCESS` 라고 적혀 있다.
|
||||
타이머가 정상이고 certbot 실행 결과가 `SUCCESS`여도 nginx reload 여부는 별개다. 인증서 갱신이 실제로 발생하지 않는 기간에는 이 차이가 드러나지 않을 수 있으므로, 타이머 상태만으로 서비스 중인 인증서까지 정상이라고 판단하지 않는다.
|
||||
|
||||
훅을 저장소에 두는 까닭도 여기에 있다. 호스트에만 두었을 때는 호스트를 초기화하면 아무 오류 없이 사라졌고, 사라진 것도 갱신이 실제로 일어나는 날까지는 드러나지 않는다.
|
||||
deploy 훅을 저장소에서 관리한 것도 같은 이유다. 호스트에만 파일을 두면 재구성 과정에서 빠질 수 있고, 다음 갱신 전까지 누락을 발견하지 못할 수 있다.
|
||||
|
||||
## 훅 두 줄과 실행 권한
|
||||
|
||||
@@ -120,7 +117,7 @@ nginx -t && nginx -s reload
|
||||
sudo chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
|
||||
```
|
||||
|
||||
실행 권한이 없으면 certbot 이 조용히 건너뛴다. `post/` 가 아니라 `deploy/` 에 넣는 것은 `post/` 가 갱신이 없어도 매번 돌아 하루 두 번 워커를 갈아치우기 때문이다.
|
||||
deploy 훅 파일에 실행 권한이 없으면 certbot이 해당 스크립트를 실행하지 않는다. `post/` 대신 `deploy/`를 사용한 이유는 실제 인증서 갱신이 있을 때만 nginx를 reload하기 위해서다.
|
||||
|
||||
이 실험대에서 잰 차이는 이렇다.
|
||||
|
||||
@@ -129,15 +126,15 @@ sudo chmod +x /etc/letsencrypt/renewal-hooks/deploy/reload-nginx.sh
|
||||
| 갱신 → 서빙 | 2305초 (38분 25초) | 1~2초 |
|
||||
| 무엇이 reload 했나 | 사람이 직접 | certbot deploy 훅 |
|
||||
|
||||
훅도 사람도 없었다면 다음 nginx 재시작까지, 사실상 무기한이다.
|
||||
deploy 훅도 수동 reload도 없다면 nginx는 다음 reload 또는 재시작 전까지 기존 인증서를 계속 사용한다.
|
||||
|
||||
## 판정은 로그 문구가 아니라 워커 PID 로 한다
|
||||
## nginx reload 여부는 worker PID로 확인했다
|
||||
|
||||
```bash
|
||||
sudo certbot renew --dry-run
|
||||
```
|
||||
|
||||
dry-run 은 훅이 호출되는지까지만 말해 준다. 호출된 훅이 nginx 를 정말 갈아 끼웠는지는 따로 본다.
|
||||
dry-run으로는 deploy 훅이 호출되는지 확인할 수 있다. 실제 nginx reload 여부는 별도로 확인했다.
|
||||
|
||||
순서가 dry-run 먼저인 것은 뒤엣것이 상태를 바꾸기 때문이다. `--force-renewal` 은 인증서를 실제로 새로 받아 발급 한도(주당 중복 5장)를 깎으므로, 진짜 판정이 필요할 때 한 번만 쓴다.
|
||||
|
||||
@@ -151,7 +148,7 @@ sudo certbot renew --force-renewal
|
||||
ps -eo pid,lstart,args | grep 'nginx: worker' | grep -v grep
|
||||
```
|
||||
|
||||
reload 는 마스터를 그대로 두고 워커만 갈아 끼우므로, 전후로 워커 PID 가 바뀌면 새 설정이 적용됐다. `lstart` 를 같이 뽑는 것은 PID 가 우연히 재사용됐을 때를 가르기 위해서다.
|
||||
nginx reload에서는 master 프로세스가 유지되고 worker 프로세스가 교체되므로, 전후의 worker PID와 시작 시각을 비교해 reload 여부를 확인했다. `lstart`를 함께 기록한 것은 PID 재사용 가능성을 구분하기 위해서다.
|
||||
|
||||
certbot 이 `Hook 'deploy-hook' ran with error output` 이라고 찍는데 실패가 아니다. nginx 의 `types_hash` 경고가 stderr 로 나갔을 뿐이고 내용은 `test is successful` 과 `signal process started` 다. 로그에서 `error` 를 grep 하는 감시를 걸면 성공한 훅을 실패로 오독한다.
|
||||
|
||||
@@ -174,7 +171,7 @@ timedatectl show -p NTP -p NTPSynchronized
|
||||
|
||||
2305초는 훅이 물리 호스트에만 있던 시절의 값이다. 지금은 certbot 과 인증서와 갱신 타이머와 deploy 훅이 전부 엣지 게스트에 있고, 그 배치에서 다시 재면 같은 수가 나오는지는 재지 않았다. 그래서 이 글의 2305초는 훅이 없으면 이만큼 벌어진다는 한 번의 측정이고 지금 배치의 값이 아니다. 1~2초 쪽도 같은 시기에 잰 값이다.
|
||||
|
||||
당시 측정의 raw 출력 파일은 별도로 보존하지 않았다. 2305초, 8856건, p95 두 값, 845361바이트, 106초와 worker PID 전후 비교는 당시 본문 기록에만 남아 있다. 따라서 이 수치는 현재 raw 출력으로 다시 대조할 수 있는 값이 아니라 **당시 기록 범위의 historical measurement**로 읽는다.
|
||||
당시 측정의 원본 출력 파일은 별도로 보존하지 않았다. 2305초, 8856건, 두 p95 값, 845361바이트, 106초의 시계 차이와 worker PID 비교는 당시 본문 기록에만 남아 있다. 따라서 이 수치는 현재 원본 출력과 다시 대조할 수 없는 당시 측정값으로 구분한다.
|
||||
|
||||
88일이라는 잠복 기간은 만료 30일 전에야 갱신을 시작한다는 동작에서 끌어낸 것이지, 한 주기를 실제로 돌려 본 값이 아니다. 훅을 뺀 채 만료일까지 가 본 기록은 없고 그런 기록이 있을 까닭도 없다.
|
||||
|
||||
|
||||
+4
-4
@@ -24,7 +24,7 @@ source:
|
||||
|
||||
# 가이드대로 다시 쳐서 이 실험대가 같은 상태로 서는가
|
||||
|
||||
2026-09-21에는 기존 worker 두 대를 실제로 철거한 뒤 cloud-init부터 k3s, Keycloak, observability까지 다시 올리고 power-cycle 뒤 복구 상태까지 확인했다. 따라서 **worker 재생성 이후의 복구 경로는 실제로 재검증됐다.** 다만 물리 호스트와 Edge VM, 인증서 계층을 모두 지운 빈 환경에서 00~06을 처음부터 다시 수행한 것은 아니다. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example` 원본도 저장소에 아직 없어, "문서만으로 빈 호스트를 완전 재구축할 수 있는가"라는 질문은 아직 확인이 끝나지 않았다.
|
||||
2026-09-21에는 기존 worker 두 대를 실제로 철거한 뒤 cloud-init부터 k3s, Keycloak, observability까지 다시 올리고 power-cycle 뒤 복구 상태까지 확인했다. 따라서 worker 재생성 이후의 복구 경로는 실제로 재검증됐다. 다만 물리 호스트와 Edge VM, 인증서 계층을 모두 지운 빈 환경에서 00~06을 처음부터 다시 수행한 것은 아니다. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example` 원본도 저장소에 아직 없어, "문서만으로 빈 호스트를 완전 재구축할 수 있는가"라는 질문은 아직 확인이 끝나지 않았다.
|
||||
|
||||
## 2026-09-21에 실제로 재구축한 범위
|
||||
|
||||
@@ -33,7 +33,7 @@ source:
|
||||
- Setup 00은 host 상태를 재확인했고, Setup 01에서는 두 worker의 qcow2·seed ISO를 다시 만든 뒤 SSH, cloud-init `status: done`, 고정 IP를 확인했다. 이어서 k3s server/agent, Keycloak 2노드·PostgreSQL, Prometheus/Grafana를 다시 올렸고 `vendor_cluster_size=2`와 주요 target `up=1`을 확인했다.
|
||||
- 그 뒤 worker power-cycle과 workload 복구도 수행했고 Keycloak cluster size가 다시 2로 돌아오는 것까지 확인했다. 이 범위에서는 "기존 host/edge를 유지한 worker 재구축 경로"가 실제로 동작했다.
|
||||
- 재구축 성공 여부는 일곱 가지 상태로 확인한다: `virsh list`가 동작하는가, 세 게스트에 SSH가 붙는가, `kubectl get nodes`에서 두 노드가 `Ready`인가, 외부 요청이 파드까지 닿는가, HTTPS가 열리고 인증서 체인이 기대한 형태인가, 관리 콘솔 로그인이 되는가, `vendor_cluster_size`가 2인가.
|
||||
- 문서만으로 다시 세울 때 필요한 입력 파일 일부가 이 문서 묶음 안에 완결된 형태로 들어 있지 않다. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`의 canonical 파일 자체가 함께 제공되어야 ‘본문을 읽은 기억’ 없이 빈 환경에서 그대로 재구축할 수 있다.
|
||||
- 문서만으로 다시 세울 때 필요한 입력 파일 일부가 이 문서 묶음 안에 완결된 형태로 들어 있지 않다. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`의 실제 원본 파일이 함께 있어야 문서 밖의 기억에 의존하지 않고 빈 환경에서 그대로 재구축할 수 있다.
|
||||
- 기존 구축 과정에서는 실행 순서와 실행 위치 때문에 여섯 번 막혔다. 각 실패 자체는 실제로 관측했고, 이 여섯 사례를 ‘순서와 위치를 검증하지 않은 문서’라는 공통 원인으로 묶은 것은 사례를 바탕으로 한 해석이다.
|
||||
- 수정한 가이드의 상당 부분은 2026-09-21 재구축에서 실제 실행 순서로 다시 확인했다. 다만 host 패키지 설치부터 Edge VM·DNS-01 인증서 계층까지 전부 제거한 완전한 빈 환경 재구축은 아직 하지 않았다.
|
||||
|
||||
@@ -81,9 +81,9 @@ source:
|
||||
|
||||
## 다음 검증
|
||||
|
||||
1. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`의 canonical source를 저장소에 포함시킨다. 이 셋이 없으면 완전 재구축 검증에 "문서 밖의 기억"이 섞인다.
|
||||
1. `keycloak-cluster.yaml`, `observability.yaml`, `kc-lab.yaml.example`의 실제 원본 파일을 저장소에 포함시킨다. 이 셋이 없으면 완전 재구축 검증에 "문서 밖의 기억"이 섞인다.
|
||||
2. 대상을 정한다. 다른 빈 host에서 검증할지, 현재 lab을 계획적으로 철거한 뒤 같은 host에서 다시 세울지 선택한다.
|
||||
3. 가이드 그대로 00부터 06까지 순서대로 친다. historical command와 현재 따라 할 절차가 함께 있는 곳에서는 현재 절차를 기준으로 실행한다. 각 단계의 통과 조건을 확인하고, 실행한 명령·작업 디렉터리·시각·종료 코드와 원문 출력을 함께 남겨 나중에 같은 실패를 다시 대조할 수 있게 한다.
|
||||
3. 가이드 그대로 00부터 06까지 순서대로 친다. 과거에 사용한 명령과 현재 절차가 함께 적힌 곳에서는 현재 절차를 기준으로 실행한다. 각 단계의 통과 조건을 확인하고, 실행한 명령·작업 디렉터리·시각·종료 코드와 원문 출력을 함께 남겨 나중에 같은 실패를 다시 대조할 수 있게 한다.
|
||||
4. 04 단계는 --dry-run 을 먼저 돌린다. 주당 중복 인증서 5장 한도를 dry-run 은 쓰지 않는다.
|
||||
5. 막힌 단계마다 무엇이 없어서 막혔는지를 「이 구축에서 드러난 문서 결함의 공통 원인」의 두 축으로 분류해 적는다. 그 시점에 리소스가 없었나, 그 셸에서 안 도는 명령이었나. 어느 축에도 안 들어가면 그것을 새 축으로 적는다.
|
||||
6. 끝나면 판 번호 넷을 적어 지금 실험대의 값과 나란히 둔다. 명령이 pin한 k3s는 동일 버전 여부를 판정하고, package manager가 고정하지 않은 nginx/libvirt/QEMU는 관측값 차이와 동작 차이를 분리해서 적는다.
|
||||
|
||||
+7
-7
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: REFERENCE
|
||||
slug: check-the-nearest-layer-first
|
||||
title: 가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다
|
||||
title: 장애를 확인할 때는 가까운 계층부터 확인한다
|
||||
topic: build-completion-judgment
|
||||
topicName: 끝났다는 판정
|
||||
project: virtualization
|
||||
@@ -13,9 +13,9 @@ source:
|
||||
- final/document.md#191-단계-05-keycloak-2노드와-postgresql
|
||||
---
|
||||
|
||||
# 가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다
|
||||
# 장애를 확인할 때는 가까운 계층부터 확인한다
|
||||
|
||||
가장 가까운 층부터 치고 한 칸씩 밖으로 나오며, 층마다 성공 신호를 미리 적는다. 200 이 아닌 층이 있다 — 03 단계 네 칸의 실측은 404 와 301 과 301 과 200 이었다. 밖에서 한 번 쳐서 받은 값 하나로는 여섯 층 가운데 어디서 끊겼는지가 나오지 않는다.
|
||||
장애 지점을 찾을 때는 서비스에 가장 가까운 구간부터 확인하고, 한 단계씩 외부 방향으로 범위를 넓혔다. 이 실험대의 03 단계에서는 각 구간의 정상 응답이 404, 301, 301, 200으로 서로 달랐다. 외부에서 받은 응답 하나만으로는 어느 구간에서 문제가 생겼는지 구분할 수 없었다.
|
||||
|
||||
## 왜 가장 가까운 층부터 보는가
|
||||
|
||||
@@ -41,7 +41,7 @@ source:
|
||||
|
||||
### 4. 층을 좁힌 뒤에는 그 층이 내는 문구와 errno 와 종료 코드를 읽는다
|
||||
|
||||
같은 「안 된다」가 층마다 다른 낱말로 나온다. nginx upstream 의 connect() failed (113: No route to host) 는 네트워크 쪽이고, (111: Connection refused) 는 프로세스 쪽이며, no live upstreams 는 둘 다 죽었다는 판단이다. 노드를 잃었을 때 이 세 줄이 1분 안에 순서대로 나왔다. k3s agent 노드의 dial tcp [::1]:8080: connect: connection refused 는 네트워크 문제가 아니라 kubeconfig 을 하나도 못 찾아 하드코딩된 기본값으로 넘어간 것이다. 파드의 Exit Code 도 그것만으로 말이 된다 — 137 은 OOM 이나 강제 종료, 1 은 애플리케이션이 스스로 끝낸 것, 127 은 명령을 못 찾은 것이다.
|
||||
같은 「안 된다」가 층마다 다른 낱말로 나온다. nginx upstream 의 connect() failed (113: No route to host) 는 네트워크 쪽이고, (111: Connection refused) 는 프로세스 쪽이며, `no live upstreams`는 nginx가 사용할 수 있는 upstream이 없다고 판단한 상태다. 노드를 잃었을 때 이 세 줄이 1분 안에 순서대로 나왔다. k3s agent 노드의 dial tcp [::1]:8080: connect: connection refused 는 네트워크 문제가 아니라 kubeconfig 을 하나도 못 찾아 하드코딩된 기본값으로 넘어간 것이다. 파드의 Exit Code 도 그것만으로 말이 된다 — 137 은 OOM 이나 강제 종료, 1 은 애플리케이션이 스스로 끝낸 것, 127 은 명령을 못 찾은 것이다.
|
||||
|
||||
### 5. 그 층 안에 물어볼 도구가 없으면 밖에서 묻는다
|
||||
|
||||
@@ -60,9 +60,9 @@ Keycloak 컨테이너에는 curl 이 없다. 공식 이미지가 최소 구성
|
||||
|
||||
네 칸이 다 통과하고도 나중에 터지는 것이 있다. DNAT 규칙의 443 을 433 으로 친 오타가 이 실험대에서 실제로 나왔는데, 433 도 유효한 포트라 nft 가 군말 없이 받고 80 은 멀쩡히 넘어가므로 03 단계의 확인은 다 통과하고 04 단계에서 443 쪽만 안 되는 형태로 뒤늦게 터진다.
|
||||
|
||||
이 절차는 어디서 끊겼는지를 좁힐 뿐 왜 끊겼는지를 말하지 않는다. 첫 칸에서 404 가 나와도 그 뒤의 값이 틀렸을 수 있고, 02 단계의 INTERNAL-IP 가 그렇다 — 두 노드가 Ready 인데 보고된 IP 가 우리가 준 값과 다르면 지금은 아무 증상이 없다가 03 단계의 upstream 에서 어긋난다. 로그를 읽어 좁히려다 잘린 문구를 붙들 수도 있다. nginx 에러 로그는 2048바이트에서 잘린다. 이 실험대에서도 502 원인이 error 로그에서는 잘린 채로 있었고, access 로그에는 3492자로 온전히 남아 있었다. 그쪽은 「도구가 낸 출력은 대상의 상태가 아니다」가 받는다.
|
||||
이 절차는 문제가 생긴 구간을 좁히는 데까지만 사용한다. 예를 들어 두 노드가 `Ready`여도 보고된 `INTERNAL-IP`가 기대한 값과 다르면 당장은 증상이 없다가 nginx upstream 연결에서 문제가 드러날 수 있다. 로그도 잘린 일부만 보면 원인을 놓칠 수 있는데, 이 실험대에서는 nginx error log가 2048바이트에서 잘린 반면 access log에는 3492자의 원문이 남아 있었다. 구간을 좁힌 뒤에는 명령과 로그가 실제로 무엇을 보여 주는지 별도로 확인한다.
|
||||
|
||||
제3부의 「packet 이 어디서 끊겼는지는 계층마다 capture 해서 가른다」와는 재는 것이 다르다. 그쪽은 네 지점에서 capture 를 떠 패킷이 사라진 구간을 좁히고, 이쪽은 층을 건너뛴 요청의 응답 코드로 좁힌다. 응답이 아예 안 돌아오고 패킷도 안 보이는 상태에서는 이 절차가 답을 못 내므로 그때 그쪽으로 넘어간다.
|
||||
응답 코드로 계층을 좁히는 방법과 packet capture는 측정 대상이 다르다. HTTP 응답이 돌아오면 각 계층을 건너뛴 요청의 응답으로 범위를 줄일 수 있고, 응답 자체가 없으면 여러 인터페이스에서 packet capture를 떠 패킷이 사라지는 구간을 찾는다.
|
||||
|
||||
## 이 실험대에서 쓴 예
|
||||
|
||||
@@ -74,6 +74,6 @@ Keycloak 컨테이너에는 curl 이 없다. 공식 이미지가 최소 구성
|
||||
- 둘째 칸에서 막힌다 : 막힌 곳이 엣지 안이다
|
||||
- 첫 칸이 502 : Traefik 은 떴고 뒤에 백엔드가 없다
|
||||
- 첫 칸이 연결 거부나 타임아웃 : 02 단계의 노드 상태로 돌아간다
|
||||
- 노드를 잃었을 때 1분 안에 순서대로 나온 세 줄 : 113 은 네트워크, 111 은 프로세스, no live upstreams 는 둘 다 죽었다는 판단
|
||||
- 노드를 잃었을 때 1분 안에 순서대로 나온 세 줄 : 113은 네트워크 경로 문제, 111은 대상 프로세스 연결 거부, `no live upstreams`는 사용할 수 있는 upstream이 없다는 상태
|
||||
- Keycloak 컨테이너 안에서 curl 이 exit code 127 : 서버가 아니라 명령이 없다. 밖에서 묻는다
|
||||
- 04 단계 확인을 엣지 안에서 쳤을 때의 connection refused : 층의 답이 아니라 친 위치의 답이다
|
||||
|
||||
+3
-3
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: REFERENCE
|
||||
slug: tool-output-is-not-the-subject-state
|
||||
title: 도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다
|
||||
title: 명령 출력이 실제 상태를 의미하는지 먼저 확인한다
|
||||
topic: build-completion-judgment
|
||||
topicName: 끝났다는 판정
|
||||
project: virtualization
|
||||
@@ -13,7 +13,7 @@ source:
|
||||
- final/document.md#186-단계-00-lab-host-가상화-준비
|
||||
---
|
||||
|
||||
# 도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다
|
||||
# 명령 출력이 실제 상태를 의미하는지 먼저 확인한다
|
||||
|
||||
상태를 묻는 명령의 출력을 대상의 상태로 바로 읽지 않고, 그 명령이 무엇을 세고 무엇을 안 세는지 먼저 적는다. 7800 포트를 끊었을 때 외부 응답은 전부 200 이었고, 503 이 나는 동안에도 up 은 1 이었다.
|
||||
|
||||
@@ -80,7 +80,7 @@ kubectl rollout status 는 끝날 때까지 아무것도 안 찍고 그 침묵
|
||||
|
||||
이 기준의 근거는 대부분 이 실험대 한 대에서 한 번씩 본 것이다. 다른 판 번호나 다른 배포판에서 같은 명령이 같은 것을 세는지는 재지 않았다.
|
||||
|
||||
가이드에 실린 출력이 이 호스트의 것인지도 한 군데에서 어긋났다. 「단계 00 — lab host 가상화 준비」의 과거 출력은 16 코어 전부에서 지원한다고 적었지만, 2026-09-17과 2026-09-21에 `nproc`·`lscpu`로 다시 확인한 현재 `test-server`는 i5-1135G7, 물리 4코어·8 logical CPU다. 따라서 16코어 줄은 **현재 호스트의 관측값이 아니라 다른 환경에서 섞여 들어온 historical output**으로 취급한다.
|
||||
가이드에 실린 출력이 이 호스트의 것인지도 한 군데에서 어긋났다. 「단계 00 — lab host 가상화 준비」의 과거 출력은 16 코어 전부에서 지원한다고 적었지만, 2026-09-17과 2026-09-21에 `nproc`·`lscpu`로 다시 확인한 현재 `test-server`는 i5-1135G7, 물리 4코어·8 logical CPU다. 따라서 16코어 줄은 현재 호스트의 관측값이 아니라 다른 환경의 출력으로 구분한다.
|
||||
|
||||
## 실제 판독 예
|
||||
|
||||
|
||||
+1
-1
@@ -52,7 +52,7 @@ source:
|
||||
|
||||
libvirt 는 가상 머신의 수명 주기와 구성을 관리하는 계층이다. 가상 머신 정의에는 RAM 8 GiB, vCPU 4 같은 값이 들어 있다. libvirt 는 그 정의를 바탕으로 QEMU 를 적절한 옵션과 함께 실행하고 관리한다.
|
||||
|
||||
QEMU 는 호스트의 사용자 공간에서 실행되는 프로세스다. 4 vCPU 가상 머신이라면 메인·제어 스레드 하나와 vCPU 스레드 넷이 만들어진다. KVM 가속을 쓸 때 게스트의 일반 CPU 명령을 QEMU 가 하나씩 소프트웨어로 번역해 실행하는 경로가 핵심은 아니다. vCPU 스레드가 KVM 을 통해 게스트 실행을 요청하면 게스트 코드는 VMX 를 이용해 실제 CPU 에서 직접 실행된다.
|
||||
QEMU 는 호스트의 사용자 공간에서 실행되는 프로세스다. 4 vCPU 가상 머신이라면 메인·제어 스레드 하나와 vCPU 스레드 넷이 만들어진다. KVM 가속을 사용할 때 일반적인 게스트 CPU 명령은 QEMU가 하나씩 소프트웨어로 해석하는 방식으로 실행되지 않는다. vCPU 스레드가 KVM을 통해 게스트 실행을 요청하면 VMX를 이용해 게스트 코드가 실제 CPU에서 실행된다.
|
||||
|
||||
`/dev/kvm` 은 프로세스가 아니라 Linux 가 사용자 공간 프로그램에 KVM API 를 노출하는 문자 장치(character device) 인터페이스다. QEMU 는 이 파일을 열고 `ioctl` 로 `KVM_CREATE_VM`, `KVM_CREATE_VCPU`, `KVM_SET_USER_MEMORY_REGION`, `KVM_RUN` 같은 동작을 요청한다.
|
||||
|
||||
|
||||
+1
-1
@@ -26,7 +26,7 @@ source:
|
||||
|
||||
# Keycloak 작업의 VM Exit 분포는 idle · CPU-bound · I/O-bound 와 어떻게 다른가
|
||||
|
||||
2026-09-21 같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 `perf kvm stat live -p <QEMU_PID>`로 비교했다. Keycloak 정상 요청 10회 구간은 baseline과 비슷했지만, OIDC discovery 1000회/concurrency 20 부하에서는 `EPT_MISCONFIG` 비중과 전체 VM Exit sample 수가 뚜렷하게 증가했다. **Keycloak workload의 Exit 분포는 부하 강도에 따라 실제로 달라지지만, 이 변화만으로 병목이라고 판정하지 않는다.**
|
||||
2026-09-21 같은 `kc-lab-1`에서 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 `perf kvm stat live -p <QEMU_PID>`로 비교했다. Keycloak 정상 요청 10회 구간은 baseline과 비슷했지만, OIDC discovery 1000회/concurrency 20 부하에서는 `EPT_MISCONFIG` 비중과 전체 VM Exit sample 수가 뚜렷하게 증가했다. Keycloak workload의 Exit 분포는 부하 강도에 따라 실제로 달라지지만, 이 변화만으로 병목이라고 판정하지 않는다.
|
||||
|
||||
## 2026-09-21에 비교한 다섯 구간
|
||||
|
||||
|
||||
+3
-3
@@ -20,7 +20,7 @@ source:
|
||||
|
||||
# 이 호스트의 NUMA 토폴로지는 가상 머신 성능을 고려해야 할 구조인가
|
||||
|
||||
2026-09-21 현재 `test-server`는 **NUMA node 1개**다. `lscpu`에서 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 확인했고 sysfs의 `/sys/devices/system/node/node0/cpulist`도 `0-7`이었다. 따라서 현재 host에서는 remote NUMA 접근을 전제로 한 vCPU/memory locality 튜닝을 우선 항목으로 둘 이유가 없다.
|
||||
2026-09-21 현재 `test-server`는 NUMA node 1개다. `lscpu`에서 `NUMA node(s): 1`, `NUMA node0 CPU(s): 0-7`을 확인했고 sysfs의 `/sys/devices/system/node/node0/cpulist`도 `0-7`이었다. 따라서 현재 host에서는 remote NUMA 접근을 전제로 한 vCPU/memory locality 튜닝을 우선 항목으로 둘 이유가 없다.
|
||||
|
||||
## 현재 호스트의 토폴로지
|
||||
|
||||
@@ -68,9 +68,9 @@ source:
|
||||
|
||||
### 3. 메모리 가상화 쪽에서 함께 본다 — 제외
|
||||
|
||||
상세한 메모리 배치를 「NUMA」~「NUMA는 실제 장비 topology부터 확인한다」에서는 다루므로 확인도 그쪽에서 하자는 방법이다.
|
||||
여기서는 호스트의 NUMA node 수와 CPU 배치까지만 확인하고, 메모리 locality에 따른 성능 차이는 여러 NUMA node가 있는 환경에서 별도로 측정한다.
|
||||
지금 필요한 판단은 이 항목을 실험 목록의 어디에 둘지 하나이고, 그것은 노드 수만으로 갈린다.
|
||||
「NUMA는 실제 장비 topology부터 확인한다」에서는 먼저 topology 를 측정하고 NUMA 최적화가 필요한지 판단한다고 적었다. 그 순서대로면 노드 수는 여기서 재고 배치 조정을 그쪽이 받는다.
|
||||
현재 호스트는 NUMA node가 하나뿐이므로 remote memory 배치 자체가 성립하지 않는다. 따라서 이 환경에서는 NUMA pinning이나 memory binding을 성능 최적화 항목으로 올리지 않는다.
|
||||
|
||||
## 이 호스트에서는 NUMA 간 차이를 비교할 수 없다
|
||||
|
||||
|
||||
+2
-2
@@ -46,9 +46,9 @@ Steal time 증가 : Guest 에서 관측
|
||||
Host CPU saturation : Host
|
||||
|
||||
「실험대 전체 배치 (2026-09-03 구축 완료, 실측값)」에서는 운영을 `desktop` 이라 부르고 그 배치를 `nginx → 127.0.0.1:30080(NodePort) → Traefik` 으로 적었다. 이 실험대의 배치와 다른 것은 단일 노드냐 2노드냐 하나다.
|
||||
「nginx 설정 구조 — `sites-available`은 nginx 기능이 아니다」에서는 그 `desktop` 이 Ubuntu 라고 적는다. 같은 절이 이 실험대가 `sites-available` 방식을 쓰는 이유도 적었다. 「운영(`desktop`)이 Ubuntu라 그 구조를 쓰고 있으므로, 설정을 운영으로 옮길 때 경로가 그대로 맞는 편이 낫다는 판단이다.」 기존 문서가 운영과 같다고 적은 것은 그 2홉 경로와 이 설정 관례 둘이다.
|
||||
확인된 운영 관련 정보는 두 가지뿐이다. 운영 쪽 nginx는 Ubuntu의 `sites-available`/`sites-enabled` 관례를 사용하고, 요청 경로도 nginx와 내부 라우터를 거치는 2홉 구조로 기록돼 있다. 이것만으로 운영 서버가 bare-metal인지 가상 머신인지 판단할 수는 없다.
|
||||
|
||||
운영 서버가 bare-metal 인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 기존 문서에 적혀 있지 않다.
|
||||
운영 서버가 bare-metal인지 상위 하이퍼바이저나 클라우드 가상 머신 위인지는 아직 확인되지 않았다.
|
||||
|
||||
## 판단에 필요한 전제
|
||||
|
||||
|
||||
+1
-1
@@ -28,7 +28,7 @@ source:
|
||||
|
||||
# CPU pinning 전후로 Keycloak 지연과 vCPU 스케줄링 변동이 달라지는가
|
||||
|
||||
2026-09-21 두 worker를 live pinning으로 `kc-lab-1 vCPU0/1 → pCPU 0/1`, `kc-lab-2 vCPU0/1 → pCPU 2/3`에 묶고 동일 OIDC read-only 부하를 전후로 비교했다. pinning 전에는 같은 vCPU TID의 `PSR`이 여러 pCPU 사이를 이동했지만 pinning 뒤에는 각각 0/1/2/3에 고정됐다. 그러나 **Keycloak latency/throughput 개선은 반복 실행에서 재현되지 않았다.**
|
||||
2026-09-21 두 worker를 live pinning으로 `kc-lab-1 vCPU0/1 → pCPU 0/1`, `kc-lab-2 vCPU0/1 → pCPU 2/3`에 묶고 동일 OIDC read-only 부하를 전후로 비교했다. pinning 전에는 같은 vCPU TID의 `PSR`이 여러 pCPU 사이를 이동했지만 pinning 뒤에는 각각 0/1/2/3에 고정됐다. 그러나 Keycloak latency/throughput 개선은 반복 실행에서 재현되지 않았다.
|
||||
|
||||
## pinning 전후 비교 결과
|
||||
|
||||
|
||||
+1
-1
@@ -22,7 +22,7 @@ source:
|
||||
|
||||
# 가상 머신 두 대를 CPU-bound 로 만들면 게스트 steal time 은 얼마나 오르는가
|
||||
|
||||
2026-09-21 두 worker의 vCPU를 동시에 CPU-bound로 만든 10초 관측 구간에서 **guest steal time은 증가하지 않았다.** `kc-lab-1`과 `kc-lab-2` 모두 부하 중 `vmstat`의 `st`가 전 구간 0%였고, host에는 약 49~50% idle CPU가 남았다.
|
||||
2026-09-21 두 worker의 vCPU를 동시에 CPU-bound로 만든 10초 관측 구간에서 guest steal time은 증가하지 않았다. `kc-lab-1`과 `kc-lab-2` 모두 부하 중 `vmstat`의 `st`가 전 구간 0%였고, host에는 약 49~50% idle CPU가 남았다.
|
||||
|
||||
## 두 worker를 CPU-bound로 만든 결과
|
||||
|
||||
|
||||
+1
-1
@@ -23,7 +23,7 @@ source:
|
||||
|
||||
# cgroup CPU 제한과 호스트 vCPU 경쟁을 지표로 가를 수 있는가
|
||||
|
||||
2026-09-21 현재 Keycloak은 CPU request `100m`만 있고 CPU limit은 없으며 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. **두 원인은 실제 지표 조합이 다르게 나타났다.**
|
||||
2026-09-21 현재 Keycloak은 CPU request `100m`만 있고 CPU limit은 없으며 컨테이너의 `cpu.max`는 `max 100000`, `nr_throttled=0`이었다. 별도 disposable pod에 `100m` CPU limit을 걸어 cgroup throttling을 재현하고, 반대로 CPU limit 없이 한 VM의 두 vCPU를 같은 pCPU에 묶어 host-level contention을 재현했다. 두 원인은 실제 지표 조합이 다르게 나타났다.
|
||||
|
||||
## 두 원인을 따로 재현한 결과
|
||||
|
||||
|
||||
+2
-2
@@ -19,7 +19,7 @@ source:
|
||||
|
||||
# vCPU 를 늘릴수록 이 호스트에서 Keycloak 처리량도 계속 오르는가
|
||||
|
||||
이 비교는 아직 수행하지 않았다. 2026-09-21에는 현재 2 vCPU worker 구성에서 CPU-bound·OIDC 부하를 측정했지만, VM을 2·4·8 vCPU로 재정의해 같은 Keycloak 부하를 반복하지는 않았다. 현재 worker/edge가 실제 lab을 구성하고 있고 추가 상태변경 테스트는 마지막 단계로 미뤘으므로 topology 변경 비교는 별도 실험에서 수행한다.
|
||||
2·4·8 vCPU 구성에서 같은 Keycloak 부하를 반복하는 비교는 아직 수행하지 않았다. 2026-09-21에는 현재 2 vCPU worker 구성에서 CPU-bound 부하와 OIDC 부하만 측정했다. 현재 worker/edge가 실제 lab을 구성하고 있고 추가 상태변경 테스트는 마지막 단계로 미뤘으므로 topology 변경 비교는 별도 실험에서 수행한다.
|
||||
|
||||
## 현재 호스트와 VM의 CPU 여유
|
||||
|
||||
@@ -65,7 +65,7 @@ vCPU 수만 바꾸고 Keycloak 설정과 부하는 세 실행에서 고정한다
|
||||
|
||||
논리 코어가 8 이라 8 vCPU 구성에서는 한 게스트의 vCPU 수가 코어 수와 같아진다. 나머지 게스트를 함께 띄우면 합이 8 을 넘으므로, 세 실행마다 그때 떠 있던 게스트와 총 vCPU 를 함께 적는다.
|
||||
|
||||
「단계 00 — lab host 가상화 준비」의 과거 출력에는 「16 코어 전부」가 남아 있었지만, 현재 호스트는 2026-09-17과 2026-09-21에 다시 확인한 **물리 4코어·8 logical CPU**다. 따라서 이 질문의 2·4·8 vCPU 비교는 8 logical CPU를 현재 truth로 둔다. 16코어 줄은 현재 `test-server`의 값으로 쓰지 않는다.
|
||||
「단계 00 — lab host 가상화 준비」의 과거 출력에는 「16 코어 전부」가 남아 있었지만, 현재 호스트는 2026-09-17과 2026-09-21에 다시 확인한 **물리 4코어·8 logical CPU**다. 현재 `test-server`는 물리 4코어·8 logical CPU이므로 이후 2·4·8 vCPU 비교도 이 값을 기준으로 한다. 과거 문서의 16코어 출력은 현재 호스트의 값으로 사용하지 않는다.
|
||||
|
||||
「vCPU 과다 할당」에서 든 두 원인을 가르려면 처리량과 지연만으로는 부족하다. 게스트의 %st 를 같은 실행에서 남긴다.
|
||||
|
||||
|
||||
+1
-1
@@ -22,7 +22,7 @@ source:
|
||||
|
||||
# 가상 머신 두 대에 동시에 부하를 주면 이 호스트에서 vCPU 경쟁이 실제로 생기는가
|
||||
|
||||
2026-09-21 `kc-lab-1`과 `kc-lab-2`의 2 vCPU를 각각 모두 CPU-bound로 만든 뒤 host와 두 guest를 동시에 관측했다. 부하 중 host run queue는 4~6으로 늘었지만 host는 약 49~50% idle이 남았고, 두 guest의 steal time은 계속 0%였다. **현재 8 logical CPU / worker 4 vCPU 구성에서는 이 부하로 host CPU 부족에 의한 vCPU contention이 관측되지 않았다.**
|
||||
2026-09-21 `kc-lab-1`과 `kc-lab-2`의 2 vCPU를 각각 모두 CPU-bound로 만든 뒤 host와 두 guest를 동시에 관측했다. 부하 중 host run queue는 4~6으로 늘었지만 host는 약 49~50% idle이 남았고, 두 guest의 steal time은 계속 0%였다. 현재 8 logical CPU / worker 4 vCPU 구성에서는 이 부하로 host CPU 부족에 의한 vCPU contention이 관측되지 않았다.
|
||||
|
||||
## 두 worker를 동시에 태웠을 때
|
||||
|
||||
|
||||
+2
-2
@@ -23,7 +23,7 @@ source:
|
||||
|
||||
# pinning 없이 vCPU 스레드는 호스트 논리 CPU 사이를 옮겨 다니는가
|
||||
|
||||
2026-09-21 QEMU monitor로 실제 vCPU thread ID를 얻고 `ps -eL`의 `PSR`을 약 3초 동안 반복해서 읽었다. pinning은 없었고 affinity는 모두 `0-7` 전체였다. 같은 TID의 `PSR`이 여러 값으로 바뀌어 **unpinned vCPU thread가 host logical CPU 사이를 실제로 이동하는 것**을 확인했다.
|
||||
2026-09-21 QEMU monitor로 실제 vCPU thread ID를 얻고 `ps -eL`의 `PSR`을 약 3초 동안 반복해서 읽었다. pinning은 없었고 affinity는 모두 `0-7` 전체였다. 같은 TID의 `PSR`이 여러 값으로 바뀌어 unpinned vCPU thread가 host logical CPU 사이를 실제로 이동하는 것을 확인했다.
|
||||
|
||||
## 실제로 이동한 vCPU thread
|
||||
|
||||
@@ -56,7 +56,7 @@ CPU pinning 을 적용하면 실행 위치를 특정 논리 CPU 집합으로 제
|
||||
|
||||
## migration과 성능은 다른 질문이다
|
||||
|
||||
이 질문의 핵심인 실제 migration 여부와 pinning 유무는 해소됐다. 현재 vCPU thread는 `0-7` 전체에 실행 가능하고 짧은 관측에서도 실제 migration이 보였다. idle과 CPU-bound 상태에서 migration 빈도가 얼마나 달라지는지는 성능 비교 질문으로 분리한다.
|
||||
현재 vCPU thread의 affinity는 `0-7` 전체이고, 짧은 관측에서도 같은 TID가 여러 pCPU 사이를 이동했다. pinning이 없는 상태에서 실제 migration이 발생한다는 것은 확인했다. idle과 CPU-bound 상태에서 migration 빈도가 얼마나 달라지는지는 별도 성능 비교가 필요하다.
|
||||
|
||||
## 이 결과의 범위
|
||||
|
||||
|
||||
+1
-1
@@ -19,7 +19,7 @@ source:
|
||||
|
||||
# Keycloak 동시 refresh 실험 중 CPU 가상화 계층이 결과를 흔들 만큼 포화되는가
|
||||
|
||||
이 질문은 아직 실제 refresh 경쟁 조건으로 검증하지 않았다. 2026-09-21 OIDC discovery synthetic load와 KVM/host CPU 지표는 함께 측정했지만, 질문이 요구하는 **동일 refresh token 동시 요청 + Keycloak latency + PostgreSQL 지연** 실험은 수행하지 않았다. 현재 Keycloak lab에는 Redis가 배포돼 있지 않으므로 Redis 지연을 이 질문의 필수 항목으로 두지 않는다. 별도 BFF/Redis 구성을 함께 재는 실험이라면 그때 Redis 지표를 추가한다. OIDC 부하 결과를 refresh 경쟁 실험의 대체 근거로 사용하지 않는다.
|
||||
동일 refresh token을 동시에 사용하는 경쟁 조건은 아직 실제로 검증하지 않았다. 2026-09-21 OIDC discovery synthetic load와 KVM/host CPU 지표는 함께 측정했지만, 질문이 요구하는 동일 refresh token 동시 요청 + Keycloak latency + PostgreSQL 지연 실험은 수행하지 않았다. 현재 Keycloak lab에는 Redis가 배포돼 있지 않으므로 이번 refresh 경쟁 실험의 측정 항목에도 Redis 지연을 포함하지 않는다. 별도 BFF/Redis 구성을 함께 재는 실험이라면 그때 Redis 지표를 추가한다. OIDC 부하 결과를 refresh 경쟁 실험의 대체 근거로 사용하지 않는다.
|
||||
|
||||
## 현재 실험대의 CPU 조건
|
||||
|
||||
|
||||
+1
-1
@@ -26,7 +26,7 @@ source:
|
||||
|
||||
# 실제 작업에서 주로 발생하는 VM Exit 은 무엇인가
|
||||
|
||||
2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 이 호스트에서 동작하는 것을 확인하고, 같은 `kc-lab-1` QEMU를 대상으로 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 비교했다. **workload에 따라 VM Exit 분포가 실제로 달라졌다.** CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer 비중이 크게 늘었고, Keycloak 고부하에서는 baseline보다 EPT_MISCONFIG 비중과 전체 sample 수가 증가했다.
|
||||
2026-09-21 `perf 7.2.2-1`의 `perf kvm stat live -p <QEMU_PID> --event vmexit`가 이 호스트에서 동작하는 것을 확인하고, 같은 `kc-lab-1` QEMU를 대상으로 baseline · CPU-bound · I/O-heavy · Keycloak 정상 요청 · Keycloak read-only 부하를 비교했다. workload에 따라 VM Exit 분포가 실제로 달라졌다. CPU-bound에서는 HLT가 사라지고 External Interrupt/Preemption Timer 비중이 크게 늘었고, Keycloak 고부하에서는 baseline보다 EPT_MISCONFIG 비중과 전체 sample 수가 증가했다.
|
||||
|
||||
## workload마다 달라진 Exit 분포
|
||||
|
||||
|
||||
+4
-4
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CONCEPT
|
||||
slug: two-l7-hops-and-the-entry-point-recursion
|
||||
title: L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀
|
||||
title: 이 실험대에서 L7 프록시를 두 단계로 둔 이유
|
||||
topic: lab-entry-path-and-measurement-integrity
|
||||
topicName: 실험대의 진입 경로
|
||||
project: virtualization
|
||||
@@ -18,9 +18,9 @@ source:
|
||||
- final/document.md#258-왜-tls를-끊어서-내용을-보는가
|
||||
---
|
||||
|
||||
# L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀
|
||||
# 이 실험대에서 L7 프록시를 두 단계로 둔 이유
|
||||
|
||||
이 실험대의 요청은 HTTP 를 읽는 서버를 두 번 지난다. 바깥의 nginx 가 TLS 를 끊고 어느 노드로 보낼지 정하고, 그 노드의 Traefik 이 어느 파드로 보낼지 정한다. 한쪽만으로는 안 되는 이유가 서로 다르고, 진입점을 이중화하려 하면 「어느 진입점으로 갈지 누가 정하는가」가 새로 생겨 재귀가 끝나지 않는다.
|
||||
이 실험대의 요청은 nginx와 Traefik 두 L7 프록시를 지난다. nginx는 TLS를 종료하고 어느 노드로 보낼지 결정하며, Traefik은 Ingress 규칙을 보고 어느 서비스와 파드로 전달할지 결정한다. 두 계층의 역할이 다르기 때문에 하나로 합치지 않았다. nginx 진입점을 여러 대로 늘리려면 그 앞에서 어느 nginx로 보낼지 결정하는 별도의 진입점이나 L4 분산 방식이 추가로 필요하다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -95,7 +95,7 @@ ALB 와 NLB 는 AWS 의 두 제품이고 이 실험대에는 없다. 여기서
|
||||
|
||||
이 실험대는 두 패턴 중 어느 쪽도 아니다. 바깥의 nginx 가 TLS 를 끊고 `X-Forwarded-*` 를 넣으므로 ALB 에 가까운데, 그 뒤의 Traefik 이 또 HTTP 를 읽는다.
|
||||
|
||||
## 진입점을 이중화하려 하면 재귀가 끝나지 않는다
|
||||
## nginx 진입점을 여러 대로 늘리면 앞단 분산 방식이 하나 더 필요하다
|
||||
|
||||
한 머신 안에서 nginx 를 여러 개 띄우는 것은 의미가 없다. nginx 는 이미 master 프로세스 1개와 worker N개 구조이고, worker 들이 리스닝 소켓을 공유하며 CPU 코어 수만큼 병렬로 처리한다. 같은 머신에 인스턴스를 늘려도 그 머신이 내려가면 전부 함께 내려가므로 가용성은 늘지 않는다.
|
||||
|
||||
|
||||
+9
-9
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: no-public-tunnel-because-a-third-hop-pollutes-the-measurement
|
||||
title: 공개 터널을 쓰지 않고 tailnet 직결로 둔다 — 홉이 하나 늘면 재려던 계약이 오염된다
|
||||
title: 공개 터널 대신 tailnet 직결을 선택한 이유
|
||||
topic: lab-entry-path-and-measurement-integrity
|
||||
topicName: 실험대의 진입 경로
|
||||
project: virtualization
|
||||
@@ -15,21 +15,21 @@ source:
|
||||
- final/document.md#301-전체-지도
|
||||
---
|
||||
|
||||
# 공개 터널을 쓰지 않고 tailnet 직결로 둔다 — 홉이 하나 늘면 재려던 계약이 오염된다
|
||||
# 공개 터널 대신 tailnet 직결을 선택한 이유
|
||||
|
||||
Cloudflare named tunnel 을 앞에 붙이면 브라우저에서 파드까지가 3홉이 되고, 이 실험대가 재려는 것이 정확히 2홉의 forwarded 헤더 계약이라 측정이 오염된다. 그래서 tailnet 직결로 두고 터널 설정 파일은 채택하지 않은 선택지로 남긴다.
|
||||
Cloudflare named tunnel을 앞에 두면 브라우저에서 파드까지 HTTP 프록시 홉이 하나 늘어난다. 이 실험에서는 nginx와 Traefik 두 홉 사이에서 forwarded 헤더가 어떻게 전달되는지를 확인하려 했기 때문에, 측정 경로를 바꾸지 않도록 tailnet에서 nginx로 직접 연결했다. Cloudflare tunnel은 검토했지만 사용하지 않았다.
|
||||
|
||||
## 왜 공개 터널을 후보에서 뺐나
|
||||
|
||||
「`tunnel/` — 채택하지 않은 이유를 남긴 자산」에서는 `deploy/` 아래의 `tunnel/cloudflared-config.yml` 을 두고 채택하지 않았다고 적으면서 기각 이유를 전후 홉 그림으로 남겼다. 기각한 파일을 지우지 않는 방침은 「9층. `deploy/` — 무엇이 살아 있고 무엇이 참조인가」부터 「왜 적용하지 않는 것을 남겨두는가」에 따로 있다. 저장소에 있으나 적용되지 않는 설정이 여럿인데, 그것들이 죽은 코드가 아니라 의도적으로 남겨 둔 참조 자산이라고 전체 지도와 함께 적는다.
|
||||
「`tunnel/` — 채택하지 않은 이유를 남긴 자산」에서는 `deploy/` 아래의 `tunnel/cloudflared-config.yml` 을 두고 채택하지 않았다고 적으면서 기각 이유를 전후 홉 그림으로 남겼다. 기각한 파일을 지우지 않는 방침은 「9층. `deploy/` — 무엇이 살아 있고 무엇이 참조인가」부터 「왜 적용하지 않는 것을 남겨두는가」에 따로 있다. 저장소에는 실제 배포에 사용하지 않는 설정도 남아 있으며, 이런 파일은 채택하지 않은 대안의 설정과 검증 방법을 보존하는 용도로 구분한다.
|
||||
|
||||
- **L7 이 두 겹인 이유와, 진입점 하나를 이중화하려 할 때 끝나지 않는 재귀**
|
||||
- **이 실험대에서 L7 프록시를 두 단계로 둔 이유**
|
||||
이 결정이 지키려는 2홉이 무엇이고 그 둘의 역할이 왜 다른지를 그 글이 설명한다.
|
||||
- **신뢰 경계에서는 forwarded 헤더를 덧붙이지 않고 덮어쓴다**
|
||||
앞에 한 겹이 더 붙으면 경계가 Cloudflare 엣지로 옮겨 가 그 기준을 거기서 다시 세워야 한다.
|
||||
- **인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다**
|
||||
- **공개 인터넷에 노출되지 않은 실험대에서 DNS-01을 선택한 이유**
|
||||
이 결정이 청구한 비용 하나를 그 결정이 받는다.
|
||||
- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리**
|
||||
- **Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유**
|
||||
같은 2홉을 지킨 채 엣지의 위치만 바꾼 결정이라 홉 수를 건드리지 않는다.
|
||||
- **이 실험대의 certbot 은 HTTP-01 로 받고 있는가 DNS-01 로 받고 있는가**
|
||||
2026-09-17에 `dns-cloudflare` 사용을 확인했고, 2026-09-21 renewal dry-run까지 성공해 현재 자격증명으로 DNS-01 갱신 시뮬레이션이 가능한 것도 확인했다.
|
||||
@@ -44,7 +44,7 @@ Cloudflare named tunnel 을 앞에 붙이면 브라우저에서 파드까지가
|
||||
|
||||
Cloudflare named tunnel 은 아웃바운드 연결만 쓰므로 포트포워딩 없이 공개 HTTPS 이름을 얻는다. 공유기를 건드릴 수 없는 환경에서는 매력적인 선택지이고, 「`tunnel/` — 채택하지 않은 이유를 남긴 자산」에서는 그 설정의 함정 둘까지 적어 두었다. `service:` 에 `127.0.0.1` 을 쓰면 cloudflared 컨테이너 자신을 가리키므로 Compose 서비스 DNS 이름을 써야 하고, 마지막 catch-all 이 없으면 오류가 난다.
|
||||
|
||||
기각 근거는 홉 수다. 터널을 쓰면 브라우저가 Cloudflare 엣지와 nginx 와 Traefik 을 지나 파드에 닿아 3홉이 된다. 지금은 브라우저가 nginx 와 Traefik 만 지나 파드에 닿는 2홉이다. Cloudflare 엣지가 TLS 를 끊고 다시 맺으면서 HTTP 를 읽는 홉이 하나 늘고 `CF-Connecting-IP` 같은 자체 헤더가 섞인다. 이 실험대가 측정하려는 것이 정확히 `nginx → Traefik` 2홉의 forwarded 헤더 계약이므로, 앞에 한 겹이 더 붙으면 측정이 오염된다.
|
||||
터널을 사용하면 브라우저 요청은 Cloudflare edge, nginx, Traefik을 차례로 지나 파드에 도착한다. 현재 경로는 nginx와 Traefik 두 홉이다. Cloudflare edge가 TLS를 종료하고 다시 연결하면서 `CF-Connecting-IP` 같은 헤더도 추가하므로, 터널을 사용하면 확인하려는 `nginx → Traefik` 헤더 전달 경로 자체가 달라진다.
|
||||
|
||||
터널이 무엇을 해 주는지가 아니라 그것이 이 실험대의 측정 대상에 무엇을 하는지를 보고 정했다.
|
||||
|
||||
@@ -60,7 +60,7 @@ Cloudflare named tunnel 은 아웃바운드 연결만 쓰므로 포트포워딩
|
||||
|
||||
기각한 파일을 지우지 않는 방침에도 근거가 셋 있다.
|
||||
① 저장소의 목적이 비교다 : 선택지를 나란히 두고 트레이드오프를 적는 것 자체가 산출물이라, 하나만 남기면 왜 이것을 골랐는지를 뒷받침할 근거가 없어진다
|
||||
② 죽은 코드가 아니라 테스트되는 코드다 : `scripts/verify-public-tunnel-config.sh` 가 붙어 있어 실행되지 않을 뿐 깨지면 드러난다
|
||||
② 실제 배포에는 사용하지 않지만 검증 스크립트가 있다 : `scripts/verify-public-tunnel-config.sh`로 설정 형식이 깨졌는지 확인할 수 있다
|
||||
③ 실험대 전용 설정은 `lab/` 아래로 분리했다 : 일반 배포 설정과 섞이지 않는다
|
||||
|
||||
재지 않은 것도 있다. 터널을 붙인 상태와 지금을 같은 방법으로 잰 비교는 이 저장소에 없다. 기각의 근거는 홉 수와 추가되는 신뢰 경계이지 두 구성을 벤치마크한 결과가 아니다. 인증 방식은 2026-09-17 `dns-cloudflare`로 확인됐고, 2026-09-21에는 credential 파일이 81 bytes인 상태에서 renewal dry-run도 성공했다.
|
||||
|
||||
+2
-2
@@ -16,13 +16,13 @@ source:
|
||||
|
||||
# 신뢰 경계에서는 forwarded 헤더를 덧붙이지 않고 덮어쓴다
|
||||
|
||||
맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For`를 버리고 자기가 **실제로 본 주소**로 덮어쓴다. nginx에서는 `$proxy_add_x_forwarded_for`가 아니라 `$remote_addr`를 쓰는 이유다. 다만 `$remote_addr`가 원본 client IP라는 보장은 네트워크 계층이 제공해야 한다. 현재 실험대에서는 2026-09-21 packet capture로 Tailscale MASQUERADE가 edge 앞에서 source를 `192.168.122.1`로 바꾸는 것을 확인했다.
|
||||
맨 바깥 프록시는 클라이언트가 보낸 `X-Forwarded-For`를 버리고 자기가 실제로 본 주소로 덮어쓴다. nginx에서는 `$proxy_add_x_forwarded_for`가 아니라 `$remote_addr`를 쓰는 이유다. 다만 `$remote_addr`가 원본 client IP라는 보장은 네트워크 계층이 제공해야 한다. 현재 실험대에서는 2026-09-21 packet capture로 Tailscale MASQUERADE가 edge 앞에서 source를 `192.168.122.1`로 바꾸는 것을 확인했다.
|
||||
|
||||
## forwarded 헤더가 신뢰 경계가 되는 이유
|
||||
|
||||
`X-Forwarded-For` 는 누구나 보낼 수 있는 평범한 HTTP 헤더다. 값을 믿을 만하게 만드는 것은 헤더 이름이 아니라 그 값을 쓴 주체이고, 쓰는 주체를 하나로 좁히는 것이 이 기준이다. 맨 바깥 프록시가 클라이언트의 값을 이어 붙이면 위조된 값이 사슬 앞에 남고, 그러면 뒤쪽의 어느 것도 그 헤더를 근거로 쓸 수 없다.
|
||||
|
||||
설정 정본이 그 줄 위에 이유를 적어 두었다. 원문은 영어이고 그대로 옮긴다.
|
||||
실제 nginx 설정에는 이 헤더를 덮어쓰는 이유가 주석으로 남아 있다.
|
||||
|
||||
$remote_addr, not $proxy_add_x_forwarded_for. This is the trust boundary: a client-supplied X-Forwarded-For must be discarded, not extended, or nothing downstream can rely on the value.
|
||||
|
||||
|
||||
+40
-34
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: declared-memory-and-disk-are-ceilings-not-occupancy
|
||||
title: 메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다
|
||||
title: 설정한 메모리·디스크 크기와 실제 사용량을 구분해서 본다
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -20,56 +20,62 @@ source:
|
||||
- final/document.md#211-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 메모리와 디스크의 선언량은 실제 점유량이 아니다 — 서로 다른 지표를 같은 숫자로 읽지 않는다
|
||||
# 설정한 메모리·디스크 크기와 실제 사용량을 구분해서 본다
|
||||
|
||||
2026-09-10 기록에는 `kc-lab-1`의 `dommemstat actual-unused` 차이가 353MB, `kc-lab-2`가 301MB로 남아 있고, 두 qcow2 overlay의 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. 당시 문서는 이 값을 ‘실사용/실제 점유’라고 불렀지만 서로 다른 계층의 지표다. `dommemstat` 차이는 host RSS가 아니고, `ls -l` 파일 길이도 host가 실제로 할당한 disk block 양과 같지 않을 수 있다. 2026-09-21 재검증에서는 configured/current memory·guest-visible memory·QEMU RSS와 qcow2 virtual size·disk allocation·file length를 따로 읽어 이 구분을 명확히 했다.
|
||||
|
||||
## 선언한 용량과 실제로 관측하는 값이 같은 지표인지부터 확인해야 했다
|
||||
## 설정값과 실제 사용량은 서로 다른 지표였다
|
||||
|
||||
제1~4부에는 이 호스트에서 잰 값이 하나도 없다. 제5·6부는 버전과 주소와 명령까지만 적었다.
|
||||
|
||||
게스트 세 대에 메모리 8240MB 와 디스크 40GB 를 선언해 두었는데, 그 선언이 11,648MiB 와 226G 짜리 호스트 한 대에서 실제로 얼마를 먹는지는 어디에도 없었다. 「5GB 를 줬으니 5GB 를 쓴다」와 「20GB 두 장이면 40GB 를 쓴다」가 맞는지 모르는 채로 게스트를 더 띄울지 정해야 했다.
|
||||
게스트에 설정한 메모리와 디스크 용량만으로는 호스트에서 실제로 사용하는 RAM과 디스크 공간을 알 수 없었다. 추가 게스트를 띄울 수 있는지 판단하려면 libvirt의 메모리 설정값과 QEMU RSS를 구분하고, qcow2의 가상 크기와 호스트 파일시스템 할당량도 따로 측정해야 했다.
|
||||
|
||||
## 메모리와 qcow2는 한 숫자로 점유량을 말할 수 없었다
|
||||
## 메모리와 qcow2는 측정하는 값이 각각 다르다
|
||||
|
||||
메모리의 configured/current 값과 qcow2의 virtual size는 **용량을 설명하는 값**이고, host RAM RSS나 host filesystem allocation과는 다른 계층의 지표다. k3s만 떠 있고 Keycloak은 아직 안 올린 상태에서 당시 문서가 여러 값을 한 번에 쟀는데, 지금은 각 값이 무엇을 뜻하는지 분리해 읽는다.
|
||||
|
||||
메모리 : `kc-lab-1`은 `actual=5120MB`에서 `unused`를 뺀 차이가 353MB, `kc-lab-2`는 `actual=3120MB`에서 같은 방식의 차이가 301MB
|
||||
메모리 합계 : 당시 두 차이를 더하면 654MB였지만, 이것을 host physical RSS 합계로 읽지는 않는다
|
||||
디스크 : `kc-lab-1.qcow2`의 `ls -l` 파일 길이 1.4GiB, `kc-lab-2.qcow2` 665MiB, 바닥 `base.qcow2`는 `virtual size` 3GiB에 `qemu-img info disk size` 335MiB
|
||||
디스크 합계 : overlay 파일 길이 합은 약 2.1GiB였지만, sparse file의 실제 host allocation 합계라고 단정하지 않는다
|
||||
철거 : 게스트 셋을 지우자 `df -h /` 가 11G 에서 7.9G 로 내려 3.1GB 가 회수됐다
|
||||
| 측정 항목 | 2026-09-10에 기록한 값 | 해석 |
|
||||
|---|---|---|
|
||||
| `kc-lab-1` `actual-unused` | 353MB | host QEMU RSS가 아니라 libvirt가 제공한 guest memory 통계의 차이 |
|
||||
| `kc-lab-2` `actual-unused` | 301MB | 위와 동일 |
|
||||
| 두 값의 합 | 654MB | host physical RSS 합계로 사용하지 않음 |
|
||||
| `kc-lab-1.qcow2` `ls -l` 길이 | 1.4GiB | 파일 길이 |
|
||||
| `kc-lab-2.qcow2` `ls -l` 길이 | 665MiB | 파일 길이 |
|
||||
| `base.qcow2` | virtual size 3GiB, `disk size` 335MiB | backing image의 가상 크기와 할당량 |
|
||||
| 게스트 삭제 전후 `df -h /` | 11G → 7.9G | 파일시스템 전체 사용량이 약 3.1GB 감소 |
|
||||
|
||||
2026-09-10에는 `virt-install --memory 4096`으로 만든 `kc-lab-2`의 `dommemstat actual`이 3120MB로 보였다. 당시 current allocation과 선언값이 달랐다는 관측은 맞지만, 원인을 virtio-balloon 회수로 확정할 근거는 없었다. 2026-09-21 재검증에서는 `dominfo`와 `dommemstat`을 나란히 읽었고 configured/current/actual이 모두 4096MiB였다. virtio-balloon 장치는 실제로 존재하지만, 장치 존재와 active inflation은 같은 사실이 아니다.
|
||||
|
||||
## 2026-09-10 측정 환경
|
||||
|
||||
측정일 : 2026-09-10
|
||||
호스트 : `test-server`, Arch Linux
|
||||
CPU : `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, 논리 코어 8
|
||||
RAM : 11,648MiB
|
||||
루트 파일시스템 : 226G 가운데 9.9G 사용
|
||||
QEMU : 11.1.1
|
||||
libvirt : 12.7.0
|
||||
커널 : `7.2.2-arch1-1`
|
||||
중첩 가상화 : `nested` 가 `Y` 지만 이 실험대는 쓰지 않는다
|
||||
게스트 : Debian 12 genericcloud 3대 — 엣지 1대, k3s 2노드
|
||||
워크로드 : k3s 만 떠 있고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리기 전
|
||||
| 항목 | 값 |
|
||||
|---|---|
|
||||
| 측정일 | 2026-09-10 |
|
||||
| 호스트 | `test-server`, Arch Linux |
|
||||
| CPU | `11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz`, 논리 코어 8 |
|
||||
| RAM | 11,648MiB |
|
||||
| 루트 파일시스템 | 226G 가운데 9.9G 사용 |
|
||||
| QEMU | 11.1.1 |
|
||||
| libvirt | 12.7.0 |
|
||||
| 커널 | `7.2.2-arch1-1` |
|
||||
| 중첩 가상화 | `nested=Y`, 이 실험에서는 사용하지 않음 |
|
||||
| 게스트 | Debian 12 genericcloud 3대: Edge VM 1대, k3s 노드 2대 |
|
||||
| 당시 워크로드 | k3s만 실행, Keycloak·PostgreSQL·Redis·Prometheus는 배포 전 |
|
||||
|
||||
## 메모리와 디스크를 계층별 지표로 나눠 재는 방법
|
||||
|
||||
1. k3s 두 노드만 띄우고 Keycloak · PostgreSQL · Redis · Prometheus 는 올리지 않는다.
|
||||
2. 게스트마다 `virsh dommemstat`을 돌려 `actual`과 `unused`를 읽는다. 두 값의 차이는 **당시 libvirt가 보고한 guest-side memory 지표의 차이**로 기록하고, host QEMU RSS나 물리 RAM 점유량으로 바꾸어 부르지 않는다.
|
||||
3. `qemu-img info`로 각 qcow2의 `virtual size`와 `disk size`를 읽고, `du`와 `ls -l`을 함께 사용해 host allocation과 file length를 구분한다. historical 2026-09-10 기록에는 overlay의 `ls -l` 값만 남아 있어 그 시점의 VM별 block allocation은 다시 만들 수 없다.
|
||||
3. `qemu-img info`로 각 qcow2의 `virtual size`와 `disk size`를 읽고, `du`와 `ls -l`을 함께 사용해 호스트 할당량과 파일 길이를 구분한다. 2026-09-10 기록에는 overlay의 `ls -l` 값만 남아 있어 그 시점의 VM별 실제 블록 할당량은 다시 계산할 수 없다.
|
||||
4. 철거하기 전에 `df -h /` 를 읽어 둔다.
|
||||
5. `virsh destroy` 와 `virsh undefine --remove-all-storage` 로 게스트 셋을 지우고 `df -h /` 를 다시 읽는다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
|
||||
## 이 호스트에서 처음으로 양을 쟀다
|
||||
## 호스트 자원 사용량을 실제 값으로 확인했다
|
||||
|
||||
이 실험대의 문서는 제5·6부까지 버전과 주소와 명령을 적었고 자원의 양은 적지 않았다. 제7부가 그 양과 시간을 처음 쟀고, 원본이 표기 규약을 스스로 밝혀 두었다.
|
||||
초기 구축 기록에는 버전과 주소, 명령은 있었지만 호스트에서 실제로 사용하는 메모리와 디스크 양은 측정돼 있지 않았다. 2026-09-10에 처음으로 자원 사용량을 측정했고, 이후 2026-09-21에 같은 항목을 다시 확인했다.
|
||||
|
||||
> 여기 적힌 숫자는 전부 2026-09-10 에 `test-server` 에서 실제로 돌려 받은 출력이다. 추정값·예상값은 없다. 없는 값은 「미측정」이라고 쓴다.
|
||||
|
||||
@@ -82,7 +88,7 @@ Mem: 11648 5642 2599 4 3776 6005
|
||||
|
||||
`available` 이 6005 로 `free` 2599 보다 훨씬 큰데, `buff/cache` 3776 이 필요해지면 회수되기 때문이다. 게스트를 몇 대 더 띄울 수 있는지는 `free` 가 아니라 `available` 로 읽는다.
|
||||
|
||||
## 메모리 — 5120MB current에서 `actual-unused` 차이는 353MB였다
|
||||
## `dommemstat` 값은 QEMU RSS와 같지 않았다
|
||||
|
||||
당시 기록은 `dommemstat`의 `actual`에서 `unused`를 뺀 값을 ‘실사용’이라고 불렀다. 지금은 그 표현을 그대로 쓰지 않는다. `actual`은 libvirt가 보는 현재 memory target이고 `unused`는 guest balloon 통계에서 온 값이므로, 그 차이는 **그 시점의 guest memory 상태를 보는 한 지표**이지 host QEMU RSS와 같은 값이 아니다.
|
||||
|
||||
@@ -101,11 +107,11 @@ kc-lab-2 actual 3120MB actual-unused 차이 301MB
|
||||
|
||||
당시에는 virtio-balloon 회수 가능성을 추론했지만, **3120MB의 직접 원인은 확인되지 않았다.** 2026-09-21에는 세 domain에 virtio-balloon 장치가 있고 worker guest에도 driver가 bind된 것을 확인했지만, `kc-lab-2`의 configured/current/actual은 모두 4096MiB였다. 따라서 과거의 3120MB를 현재도 지속되는 balloon 회수 상태로 설명하지 않는다.
|
||||
|
||||
## 디스크 — 20GiB virtual size와 파일 길이는 달랐다
|
||||
## qcow2의 가상 크기와 호스트 파일 크기는 달랐다
|
||||
|
||||
게스트 디스크는 `base.qcow2` 위의 오버레이다. 20GB 짜리를 두 장 만들어도 바닥은 한 벌이고 변경분만 쌓인다.
|
||||
게스트 디스크는 공통 `base.qcow2`를 backing image로 사용하는 오버레이다. 각 오버레이를 20GiB로 만들더라도 base 이미지를 복제하는 것이 아니라 변경된 블록이 오버레이에 추가된다.
|
||||
|
||||
```text label="qemu-img info 가 읽은 바닥 이미지"
|
||||
```text label="qemu-img info 가 읽은 base 이미지"
|
||||
image: /var/lib/libvirt/images/base.qcow2
|
||||
file format: qcow2
|
||||
virtual size: 3 GiB (3221225472 bytes)
|
||||
@@ -120,7 +126,7 @@ disk size: 335 MiB
|
||||
-rw------- seed-kc-lab-2.iso 378880 (370 KiB)
|
||||
```
|
||||
|
||||
바닥 이미지는 virtual size가 3GiB였고 `qemu-img info`의 disk size가 335MiB였다. 두 overlay는 각각 20GiB virtual size로 만들었지만 당시 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. **이 둘의 합 2.1GiB는 파일 길이 합이지 sparse 파일이 host block을 실제로 2.1GiB 할당했다는 측정은 아니다.** host allocation을 말하려면 같은 시점의 `qemu-img info disk size`나 `du`를 따로 읽어야 한다. `kc-lab-1` 쪽 파일이 더 컸다는 관측은 남기되, 그 차이를 컨트롤 플레인과 SQLite 하나로 확정하지 않는다.
|
||||
base 이미지는 virtual size가 3GiB였고 `qemu-img info`의 disk size가 335MiB였다. 두 overlay는 각각 20GiB virtual size로 만들었지만 당시 `ls -l` 파일 길이는 1.4GiB와 665MiB였다. **이 둘의 합 2.1GiB는 파일 길이 합이지 sparse 파일이 host block을 실제로 2.1GiB 할당했다는 측정은 아니다.** host allocation을 말하려면 같은 시점의 `qemu-img info disk size`나 `du`를 따로 읽어야 한다. `kc-lab-1` 쪽 파일이 더 컸다는 관측은 남기되, 그 차이를 컨트롤 플레인과 SQLite 하나로 확정하지 않는다.
|
||||
|
||||
## `virsh pool-info` 의 `Allocation` 은 VM 사용량이 아니다
|
||||
|
||||
@@ -137,7 +143,7 @@ Available: 217.46 GiB
|
||||
|
||||
`Allocation` 7.84 GiB는 directory storage pool이 놓인 호스트 파일시스템의 사용 상태를 반영하는 풀 단위 값이다. **VM별 실제 block allocation을 말해 주는 값이 아니다.** 반대로 위의 `ls -l`은 VM별 파일 길이를 보여 줄 뿐 sparse qcow2가 host block을 얼마나 실제 할당했는지는 말해 주지 않는다. VM별 host allocation을 비교하려면 `qemu-img info`의 `disk size`나 `du`처럼 그 기준을 직접 읽는 명령을 쓴다.
|
||||
|
||||
## 철거 — `df -h /` 가 11G 에서 7.9G 로
|
||||
## 게스트를 삭제한 뒤 파일시스템 사용량이 11G에서 7.9G로 줄었다
|
||||
|
||||
게스트 셋을 `virsh destroy` 로 내리고 `virsh undefine --remove-all-storage` 로 지웠다. 한 대분 출력은 이렇다.
|
||||
|
||||
@@ -158,9 +164,9 @@ Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed.
|
||||
| `df -h /` | 11G | 7.9G |
|
||||
| `virbr0` | UP | DOWN |
|
||||
|
||||
`df -h /` 기준으로 철거 전후 사용량은 11G에서 7.9G로 내려 약 3.1GB 차이가 보였다. 다만 이 3.1GB를 위의 `ls -l` 파일 길이들로 정확히 분해하지 않는다. sparse qcow2의 파일 길이와 실제 block allocation은 다를 수 있고, `df`는 파일시스템 전체 변화를 본 값이기 때문이다. `base.qcow2`는 철거 뒤에도 남아 다음 overlay의 바닥으로 사용됐다.
|
||||
`df -h /` 기준으로 철거 전후 사용량은 11G에서 7.9G로 내려 약 3.1GB 차이가 보였다. 다만 이 3.1GB를 위의 `ls -l` 파일 길이들로 정확히 분해하지 않는다. sparse qcow2의 파일 길이와 실제 block allocation은 다를 수 있고, `df`는 파일시스템 전체 변화를 본 값이기 때문이다. `base.qcow2`는 게스트 삭제 뒤에도 남아 다음 overlay의 backing image로 사용됐다.
|
||||
|
||||
## 같은 대상의 숫자가 두 벌이다
|
||||
## 측정 날짜가 다르면 같은 항목의 값도 달라진다
|
||||
|
||||
같은 실험대라도 측정 날짜가 다르면 값이 달라진다. 「실험대 전체 배치」는 2026-09-03 스냅샷이고, 여기서 비교하는 값은 2026-09-10 스냅샷이다.
|
||||
|
||||
@@ -177,13 +183,13 @@ Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-edge.iso) removed.
|
||||
|
||||
## 2026-09-21 재검증에서 추가로 확인한 것
|
||||
|
||||
2026-09-10의 숫자는 historical snapshot으로 유지한다. 2026-09-21에는 더 진행된 현재 실험대에서 같은 계층을 다시 읽었다.
|
||||
2026-09-10 값은 당시 측정값으로 그대로 남기고, 2026-09-21에는 현재 실험대에서 같은 항목을 다시 측정했다.
|
||||
|
||||
- configured/current memory: `kc-lab-1=5120MiB`, `kc-lab-2=4096MiB`, `kc-lab-edge=1024MiB`
|
||||
- 같은 시점 QEMU RSS: 약 `3.73GiB / 2.91GiB / 0.84GiB`
|
||||
- qcow2 virtual/disk size: `kc-lab-1` 20GiB / 약 3.43GiB, `kc-lab-2` 20GiB / 약 2.66GiB, edge 10GiB / 약 345MiB
|
||||
|
||||
이 값도 시점값이다. 2026-09-10 표를 새 숫자로 덮어쓰지 않고, **환경이 진행되면서 actual usage가 달라졌다는 별도 관측**으로 둔다.
|
||||
이 값들도 측정 시점의 상태를 나타낸다. 2026-09-10 값을 새 수치로 덮어쓰지 않고, 실험대에 워크로드가 추가되면서 실제 사용량이 달라진 결과로 별도 기록한다.
|
||||
|
||||
여전히 모르는 것은 2026-09-10의 `kc-lab-2 actual=3120MB`가 정확히 무엇 때문에 만들어졌는지다. 현재 남아 있는 증거만으로는 원인을 특정할 수 없으므로, 그 원인은 확인되지 않은 상태로 남긴다.
|
||||
|
||||
|
||||
+24
-24
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CASE
|
||||
slug: nftables-accept-did-not-stop-the-libvirt-reject
|
||||
title: 호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다
|
||||
title: libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -16,9 +16,9 @@ source:
|
||||
- final/document.md#178-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다
|
||||
# libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례
|
||||
|
||||
밖에서 온 요청은 먼저 돌게 해 둔 forward 체인의 accept 를 지나고도 libvirt 의 guest_input 체인 끝 reject 에서 끊겼다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 그래서 구멍을 libvirt 체인 맨 앞에 넣었다.
|
||||
외부 요청은 먼저 실행되는 forward 체인에서 accept 되었지만, 이후 libvirt의 `guest_input` 체인 끝에 있는 reject 규칙에서 다시 거절됐다. 같은 hook에 연결된 base chain이 우선순위에 따라 계속 평가되기 때문이다. 외부에서 Edge VM의 80·443 포트로 들어오는 새 연결은 `guest_input` 체인 앞쪽에서 허용하도록 예외 규칙을 추가했다.
|
||||
|
||||
## host에서는 되는데 외부 요청만 즉시 거절됐다
|
||||
|
||||
@@ -31,11 +31,11 @@ source:
|
||||
|
||||
## 앞 체인의 accept 뒤에서 libvirt reject가 다시 평가됐다
|
||||
|
||||
밖에서 온 패킷을 거절한 것은 libvirt 가 만든 규칙이다. libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 ct state established,related accept 다음의 reject 로 끝낸다. 그 reject 규칙의 카운터가 4 패킷 240 바이트로 밖에서 친 curl 횟수와 정확히 일치해서 범인을 확정했다.
|
||||
밖에서 온 패킷을 거절한 것은 libvirt 가 만든 규칙이다. libvirt 는 자기 테이블 ip libvirt_network 의 guest_input 체인을 ct state established,related accept 다음의 reject 로 끝낸다. 그 reject 규칙의 카운터가 4 packets / 240 bytes였고, 외부에서 실행한 `curl` 횟수와 일치해 실제로 이 규칙이 요청을 거절하고 있음을 확인했다.
|
||||
|
||||
DNAT 를 정의한 파일에는 priority filter - 10 을 줘서 먼저 돌게 한 forward 체인이 있는데, 거기 넣은 ct state new accept 가 그 reject 를 막지 못한다. nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞 체인의 accept 는 그 체인을 통과했다는 뜻이지 평가가 끝났다는 뜻이 아니고, 즉시 종결하는 것은 drop 뿐이다.
|
||||
|
||||
해결 자체는 구멍을 libvirt 체인 맨 앞에 넣는 것이다. `insert` 가 맨 앞이고 `add` 가 맨 뒤다.
|
||||
외부에서 Edge VM의 80·443 포트로 들어오는 새 연결을 허용하는 규칙을 `guest_input` 체인 앞쪽에 추가했다. 이때 `insert`는 체인 앞쪽에, `add`는 뒤쪽에 규칙을 추가하므로 순서가 중요했다.
|
||||
수명은 별도 문제다. libvirt 가 `guest_input` 을 다시 쓰면 이 규칙은 휘발된다. 예전에는 DNAT 유닛의 `ExecStartPost` 에 넣어 두면 충분하다고 보았지만, 2026-09-21 worker VM 재구축에서 그 가정이 깨졌다. libvirt 가 체인을 다시 만든 뒤 기존 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 계속 `active` 인데 외부 80/443 두 요청이 둘 다 실패했다. 따라서 `ExecStartPost` 한 번은 재작성 이후 복구 장치가 아니다.
|
||||
|
||||
## nftables 백엔드인 test-server
|
||||
@@ -46,7 +46,7 @@ RAM : 11,648MiB
|
||||
QEMU : 11.1.1
|
||||
libvirt : 12.7.0
|
||||
libvirt firewall_backend : nftables
|
||||
호스트 이더넷 : 없다 — WiFi 만 있다
|
||||
호스트 유선 이더넷 : 없음, WiFi 사용
|
||||
게스트 네트워크 : libvirt NAT, virbr0
|
||||
게스트 : Debian 12 genericcloud 3대 — 엣지 1대(nginx·certbot), k3s 2노드
|
||||
엣지 게스트 주소 : 192.168.122.10
|
||||
@@ -57,7 +57,7 @@ libvirt firewall_backend : nftables
|
||||
2. 호스트에서 curl http://192.168.122.10 을 친다. 엣지 nginx 가 404 로 응답한다.
|
||||
3. 밖에서 curl http://100.83.212.4 를 친다. connection refused 가 온다.
|
||||
4. libvirt 테이블 ip libvirt_network 의 guest_input 체인을 규칙과 카운터까지 덤프한다. 마지막 reject 규칙의 패킷 수가 3번을 친 횟수와 맞으면 그 규칙이 그 패킷을 끝냈다.
|
||||
5. guest_input 맨 앞에 구멍을 넣고 3번을 다시 친다.
|
||||
5. `guest_input` 앞쪽에 Edge VM 80·443 허용 규칙을 추가하고 3번을 다시 실행한다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -73,18 +73,18 @@ libvirt firewall_backend : nftables
|
||||
|
||||
L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널이 하는 L4 전달 한 번이다. 하지만 2026-09-21 실제 packet capture에서는 Tailscale MASQUERADE 때문에 edge에 도착하기 전에 source가 `192.168.122.1`로 바뀌었다. 따라서 **L7 홉 수가 같다는 이유만으로 `X-Forwarded-*` 계약이 그대로라고 볼 수는 없다.** 옮긴 이유는 성능이 아니라 nginx·인증서·certbot·deploy hook 같은 변경이 잦은 층을 물리 호스트에서 분리하는 것이었다.
|
||||
|
||||
그 대가로 일곱 가지가 새로 필요해졌는데 그중 둘은 배포판 차이가 아니라 패킷이 지나는 길이 달라져서 생겼다. 하나는 DNAT(Destination NAT) 다. 들어온 패킷의 도착지 주소를 바꿔 다른 기계로 넘기는 것을 말한다. 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. 다른 하나는 libvirt 방화벽에 구멍을 내는 일이다. 호스트가 게스트에 접속할 때는 OUTPUT 경로라 필터를 안 탔지만, 밖에서 게스트로 들어오는 것은 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. 그 구멍을 뚫는 데서 이 구축이 가장 오래 막혔다.
|
||||
그 대가로 일곱 가지가 새로 필요해졌는데 그중 둘은 배포판 차이가 아니라 패킷이 지나는 길이 달라져서 생겼다. 하나는 DNAT(Destination NAT) 다. 들어온 패킷의 도착지 주소를 바꿔 다른 기계로 넘기는 것을 말한다. 전에는 호스트가 직접 `:443` 을 들었으니 넘길 일이 없었는데 지금은 호스트에 리스너가 아예 없다. 다른 하나는 libvirt의 `guest_input` 체인에 Edge VM으로 가는 새 연결을 허용하는 규칙을 추가하는 일이다. 호스트가 게스트에 접속할 때는 OUTPUT 경로라 필터를 안 탔지만, 밖에서 게스트로 들어오는 것은 FORWARD 다. 「호스트가 게스트에 접속한다」와 「밖에서 게스트로 들어온다」는 커널이 보기에 완전히 다른 일이다. 외부 요청이 어느 방화벽 규칙에서 거절되는지 확인하는 데 가장 많은 시간이 들었다.
|
||||
|
||||
## 호스트 안에서는 되는데 밖에서만 안 된다
|
||||
|
||||
엣지 nginx 는 호스트에서 친 요청에 404 를 돌려줬으니 게스트 안에서 살아 있었는데, 밖에서 친 요청만 끊겼다.
|
||||
호스트에서 Edge VM으로 직접 보낸 요청은 nginx의 404 응답을 받았지만, 외부에서 tailnet 주소로 보낸 요청은 `connection refused`로 끝났다.
|
||||
|
||||
| 어디서 쳤나 | 결과 |
|
||||
|---|---|
|
||||
| 호스트에서 `curl http://192.168.122.10` | 404, 엣지 nginx 가 응답 |
|
||||
| 밖에서 `curl http://100.83.212.4` | connection refused |
|
||||
|
||||
패킷을 조용히 버리는 `drop` 이면 클라이언트가 응답을 기다리다 죽으므로, 타임아웃이 아니라 즉시 거절이 돌아왔다는 것이 단서였다.
|
||||
`drop` 규칙에 걸렸다면 응답 없이 대기하다 타임아웃이 발생했을 가능성이 높다. 여기서는 즉시 `connection refused`가 반환됐기 때문에 reject 계열 규칙을 먼저 확인했다.
|
||||
|
||||
## guest_input 체인 끝의 reject 와 카운터 4 패킷
|
||||
|
||||
@@ -92,28 +92,28 @@ libvirt 는 자기 테이블 `ip libvirt_network` 안에 `guest_input` 체인을
|
||||
|
||||
```text label="libvirt 가 만든 guest_input 체인의 끝"
|
||||
oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related accept
|
||||
oif "virbr0" counter packets 4 bytes 240 reject ← 여기서 죽는다
|
||||
oif "virbr0" counter packets 4 bytes 240 reject ← 외부 요청이 이 규칙에서 거절됐다
|
||||
```
|
||||
|
||||
규칙 하나를 지목해 놓고 시작한 것이 아니다. `nft list ruleset` 에서 `reject` 와 `drop` 이 든 줄만 뽑아 놓고, 밖에서 친 횟수와 카운터가 맞아떨어지는 줄을 찾았다. 이 `reject` 규칙의 카운터가 4 패킷 240 바이트였고, 밖에서 친 `curl` 횟수와 정확히 일치했다. 범인 확정에 쓴 것이 이 숫자다.
|
||||
규칙 하나를 지목해 놓고 시작한 것이 아니다. `nft list ruleset` 에서 `reject` 와 `drop` 이 든 줄만 뽑아 놓고, 밖에서 친 횟수와 카운터가 맞아떨어지는 줄을 찾았다. 이 `reject` 규칙의 카운터가 4 패킷 240 바이트였고, 밖에서 친 `curl` 횟수와 정확히 일치했다. 이 카운터 값으로 해당 reject 규칙이 외부 요청을 처리했다는 것을 확인했다.
|
||||
|
||||
## 왜 앞 체인의 accept 가 안 먹혔나
|
||||
## 앞선 base chain의 accept만으로 요청이 끝나지 않은 이유
|
||||
|
||||
DNAT 를 정의한 파일에는 libvirt 체인보다 먼저 돌도록 `priority filter - 10` 을 준 `forward` 체인을 두고 거기에 `ct state new accept` 를 넣어 두었다. 밖에서 온 패킷은 그 `accept` 를 지나고도 거절됐는데, nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞 체인의 `accept` 는 「이 체인은 통과」라는 뜻이지 「평가 끝」이 아니고, 즉시 종결하는 것은 `drop` 뿐이다. iptables 감각으로 쓰면 정확히 여기서 틀린다.
|
||||
DNAT 를 정의한 파일에는 libvirt 체인보다 먼저 돌도록 `priority filter - 10` 을 준 `forward` 체인을 두고 거기에 `ct state new accept` 를 넣어 두었다. 밖에서 온 패킷은 그 `accept` 를 지나고도 거절됐는데, nftables 가 같은 훅에 붙은 base 체인을 우선순위 순으로 전부 평가하기 때문이다. 앞선 base chain에서 `accept` verdict가 나와도 이후 우선순위의 base chain이 계속 평가될 수 있다. 반면 `drop` verdict는 이후 체인 평가를 중단한다. 따라서 앞쪽 체인에 accept 규칙을 추가한 것만으로는 libvirt의 뒤쪽 reject를 피할 수 없었다.
|
||||
|
||||
그 `forward` 체인은 지금 DNAT 파일에 없다. 남은 체인은 `prerouting` 하나이고, 체인을 그냥 지우는 대신 주석 하나를 남겨 두었다 — 여기에 `forward` 체인을 두지 않은 것이 의도이며 구멍은 유닛의 `ExecStartPost` 가 libvirt 자기 체인 안에 넣는다는 내용이다.
|
||||
현재 DNAT 파일에는 해당 `forward` 체인을 두지 않고 `prerouting` 체인만 남겼다. 외부 연결 허용 규칙은 DNAT 파일의 별도 base chain이 아니라 libvirt의 `guest_input` 체인에 추가하도록 구성했다.
|
||||
|
||||

|
||||

|
||||
|
||||
점선 상자 두 개가 같은 훅에 붙은 base 체인 둘이고, 왼쪽이 먼저 돈다. 점선 화살표는 구멍을 넣기 전의 경로다 — 앞 체인의 `accept` 를 지난 패킷이 `guest_input` 으로 이어지고, 위 덤프에 적힌 `ct state established,related accept` 에 걸리지 못한 채 체인 끝 `reject` 에 닿아 connection refused 로 끝난다.
|
||||
점선 상자 두 개가 같은 훅에 붙은 base 체인 둘이고, 왼쪽이 먼저 돈다. 점선 화살표는 허용 규칙을 추가하기 전의 경로다 — 앞 체인의 `accept` 를 지난 패킷이 `guest_input` 으로 이어지고, 위 덤프에 적힌 `ct state established,related accept` 에 걸리지 못한 채 체인 끝 `reject` 에 닿아 connection refused 로 끝난다.
|
||||
|
||||
실선 화살표는 다음 절에서 뚫을 구멍을 지나는 경로다. `guest_input` 상자 안에 놓인 두 규칙의 위아래가 체인 안의 순서이고, 구멍이 위에 있어서 같은 패킷이 아래의 `reject` 를 보기 전에 그 규칙에서 `accept` 된다.
|
||||
실선 화살표는 `guest_input` 앞쪽에 추가한 허용 규칙을 지나는 경로다. `guest_input` 상자 안에 놓인 두 규칙의 위아래가 체인 안의 순서이고, 허용 규칙이 reject보다 앞에 있기 때문에 같은 패킷은 reject에 도달하기 전에 accept된다.
|
||||
|
||||
## 구멍은 맨 앞에 넣고, 네트워크를 다시 세울 때 다시 넣는다
|
||||
## 허용 규칙은 reject보다 앞에 있어야 한다
|
||||
|
||||
그래서 구멍을 libvirt 체인 맨 앞에 뚫었다. `insert` 가 맨 앞이고 `add` 가 맨 뒤다.
|
||||
그래서 Edge VM의 80·443 포트로 들어오는 새 연결을 허용하는 규칙을 `guest_input`의 reject보다 앞에 추가했다.
|
||||
|
||||
```bash label="guest_input 맨 앞에 구멍을 넣는다"
|
||||
```bash label="guest_input 앞쪽에 Edge VM 80·443 허용 규칙을 추가한다"
|
||||
nft insert rule ip libvirt_network guest_input \
|
||||
oif virbr0 ip daddr 192.168.122.10 tcp dport '{80,443}' ct state new counter accept
|
||||
```
|
||||
@@ -122,13 +122,13 @@ nft insert rule ip libvirt_network guest_input \
|
||||
|
||||
worker VM 둘을 철거했다 다시 만드는 동안 libvirt 가 `guest_input` 체인을 다시 구성했고, 이미 세 번 누적된 accept 규칙은 모두 `reject` **뒤**에 남았다. 그 상태에서 외부 80·443 연결 두 번이 모두 실패했고 `reject` 카운터가 `0 → 2` 로 증가했다. `lab-edge-dnat.service` 는 여전히 `active` 였다.
|
||||
|
||||
즉 `ExecStartPost` 는 **그 유닛이 시작될 때 한 번** 실행될 뿐, 이후 libvirt 가 자기 체인을 다시 쓰는 사건에는 반응하지 않는다. `-` 접두어도 실패를 무시할 뿐 재삽입을 예약하지 않는다. 현재 방식은 persistence 해결책으로는 실패한 상태다.
|
||||
즉 `ExecStartPost` 는 **그 유닛이 시작될 때 한 번** 실행될 뿐, 이후 libvirt 가 자기 체인을 다시 쓰는 사건에는 반응하지 않는다. `-` 접두어도 실패를 무시할 뿐 재삽입을 예약하지 않는다. 따라서 `ExecStartPost`에서 한 번 규칙을 넣는 방식만으로는 libvirt가 체인을 다시 작성하는 상황을 처리할 수 없었다.
|
||||
|
||||
이번 재검증에서는 기존 host firewall/nftables rule을 임의 변경하지 않는 안전 조건 때문에 대체 persistence 방식까지 적용하지 않았다. 따라서 “어떤 이벤트에 묶어 어떻게 idempotent하게 재삽입할 것인가”는 아직 실제로 확인하지 못했다.
|
||||
이번 재검증에서는 기존 host firewall/nftables rule을 임의 변경하지 않는 안전 조건 때문에 대체 persistence 방식까지 적용하지 않았다. libvirt가 체인을 다시 작성한 뒤 규칙을 어떤 방식으로 다시 적용할지는 아직 실제 환경에서 검증하지 못했다.
|
||||
|
||||
## 아직 다른 환경에서는 확인하지 못했다
|
||||
|
||||
이 호스트 한 대에서만 봤다. libvirt 의 `firewall_backend` 가 iptables 인 호스트에서도 같은 구멍이 필요한지는 재지 않았고, 이 호스트는 nftables 백엔드다.
|
||||
이 호스트 한 대에서만 봤다. libvirt 의 `firewall_backend` 가 iptables 인 호스트에서도 같은 예외 규칙이 필요한지는 재지 않았고, 이 호스트는 nftables 백엔드다.
|
||||
|
||||
카운터 4 패킷 240 바이트는 당시 본문에 옮긴 규칙 덤프에 찍힌 값이다. 그때의 전체 ruleset과 `curl` 원문은 별도 raw 파일로 남기지 않았다. 2026-09-21에는 같은 nftables backend에서 `reject` 카운터 증가와 외부 실패를 다시 확인했으므로 현재 동작은 후속 증거가 있지만, 과거 숫자 `4 packets / 240 bytes` 자체는 당시 기록 범위로 읽는다.
|
||||
|
||||
|
||||
+16
-16
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CONCEPT
|
||||
slug: a-cloud-image-is-an-installed-disk-and-cloud-init-fills-the-blanks
|
||||
title: 설치를 안 했는데 왜 뜨는가 — 클라우드 이미지는 설치가 끝난 디스크이고 cloud-init 이 빈칸을 채운다
|
||||
title: 클라우드 이미지와 cloud-init은 각각 무엇을 준비하는가
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -18,9 +18,9 @@ source:
|
||||
- final/document.md#217-부팅할-때-일어나는-일
|
||||
---
|
||||
|
||||
# 설치를 안 했는데 왜 뜨는가 — 클라우드 이미지는 설치가 끝난 디스크이고 cloud-init 이 빈칸을 채운다
|
||||
# 클라우드 이미지와 cloud-init은 각각 무엇을 준비하는가
|
||||
|
||||
클라우드 이미지는 배포자가 설치를 한 번 끝내 놓은 디스크 파일이라 게스트를 만들 때 설치 단계가 없다. 대신 hostname 과 SSH 호스트키 같은 고유값을 비워 둔 채 배포하고, cloud-init 이 첫 부팅에 그 빈칸을 채운다.
|
||||
클라우드 이미지는 운영체제가 미리 설치된 디스크 이미지다. 게스트를 만들 때 운영체제 설치 과정을 다시 거치지 않고, 호스트명·사용자·SSH 키처럼 인스턴스마다 달라지는 값은 cloud-init이 첫 부팅 때 적용한다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -43,7 +43,7 @@ VM 의 디스크는 호스트의 파일 하나다. `kc-lab-1.qcow2` 라는 파
|
||||
"부팅 가능한 특정 바이트 배열" 상태의 디스크
|
||||
```
|
||||
|
||||
설치 과정은 수단이고 목적은 마지막 줄의 상태이며, 그 상태는 파일 하나의 내용으로 남는다. Debian 과 Ubuntu 는 자기 빌드 서버에서 이 설치를 한 번 수행하고 완성된 디스크를 qcow2 파일로 떠서 공개한다. 이 실험대에서는 그 파일을 내려받아 게스트 디스크의 바닥 이미지로 사용한다. 소스를 직접 컴파일하는 대신 이미 빌드된 바이너리를 받아 쓰는 것과 같아서, 결과물은 같고 시간만 아낀다.
|
||||
설치 과정은 수단이고 목적은 마지막 줄의 상태이며, 그 상태는 파일 하나의 내용으로 남는다. Debian 과 Ubuntu 는 자기 빌드 서버에서 이 설치를 한 번 수행하고 완성된 디스크를 qcow2 파일로 떠서 공개한다. 이 실험대에서는 그 파일을 내려받아 게스트 디스크의 base image로 사용한다. 소스를 직접 컴파일하는 대신 이미 빌드된 바이너리를 받아 쓰는 것과 같아서, 결과물은 같고 시간만 아낀다.
|
||||
|
||||
## 그대로 복제하면 식별자가 겹치므로 일부러 비워 둔다
|
||||
|
||||
@@ -66,7 +66,7 @@ VM 의 디스크는 호스트의 파일 하나다. `kc-lab-1.qcow2` 라는 파
|
||||
| SSH 호스트 키 | 없음 — 첫 부팅에 새로 생성 |
|
||||
| machine-id | 비어 있음 |
|
||||
|
||||
cloud-init 이 이 빈칸을 첫 부팅에 채우는 장치다. `user-data` 라는 YAML 을 읽어 계정을 만들고 SSH 키를 등록하고 패키지를 깔고 임의의 스크립트를 실행한다.
|
||||
cloud-init은 인스턴스마다 달라지는 설정을 첫 부팅에 적용한다. `user-data` 라는 YAML 을 읽어 계정을 만들고 SSH 키를 등록하고 패키지를 깔고 임의의 스크립트를 실행한다.
|
||||
|
||||
```text label="설치와 개인화를 누가 언제 하나"
|
||||
전통적 설치 : [설치 + 개인화]를 부팅 전에 대화형으로 수행
|
||||
@@ -86,19 +86,19 @@ cloud-init 이 이 빈칸을 첫 부팅에 채우는 장치다. `user-data` 라
|
||||
|---|---|---|
|
||||
| ISO로 정식 설치 | VM마다 대화형 설치 | 매번 처음부터 반복 |
|
||||
| 이미지를 미리 개조 (`virt-customize`, `guestfish`) | libguestfs 설치 + 이미지 마운트 | 개조본을 따로 관리해야 함 |
|
||||
| cloud-init | YAML 한 장 | 명령 한 줄 |
|
||||
| cloud-init | YAML 설정 파일 | 명령 한 줄 |
|
||||
|
||||
이 실험대는 `virsh destroy` 와 오버레이 삭제로 게스트를 반복해서 지우고 다시 만드는 것이 실험 그 자체다. 재생성 비용이 낮아야 실험이 굴러간다. 두 노드가 바이트 단위로 같은 초기 상태로 만들어져야 한다는 조건도 붙는다. 손으로 설치하면 미묘하게 달라지고 그 차이가 실험 결과를 오염시킨다.
|
||||
이 실험대는 `virsh destroy` 와 오버레이 삭제로 게스트를 반복해서 지우고 다시 만드는 것이 실험 그 자체다. 재생성 비용이 낮아야 실험이 굴러간다. 두 노드가 바이트 단위로 같은 초기 상태로 만들어져야 한다는 조건도 붙는다. 게스트마다 수동으로 설치하면 설정 차이가 생길 수 있어 두 노드의 조건을 동일하게 맞추기 어려워진다.
|
||||
|
||||
이미지 종류도 그 축에서 고른다. Debian 은 같은 판을 여러 변종으로 배포한다.
|
||||
|
||||
| Debian 변종 | 어디에 쓰나 |
|
||||
|---|---|
|
||||
| `genericcloud` | 가상화 환경 전용. virtio 드라이버만 담아 가볍다 → KVM에는 이걸 |
|
||||
| `generic` | 베어메탈 포함. 드라이버가 많아 더 크다 |
|
||||
| `nocloud` | cloud-init 없이 기본 계정이 박혀 있는 변종 |
|
||||
| `genericcloud` | 이 실험대에서 사용한 Debian 12 클라우드 이미지 변종 |
|
||||
| `generic` | Debian이 별도로 제공하는 다른 cloud image 변종. 이 실험대에서는 사용하지 않음 |
|
||||
| `nocloud` | Debian이 별도로 제공하는 변종. 이 실험대에서는 사용하지 않음 |
|
||||
|
||||
`genericcloud` 가 가벼운 까닭은 물리 하드웨어 드라이버를 뺐다는 데 있고, 시드를 SATA CD-ROM 으로 붙이면 게스트가 그 장치를 보지 못하는 함정도 같은 이유로 생긴다. `virt-install --cloud-init` 은 시드를 `<target dev='sda' bus='sata'/>`, 즉 SATA CD-ROM 으로 붙인다. 그래서 이 조합에서는 게스트가 시드를 아예 장치로 보지 못한다. 「확정된 함정: `--cloud-init` + Debian `genericcloud` 조합은 동작하지 않는다」에서는 성공 판정을 `virsh domblklist` 의 장치 이름으로 잡아 둔 까닭이 여기 있다 — 시드가 `vdb` 로 보여야 하고, `sda` 로 보이면 게스트가 읽지 못한다.
|
||||
이 실험대에서는 `virt-install --cloud-init`으로 만든 시드 연결에서 기대한 NoCloud 데이터소스를 확인하지 못했다. 이후 seed ISO를 `bus=virtio` 디스크로 연결했고, 정상 부팅한 게스트의 `cloud-init status --long`에서 `DataSourceNoCloud [seed=/dev/vdb]`를 확인했다. 따라서 현재 구성은 실제로 확인한 virtio seed 경로를 사용한다. `--cloud-init` 경로가 동작하지 않았던 원인을 Debian genericcloud의 특정 드라이버 부재로 단정할 증거는 남아 있지 않다.
|
||||
|
||||
## 게스트에게 디스크는 두 장이고, 시드는 OS 가 아니다
|
||||
|
||||
@@ -109,7 +109,7 @@ cloud-init 이 이 빈칸을 첫 부팅에 채우는 장치다. `user-data` 라
|
||||
| `vda` | 20G | ext4 루트. 여기서 부팅한다 |
|
||||
| `vdb` | 370K | `LABEL=CIDATA` 인 iso9660. 읽기 전용이고 마운트되지 않는다 |
|
||||
|
||||
`vda` 는 `base.qcow2` 위의 오버레이라 바닥 한 벌을 두 게스트가 공유하고 각자 변경분만 쌓는다. `vdb` 는 원본 YAML 을 구워 만든 ISO 를 풀에 올린 것이다.
|
||||
`vda`는 공통 `base.qcow2`를 backing image로 사용하는 오버레이라 두 게스트가 같은 초기 이미지를 공유하고 각자 변경분만 저장한다. `vdb` 는 원본 YAML 을 구워 만든 ISO 를 풀에 올린 것이다.
|
||||
|
||||
```text label="같은 설정이 존재하는 세 곳"
|
||||
kc-lab-1.yaml ──①──▶ seed-kc-lab-1.iso ──②③──▶ /var/lib/libvirt/images/seed-kc-lab-1.iso
|
||||
@@ -119,7 +119,7 @@ kc-lab-1.yaml ──①──▶ seed-kc-lab-1.iso ──②③──▶ /va
|
||||
|
||||
같은 내용이 세 곳에 있어서 원본만 고치면 VM 에 반영되지 않는다. 셋을 한 번에 맞추는 것이 `deploy/lab/scripts/rebuild-seed.sh` 다.
|
||||
|
||||
## 부팅 다섯 단계 가운데 3번이 실패하면 조용히 끝난다
|
||||
## cloud-init이 실패해도 VM 자체는 실행 중일 수 있다
|
||||
|
||||
```text label="첫 부팅에 일어나는 다섯 단계"
|
||||
1. QEMU 가 vda 에서 부팅 → Debian 커널 시작
|
||||
@@ -129,9 +129,9 @@ kc-lab-1.yaml ──①──▶ seed-kc-lab-1.iso ──②③──▶ /va
|
||||
5. 언마운트 → SSH 로그인 가능
|
||||
```
|
||||
|
||||
cloud-init 은 `cidata` 레이블을 가진 블록 장치를 찾지 못하면 데이터소스 없이 종료하기 때문에, 3번이 실패하면 hostname 이 `localhost` 로 남고 사용자가 생성되지 않는다. 오류 메시지는 어디에도 남지 않는다. `virsh screenshot` 으로 로그인 프롬프트만 봐도 즉시 판정할 수 있다.
|
||||
NoCloud 시드를 읽지 못하면 `user-data`에 넣은 hostname·사용자·SSH 키 설정도 기대한 상태로 적용되지 않을 수 있다. 이 실험대에서는 `localhost` 호스트명과 SSH 인증 실패가 먼저 보였지만, 원인에 따라 cloud-init 로그와 상태 출력이 달라질 수 있으므로 로그가 남지 않는다고 일반화하지 않는다. SSH가 되지 않으면 `virsh screenshot`으로 콘솔의 호스트명을 확인하고, 가능하면 `cloud-init status --long`과 로그를 함께 확인한다.
|
||||
|
||||
`user-data` 파일은 `#cloud-config` 로 시작해야 한다. 이 첫 줄이 없으면 cloud-init 이 YAML 로 인식하지 못하고 무시하며, 증상은 「부팅은 됐는데 계정이 없다」로 나타난다.
|
||||
이 절차의 `user-data`는 `#cloud-config`로 시작하는 cloud-config 형식을 사용한다. 헤더와 YAML 문법, cloud-init 스키마를 각각 확인하고, 실제 적용 여부는 부팅한 게스트의 hostname·사용자·SSH 상태와 cloud-init 로그에서 다시 확인한다.
|
||||
|
||||
「클라우드 이미지와 cloud-init」에서는 비상 접근 수단을 남기라는 항목 하나를 「실제로 겪은 교훈」이라고 따로 적어 두었다. `ssh_pwauth: false` 에 키 인증만 걸어 둔 상태로 3번이 실패하면 사용자가 생성되지 않아 키도 비밀번호도 없고, 콘솔에 붙어도 로그인할 수 없다. 실패 원인을 적어 둔 `/var/log/cloud-init.log` 를 읽을 방법이 그래서 사라지고, VM 을 지우고 다시 만드는 것 말고 남는 선택지가 없어진다. 콘솔 로그인용 비밀번호를 하나 넣어 두면 그 골목을 피하는데, 콘솔 로그인은 sshd 를 거치지 않으므로 `ssh_pwauth: false` 는 그대로 둔다.
|
||||
|
||||
@@ -148,7 +148,7 @@ multipass 와 virt-install 과 virsh 는 서로 배포판이 다른 도구가
|
||||
| 네트워크·DHCP 구성 | `virbr0` + DHCP 예약 |
|
||||
| `multipass shell` 로 즉시 접속 | `~/.ssh/config` 별칭 작성 |
|
||||
|
||||
multipass 를 쓰지 않은 까닭은 배포판이 아니라 범위에 있다. multipass 는 Ubuntu 이미지만 공식 지원해서 Debian 게스트를 띄울 수 없다. 그리고 이 실험대는 `virsh destroy` 로 노드를 죽이고 NetworkPolicy 로 포트를 막고 스냅샷으로 되돌리는 저수준 제어가 실험의 본체라 관리 계층이 필요했다.
|
||||
multipass 를 쓰지 않은 까닭은 배포판이 아니라 범위에 있다. multipass 는 Ubuntu 이미지만 공식 지원해서 Debian 게스트를 띄울 수 없다. 그리고 이 실험대는 `virsh destroy`로 VM을 중단하고 NetworkPolicy로 포트를 차단하며 스냅샷으로 되돌리는 저수준 제어가 필요했기 때문에 libvirt 기반 구성을 사용했다.
|
||||
|
||||
## 이 설명이 걸려 있는 판올림
|
||||
|
||||
|
||||
+21
-21
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CONCEPT
|
||||
slug: inside-a-qcow2-file-the-mapping-table-and-its-clusters
|
||||
title: qcow2 파일 안 — 매핑표와 클러스터, 그리고 항목이 0 이면 바닥에 다시 묻는다
|
||||
title: qcow2의 매핑 테이블과 데이터 클러스터
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -20,9 +20,9 @@ source:
|
||||
- final/document.md#234-그래서-마이그레이션과-스냅샷이-된다
|
||||
---
|
||||
|
||||
# qcow2 파일 안 — 매핑표와 클러스터, 그리고 항목이 0 이면 바닥에 다시 묻는다
|
||||
# qcow2의 매핑 테이블과 데이터 클러스터
|
||||
|
||||
qcow2 는 raw 에 매핑표 하나를 더한 것이고, 표가 가리키는 값은 호스트 주소가 아니라 파일 안의 몇 번째 바이트다. 매핑 항목이 0 이면 바닥 파일의 같은 위치를 읽는다. 오버레이와 스냅샷과 압축이 전부 그 규칙 위에서 돈다.
|
||||
qcow2는 가상 디스크의 블록을 파일 안의 어느 위치에서 읽을지 매핑 테이블로 관리한다. 매핑 항목이 비어 있고 backing file이 설정돼 있으면 같은 게스트 오프셋을 backing file에서 읽는다. 오버레이와 스냅샷도 이 매핑을 이용한다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
@@ -53,11 +53,11 @@ qcow2 는 「가상 디스크의 이 위치가 파일 안의 어디에 있는가
|
||||
|
||||
그리고 표에 적히는 값은 호스트 물리 디스크의 주소가 아니라 파일 안의 몇 번째 바이트다. 그래서 파일을 다른 기계로 통째로 옮겨도 표가 그대로 유효하다. 파일 밖을 가리키는 것은 백킹 파일 경로 하나뿐이라 그것만 따로 챙긴다.
|
||||
|
||||
## 클러스터 — 매핑의 최소 단위
|
||||
## 클러스터는 qcow2 매핑의 최소 단위다
|
||||
|
||||
섹터 512B 하나하나를 매핑하면 표가 너무 커지기 때문에 클러스터라는 덩어리 단위로 끊고, 그 기본값이 64KB 다.
|
||||
|
||||
```bash label="바닥 이미지의 포맷과 크기를 읽는다"
|
||||
```bash label="backing image의 포맷과 크기를 읽는다"
|
||||
qemu-img info /var/lib/libvirt/images/base.qcow2
|
||||
```
|
||||
|
||||
@@ -81,9 +81,9 @@ cluster_size: 65536
|
||||
|
||||
다섯 층의 크기가 서로 달라도 상관없고, 각 층이 자기 위층을 자기 단위로 쪼개 담는다. FAT 과 NTFS 도 할당 단위를 클러스터라고 부르는데, 같은 낱말이고 다른 층이다.
|
||||
|
||||
## 2단계 매핑 — L1 에서 L2 로
|
||||
## L1과 L2 테이블로 클러스터 위치를 찾는다
|
||||
|
||||
매핑표를 한 장으로 만들면 20GB 디스크 하나에 표만 수 MB 가 되고, 대부분이 비어 있는데도 항상 들고 있어야 한다. 그래서 두 단계로 나눈다.
|
||||
가상 디스크 전체를 단일 매핑 테이블로 관리하면 비어 있는 영역까지 큰 테이블을 유지해야 한다. qcow2는 이를 L1과 L2 두 단계로 나눠 필요한 영역의 매핑만 사용한다.
|
||||
|
||||
```text label="게스트 오프셋이 세 조각으로 쓰인다"
|
||||
게스트가 읽으려는 위치
|
||||
@@ -105,19 +105,19 @@ cluster_size: 65536
|
||||
|
||||
운영체제의 페이지 테이블과 같은 구조다. 필요한 L2 표만 만들면 되므로 안 쓴 영역은 L1 항목이 0 인 채로 끝난다.
|
||||
|
||||
## 항목이 0 이면 바닥에 다시 묻는다
|
||||
## 매핑이 없으면 backing file을 확인한다
|
||||
|
||||
오버레이가 성립하는 규칙이 여기 있다.
|
||||
|
||||
| L2 항목이 | 바닥 파일이 | 읽으면 무엇이 돌아오나 |
|
||||
| L2 항목 | backing file | 읽기 결과 |
|
||||
|---|---|---|
|
||||
| 값이 있음 | (무관) | 이 파일의 그 위치를 읽는다 |
|
||||
| 0 | 없음 | 0 으로 채운 64KB 를 만들어 돌려준다 |
|
||||
| 0 | 있음 | 바닥 파일의 같은 위치를 읽는다 |
|
||||
| 0 | 있음 | backing file의 같은 게스트 오프셋을 읽는다 |
|
||||
|
||||
그래서 `kc-lab-1.qcow2` 는 자기가 바꾼 클러스터만 들고 있고 나머지는 전부 `base.qcow2` 를 본다. 20GB 를 선언한 파일이 1.4GB 로 잡히는 까닭이 이 규칙에 있다.
|
||||
|
||||
바닥 경로는 헤더에 `backing_file_offset` 으로 자리를 잡고 문자열로 들어가서, 바닥을 옮기거나 이름을 바꾸면 게스트가 부팅하지 못한다. 오버레이만 다른 기계로 복사하면 안 되는 까닭도 여기 있고, 경로를 절대경로로 주는 것도 같은 이유다.
|
||||
backing file 경로는 qcow2 헤더에 저장되므로 파일을 옮기거나 이름을 바꾸면 오버레이가 backing file을 찾지 못할 수 있다. 오버레이만 다른 기계로 복사하면 안 되는 까닭도 여기 있고, 경로를 절대경로로 주는 것도 같은 이유다.
|
||||
|
||||
헤더에는 매직값 `QFI\xfb`, 버전, `cluster_bits`, 가상 디스크 크기, `l1_table_offset`, `refcount_table_offset`, `backing_file_offset` 이 들어간다.
|
||||
|
||||
@@ -148,7 +148,7 @@ qemu-img map --output=json /var/lib/libvirt/images/base.qcow2
|
||||
|
||||
```text label="실측 — Debian 12 genericcloud"
|
||||
{'start': 0, 'length': 65536, 'data': True, 'compressed': True} ← 압축된 클러스터
|
||||
{'start': 65536, 'length': 983040, 'data': False, 'zero': True} ← 구멍
|
||||
{'start': 65536, 'length': 983040, 'data': False, 'zero': True} ← 할당되지 않은 희소 영역
|
||||
{'start': 1048576, 'length': 65536, 'data': True, 'compressed': True}
|
||||
|
||||
compressed 구간: 606개 / 전체 1236개
|
||||
@@ -156,13 +156,13 @@ compressed 구간: 606개 / 전체 1236개
|
||||
|
||||
| 3 GiB 가 324 MiB 가 되는 이유 | 이 이미지에서 |
|
||||
|---|---|
|
||||
| ① 안 쓴 공간을 안 적음 (희소) | 3 GiB 중 2.01 GiB 가 구멍 |
|
||||
| ① 사용하지 않은 영역은 블록을 할당하지 않음 | 3 GiB 중 2.01 GiB가 희소 영역 |
|
||||
| ② 쓴 부분을 zlib 압축 | 남은 1010 MiB → 324 MiB |
|
||||
| ③ genericcloud 자체가 작음 | GUI·문서·물리 하드웨어 드라이버 없음 |
|
||||
| ③ 배포 이미지 자체의 내용 | 어떤 패키지와 파일이 들어 있는지에 따라 사용 블록 양이 달라짐 |
|
||||
|
||||
압축도 우리가 한 것이 아니라 Debian 이 배포 시점에 한 것이다. `qemu-img convert -c` 를 돌린 적이 없는데도 `compressed: True` 가 나온다.
|
||||
|
||||
압축 클러스터는 읽을 때 자동으로 풀린다. 게스트가 그 클러스터에 쓰면 압축하지 않은 형태로 새로 할당하므로, 오버레이에 쌓이는 것은 비압축 클러스터다. 바닥은 작은데 오버레이가 상대적으로 커 보이는 까닭 가운데 하나가 여기 있다.
|
||||
압축 클러스터는 읽을 때 자동으로 풀린다. 게스트가 그 클러스터에 쓰면 압축하지 않은 형태로 새로 할당하므로, 오버레이에 쌓이는 것은 비압축 클러스터다. 배포된 base image와 실행 후 오버레이의 파일 크기가 크게 달라질 수 있는 이유 가운데 하나다.
|
||||
|
||||
압축 단위가 클러스터이므로 1바이트를 읽어도 그 클러스터 전체를 풀어야 한다. 그래서 쓰기가 잦은 디스크에는 압축을 걸지 않는다.
|
||||
|
||||
@@ -179,17 +179,17 @@ base.qcow2 ← k3s-golden.qcow2 ← kc-lab-1.qcow2
|
||||
|---|---|---|
|
||||
| 언제 쌓나 | 빌드 시점에 의도적으로 | 주로 런타임 파생 |
|
||||
| 층의 정체성 | 레이어마다 다이제스트 | 경로 문자열 |
|
||||
| 배포 단위 | 레이어 tar 여러 개 + 매니페스트 | 파일들 (바닥까지 전부 필요) |
|
||||
| 배포 단위 | 레이어 tar 여러 개 + 매니페스트 | qcow2 파일과 필요한 backing file |
|
||||
| 층이 깊어지면 | 읽기 성능 영향 적음 | 읽을 때마다 사슬을 거슬러 올라간다 |
|
||||
|
||||
체인이 깊으면 읽기가 느려진다. 클러스터가 어느 층에 있는지 찾으려면 L2 항목이 0 일 때마다 한 층 아래로 내려가기 때문이다. 실험대에서 층을 두세 겹 넘게 쌓지 않는 까닭이 여기 있다.
|
||||
|
||||
| 사슬을 끊는 명령 | 무엇을 하나 | 결과 |
|
||||
|---|---|---|
|
||||
| `qemu-img commit <오버레이>` | 오버레이의 변경분을 바닥에 병합 | 바닥이 바뀐다. 다른 오버레이가 있으면 그것들이 깨진다 |
|
||||
| `qemu-img convert -O qcow2 <오버레이> <새파일>` | 사슬 전체를 읽어 단일 파일로 평탄화 | 바닥과 무관해진다. 용량은 늘어난다 |
|
||||
| `qemu-img commit <오버레이>` | 오버레이 변경분을 backing file에 병합 | backing file 내용이 바뀌므로 이를 공유하는 다른 오버레이에도 영향을 줄 수 있다 |
|
||||
| `qemu-img convert -O qcow2 <오버레이> <새파일>` | backing chain을 읽어 독립된 파일로 변환 | 원래 backing file이 없어도 사용할 수 있다. 파일 크기는 커질 수 있다 |
|
||||
|
||||
다른 기계로 게스트를 보낼 때 오버레이만 복사하면 바닥이 없어 부팅하지 못하므로, 옮길 때는 `convert` 로 평탄화해 파일 하나로 완결시킨다.
|
||||
다른 기계로 오버레이만 복사하면 backing file을 찾지 못할 수 있으므로, backing chain을 함께 옮기거나 `qemu-img convert`로 독립된 이미지로 변환해야 한다.
|
||||
|
||||
## `qemu-img` 는 VM 을 돌리지 않는다
|
||||
|
||||
@@ -197,11 +197,11 @@ base.qcow2 ← k3s-golden.qcow2 ← kc-lab-1.qcow2
|
||||
|
||||
`virt-install --disk size=20,backing_store=...` 이 내부적으로 `qemu-img create` 를 부른다. 골든 이미지를 만들거나 오버레이만 초기화할 때 이 도구를 직접 쓴다.
|
||||
|
||||
포맷을 알아보는 것도 헤더의 매직값이다. `qemu-img info` 가 `file format: raw` 로 읽으면 그 파일은 qcow2 가 아니고, 바닥 이미지를 받다가 끊겨 HTML 오류 페이지를 저장했을 때 그렇게 나온다.
|
||||
포맷을 알아보는 것도 헤더의 매직값이다. `qemu-img info` 가 `file format: raw` 로 읽으면 그 파일은 qcow2 가 아니고, base image 다운로드가 실패해 HTML 오류 페이지가 저장됐을 때도 이런 식으로 잘못된 포맷이 드러날 수 있다.
|
||||
|
||||
## 이 설명이 걸려 있는 것
|
||||
|
||||
실측은 배포본 `base.qcow2` 한 장에 대한 것이고 `qemu-img info` 와 `qemu-img map --output=json` 의 출력이 근거다. 오버레이 쪽 매핑을 같은 명령으로 떠 본 기록은 없다.
|
||||
실측은 배포본 `base.qcow2` 파일 하나에 대한 것이고 `qemu-img info` 와 `qemu-img map --output=json` 의 출력이 근거다. 오버레이 쪽 매핑을 같은 명령으로 떠 본 기록은 없다.
|
||||
|
||||
비트 나누기는 `cluster_size` 65536 에서 따라 나오는 계산이라 다른 클러스터 크기로 만든 이미지에서는 숫자가 달라진다.
|
||||
|
||||
|
||||
+6
-6
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: CONCEPT
|
||||
slug: what-a-qcow2-file-carries
|
||||
title: qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다
|
||||
title: qcow2 파일에는 무엇이 저장되는가
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -13,16 +13,16 @@ source:
|
||||
- final/document.md#178-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# qcow2 파일 한 장이 담는 것 — 매핑표와 데이터 클러스터가 같은 파일 안에 있고, 파일 밖을 가리키는 것은 백킹 파일 경로 하나다
|
||||
# qcow2 파일에는 무엇이 저장되는가
|
||||
|
||||
qcow2 한 장에는 데이터 클러스터와 그것이 파일의 어느 오프셋에 놓였는지 적은 매핑표가 들어 있다. 이 실험대의 오버레이에서 파일 밖으로 이어지는 핵심 의존성은 백킹 파일 경로다. 실행 중인 프로세스와 안 내려간 dirty page, vCPU·RAM·NIC 를 적어 둔 VM 정의 XML 은 없다. 오버레이의 virtual size가 20GiB인데 host allocation이 몇 GiB에 그치는 주된 이유는 아직 쓰지 않은 영역을 파일에 할당하지 않는 sparse allocation이다. 다만 qcow2 포맷 자체는 압축을 지원하고, 이 실험대의 Debian `base.qcow2`에는 실제 압축 클러스터도 있다.
|
||||
qcow2 파일에는 데이터 클러스터와 각 클러스터가 파일의 어느 오프셋에 놓였는지 기록한 매핑 테이블이 들어 있다. 이 실험대의 오버레이가 파일 밖에서 필요로 하는 정보는 backing file 경로다. 실행 중인 프로세스와 안 내려간 dirty page, vCPU·RAM·NIC 를 적어 둔 VM 정의 XML 은 없다. 오버레이의 virtual size가 20GiB인데 host allocation이 몇 GiB에 그치는 주된 이유는 아직 쓰지 않은 영역을 파일에 할당하지 않는 sparse allocation이다. 다만 qcow2 포맷 자체는 압축을 지원하고, 이 실험대의 Debian `base.qcow2`에는 실제 압축 클러스터도 있다.
|
||||
|
||||
|
||||
<!-- body:start -->
|
||||
|
||||
## 파일 한 장 안에 들어 있는 것
|
||||
## qcow2 파일 안에 들어 있는 것
|
||||
|
||||
qcow2 는 가상 디스크 한 장의 블록을 담는 파일이다. 블록의 내용이 들어가는 데이터 클러스터와, 그 클러스터가 파일의 어느 오프셋에 놓였는지 적은 매핑표가 같은 파일 안에 함께 있다.
|
||||
qcow2는 가상 디스크의 블록을 담는 파일이다. 블록의 내용이 들어가는 데이터 클러스터와, 그 클러스터가 파일의 어느 오프셋에 놓였는지 적은 매핑표가 같은 파일 안에 함께 있다.
|
||||
|
||||
매핑표에 적히는 값은 호스트의 물리 주소가 아니라 파일 안의 오프셋이어서, 파일을 다른 디렉터리로 옮기든 다른 호스트로 복사하든 표가 가리키는 곳은 달라지지 않는다. 파일을 통째로 옮기기만 하면 매핑은 그대로 유효하다.
|
||||
|
||||
@@ -74,6 +74,6 @@ qcow2 는 가상 디스크 한 장의 블록을 담는 파일이다. 블록의
|
||||
|
||||
매핑표가 파일 안에서 어떤 구조로 나뉘는지는 여기서 다루지 않는다. 이식 관점에서 필요한 것은 매핑표가 파일 내부 오프셋을 가리킨다는 데까지다. qcow2 내부 L1/L2 table, blk-mq tag allocator, NVMe submission/completion queue 같은 세부 구현은 이 경로를 더 깊게 볼 때 별도로 다룬다.
|
||||
|
||||
온프렘 이미지를 클라우드로 올리는 절차도 이 글 밖이다. 원본 문서가 그 부분을 코드 관측이 아닌 외부 지식이라고 스스로 표시해 두었고 이 실험대에서 한 번도 해 보지 않아서, 원본 문서에만 두고 이 기록으로 옮기지 않았다.
|
||||
온프렘에서 만든 이미지를 클라우드로 옮기는 절차는 이 실험대에서 수행하지 않았다. 여기서는 로컬 libvirt에서 qcow2 이미지를 생성하고 사용하는 범위까지만 다룬다.
|
||||
|
||||
<!-- body:end -->
|
||||
|
||||
+8
-8
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: dns-01-because-the-lab-is-not-on-the-public-internet
|
||||
title: 인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다
|
||||
title: 공개 인터넷에 노출되지 않은 실험대에서 DNS-01을 선택한 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -13,19 +13,19 @@ source:
|
||||
- final/document.md#184-이-부의-출처와-범위
|
||||
---
|
||||
|
||||
# 인증서는 DNS-01 로 받는다 — 실험대 주소가 공개 인터넷에 없어 HTTP-01 이 성립하지 않는다
|
||||
# 공개 인터넷에 노출되지 않은 실험대에서 DNS-01을 선택한 이유
|
||||
|
||||
인증서는 Let's Encrypt 의 DNS-01 로 받는다. HTTP-01 은 80 포트와 공개 A 레코드를 요구하는데 이 실험대의 주소는 공개 인터넷에 없고, certbot 이 DNS 공급자 API 로 나가는 DNS-01 만 성립한다. Cloudflare API 토큰이 엣지 VM 안 평문 파일에 놓이는 비용을 감수한다.
|
||||
|
||||
## 왜 HTTP-01이 성립하지 않았나
|
||||
|
||||
- **갱신은 매번 SUCCESS 였고 옛 인증서가 계속 나갔다 — 2305초와 1~2초**
|
||||
이 결정으로 받은 인증서가 갱신 뒤에 실제로 서빙되는지는 이 결정 밖이고 그 기록이 받는다. 발급 방식을 정하는 것과 갱신된 것을 nginx 가 읽게 만드는 것은 다른 일이다.
|
||||
- **엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리**
|
||||
- **인증서 갱신 후 nginx가 기존 인증서를 계속 제공한 문제**
|
||||
여기서는 인증서 발급 방식을 DNS-01로 정하는 것까지만 다룬다. 갱신된 인증서를 nginx가 다시 읽게 만드는 deploy hook과 reload는 별도의 운영 단계다.
|
||||
- **Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유**
|
||||
그 결정이 새로 요구한 일곱 가지 가운데 7번이 certbot 과 인증서와 갱신 훅을 게스트로 옮기는 것이었다. 이 결정이 세우는 것을 전부 엣지 게스트에 두는 이유가 거기서 왔다.
|
||||
- **도구가 낸 출력은 대상의 상태가 아니다 — 그 명령이 무엇을 세는지부터 가른다**
|
||||
- **명령 출력이 실제 상태를 의미하는지 먼저 확인한다**
|
||||
체인이 이어졌는지를 openssl s_client 의 단계 수로 판정하는 근거다. cert.pem 을 써서 체인이 끊겨도 브라우저는 캐시나 AIA 로 보완해 정상으로 보인다.
|
||||
- **가까운 층부터 한 층씩 건너뛰며 확인한다 — 층마다 성공 신호가 다르다**
|
||||
- **장애를 확인할 때는 가까운 계층부터 확인한다**
|
||||
04 단계의 확인을 어느 기계에서 치는지가 그 기준에 걸려 있다. 엣지 게스트 안에서 치면 층의 답이 아니라 친 위치의 답이 돌아온다.
|
||||
- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다**
|
||||
이 결정이 남긴 이름 규칙을 가이드가 틀리게 적었고, 「이 구축에서 드러난 문서 결함의 공통 원인」에서는 그것을 결함 여섯 중 하나로 셌다. 결함 여섯을 나란히 적은 표는 그 기록에 있다.
|
||||
@@ -40,7 +40,7 @@ certbot 과 인증서와 갱신 타이머와 deploy 훅은 전부 엣지 게스
|
||||
|
||||
두 방식은 검증이 오가는 방향이 반대다. HTTP-01 은 Let's Encrypt 가 우리 서버로 들어오는 인바운드 검증이라 80 포트와 공개 A 레코드가 있어야 한다. DNS-01 은 certbot 이 DNS 공급자 API 로 나가는 아웃바운드 검증이라 공개 인터넷에서 보일 필요가 없다. 이 실험대의 주소는 공개 인터넷에 없으므로 HTTP-01 은 성립하지 않는다.
|
||||
|
||||
「단계 04 — Let's Encrypt 와 인증서 갱신」에서는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다고 대안 쪽을 먼저 적는다. 이 결정은 더 나은 방식을 고른 것이 아니라 하나만 성립하는 조건에서 그것을 쓴 것이다. 딸려 온 이득이 하나 있는데, DNS-01 은 와일드카드를 받을 수 있어 hyeonworks.com 아래의 이름을 인증서 한 장으로 덮는다. 그 이득은 뒤늦게 챙겼다. 이 실험대는 처음에 와일드카드를 안 쓰고 이름마다 따로 받았고, 네 번째 이름이 없어 다른 실험에서 app2 를 빌려 써야 했다.
|
||||
「단계 04 — Let's Encrypt 와 인증서 갱신」에서는 이 선택을 우열로 적지 않는다. 공개 서버라면 HTTP-01 이 맞고, 토큰도 DNS 연동도 없어 관리할 것이 적다고 대안 쪽을 먼저 적는다. 이 결정은 더 나은 방식을 고른 것이 아니라 하나만 성립하는 조건에서 그것을 쓴 것이다. 딸려 온 이득이 하나 있는데, DNS-01은 와일드카드 인증서를 발급할 수 있기 때문에 hyeonworks.com 아래의 여러 이름을 하나의 인증서로 처리할 수 있었다. 다만 이것은 DNS-01을 선택한 주된 이유가 아니라 함께 얻은 결과다. 이 실험대는 처음에 와일드카드를 안 쓰고 이름마다 따로 받았고, 네 번째 이름이 없어 다른 실험에서 app2 를 빌려 써야 했다.
|
||||
|
||||
정한 대로 현재 엣지 게스트에는 `certbot`과 `python3-certbot-dns-cloudflare`가 설치돼 있고 renewal 설정의 authenticator는 `dns-cloudflare`다. 자격증명 파일은 600 권한으로 두며, 2026-09-21에는 파일 크기 81 bytes 상태에서 `certbot renew --dry-run --no-random-sleep-on-renew`가 DNS 전파 대기 뒤 성공했다. 외부 TLS 확인에서도 인증서 체인과 검증 성공을 확인했다.
|
||||
|
||||
|
||||
+11
-11
@@ -1,7 +1,7 @@
|
||||
---
|
||||
kind: PROJECT_DECISION
|
||||
slug: edge-nginx-moved-into-a-guest-vm
|
||||
title: 엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리
|
||||
title: Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유
|
||||
topic: lab-environment-build
|
||||
topicName: 실험대 환경 구성
|
||||
project: virtualization
|
||||
@@ -14,19 +14,19 @@ source:
|
||||
- final/document.md#180-nftables-는-앞-체인의-accept-로-뒤-체인의-reject-를-막지-못한다
|
||||
---
|
||||
|
||||
# 엣지 nginx 를 호스트에서 게스트 VM 으로 옮긴다 — 성능이 아니라 더러워지는 층의 격리
|
||||
# Edge Nginx를 호스트에서 게스트 VM으로 분리한 이유
|
||||
|
||||
호스트에서 돌던 엣지 nginx 를 게스트 한 대(.10) 안으로 옮기고, 호스트는 커널 DNAT 로 tailnet 의 443 포트를 그 게스트에 넘기기만 한다. 바꾼 이유는 성능이 아니라 자주 갈아엎는 층의 격리다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽에 구멍이 새로 필요해졌다.
|
||||
물리 호스트에서 실행하던 Edge Nginx를 `kc-lab-edge` VM으로 옮겼다. nginx 설정, 인증서, certbot처럼 변경이 잦은 구성 요소를 물리 호스트의 SSH·libvirt 환경과 분리하기 위해서다. 이 변경으로 외부 요청이 호스트의 FORWARD 경로를 지나게 됐고, libvirt `guest_input` 체인에는 Edge VM의 80·443 포트를 허용하는 규칙이 추가로 필요해졌다.
|
||||
|
||||
## 호스트에 두었을 때 생긴 문제
|
||||
|
||||
- **호스트 안에서는 404, 밖에서는 connection refused — 앞 체인의 accept 가 libvirt 의 reject 를 막지 못했다**
|
||||
- **libvirt guest_input 체인의 reject로 외부 요청이 차단된 사례**
|
||||
이 결정이 새로 요구한 것 가운데 3번을 실제로 치른 기록이다. 밖에서 게스트로 들어오는 경로가 FORWARD 가 되면서 libvirt 방화벽의 reject 에 막혔고, 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 이곳을 이 구축에서 가장 오래 막힌 곳으로 적었다.
|
||||
- **단계별 구축 문서는 작성 시점이 아니라 실행 순서로 검증한다**
|
||||
이 구성을 세운 기반 7단계 가이드를 순서대로 따라가면서 나온 결함 여섯이 그 기준의 근거다. 여섯 중 셋이 여기서 옮긴 nginx 와 인증서를 다룬다.
|
||||
- **libvirt 의 firewall_backend 가 iptables 일 때도 guest_input 에 구멍이 필요한가**
|
||||
- **libvirt firewall_backend가 iptables일 때도 guest_input 예외 규칙이 필요한가**
|
||||
「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 미확인으로 남긴 것을 받는 물음이다. 아래 3번은 이 호스트의 nftables 백엔드에서만 확인했다.
|
||||
- **Guest 의 packet 이 Host Physical NIC 에 닿기까지 — virtio-net · virtqueue · vhost-net · TAP · Bridge**
|
||||
- **게스트 패킷이 호스트 물리 NIC까지 전달되는 과정**
|
||||
커널 DNAT 뒤에 이어지는 게스트 쪽 경로를 그 글이 설명한다.
|
||||
- **이 호스트의 가상 머신 네트워크는 Bridge 인가 NAT 인가 Routing 인가**
|
||||
「이 부의 출처와 범위」에서는 적은 대로 이 호스트는 이더넷이 없어 libvirt NAT 를 택했다. 그 물음이 실제 구성을 이 호스트에서 확인한다.
|
||||
@@ -42,7 +42,7 @@ source:
|
||||
|
||||
## 성능이 아니라 격리를 택한 이유
|
||||
|
||||
바꾼 이유로 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」에서는 든 것은 성능이 아니라 더러워지는 층의 격리다. nginx 설정과 인증서와 certbot 과 deploy 훅은 자주 갈아엎는 것들이라 호스트에 있으면 초기화가 불가능하다. 엣지에 장애를 일부러 넣어 보는 실험도 호스트에서 하면 SSH 까지 위험해진다.
|
||||
nginx를 옮긴 이유는 성능이 아니라 관리 경계를 분리하기 위해서였다. nginx 설정, 인증서, certbot, deploy 훅처럼 변경이 잦은 구성 요소를 Edge VM에 모으면 물리 호스트의 SSH와 libvirt 환경을 건드리지 않고 다시 만들 수 있다. Edge 계층에 장애를 주는 실험도 물리 호스트의 관리 경로와 분리할 수 있다.
|
||||
|
||||
성능은 근거가 아니다. L7 홉 수는 전후 모두 2홉이고 늘어난 것은 커널의 L4 전달 한 번이다. 그러나 **홉 수가 같다는 사실만으로 `X-Forwarded-*` 계약이 유지되지는 않았다.** 2026-09-21 packet capture에서 Tailscale ingress의 source가 edge에 도달할 때 `192.168.122.1`로 rewrite되는 것을 확인했다. 전환 전후를 같은 부하로 잰 측정도 없으므로, 이 결정은 성능 향상이나 헤더 보존을 근거로 삼지 않는다.
|
||||
|
||||
@@ -52,12 +52,12 @@ source:
|
||||
|
||||
## 새로 생긴 네트워크 비용
|
||||
|
||||
감수한 비용은 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」의 일곱 줄 표에 정리돼 있다. 그중 DNAT과 libvirt 방화벽 구멍을 나머지 다섯과 구분한 것은 경로가 OUTPUT에서 FORWARD로 바뀐 구조를 바탕으로 한 판단이며, 별도 실험으로 둘만 분리 측정한 것은 아니다. 경로가 OUTPUT 에서 FORWARD 로 바뀌면서 생긴 것이 그 둘이다.
|
||||
감수한 비용은 「엣지를 물리 호스트에서 VM 으로 옮기면 무엇이 새로 필요해지나」의 일곱 줄 표에 정리돼 있다. 그중 DNAT과 libvirt 방화벽 허용 규칙을 나머지 다섯과 구분한 것은 경로가 OUTPUT에서 FORWARD로 바뀐 구조를 바탕으로 한 판단이며, 별도 실험으로 둘만 분리 측정한 것은 아니다. 경로가 OUTPUT 에서 FORWARD 로 바뀌면서 생긴 것이 그 둘이다.
|
||||
|
||||
DNAT(2번) : 전에는 호스트가 443 포트를 직접 들었으니 넘길 일이 없었다. 지금은 호스트에 리스너가 아예 없다
|
||||
libvirt 방화벽에 구멍(3번) : 호스트에서 게스트로 가는 것은 OUTPUT 경로라 필터를 안 탔다. 밖에서 게스트로 들어오는 것은 FORWARD 다
|
||||
libvirt 방화벽 허용 규칙(3번) : 호스트에서 게스트로 가는 것은 OUTPUT 경로라 필터를 안 탔다. 밖에서 게스트로 들어오는 것은 FORWARD 다
|
||||
|
||||
호스트가 게스트에 접속하는 것과 밖에서 게스트로 들어오는 것은 커널이 보기에 완전히 다른 일이다. 3번을 뚫는 데 이 구축에서 가장 오래 걸렸다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서 밖에서 친 curl 은 connection refused 로 돌아왔다. libvirt 의 guest_input 체인을 끝내는 reject 규칙의 카운터 4 패킷이 그때 친 curl 횟수와 정확히 일치했다. 구멍이 필요하다는 것을 몰라서 오래 걸린 것은 아니다. DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인과 거기 넣은 ct state new accept 가 이미 있었고, 그것이면 열린다고 보고 세웠다 — iptables 감각으로 쓰면 정확히 여기서 틀린다고 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 적었다.
|
||||
호스트가 게스트에 접속하는 것과 밖에서 게스트로 들어오는 것은 커널이 보기에 완전히 다른 일이다. 외부 요청이 어느 규칙에서 거절되는지 확인하는 데 가장 많은 시간이 걸렸다. 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서 밖에서 친 curl 은 connection refused 로 돌아왔다. libvirt 의 guest_input 체인을 끝내는 reject 규칙의 카운터 4 패킷이 그때 친 curl 횟수와 정확히 일치했다. 허용 규칙의 필요 여부만으로 원인을 찾을 수 있었던 것은 아니다. DNAT 파일에는 priority filter - 10 으로 먼저 도는 forward 체인과 거기 넣은 ct state new accept 가 이미 있었고, 그것이면 열린다고 보고 세웠다 — iptables 감각으로 쓰면 정확히 여기서 틀린다고 「nftables 는 앞 체인의 `accept` 로 뒤 체인의 `reject` 를 막지 못한다」에서는 적었다.
|
||||
|
||||
같은 계열의 가드레일이 하나 더 붙는다.
|
||||
|
||||
@@ -72,4 +72,4 @@ certbot 과 인증서와 갱신 훅이 게스트로(7번) : 인증서를 읽는
|
||||
|
||||
얻은 것은 격리다. 자주 갈아엎는 층이 게스트 한 대 안으로 들어가니 그 게스트를 통째로 다시 세울 수 있고, 엣지에 장애를 넣는 실험이 호스트 SSH를 직접 건드리지 않는다. L7 홉 수는 2홉 그대로지만 **뒤쪽 Traefik이 받는 client-address/header 조건은 바뀌었다.** source rewrite와 proxy trust는 별도로 검증해야 한다.
|
||||
|
||||
남은 것은 둘이고, 하나는 2026-09-21 재검증으로 닫혔다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없다. libvirt `guest_input` 구멍을 DNAT 유닛의 `ExecStartPost`에 넣은 방식이 재구성을 견디는지는 이번에 실제로 재 봤고 **견디지 못했다.** worker VM 둘을 재구축하자 libvirt가 체인을 다시 쓰면서 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 `active`인데 외부 80/443이 실패했다. 따라서 현재 persistence 방식은 실패한 구현이고 대체 방식은 아직 실제로 확인하지 않았다. libvirt 의 `firewall_backend` 가 iptables 일 때도 같은 구멍이 필요한지는 여전히 미확인이고, 이 호스트는 nftables 백엔드다.
|
||||
남은 것은 둘이고, 하나는 2026-09-21 재검증으로 닫혔다. 전환 전후를 같은 부하로 잰 측정은 이 저장소에 없다. libvirt `guest_input` 허용 규칙을 DNAT 유닛의 `ExecStartPost`에서 추가한 방식이 재구성을 견디는지는 이번에 실제로 재 봤고 **견디지 못했다.** worker VM 둘을 재구축하자 libvirt가 체인을 다시 쓰면서 accept 규칙 셋이 `reject` 뒤로 밀렸고, 유닛은 `active`인데 외부 80/443이 실패했다. 따라서 현재 persistence 방식은 실패한 구현이고 대체 방식은 아직 실제로 확인하지 않았다. libvirt의 `firewall_backend`가 iptables일 때도 같은 허용 규칙이 필요한지는 여전히 미확인이고, 이 호스트는 nftables 백엔드다.
|
||||
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user