refactor: 문서 사람처럼 작성하기

This commit is contained in:
donghyeon-ka
2026-09-22 14:43:41 +09:00
parent a5d68c0767
commit 1549e62b5e
321 changed files with 13091 additions and 4522 deletions
+16
View File
@@ -0,0 +1,16 @@
apiVersion: v1
kind: ConfigMap
metadata:
name: coredns-custom
namespace: kube-system
data:
hyeonworks.server: |
hyeonworks.com:53 {
hosts {
192.168.122.10 auth.hyeonworks.com
192.168.122.10 app1.hyeonworks.com
192.168.122.10 app2.hyeonworks.com
fallthrough
}
forward . /etc/resolv.conf
}
@@ -0,0 +1,26 @@
=== A0 baseline ===
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kc-lab-1 Ready control-plane 20h v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
kc-lab-2 Ready <none> 20h v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 1 (17h ago) 20h 10.42.1.19 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 20h 10.42.0.21 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (17h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
name | ip | coord
------------------+-----------------+-------
keycloak-0-6462 | 10.42.1.19:7800 | f
keycloak-1-14503 | 10.42.0.21:7800 | t
(2 rows)
offline_flag | count
--------------+-------
(0 rows)
@@ -0,0 +1,240 @@
=== A0 precondition diagnosis ===
STATEFULSET
containers:
- args:
- start
env:
- name: KC_DB
value: postgres
- name: KC_DB_URL
value: jdbc:postgresql://postgres:5432/keycloak
- name: KC_DB_USERNAME
value: keycloak
- name: KC_DB_PASSWORD
valueFrom:
secretKeyRef:
key: POSTGRES_PASSWORD
name: keycloak-lab-secrets
- name: KC_HOSTNAME
value: https://auth.hyeonworks.com
- name: KC_HOSTNAME_STRICT
value: "true"
- name: KC_PROXY_HEADERS
value: xforwarded
- name: KC_HTTP_ENABLED
value: "true"
- name: KC_HEALTH_ENABLED
value: "true"
- name: KC_METRICS_ENABLED
value: "true"
- name: JAVA_OPTS_KC_HEAP
value: -Xms256m -Xmx512m
- name: KC_BOOTSTRAP_ADMIN_USERNAME
value: admin
- name: KC_BOOTSTRAP_ADMIN_PASSWORD
valueFrom:
secretKeyRef:
key: KC_BOOTSTRAP_ADMIN_PASSWORD
name: keycloak-lab-secrets
image: quay.io/keycloak/keycloak:26.7.0
imagePullPolicy: IfNotPresent
livenessProbe:
failureThreshold: 3
httpGet:
path: /health/live
port: management
scheme: HTTP
periodSeconds: 30
successThreshold: 1
timeoutSeconds: 1
name: keycloak
ports:
- containerPort: 8080
name: http
protocol: TCP
- containerPort: 9000
name: management
protocol: TCP
- containerPort: 7800
name: jgroups
protocol: TCP
readinessProbe:
failureThreshold: 3
httpGet:
path: /health/ready
port: management
scheme: HTTP
periodSeconds: 10
successThreshold: 1
timeoutSeconds: 1
resources:
limits:
memory: 900Mi
requests:
cpu: 100m
memory: 640Mi
startupProbe:
failureThreshold: 60
httpGet:
path: /health/started
port: management
scheme: HTTP
periodSeconds: 10
successThreshold: 1
timeoutSeconds: 1
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
dnsPolicy: ClusterFirst
restartPolicy: Always
schedulerName: default-scheduler
securityContext: {}
terminationGracePeriodSeconds: 30
topologySpreadConstraints:
- labelSelector:
matchLabels:
app: keycloak
maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: ScheduleAnyway
updateStrategy:
rollingUpdate:
partition: 0
type: RollingUpdate
status:
availableReplicas: 2
collisionCount: 0
currentReplicas: 2
currentRevision: keycloak-658b7db769
observedGeneration: 3
readyReplicas: 2
replicas: 2
updateRevision: keycloak-658b7db769
updatedReplicas: 2
POLICIES
apiVersion: v1
items: []
kind: List
metadata:
resourceVersion: ""
VIEWS0
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
VIEWS1
2026-09-21 08:24:38,739 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-62696(v=16.0.12)|1] (2) [keycloak-0-62696(v=16.0.12), keycloak-1-14503(v=16.0.12)]
2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
JGROUPS_ERRORS0
2026-09-21 10:25:57,589 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled
2026-09-21 10:26:00,298 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller'
2026-09-21 10:26:00,372 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping`
2026-09-21 10:26:00,384 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
2026-09-21 10:26:00,490 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-6462`, physical addresses are `[10.42.1.19:7800]`
2026-09-21 10:26:00,781 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-6462, Site name: null, Cluster name: ISPN
2026-09-21 10:24:44,583 ERROR [org.jgroups.protocols.TCP] (Connection.Receiver [10.42.1.19:7800 - 10.42.0.21:40127]-6,keycloak-0-6462(v=16.0.12)) 10.42.1.19:7800: failed sending graceful close to 10.42.0.21:7800: Broken pipe
2026-09-21 10:25:32,641 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
2026-09-21 10:25:32,647 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN100000: Node keycloak-1-14503 joined the cluster
2026-09-21 10:25:32,648 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN100000: Node keycloak-1-14503 joined the cluster
2026-09-21 10:25:32,703 INFO [org.infinispan.LIFECYCLE] (jgroups-8,keycloak-0-6462(v=16.0.12)) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,706 INFO [org.infinispan.LIFECYCLE] (jgroups-9,keycloak-0-6462(v=16.0.12)) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,721 INFO [org.infinispan.LIFECYCLE] (jgroups-5,keycloak-0-6462(v=16.0.12)) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,725 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,733 INFO [org.infinispan.LIFECYCLE] (jgroups-9,keycloak-0-6462(v=16.0.12)) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,734 INFO [org.infinispan.LIFECYCLE] (jgroups-14,keycloak-0-6462(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,738 INFO [org.infinispan.LIFECYCLE] (jgroups-8,keycloak-0-6462(v=16.0.12)) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,739 INFO [org.infinispan.LIFECYCLE] (jgroups-10,keycloak-0-6462(v=16.0.12)) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,739 INFO [org.infinispan.LIFECYCLE] (jgroups-11,keycloak-0-6462(v=16.0.12)) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,743 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,745 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,752 INFO [org.infinispan.LIFECYCLE] (jgroups-15,keycloak-0-6462(v=16.0.12)) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,758 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,758 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,759 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,760 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,762 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-org.infinispan.CONFIG' started at 2026-09-21T10:25:32.745199318Z and done 2026-09-21T10:25:32.762466908Z
2026-09-21 10:25:32,766 INFO [org.infinispan.LIFECYCLE] (jgroups-15,keycloak-0-6462(v=16.0.12)) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,767 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,773 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-actionTokens' started at 2026-09-21T10:25:32.760572704Z and done 2026-09-21T10:25:32.773977930Z
2026-09-21 10:25:32,777 INFO [org.infinispan.LIFECYCLE] (jgroups-11,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-authenticationSessions' started at 2026-09-21T10:25:32.763178673Z and done 2026-09-21T10:25:32.777952836Z
2026-09-21 10:25:32,778 INFO [org.infinispan.LIFECYCLE] (jgroups-14,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-work' started at 2026-09-21T10:25:32.743029355Z and done 2026-09-21T10:25:32.778710830Z
2026-09-21 10:25:32,794 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-loginFailures' started at 2026-09-21T10:25:32.767420590Z and done 2026-09-21T10:25:32.794206177Z
2026-09-21 10:25:54,422 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:54,420"}}]}
JGROUPS_ERRORS1
2026-09-21 10:25:32,692 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,693 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,695 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,695 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,696 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,696 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,696 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,697 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,697 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,699 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,700 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,700 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,699 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=ReplicatedConsistentHash{ns = 256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,700 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,701 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,703 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,703 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,703 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=ReplicatedConsistentHash{ns = 256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,705 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,704 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,706 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,707 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,707 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,708 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,708 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,708 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,708 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,709 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,709 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,709 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,710 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,711 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,711 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,712 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,713 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,713 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,714 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,714 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,715 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,716 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,716 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,717 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,718 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
2026-09-21 10:25:32,718 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,721 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
2026-09-21 10:25:32,722 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,722 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
2026-09-21 10:25:32,730 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
2026-09-21 10:25:32,757 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,759 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,759 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,760 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,761 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,762 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,764 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,767 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,767 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,768 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,772 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,774 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,776 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,777 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,777 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,779 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,779 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,780 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,786 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,788 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,789 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,790 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,793 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
2026-09-21 10:25:32,794 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,795 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:32,797 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
2026-09-21 10:25:32,799 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
2026-09-21 10:25:47,998 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:47,996"}}]}
2026-09-21 10:25:57,996 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:47,996"}}]}
@@ -0,0 +1,133 @@
=== A0 current cluster truth ===
READY0
{
"status": "UP",
"checks": [
{
"name": "Graceful Shutdown",
"status": "UP"
},
{
"name": "Keycloak Initialized",
"status": "UP"
},
{
"name": "Keycloak database connections async health check",
"status": "UP"
},
{
"name": "Keycloak cluster health check",
"status": "UP"
}
]
}
READY1
{
"status": "UP",
"checks": [
{
"name": "Graceful Shutdown",
"status": "UP"
},
{
"name": "Keycloak Initialized",
"status": "UP"
},
{
"name": "Keycloak database connections async health check",
"status": "UP"
},
{
"name": "Keycloak cluster health check",
"status": "UP"
}
]
}
CLUSTER_EVENTS0
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
2026-09-21 10:25:32,641 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
CLUSTER_EVENTS1
2026-09-21 08:24:38,739 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-62696(v=16.0.12)|1] (2) [keycloak-0-62696(v=16.0.12), keycloak-1-14503(v=16.0.12)]
2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
2026-09-21 10:25:32,640 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
PROM_NAMES
"kube_apiserver_clusterip_allocator_allocated_ips"
"kube_apiserver_clusterip_allocator_allocation_duration_seconds_bucket"
"kube_apiserver_clusterip_allocator_allocation_duration_seconds_count"
"kube_apiserver_clusterip_allocator_allocation_duration_seconds_sum"
"kube_apiserver_clusterip_allocator_allocation_total"
"kube_apiserver_clusterip_allocator_available_ips"
"vendor_cluster_size"
"vendor_jgroups_fd_sock2_get_actual_bind_port"
"vendor_jgroups_fd_sock2_get_num_suspected_members"
"vendor_jgroups_frag4_get_number_of_received_fragments"
"vendor_jgroups_frag4_get_number_of_sent_fragments"
"vendor_jgroups_gms_get_view_handler_size"
"vendor_jgroups_merge3_get_num_merge_events"
"vendor_jgroups_merge3_get_views"
"vendor_jgroups_mfc_get_average_time_blocked"
"vendor_jgroups_mfc_get_number_of_blockings"
"vendor_jgroups_mfc_get_number_of_credit_requests_received"
"vendor_jgroups_mfc_get_number_of_credit_requests_sent"
"vendor_jgroups_mfc_get_number_of_credit_responses_received"
"vendor_jgroups_mfc_get_number_of_credit_responses_sent"
"vendor_jgroups_nakack2_get_become_server_queue_size_actual"
"vendor_jgroups_nakack2_get_current_seqno"
"vendor_jgroups_nakack2_get_non_member_messages"
"vendor_jgroups_nakack2_get_num_messages_received"
"vendor_jgroups_nakack2_get_num_messages_sent"
"vendor_jgroups_nakack2_get_size_of_all_messages"
"vendor_jgroups_nakack2_get_size_of_all_messages_incl_headers"
"vendor_jgroups_nakack2_get_xmit_table_capacity"
"vendor_jgroups_nakack2_get_xmit_table_missing_messages"
"vendor_jgroups_nakack2_get_xmit_table_num_compactions"
"vendor_jgroups_nakack2_get_xmit_table_num_current_rows"
"vendor_jgroups_nakack2_get_xmit_table_num_moves"
"vendor_jgroups_nakack2_get_xmit_table_num_purges"
"vendor_jgroups_nakack2_get_xmit_table_num_resizes"
"vendor_jgroups_nakack2_get_xmit_table_undelivered_msgs"
"vendor_jgroups_red_get_drop_rate"
"vendor_jgroups_red_get_dropped_messages"
"vendor_jgroups_red_get_total_messages"
"vendor_jgroups_stable_get_num_votes"
"vendor_jgroups_stable_get_stability_received"
"vendor_jgroups_stable_get_stability_sent"
"vendor_jgroups_stable_get_stable_received"
"vendor_jgroups_stable_get_stable_sent"
"vendor_jgroups_stats_async_requests_total"
"vendor_jgroups_stats_bytes_sent_total"
"vendor_jgroups_stats_sync_requests_seconds_count"
"vendor_jgroups_stats_sync_requests_seconds_sum"
"vendor_jgroups_stats_timed_out_requests_total"
"vendor_jgroups_tcp_get_different_cluster_messages"
"vendor_jgroups_tcp_get_different_version_messages"
"vendor_jgroups_tcp_get_largest_size"
"vendor_jgroups_tcp_get_num_batches_received"
"vendor_jgroups_tcp_get_num_batches_sent"
"vendor_jgroups_tcp_get_num_bytes_received"
"vendor_jgroups_tcp_get_num_bytes_sent"
"vendor_jgroups_tcp_get_num_mcast_bytes_received"
"vendor_jgroups_tcp_get_num_mcast_bytes_sent"
"vendor_jgroups_tcp_get_num_mcast_msgs_received"
"vendor_jgroups_tcp_get_num_mcast_msgs_sent"
"vendor_jgroups_tcp_get_num_mcasts_received"
"vendor_jgroups_tcp_get_num_mcasts_sent"
"vendor_jgroups_tcp_get_num_msgs_received"
"vendor_jgroups_tcp_get_num_msgs_sent"
"vendor_jgroups_tcp_get_num_rejected_msgs"
"vendor_jgroups_tcp_get_num_single_msgs_sent"
"vendor_jgroups_tcp_get_num_timer_tasks"
"vendor_jgroups_tcp_get_num_ucast_bytes_received"
"vendor_jgroups_tcp_get_num_ucast_bytes_sent"
"vendor_jgroups_tcp_get_num_ucast_msgs_received"
"vendor_jgroups_tcp_get_num_ucast_msgs_sent"
"vendor_jgroups_tcp_get_num_ucasts_received"
"vendor_jgroups_tcp_get_num_ucasts_sent"
"vendor_jgroups_tcp_get_open_connections"
"vendor_jgroups_tcp_get_thread_pool_size"
"vendor_jgroups_tcp_get_thread_pool_size_active"
"vendor_jgroups_tcp_get_timer_threads"
"vendor_jgroups_ufc_get_average_time_blocked"
"vendor_jgroups_ufc_get_number_of_blockings"
"vendor_jgroups_ufc_get_number_of_credit_requests_received"
"vendor_jgroups_ufc_get_number_of_credit_requests_sent"
@@ -0,0 +1,2 @@
=== vendor_cluster_size ===
{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-1-14503","instance":"10.42.0.21:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1790051098.284,"2"]},{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-0-6462","instance":"10.42.1.19:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1790051098.284,"2"]}]}}
@@ -0,0 +1,7 @@
=== A0 cache baseline before reset ===
[keycloak-0]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-6462"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-6462"} 0.0
[keycloak-1]
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-14503"} 0.0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-14503"} 0.0
@@ -0,0 +1,26 @@
=== A0 reset injection ===
[1] delete session rows
DELETE 0
[2] restart
2026-09-22 13:28:32 KST
statefulset.apps/keycloak restarted
[3] wait
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
partitioned roll out complete: 2 new pods have been updated...
[4] pods
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 30s 10.42.1.22 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 64s 10.42.0.23 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
[5] db sessions
offline_flag | count
--------------+-------
(0 rows)
@@ -0,0 +1,18 @@
=== A0 reset verification ===
[keycloak-0 cluster]
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-19436"} 2.0
[keycloak-0 caches]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 0.0
[keycloak-1 cluster]
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-60369"} 2.0
[keycloak-1 caches]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
[JGROUPS_PING]
name | ip | coord
------------------+-----------------+-------
keycloak-0-19436 | 10.42.1.22:7800 | f
keycloak-1-60369 | 10.42.0.23:7800 | t
(2 rows)
@@ -0,0 +1,6 @@
=== A0 cross-node session without exporting credentials ===
initial access_len=758 refresh_len=612 sid_present=yes
SID=CnH31RQMG-p4h3_DMTAb9XPT
refresh_on_opposite=200 sid_same=yes new_refresh_present=yes
logout_on_opposite=204
refresh_after_logout_on_original=400 error=invalid_grant
@@ -0,0 +1,19 @@
=== A0 cache delta ===
[before]
keycloak-0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 1.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 1.0
keycloak-1
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
[one login on keycloak-0 via kcadm]
login=ok
[after]
keycloak-0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 2.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 2.0
keycloak-1
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
[db]
0|2
@@ -0,0 +1,17 @@
=== A0 cache ownership ===
[start]
keycloak-0 2.0
keycloak-1 0.0
db=2
[5 logins on keycloak-1]
.....
[after_k1_5]
keycloak-0 2.0
keycloak-1 5.0
db=7
[5 logins on keycloak-0]
.....
[after_k0_5]
keycloak-0 7.0
keycloak-1 5.0
db=12
@@ -0,0 +1,18 @@
=== A0 enable SQL statement logging ===
ALTER SYSTEM
ALTER SYSTEM
pg_reload_conf
----------------
t
(1 row)
log_statement
---------------
all
(1 row)
log_line_prefix
-----------------
%m [%p] %h
(1 row)
@@ -0,0 +1,3 @@
=== A0 SQL read path request ===
SID=Ef60AqLPvErV75Rz5PRRFZsw
REFRESH_ON_K1=200
@@ -0,0 +1,3 @@
=== A0 one login + opposite refresh for SQL capture ===
SID=0jdhDrcu6VUaGIFCjWzNXDs2
refresh_on_keycloak_1=200
@@ -0,0 +1,4 @@
=== A0 SQL read path evidence ===
K1=10.42.0.28 SID=Ef60AqLPvErV75Rz5PRRFZsw
[K1 statements]
[SID details]
@@ -0,0 +1,14 @@
=== A0 SQL evidence for opposite-node refresh ===
K0=10.42.1.22 K1=10.42.0.23 SID=0jdhDrcu6VUaGIFCjWzNXDs2
[K1 statements]
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
2026-09-22 04:33:54.159 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
2026-09-22 04:33:54.170 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
2026-09-22 04:33:54.172 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
[SID details]
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = NULL, $2 = '1790051633', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790051633,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790051633}"},"state":"LOGGED_IN"}', $4 = '1790051633', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790051633","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790051633","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790051633', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = '0jdhDrcu6VUaGIFCjWzNXDs2'
@@ -0,0 +1,17 @@
ALTER SYSTEM
ALTER SYSTEM
pg_reload_conf
----------------
t
(1 row)
log_statement
---------------
none
(1 row)
log_line_prefix
-----------------
%m [%p]
(1 row)
@@ -0,0 +1,49 @@
=== A0 SQL PID drill-down ===
[K1 pid 99043]
2026-09-22 04:33:36.552 UTC [99043] 10.42.0.23 LOG: statement:
2026-09-22 04:33:46.552 UTC [99043] 10.42.0.23 LOG: statement:
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: execute S_36: DELETE from JGROUPS_PING WHERE address=$1
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000006'
2026-09-22 04:33:54.158 UTC [99043] 10.42.0.23 LOG: execute S_37: INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values ($1, $2, $3, $4, $5, $6, $7)
2026-09-22 04:33:54.158 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000006', $2 = 'keycloak-1-60369', $3 = 'ISPN', $4 = '10.42.0.23:7800', $5 = 't', $6 = '1790051634', $7 = 'uuid://00000000-0000-0000-0000-000000000006'
2026-09-22 04:33:54.159 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
2026-09-22 04:33:54.170 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 LOG: execute S_36: DELETE from JGROUPS_PING WHERE address=$1
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000007'
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 LOG: execute S_37: INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values ($1, $2, $3, $4, $5, $6, $7)
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000007', $2 = 'keycloak-0-19436', $3 = 'ISPN', $4 = '10.42.1.22:7800', $5 = 'f', $6 = '1790051634', $7 = 'uuid://00000000-0000-0000-0000-000000000006'
2026-09-22 04:33:54.172 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
2026-09-22 04:33:54.763 UTC [99043] 10.42.0.23 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
2026-09-22 04:33:54.763 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'ISPN'
2026-09-22 04:33:56.549 UTC [99043] 10.42.0.23 LOG: statement:
2026-09-22 04:34:06.550 UTC [99043] 10.42.0.23 LOG: statement:
[K0 pid 99097]
2026-09-22 04:33:39.471 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
2026-09-22 04:33:39.471 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN'
2026-09-22 04:33:49.470 UTC [99097] 10.42.1.22 LOG: statement:
2026-09-22 04:33:51.716 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
2026-09-22 04:33:51.716 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN'
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 LOG: statement: BEGIN
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 LOG: execute S_131/C_160: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 LOG: execute S_134/C_161: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.868 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 LOG: statement: BEGIN
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 LOG: execute S_131/C_162: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 LOG: execute S_134/C_163: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 LOG: execute S_146: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = NULL, $2 = '1790051633', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790051633,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790051633}"},"state":"LOGGED_IN"}', $4 = '1790051633', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute S_147: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9)
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790051633","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790051633","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790051633', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = '0jdhDrcu6VUaGIFCjWzNXDs2'
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT
2026-09-22 04:33:57.958 UTC [99097] 10.42.1.22 LOG: statement:
2026-09-22 04:33:59.473 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
2026-09-22 04:33:59.473 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN'
2026-09-22 04:34:01.558 UTC [99097] 10.42.1.22 LOG: statement: BEGIN
2026-09-22 04:34:01.559 UTC [99097] 10.42.1.22 LOG: execute <unnamed>/C_164: select re1_0.ID from REALM re1_0
2026-09-22 04:34:01.573 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT
@@ -0,0 +1,3 @@
=== A0 SQL read path atomic rerun ===
K0=10.42.1.29 K1=10.42.0.28
[enable]
@@ -0,0 +1,39 @@
=== A0 cleanup ===
DELETE 13
statefulset.apps/keycloak restarted
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
partitioned roll out complete: 2 new pods have been updated...
[pods]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 31s 10.42.1.23 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 65s 10.42.0.24 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
[db]
0
[log_statement]
none
[cluster/cache]
[keycloak-0]
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-63395"} 0.0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-63395"} 0.0
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
[keycloak-1]
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
[jgroups_ping]
name | ip | coord
------------------+-----------------+-------
keycloak-0-63395 | 10.42.1.23:7800 | f
keycloak-1-58832 | 10.42.0.24:7800 | t
(2 rows)
[external]
code=200
@@ -0,0 +1,48 @@
=== A0 SQL read path atomic rerun v2 ===
K0=10.42.1.29 K1=10.42.0.28
[enable]
ALTER SYSTEM
ALTER SYSTEM
t
none
%m [%p]
[request]
SID=xo9l3m-QjR8PCgLTkmMsX76j
REFRESH_ON_K1=200
[k1 sql]
2026-09-22 05:42:59.316 UTC [56] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.322 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.322 UTC [57] 10.42.0.28 LOG: execute S_31/C_102: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='1' and puse1_0.LAST_SESSION_REFRESH<$2 fetch first $3 rows only
2026-09-22 05:42:59.324 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.328 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.328 UTC [57] 10.42.0.28 LOG: execute S_33/C_103: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='1' and puse1_0.CREATED_ON<$2 fetch first $3 rows only
2026-09-22 05:42:59.329 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.336 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.336 UTC [57] 10.42.0.28 LOG: execute S_35/C_104: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID,puse1_0.DATA from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME is null and puse1_0.LAST_SESSION_REFRESH<$2 fetch first $3 rows only
2026-09-22 05:42:59.340 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.344 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.344 UTC [57] 10.42.0.28 LOG: execute S_37/C_105: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID,puse1_0.DATA from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME is null and puse1_0.CREATED_ON<$2 fetch first $3 rows only
2026-09-22 05:42:59.346 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.348 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.348 UTC [57] 10.42.0.28 LOG: execute S_39/C_106: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=$2 and puse1_0.LAST_SESSION_REFRESH<$3 fetch first $4 rows only
2026-09-22 05:42:59.350 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.352 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.352 UTC [57] 10.42.0.28 LOG: execute S_41/C_107: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=$2 and puse1_0.CREATED_ON<$3 fetch first $4 rows only
2026-09-22 05:42:59.355 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.357 UTC [57] 10.42.0.28 LOG: statement: BEGIN
2026-09-22 05:42:59.357 UTC [57] 10.42.0.28 LOG: execute S_43/C_108: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=true fetch first $2 rows only
2026-09-22 05:42:59.360 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
2026-09-22 05:42:59.361 UTC [56] 10.42.0.28 LOG: execute S_1: COMMIT
[sid details]
2026-09-22 05:42:59.719 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '0', $2 = 'xo9l3m-QjR8PCgLTkmMsX76j'
2026-09-22 05:42:59.719 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'xo9l3m-QjR8PCgLTkmMsX76j'
2026-09-22 05:42:59.725 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '0', $2 = 'xo9l3m-QjR8PCgLTkmMsX76j'
2026-09-22 05:42:59.725 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'xo9l3m-QjR8PCgLTkmMsX76j'
2026-09-22 05:42:59.726 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = NULL, $2 = '1790055779', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790055779,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790055779}"},"state":"LOGGED_IN"}', $4 = '1790055779', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = 'xo9l3m-QjR8PCgLTkmMsX76j'
2026-09-22 05:42:59.726 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790055779","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790055779","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790055779', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = 'xo9l3m-QjR8PCgLTkmMsX76j'
[disable]
ALTER SYSTEM
ALTER SYSTEM
t
all
%m [%p] %h
@@ -0,0 +1,66 @@
=== A1 baseline + manifest ===
[manifest]
# Experiment A-1 — cut the JGroups transport (TCP 7800) while leaving discovery alone.
#
# The point is to separate two things that are easy to conflate:
#
# discovery how the nodes FIND each other -> PostgreSQL JGROUPS_PING table
# transport how they actually TALK -> TCP 7800
#
# Blocking only the transport produces a state that cannot happen on a single
# node: both members stay registered in the database, so each believes the other
# exists, yet no message gets through.
#
# kubectl apply -f deploy/lab/k8s/a1-block-jgroups-transport.yaml
# kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
#
# NetworkPolicy is an ALLOWLIST, not a firewall with deny rules. There is no way
# to write "deny 7800". The moment a pod is selected by a policy carrying
# policyTypes: [Ingress], every inbound port is denied unless a rule permits it.
# So 7800 is blocked by *omission*: 8080 and 9000 are listed, 7800 is not.
#
# That makes the two allow rules load-bearing — get them wrong and the experiment
# measures a dead Keycloak instead of a partitioned cluster:
#
# 8080 the HTTP endpoint. Traefik, the other pod's REST calls, and the probe
# traffic all arrive here.
# 9000 the management port: /health/started, /health/ready, /health/live and
# /metrics. Losing it means the kubelet fails the readiness probe and
# kills the pod — the cluster would break for the wrong reason.
#
# Both rules deliberately omit `from:`, which allows those ports from any source.
# Narrowing the source is not the subject here; the 2-hop experiment already
# established how to do that by label when it matters.
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: a1-block-jgroups-transport
namespace: keycloak-lab
spec:
podSelector:
matchLabels:
app: keycloak
policyTypes: [Ingress]
ingress:
- ports:
- { port: 8080, protocol: TCP } # HTTP — must stay open
- { port: 9000, protocol: TCP } # health + metrics — must stay open
# 7800 is absent on purpose. That is the whole experiment.
[policies]
[pods]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 83s 10.42.1.23 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 117s 10.42.0.24 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
[cluster]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
[jgroups]
name | ip | coord
------------------+-----------------+-------
keycloak-0-63395 | 10.42.1.23:7800 | f
keycloak-1-58832 | 10.42.0.24:7800 | t
(2 rows)
[conntrack commands]
kc-lab-1 kc-lab-2
@@ -0,0 +1,4 @@
=== A1 control before block ===
control_refresh_on_opposite=200 sid_same=yes
control_logout_on_opposite=204
control_refresh_after_logout_on_original=400 error=invalid_grant
@@ -0,0 +1,3 @@
=== install conntrack on guest nodes ===
[kc-lab-1]
[kc-lab-2]
@@ -0,0 +1,21 @@
=== A1 apply network policy ===
networkpolicy.networking.k8s.io/a1-block-jgroups-transport created
2026-09-22 13:41:53 KST applied
NAME POD-SELECTOR AGE
a1-block-jgroups-transport app=keycloak 0s
Name: a1-block-jgroups-transport
Namespace: keycloak-lab
Created on: 2026-09-22 13:40:23 +0900 KST
Labels: <none>
Annotations: <none>
Spec:
PodSelector: app=keycloak
Allowing ingress traffic:
To Port: 8080/TCP
To Port: 9000/TCP
From: <any> (traffic not restricted by source)
Not affecting egress traffic
Policy Types: Ingress
[conntrack version]
kc-lab-1 conntrack v1.4.7 (conntrack-tools)
kc-lab-2 conntrack v1.4.7 (conntrack-tools)
@@ -0,0 +1,12 @@
=== A1 port injection verification ===
[10.42.1.23]
9000 code=200 exit=0
8080 code=200 exit=0
7800 code=000 exit=7
[10.42.0.24]
9000 code=200 exit=0
8080 code=200 exit=0
7800 code=000 exit=7
[cluster immediately after policy]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
@@ -0,0 +1,13 @@
=== A1 established sockets and conntrack ===
[/proc keycloak-0]
3: 0000000000000000FFFF000017012A0A:1E78 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1564471 1 00000000c2729507 100 0 0 10 0
4: 00000000000000000000000000000000:E1C8 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1564472 1 0000000087977218 100 0 0 10 0
13: 0000000000000000FFFF000017012A0A:1E78 0000000000000000FFFF000018002A0A:92F3 01 00000000:00000000 02:000AC5C2 00000000 1000 0 1564473 2 000000008e6d15f7 21 4 30 10 -1
15: 0000000000000000FFFF000017012A0A:E1C8 0000000000000000FFFF000018002A0A:A727 01 00000000:00000000 02:000AC5C0 00000000 1000 0 1564475 2 00000000f3542af7 20 4 28 10 -1
[kc-lab-1 conntrack 7800]
tcp 6 86395 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
tcp 6 102 SYN_SENT src=10.42.0.25 dst=10.42.1.23 sport=43974 dport=7800 [UNREPLIED] src=10.42.1.23 dst=10.42.0.25 sport=7800 dport=43974 mark=0 use=1
tcp 6 86259 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
[kc-lab-2 conntrack 7800]
tcp 6 86395 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
tcp 6 86259 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
@@ -0,0 +1,23 @@
=== A1 delete exact established JGroups conntrack ===
[kc-lab-1 delete 7800]
tcp 6 86399 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
[kc-lab-1 delete 57800]
tcp 6 86246 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
[kc-lab-2 delete 7800]
tcp 6 86399 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
[kc-lab-2 delete 57800]
tcp 6 86246 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
[remaining]
[kc-lab-1]
tcp 6 88 SYN_SENT src=10.42.0.25 dst=10.42.1.23 sport=43974 dport=7800 [UNREPLIED] src=10.42.1.23 dst=10.42.0.25 sport=7800 dport=43974 mark=0 use=1
[kc-lab-2]
tcp 6 299 ESTABLISHED src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [UNREPLIED] src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 mark=0 use=1
[cluster after +0s]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
[cluster after +10s]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
[cluster after +30s]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
@@ -0,0 +1,49 @@
=== A1 force partition by recreating keycloak-0 ===
2026-09-22 13:43:33 KST delete-keycloak-0
old_ip=10.42.1.23
pod "keycloak-0" deleted from keycloak-lab namespace
new_ip=10.42.1.24 phase=Running after=4s
[pods]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 0/1 Running 0 17s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 4m50s 10.42.0.24 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
[cluster metrics]
keycloak-0 unavailable
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
[jgroups_ping]
name | ip | coord
------------------+-----------------+-------
keycloak-1-58832 | 10.42.0.24:7800 | t
(1 row)
[recent views]
[keycloak-0]
[keycloak-1]
2026-09-22 04:37:55,195 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-19436(v=16.0.12)|9] (2) [keycloak-0-19436(v=16.0.12), keycloak-1-58832(v=16.0.12)]
2026-09-22 04:38:05,865 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|10] (1) [keycloak-1-58832(v=16.0.12)]
2026-09-22 04:38:28,734 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|11] (2) [keycloak-1-58832(v=16.0.12), keycloak-0-63395(v=16.0.12)]
2026-09-22 04:42:04,992 INFO [org.infinispan.CLUSTER] (jgroups-11,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|12] (1) [keycloak-1-58832(v=16.0.12)]
[health]
keycloak-0
keycloak-1 {
"status": "UP",
"checks": [
{
"name": "Graceful Shutdown",
"status": "UP"
},
{
"name": "Keycloak database connections async health check",
"status": "UP"
},
{
"name": "Keycloak Initialized",
"status": "UP"
},
{
"name": "Keycloak cluster health check",
"status": "UP"
}
]
}
@@ -0,0 +1,120 @@
=== A1 partition convergence after restart ===
[after wait 30s]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 64s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 5m37s 10.42.0.24 kc-lab-1 <none> <none>
[k0 recent log]
JAVA_OPTS_KC_HEAP already set in environment; overriding default settings
Changes detected in configuration. Updating the server image.
Updating the configuration and installing your custom providers, if any. Please wait.
2026-09-22 04:42:11,025 WARN [org.keycloak.common.Profile] (build-3) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
2026-09-22 04:42:21,654 INFO [io.quarkus.deployment.QuarkusAugmentor] (main) Quarkus augmentation completed in 13416ms
Server configuration updated and persisted. Run the following command to review the configuration:
kc.sh show-config
Next time you run the server, just add --optimized to the command to ensure this build is used.
2026-09-22 04:42:22,891 INFO [org.keycloak.truststore.TruststoreBuilder] (main) Found the following truststore files in the truststore paths [/var/run/secrets/kubernetes.io/serviceaccount/ca.crt]
2026-09-22 04:42:24,838 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled
2026-09-22 04:42:25,721 INFO [org.hibernate.orm.jdbc.batch] (JPA Startup Thread) HHH100501: Automatic JDBC statement batching enabled (maximum batch size 32)
2026-09-22 04:42:25,850 WARN [org.keycloak.common.Profile] (executor-thread-1) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
2026-09-22 04:42:25,935 INFO [io.quarkus] (main) Keycloak 26.7.0 on JVM (powered by Quarkus 3.33.2.1) started in 4.177s. Listening on: http://0.0.0.0:8080. Management interface listening on http://0.0.0.0:9000.
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Profile prod activated.
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Installed features: [agroal, cdi, hibernate-orm, jdbc-postgresql, keycloak, micrometer, narayana-jta, opentelemetry, rest, rest-jackson, smallrye-context-propagation, smallrye-health, vertx]
2026-09-22 04:42:25,992 INFO [org.keycloak.quarkus.runtime.storage.database.jpa.DatabaseIndexChecker] (db-index-checker) Running database index checker
2026-09-22 04:42:26,881 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups JDBC_PING discovery enabled.
2026-09-22 04:42:26,886 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
2026-09-22 04:42:26,896 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups Encryption enabled (mTLS).
2026-09-22 04:42:27,465 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Starting JGroups certificate reload manager
2026-09-22 04:42:27,585 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller'
2026-09-22 04:42:27,666 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping`
2026-09-22 04:42:27,669 INFO [org.jgroups.JChannel] (executor-thread-1) local_addr: 00000000-0000-0000-0000-00000000000a(v=16.0.12), name: keycloak-0-32489
2026-09-22 04:42:27,682 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800
2026-09-22 04:42:29,721 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 1
2026-09-22 04:42:31,742 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 2
2026-09-22 04:42:33,759 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 3
2026-09-22 04:42:35,765 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 4
2026-09-22 04:42:36,823 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
2026-09-22 04:42:37,784 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 5
2026-09-22 04:42:39,801 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 6
2026-09-22 04:42:41,819 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 7
2026-09-22 04:42:43,836 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 8
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 9
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): too many JOIN attempts (10): becoming singleton
2026-09-22 04:42:45,903 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-32489(v=16.0.12)|0] (1) [keycloak-0-32489(v=16.0.12)]
2026-09-22 04:42:45,904 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Reloading JGroups Certificate
2026-09-22 04:42:45,954 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-32489`, physical addresses are `[10.42.1.24:7800]`
2026-09-22 04:42:46,303 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-32489, Site name: null, Cluster name: ISPN
2026-09-22 04:42:46,351 INFO [org.keycloak.models.workflow.WorkflowsEventListenerFactory] (executor-thread-1) Workflow runner task scheduled: next execution at 16:42:46, then every PT12H
2026-09-22 04:42:46,822 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
2026-09-22 04:42:46,905 INFO [org.keycloak.services.resources.KeycloakApplication] (executor-thread-1) Bootstrap completed in 21.053000 seconds
2026-09-22 04:43:06,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
[cluster metrics]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
[jgroups_ping]
keycloak-0-32489|10.42.1.24:7800|true
keycloak-1-58832|10.42.0.24:7800|true
[after wait 60s]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 0/1 Running 0 2m5s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 6m38s 10.42.0.24 kc-lab-1 <none> <none>
[k0 recent log]
JAVA_OPTS_KC_HEAP already set in environment; overriding default settings
Changes detected in configuration. Updating the server image.
Updating the configuration and installing your custom providers, if any. Please wait.
2026-09-22 04:42:11,025 WARN [org.keycloak.common.Profile] (build-3) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
2026-09-22 04:42:21,654 INFO [io.quarkus.deployment.QuarkusAugmentor] (main) Quarkus augmentation completed in 13416ms
Server configuration updated and persisted. Run the following command to review the configuration:
kc.sh show-config
Next time you run the server, just add --optimized to the command to ensure this build is used.
2026-09-22 04:42:22,891 INFO [org.keycloak.truststore.TruststoreBuilder] (main) Found the following truststore files in the truststore paths [/var/run/secrets/kubernetes.io/serviceaccount/ca.crt]
2026-09-22 04:42:24,838 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled
2026-09-22 04:42:25,721 INFO [org.hibernate.orm.jdbc.batch] (JPA Startup Thread) HHH100501: Automatic JDBC statement batching enabled (maximum batch size 32)
2026-09-22 04:42:25,850 WARN [org.keycloak.common.Profile] (executor-thread-1) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
2026-09-22 04:42:25,935 INFO [io.quarkus] (main) Keycloak 26.7.0 on JVM (powered by Quarkus 3.33.2.1) started in 4.177s. Listening on: http://0.0.0.0:8080. Management interface listening on http://0.0.0.0:9000.
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Profile prod activated.
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Installed features: [agroal, cdi, hibernate-orm, jdbc-postgresql, keycloak, micrometer, narayana-jta, opentelemetry, rest, rest-jackson, smallrye-context-propagation, smallrye-health, vertx]
2026-09-22 04:42:25,992 INFO [org.keycloak.quarkus.runtime.storage.database.jpa.DatabaseIndexChecker] (db-index-checker) Running database index checker
2026-09-22 04:42:26,881 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups JDBC_PING discovery enabled.
2026-09-22 04:42:26,886 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
2026-09-22 04:42:26,896 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups Encryption enabled (mTLS).
2026-09-22 04:42:27,465 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Starting JGroups certificate reload manager
2026-09-22 04:42:27,585 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller'
2026-09-22 04:42:27,666 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping`
2026-09-22 04:42:27,669 INFO [org.jgroups.JChannel] (executor-thread-1) local_addr: 00000000-0000-0000-0000-00000000000a(v=16.0.12), name: keycloak-0-32489
2026-09-22 04:42:27,682 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800
2026-09-22 04:42:29,721 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 1
2026-09-22 04:42:31,742 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 2
2026-09-22 04:42:33,759 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 3
2026-09-22 04:42:35,765 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 4
2026-09-22 04:42:36,823 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
2026-09-22 04:42:37,784 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 5
2026-09-22 04:42:39,801 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 6
2026-09-22 04:42:41,819 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 7
2026-09-22 04:42:43,836 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 8
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 9
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): too many JOIN attempts (10): becoming singleton
2026-09-22 04:42:45,903 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-32489(v=16.0.12)|0] (1) [keycloak-0-32489(v=16.0.12)]
2026-09-22 04:42:45,904 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Reloading JGroups Certificate
2026-09-22 04:42:45,954 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-32489`, physical addresses are `[10.42.1.24:7800]`
2026-09-22 04:42:46,303 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-32489, Site name: null, Cluster name: ISPN
2026-09-22 04:42:46,351 INFO [org.keycloak.models.workflow.WorkflowsEventListenerFactory] (executor-thread-1) Workflow runner task scheduled: next execution at 16:42:46, then every PT12H
2026-09-22 04:42:46,822 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
2026-09-22 04:42:46,905 INFO [org.keycloak.services.resources.KeycloakApplication] (executor-thread-1) Bootstrap completed in 21.053000 seconds
2026-09-22 04:43:06,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:43:16,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:43:26,825 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:43:26,836 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:43:36,841 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:43:46,835 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:43:56,836 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
2026-09-22 04:44:06,837 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
[cluster metrics]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
[jgroups_ping]
keycloak-0-32489|10.42.1.24:7800|true
keycloak-1-58832|10.42.0.24:7800|true
@@ -0,0 +1,12 @@
=== A1 service visibility while partitioned ===
[pods]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 0/1 Running 0 3m43s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 8m16s 10.42.0.24 kc-lab-1 <none> <none>
[endpointslice]
NAME ADDR READY
keycloak-4fq7q [10.42.0.24],[10.42.1.24] true,false
[lab-host edge https]
code=200
[outside]
code=200
@@ -0,0 +1,6 @@
=== A1 session semantics while partitioned ===
K0=10.42.1.24 K1=10.42.0.24
login_on_keycloak_0=ok access_len=758 refresh_len=612 sid=Vi5Z2jLod1_Q6oGIY72ETNrR
refresh_on_keycloak_1=200 sid_same=yes new_refresh_present=yes error=
logout_on_keycloak_1=204
refresh_after_logout_on_keycloak_0=200 error=
@@ -0,0 +1,16 @@
=== A1 stale session after partitioned logout ===
[db sid]
user_session_id | offline_flag | last_session_refresh
-----------------+--------------+----------------------
(0 rows)
[session cache entries]
[keycloak-0]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-32489"} 1.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-32489"} 1.0
[keycloak-1]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
[cluster]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
@@ -0,0 +1 @@
=== A1 remove policy and watch recovery ===
@@ -0,0 +1,3 @@
=== remove policy ===
2026-09-22 13:47:56 KST remove-policy
networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keycloak-lab namespace
@@ -0,0 +1,71 @@
=== A1 recovery watch ===
--- check 0 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 0/1 Running 0 4m29s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 9m2s 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
jgroups:
keycloak-0-32489|true
keycloak-1-58832|true
--- check 1 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 0/1 Running 0 4m44s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 9m17s 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
jgroups:
keycloak-0-32489|true
keycloak-1-58832|true
--- check 2 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 0/1 Running 0 4m59s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 9m32s 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
jgroups:
keycloak-0-32489|false
keycloak-1-58832|true
--- check 3 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 5m15s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 9m48s 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
jgroups:
keycloak-0-32489|false
keycloak-1-58832|true
--- check 4 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 5m30s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
jgroups:
keycloak-0-32489|false
keycloak-1-58832|true
--- check 5 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 5m46s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
jgroups:
keycloak-0-32489|false
keycloak-1-58832|true
--- check 6 ---
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 6m1s 10.42.1.24 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 <none> <none>
cluster:
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
jgroups:
keycloak-0-32489|false
keycloak-1-58832|true
@@ -0,0 +1,36 @@
=== A1 final cleanup ===
[clear session rows]
DELETE 0
[restart keycloak to clear stale cache]
statefulset.apps/keycloak restarted
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
partitioned roll out complete: 2 new pods have been updated...
[pods]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 31s 10.42.1.25 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 65s 10.42.0.26 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
[networkpolicy]
[db sessions]
0
[cluster/cache]
[keycloak-0]
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-65032"} 0.0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-65032"} 0.0
[keycloak-1]
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-49950"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-49950"} 0.0
[jgroups]
keycloak-0-65032|10.42.1.25:7800|false
keycloak-1-49950|10.42.0.26:7800|true
[outside]
code=200
@@ -0,0 +1,21 @@
=== A2 baseline and token preparation ===
[pods]
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
keycloak-0 1/1 Running 0 2m58s 10.42.1.25 kc-lab-2 <none> <none>
keycloak-1 1/1 Running 0 3m32s 10.42.0.26 kc-lab-1 <none> <none>
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
[cluster]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0
[prepare keycloak-0 session and client id]
k0_session=ready cid_present=yes
[prepare keycloak-1 session]
k1_session=ready
[db sessions]
offline_flag | count
--------------+-------
0 | 2
(1 row)
[service before]
code=200
@@ -0,0 +1,15 @@
=== A2 stop PostgreSQL and probe immediately ===
2026-09-22 13:54:02 KST scale-postgres-0
deployment.apps/postgres scaled
pod/postgres-7b474b88c8-x7th5 condition met
postgres_pods:
deploy:
NAME READY UP-TO-DATE AVAILABLE AGE
postgres 0/0 0 0 20h
[keycloak-0 paths]
existing_refresh_k0=500
admin_session_api_k0=500
jwks_k0=200
well_known_k0=200
[keycloak-1 refresh]
existing_refresh_k1=500
@@ -0,0 +1,2 @@
=== A2 new login while DB is down ===
new_login_exit=1 http=unknown
@@ -0,0 +1,17 @@
=== A2 readiness/service while DB is down ===
[pods]
keycloak-0 false 0 10.42.1.25
keycloak-1 false 0 10.42.0.26
[health keycloak-0]
Error from server (ServiceUnavailable): the server is currently unable to handle the request
[health keycloak-1]
Error from server (ServiceUnavailable): the server is currently unable to handle the request
[endpointslice]
NAME ADDR READY
keycloak-4fq7q [10.42.0.26],[10.42.1.25] false,false
[edge]
code=503
[outside]
code=503
@@ -0,0 +1,69 @@
=== A2 final outage observations ===
[new login raw status]
new_login_http=500
[health direct by temporary curl pod]
[10.42.1.25]
{
"status": "DOWN",
"checks": [
{
"name": "Graceful Shutdown",
"status": "UP"
},
{
"name": "Keycloak database connections async health check",
"status": "DOWN",
"data": {
"Failing since": "2026-09-22 04:52:37,764"
}
},
{
"name": "Keycloak cluster health check",
"status": "UP"
},
{
"name": "Keycloak Initialized",
"status": "UP"
}
]
}
[10.42.0.26]
{
"status": "DOWN",
"checks": [
{
"name": "Graceful Shutdown",
"status": "UP"
},
{
"name": "Keycloak database connections async health check",
"status": "DOWN",
"data": {
"Failing since": "2026-09-22 04:52:33,757"
}
},
{
"name": "Keycloak Initialized",
"status": "UP"
},
{
"name": "Keycloak cluster health check",
"status": "UP"
}
]
}
[prometheus up / readiness metric availability]
[up keycloak snippets]
"value":[1790052878.559
"value":[1790052878.559
"value":[1790052878.559
"value":[1790052878.559
"value":[1790052878.559
"job":"keycloak"
"pod":"keycloak-1"}
"value":[1790052878.559
"job":"keycloak"
"pod":"keycloak-0"}
"value":[1790052878.559
[kube_pod_status_ready]
{"status":"success","data":{"resultType":"vector","result":[]}}
@@ -0,0 +1,8 @@
=== A2 restore PostgreSQL ===
2026-09-22 13:56:08 KST scale-postgres-1
deployment.apps/postgres scaled
Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available...
deployment "postgres" successfully rolled out
2026-09-22 13:56:21 KST postgres-ready
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
postgres-7b474b88c8-rfft2 1/1 Running 0 13s 10.42.1.27 kc-lab-2 <none> <none>
@@ -0,0 +1,18 @@
=== A2 Keycloak self-recovery ===
13:56:37
keycloak-0 true 0
keycloak-1 true 0
edge=200
RECOVERED
[db sessions]
offline_flag | count
--------------+-------
0 | 2
(1 row)
[cluster]
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0
[cleanup tmp]
[outside]
code=200
@@ -0,0 +1,50 @@
=== A3 design precheck ===
[session column types]
column_name | data_type
----------------------+-----------
created_on | integer
last_session_refresh | integer
(2 rows)
[enable statement log]
ALTER SYSTEM
pg_reload_conf
----------------
t
(1 row)
log_statement
---------------
all
(1 row)
[one login via kcadm inside Keycloak]
[login transaction statements]
2026-09-22 04:57:40.645 UTC [48] LOG: statement: BEGIN
2026-09-22 04:57:40.652 UTC [48] LOG: execute S_2: COMMIT
2026-09-22 04:57:40.654 UTC [48] LOG: statement: BEGIN
2026-09-22 04:57:40.658 UTC [48] LOG: execute <unnamed>: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
2026-09-22 04:57:40.658 UTC [48] LOG: execute <unnamed>: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9)
2026-09-22 04:57:40.659 UTC [48] LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
2026-09-22 04:57:40.659 UTC [48] LOG: execute S_2: COMMIT
[disable statement log]
ALTER SYSTEM
pg_reload_conf
----------------
t
(1 row)
log_statement
---------------
all
(1 row)
[WAL settings]
name | setting | unit | source
------------------------+---------+------+---------
commit_delay | 0 | | default
synchronous_commit | on | | default
wal_writer_delay | 200 | ms | default
wal_writer_flush_after | 128 | 8kB | default
(4 rows)
@@ -0,0 +1,29 @@
=== A3 log_statement settle + clean baseline ===
[log_statement after reload settles]
none
[delete session rows]
DELETE 3
[restart Keycloak to clear local caches]
statefulset.apps/keycloak restarted
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
Waiting for 1 pods to be ready...
partitioned roll out complete: 2 new pods have been updated...
[db count]
0
[cache]
[keycloak-0]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-36407"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-36407"} 0.0
[keycloak-1]
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-38371"} 0.0
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-38371"} 0.0
[restart counts]
keycloak-0 0 true
keycloak-1 0 true
postgres-7b474b88c8-rfft2 0 true
@@ -0,0 +1,3 @@
=== A3 kcadm load smoke without token extraction ===
attempts=5 success=5 elapsed_ms=6528
db_online=5
@@ -0,0 +1,4 @@
=== A3 raw login speed smoke ===
attempts=20 success=20
note=end_timestamp_only:1790053298719
db_online=25
@@ -0,0 +1,6 @@
=== A3 attempt1 baseline reset ===
DELETE 25
statefulset.apps/keycloak restarted
db=0
keycloak-0=vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-17240"} 0.0
keycloak-1=vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-54671"} 0.0
@@ -0,0 +1,8 @@
=== A3 attempt1 force delete ===
db_before_delete=200
old_pod=postgres-7b474b88c8-rfft2
2026-09-22 14:03:39.703 KST force-delete
pod "postgres-7b474b88c8-rfft2" force deleted from keycloak-lab namespace
deployment "postgres" successfully rolled out
new_pod=postgres-7b474b88c8-lcvxh
[new postgres startup markers]
@@ -0,0 +1,12 @@
=== A3 attempt1 actual readiness and startup ===
pod/postgres-7b474b88c8-lcvxh condition met
pod=postgres-7b474b88c8-lcvxh
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
postgres-7b474b88c8-lcvxh 1/1 Running 0 17s 10.42.1.30 kc-lab-2 <none> <none>
[startup markers]
2026-09-22 05:02:10.937 UTC [29] LOG: database system was shut down at 2026-09-22 05:02:10 UTC
2026-09-22 05:02:10.946 UTC [1] LOG: database system is ready to accept connections
db_online=200
[keycloak readiness]
keycloak-0 true 0
keycloak-1 true 0
@@ -0,0 +1,3 @@
=== A3 attempt1 concurrent baseline ===
DELETE 200
db=0
@@ -0,0 +1,5 @@
=== A3 attempt1 concurrent force delete ===
db_before=410
14:04:37.098 force-delete
pod "postgres-7b474b88c8-lcvxh" force deleted from keycloak-lab namespace
pod=
@@ -0,0 +1,7 @@
=== A3 attempt1 wait new postgres correctly ===
pod_created=postgres-7b474b88c8-2tqlc after=1 s
pod/postgres-7b474b88c8-2tqlc condition met
[startup]
2026-09-22 05:03:08.501 UTC [29] LOG: database system was shut down at 2026-09-22 05:03:07 UTC
2026-09-22 05:03:08.509 UTC [1] LOG: database system is ready to accept connections
db_online=412
@@ -30,8 +30,8 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API
정문이 `503` 인 동안 `up` 이 양쪽 다 1 이었던 것을 다룬다.
- **readiness 가 깨진 노드를 시야에서 먼저 치운다**
Ready 파드가 0개가 되고 `ready` 주소가 빈 목록이 되는 경로를 다룬다.
- **세션을 공유하는 것이 Infinispan 인지 PostgreSQL 인지 손으로 가른다**
먼저 해 둬야 하는 편이다. 세션을 데이터베이스가 공유한다는 것을 손으로 확인해 두지 않으면 여기서 나오는 `500` 을 해석할 수 없다.
- **세션 캐시와 persistent session store의 경계를 손으로 가른다**
A-0 재검증에서 정상 2노드의 교차 refresh는 반대편 DB 세션 SQL 없이도 성공했다. 여기서는 DB 자체를 내려 **캐시만으로 처리할 수 없는 쓰기 경로가 무엇인지** 확인한다.
- **PostgreSQL 을 진짜로 크래시시키고 잃은 로그인을 센다**
같은 데이터베이스를 SIGKILL 로 죽이는 편이다. 정상 종료가 아무것도 잃지 않는다는 이 편의 결과가 그쪽의 대조군이 된다.
@@ -55,7 +55,7 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API
| 재는 경로 | 넷 — 캐시 있는 노드 refresh · 없는 노드 refresh · 새 로그인 · 관리 API |
| 시간 제약 | access token 수명 60초. 토큰 발급 · 정지 · 시험을 그 안에 끝낸다 |
| 정지 구간 | 1분 남짓. 그동안 정문이 실제로 `503` 이 된다 |
| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 |
| 도구 | `jq`는 없다. 현재 상태는 각 파드의 management endpoint와 `kubectl`을 우선 사용하고, 시계열이 필요할 때만 Prometheus를 본다 |
**공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다.
@@ -130,24 +130,20 @@ echo "$K0 $K1"
### 3. 클러스터가 정상인지 먼저 확인한다
**무엇을 보는가** — 두 노드가 아는 멤버 수.
현재 멤버 수는 Prometheus JSON을 잘라 읽지 않고 각 Keycloak 파드의 metric을 직접 본다.
```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
```bash label="[lab host] 양쪽 cluster size를 직접 확인한다"
for POD in keycloak-0 keycloak-1; do
printf '%s ' "$POD"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_cluster_size'
done
```
라벨을 보고 나서 자른다. 아래 줄은 가이드가 미검증으로 표시했다(unknown).
두 줄 모두 `2.0`이어야 한다. 이 값이 1이거나 한쪽이 비어 있으면 A-2를 시작하지 않는다. DB 장애 효과와 이미 깨진 클러스터 효과가 섞이기 때문이다.
```bash label="[lab host] ② 필요한 줄만 자른다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \
| tr ',' '\n' | grep -E '"pod":|^"[0-9]'
```
**어디를 보나** — 실측은 `cluster_size keycloak-1 = 2`, `cluster_size keycloak-0 = 2` 다(observed).
**이 값이 뜻하는 것** — 여기가 `1` 이면 A-1 의 분단이 안 풀린 것이고, 그 위에서 재면 두 실험이 섞인다.
2026-09-22 재검증 시작 전에도 두 파드 모두 `2.0`이었다.
### 4. 상주 탐침 파드를 띄운다
@@ -167,6 +163,8 @@ kubectl -n keycloak-lab wait --for=condition=Ready pod/a2-probe --timeout=120s
`--rm` 이 없으므로 끝나면 직접 지운다. 지우는 명령은 복구 절에 있다.
이 명령은 lab 편의상 Secret 값을 `kubectl run --env=...`의 프로세스 인자로 잠깐 넘긴다. 셸 히스토리에는 비밀번호 리터럴이 남지 않지만 실행 중인 프로세스 인자에는 노출될 수 있다. 운영 환경에서는 이 형태 대신 Pod manifest의 `secretKeyRef`를 사용한다. 이 문서의 증거에는 비밀번호나 토큰 본문을 남기지 않는다.
비밀번호는 명령 치환으로 넘기므로 값이 터미널에도 셸 히스토리에도 남지 않는다. 존재와 길이만 확인한다.
```bash label="[lab host] ② 비밀번호의 길이만 센다"
@@ -215,28 +213,24 @@ done
### 6. 세션이 각자 노드에만 캐시됐는가
```bash label="[lab host] 노드별 캐시 엔트리"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' \
| tr ',' '\n' | grep -E '"cache":|"pod":|^"[0-9]'
세션을 만든 뒤 각 파드의 로컬 cache entry와 DB row 수를 같이 본다.
```bash label="[lab host] 두 파드의 세션 캐시를 직접 읽는다"
for POD in keycloak-0 keycloak-1; do
echo "[$POD]"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_statistics_approximate_entries_unique' \
| grep -E 'cache="(sessions|clientSessions)"'
done
```
실측은 이렇다(observed, `02-setup-sessions.txt`).
```text
=== [확인] 세션이 각자 노드에만 캐시되었는가 ===
keycloak-1 = 0 건
keycloak-0 = 1 건
```
`keycloak-1` 이 `0` 인 것은 스크레이프 지연 때문이다. 방금 로그인했으므로 다음 15초 스크레이프에서 `1` 이 될 수 있고, 원래 실행 기록에도 「캐시 keycloak-0 = 1 건 / keycloak-1 = 0 건 (스크레이프 지연)」으로 적혀 있다. 판정에 쓰는 값은 양쪽이 다른지가 아니라 `keycloak-0` 이 확실히 가지고 있는지다.
```bash label="[lab host] DB 세션 수도 적어 둔다"
```bash label="[lab host] PostgreSQL에 저장된 online session 수를 센다"
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
-c "select offline_flag, count(*) from offline_user_session group by offline_flag"
-c "select offline_flag, count(*) from offline_user_session group by offline_flag order by offline_flag"
```
실측은 온라인 세션 `2` 다(observed). 복구 후에 세션이 살아남았는지 볼 대조군이므로 적어 둔다.
2026-09-22 재검증에서는 A-2 직전 online session이 `2`건이었다. 이 숫자를 복구 뒤와 비교한다.
### 7. ④ 에 쓸 클라이언트 id 를 미리 뽑는다
@@ -387,7 +381,7 @@ kubectl -n keycloak-lab get pods -o "custom-columns=NAME:.metadata.name,READY:.s
**그 50초 사이의 화면을 보고 「DB 가 없어도 멀쩡하다」로 읽지 않는다.** 이미 500 인데 아직 트래픽에서 안 빠졌을 뿐이다. 이 편이 잡으려는 것도 그 어긋남이다 — 되는 것과 Ready 인 것은 다르다.
`READY` 가 `false` 인데 `RESTARTS` 는 여전히 `0` 이다. 파드는 죽지 않았고 트래픽에서 빠졌을 뿐이다. `RESTARTS` 가 오르고 있으면 liveness 가 실패하는 것이고, 그 상태에서 무엇을 재든 「DB 없는 Keycloak」이 아니라 「재시작 중인 Keycloak」을 재게 된다. 이 `restarts=0` 이 자동 회복이라는 결론을 가능하게 하는 조건이다.
`READY=false`인데 `RESTARTS`가 주입 전보다 늘지 않았다면 프로세스는 살아 있고 트래픽에서만 빠진 것이다. 2026-09-22에는 두 파드가 `false`, restart count는 둘 다 그대로 `0`이었다. restart count가 증가하면 DB 장애 외에 컨테이너 재시작이 섞인 것이므로 별도로 기록한다.
## 관찰
@@ -454,21 +448,7 @@ HTTP 000000{"error":"HTTP 401 Unauthorized"}401
`curl -w '%{http_code}'` 를 쓰면서 `-o /dev/null` 을 빼면 본문이 표준출력으로 같이 나오고, 거기에 `--retry` 까지 걸려 있어 실패한 시도의 `000` 이 앞에 쌓인다. 위 표의 ④ `500` 은 아래 「서명 검증만 필요한 두 경로와 ④」 블록에서 DB 가 아직 내려가 있는 동안 다시 잰 값이다. 첫 측정은 쓰지 않았다 — 오염된 측정은 버리고 다시 잰다.
① 이 `500` 인 것이 이 실험의 답이다. 캐시에 세션을 들고 있어도 refresh 는 실패한다.
```text
refresh 처리
├── 세션이 존재하는가 → 캐시로 답할 수 있다
└── LAST_SESSION_REFRESH 갱신 → DB 쓰기가 필요하다 ← 여기서 죽는다
```
A-0 에서 잡은 SQL 그대로다.
```sql label="A-0 의 문장 로그에서 잡은 갱신 문장"
update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1, VERSION=$2 where ...
```
캐시는 읽기를 대신할 뿐 쓰기를 대신하지 못한다. refresh 는 이름과 달리 쓰기 연산이다.
①의 `500`이 이 실험의 핵심이다. 세션이 메모리 캐시에 있어도 refresh는 DB가 없으면 완료되지 않았다. **여기서 필요한 결론은 특정 SQL 문장을 단정하는 것이 아니라, refresh 처리에 persistent session store 쓰기 경로가 포함된다는 것**이다. A-0의 2026-09-22 정상 클러스터 재검증에서는 반대편 refresh에 별도 세션 SELECT가 없었으므로, 오래된 `UPDATE OFFLINE_USER_SESSION ...` 한 줄을 모든 refresh의 고정 경로처럼 설명하지 않는다.
상태가 필요 없는 경로는 살아남는다. ④ 도 여기서 한 번 더 친다 — 표에 적은 ④ `500` 이 이 블록이 낸 값이다. 셋을 한 블록에 두면 세 경로의 답이 한 화면에 나란히 나온다.
@@ -537,7 +517,7 @@ curl -I --resolve auth.hyeonworks.com:443:192.168.122.10 https://auth.hyeonworks
노드를 몇 대로 늘려도 DB 가 죽으면 전부 같이 죽는다. Keycloak 의 대수는 DB 장애에 아무 도움이 되지 않는다.
헬스 본문이 까닭을 말한다. Keycloak 이미지에는 `curl` 이 없으므로 파드 밖에서 묻는다. 묻는 명령은 관찰용 터미널에서 치는데 `"http://$K0:9000/..."` 는 큰따옴표라 파드 안이 아니라 그 터미널의 셸이 편다. 두 값은 2번에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다.
헬스 본문이 까닭을 말한다. Keycloak 이미지에는 `curl`이 없고, `kubectl get --raw .../pods/<pod>:9000/proxy/...`도 파드가 NotReady인 동안 `ServiceUnavailable`로 실패할 수 있다. 그래서 **임시 curl 파드에서 Pod IP를 직접** 묻는다. 묻는 명령은 관찰용 터미널에서 치는데 `"http://$K0:9000/..."` 는 큰따옴표라 파드 안이 아니라 그 터미널의 셸이 편다. 두 값은 2번에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다.
```bash label="[lab host] 관찰용 터미널에서도 파드 주소를 잡는다"
K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}')
@@ -545,7 +525,7 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
echo "$K0 $K1"
```
DB 가 없어도 이 두 줄은 된다. 파드 주소는 쿠버네티스 API 가 답하고, 주입 검증 3번에서 본 대로 Keycloak 파드는 재시작하지 않았으므로(`RESTARTS 0`) 값도 2번과 같다. 이 두 줄을 건너뛰고 다음 블록을 치면 `curl -s "http://:9000/health/ready"` 가 되어 URL 이 거부되고 빈 출력이 나온다. 전면 장애 한복판이라 그 빈 줄을 「헬스 엔드포인트까지 죽었다」로 읽기 쉬운데, 실제로는 헬스가 응답하고 네 항목 중 하나만 DOWN 이다.
DB가 없어도 이 두 줄은 된다. 파드 주소는 Kubernetes API가 답한다. `RESTARTS`는 절대 0을 요구하지 말고 **주입 전보다 증가했는지** 비교한다. 2026-09-22 재검증에서는 두 파드 모두 주입 전후 `0 → 0`이었다. 이 두 줄을 건너뛰고 다음 블록을 치면 `curl -s "http://:9000/health/ready"` 가 되어 URL 이 거부되고 빈 출력이 나온다. 전면 장애 한복판이라 그 빈 줄을 「헬스 엔드포인트까지 죽었다」로 읽기 쉬운데, 실제로는 헬스가 응답하고 네 항목 중 하나만 DOWN 이다.
```bash label="[lab host] 탐침 파드를 통해 헬스를 묻는다"
kubectl -n keycloak-lab exec a2-probe -- \
@@ -660,7 +640,7 @@ kubectl -n keycloak-lab get pods -o "custom-columns=NAME:.metadata.name,RESTARTS
→ 서비스 복귀
```
②의 실측은 `keycloak-0 0`, `keycloak-1 0` 이다(observed). 주입 검증에서 본 값 그대로다.
restart count는 주입 전 값과 비교한다. 2026-09-22 재검증에서는 둘 다 `0 → 0`으로 변하지 않았다.
2026-09-17 에 다시 재 보니 `scale --replicas=1` 에서 두 파드가 `true` 로 돌아오기까지 **36초**였다(observed). 그 가운데 절반쯤은 PostgreSQL 파드가 뜨는 시간이다.
@@ -674,7 +654,7 @@ deployment "postgres" successfully rolled out
**④ 는 이 시점에 `401` 이 정상이다.** 2026-09-17 실행에서 ①②③ 이 `200` 인데 ④ 만 `401` 이었다(observed). access token 이 60초짜리라 정지 구간을 지나오며 만료됐을 뿐 DB 와는 무관하다. 위 7번의 시계 경고가 이것을 미리 말해 둔다.
**왜 필요한가** — 커넥션 풀이 스스로 재연결하고 readiness 가 다시 UP 이 되면서 Service 에 복귀했다. 회복 시간은 DB Ready 이후 약 15초, Keycloak 재시작은 불필요(`restarts=0`)였다. liveness 는 실패하면 재시작이라 재시작하면 나아지는 문제(교착, 메모리 누수)에 쓰고, readiness 는 실패하면 트래픽에서 격리라 재시작해도 안 나아지는 문제(의존 대상이 죽음)에 쓴다. DB 장애에 liveness 를 걸면 모든 파드가 무한 재시작하고, DB 가 돌아와도 CrashLoopBackOff 의 백오프 때문에 회복이 늦어지며, 재시작하면 캐시까지 날아간다.
**왜 필요한가** — 커넥션 풀이 스스로 재연결하고 readiness가 다시 UP이 되면서 Service에 복귀했다. 2026-09-22에는 PostgreSQL이 13:56:21에 Ready가 된 뒤 13:56:37 확인 시점에 두 Keycloak과 edge가 이미 정상(`Ready=true`, 외부 200)이었다. Keycloak restart count는 증가하지 않았다. liveness 는 실패하면 재시작이라 재시작하면 나아지는 문제(교착, 메모리 누수)에 쓰고, readiness 는 실패하면 트래픽에서 격리라 재시작해도 안 나아지는 문제(의존 대상이 죽음)에 쓴다. DB 장애에 liveness 를 걸면 모든 파드가 무한 재시작하고, DB 가 돌아와도 CrashLoopBackOff 의 백오프 때문에 회복이 늦어지며, 재시작하면 캐시까지 날아간다.
**문제가 생기면** — 계속 `503` 이면 Keycloak 이 아직 재연결 중이다. 15~30초 더 기다리고 재시작하지 않는다.
@@ -691,16 +671,16 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
```
**예상 결과** — 실측은 `online 세션 5` 다(observed). 주입 전에 적어 둔 값보다 크거나 같다. 실험 중에 로그인을 여러 번 했으므로 늘어나 있다.
**예상 결과** — 2026-09-22 재검증은 주입 전 `2`, 복구 후 `2`였다. 정상 종료 구간에서 새 로그인은 `500`으로 실패했으므로 이번 회차에는 세션 수가 늘 이유도 없었다.
**왜 필요한가** — 세션은 DB 에 있으므로 DB 가 돌아오면 같이 돌아오고, 정상 종료였기 때문에 하나도 잃지 않았다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다.
**왜 필요한가** — 주입 전후 동일한 `2`건이 남아 정상 종료 자체가 저장된 세션 행을 잃지 않았음을 확인했다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다.
**문제가 생기면** — 세션 수가 주입 전보다 적으면 이 실험 밖에서 누가 지운 것이다. A-3 의 정리 단계가 돌았는지 본다.
| 항목 | 명령 | 돌아왔을 때 |
|---|---|---|
| DB | `kubectl -n keycloak-lab get deploy postgres` | `1/1` |
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running`, `RESTARTS 0` |
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running`, restart count가 주입 전과 동일 |
| Service | `kubectl -n keycloak-lab get endpointslice -l kubernetes.io/service-name=keycloak` | ready 주소 **둘** |
| 헬스 | `exec a2-probe -- curl -s "http://$K0:9000/health/ready"` | 전체 `UP` |
| 클러스터 | `vendor_cluster_size` | 양쪽 `2` |
@@ -718,6 +698,7 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
| DB 를 내렸는데 몇 초 만에 돌아온다 | **`delete pod` 를 썼다.** Deployment 가 새로 만든다 | `scale --replicas=0` |
| ④ 가 `401` 이다 | **access token 이 만료됐다** (수명 60초) | 토큰 발급 → 정지 → 시험을 60초 안에 |
| `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 탐침 파드로 치거나 Prometheus 에 묻는다 |
| 컨테이너 안 원라이너에서 `awk: command not found` | 현재 Keycloak 이미지에는 `awk`도 없다 | `sed`, shell built-in처럼 실제 존재를 확인한 도구만 쓰거나 계산을 lab host에서 한다 |
| 파드 셸에 다시 들어갔더니 변수가 없다 | `exec` 세션이 끝나면 셸 변수는 사라진다 | 셸을 붙잡고 있는다. 터미널 두 개 |
| `kubectl get endpoints` 가 경고를 찍는다 | v1.33 부터 deprecated | `get endpointslice -l kubernetes.io/service-name=...` |
| `up` 이 1 이라 정상인 줄 알았다 | **`up` 은 스크레이프 성공만 말한다** | readiness 와 외부 코드를 본다 |
@@ -728,10 +709,22 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
## 무엇이 관측이고 무엇이 아닌가
2026-09-22 현재 lab에서 A-2를 다시 실행했다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a2-*.txt`에 있다.
- (observed, 2026-09-22) 주입 전 Keycloak 두 파드 Ready, cluster size `2/2`, online session `2`, 정문 `200`.
- (observed, 2026-09-22) PostgreSQL을 `replicas=0`으로 내린 직후 두 파드의 기존 refresh가 모두 `500`, 새 login `500`, admin session API `500`, JWKS와 `.well-known`은 `200`.
- (observed, 2026-09-22) 두 Keycloak은 restart count 증가 없이 `Ready=false`, EndpointSlice `false,false`, edge와 외부 응답은 `503`.
- (observed, 2026-09-22) 직접 Pod IP의 `/health/ready`를 보면 전체 `DOWN`, `database connections async health check`만 `DOWN`, cluster health와 initialized는 `UP`.
- (observed, 2026-09-22) `kube_pod_status_ready` Prometheus query는 여전히 빈 배열이다.
- (observed, 2026-09-22) PostgreSQL은 13:56:21 KST에 Ready가 됐고 13:56:37 확인 시 두 Keycloak은 재시작 없이 Ready, edge/외부 `200`, online session은 주입 전과 같은 `2`, cluster size `2/2`.
- (command finding) 현재 Keycloak 26.7.0 이미지에는 `curl`, `wget`뿐 아니라 `awk`도 없다. 컨테이너 내부 명령은 일반적인 userland를 가정하지 않는다.
아래 2026-09-04/17 숫자는 과거 실행 기록이다. 날짜가 다른 값은 현재 불변값처럼 섞지 않는다.
이 절차의 숫자는 `2026-09-04 11:53–11:58 KST` 에 돈 한 번의 실행에서 나왔다(observed).
- (observed) 정지 `11:56:04`·재기동 `11:57:09`, 네 경로 전부 `500`, JWKS 와 `.well-known` 이 `200`, `ready : []`, 정문 `503`, 헬스 네 항목 중 `database connections` 만 DOWN, `up` 이 양쪽 `1`, `kube_pod_status_ready` 결과가 빈 배열, `restarts=0`, 복구 세션 `5`, 비밀번호 길이 `19`.
- (unknown) `tr ',' '\n' | grep -E` 로 자른 Prometheus 출력 셋과 `CID` 를 뽑는 줄. 가이드가 미검증으로 표시했다.
- (changed) 현재값 판정에 Prometheus JSON을 `tr`/`grep`으로 자르는 형태는 쓰지 않는다. CID 자체는 2026-09-22에 `kcadm`으로 확인했고, 문서의 curl 기반 CID 추출 원라이너는 별도 검증하지 않았다.
- 한 번은 버린 측정이 있다 — ④ 의 첫 측정 `HTTP 000000{"error":"HTTP 401 Unauthorized"}401` 은 `-o /dev/null` 을 빼고 `--retry` 를 걸어 나온 오염된 값이라 쓰지 않았다. 표의 `500` 은 DB 가 내려가 있는 동안 서명 검증 경로와 함께 다시 잰 값이다.
- ④ 를 언제 다시 쟀는지를 원본과 다르게 적었다(unknown). 원본 가이드는 그 `500` 을 「복구 절에서 다시 잰 값」이라고 쓰는데 복구 절에는 ④ 를 다시 재는 명령이 없고, DB 가 선 뒤에 재면 `500` 이 나올 수 없다. 증거 파일 `04-health-and-service.txt` 의 「④ 다시」 절은 정문 `503` · `ready : []` 와 같은 묶음에 들어 있어 정지 구간에 찍혔다. 그래서 이 기록은 재측정을 관찰 절에 넣었고, 원본이 「복구 절」이라고 쓴 것이 무엇을 가리키는지는 확인하지 못했다.
- 말할 수 있는 범위가 여기까지인 것이 하나 있다 — JWKS 가 살아 있으므로 「이미 JWKS 를 캐시한 리소스 서버는 토큰 검증을 계속할 수 있다」는 이론이고, 이 실험대에 독립 리소스 서버가 없어 확인하지 못했다. B층에서 확인한다.
@@ -137,7 +137,7 @@ kubectl get nodes
kubectl -n keycloak-lab get pods -o wide
```
**어디를 보나** — `READY` 가 둘 다 `1/1`, `RESTARTS` 가 `0`, 그리고 `NODE` 열이 서로 다른지. `postgres` 가 어느 노드에 있는지도 적어 둔다.
**어디를 보나** — `READY` 가 둘 다 `1/1`이고 `NODE` 열이 서로 다른지. `RESTARTS` 는 이전 VM 재부팅이나 컨테이너 재시작 이력 때문에 0이 아닐 수 있으므로, 여기서는 전제 조건으로 쓰지 않는다. `postgres` 가 어느 노드에 있는지도 적어 둔다.
**이 값이 뜻하는 것** — 두 Keycloak 파드가 같은 노드에 있으면 이 실험은 성립하지 않는다. 원래 실행에서는 `keycloak-0` 이 `kc-lab-2`, `keycloak-1` 이 `kc-lab-1` 이었다(observed). 파드 번호와 노드 번호가 어긋나므로 이름만 보고 짐작하지 않는다. `postgres` 의 위치는 A-2 와 A-3 에서 쓴다.
@@ -165,12 +165,27 @@ echo "$K0 $K1"
**무엇을 보는가** — 두 노드가 서로를 멤버로 세고 있는지.
```bash label="[lab host] 양쪽 로그에서 마지막 클러스터 뷰 한 줄씩"
kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1
kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1
로그는 사건 기록이다. 일반 view는 `ISPN000094`, 분리됐다 다시 합쳐진 merge view는 `ISPN000093`으로 남을 수 있으므로 둘을 함께 본다.
```bash label="[lab host] 양쪽 로그에서 최근 cluster view 이벤트를 본다"
kubectl -n keycloak-lab logs keycloak-0 | grep -E 'ISPN000093|ISPN000094' | tail -5
kubectl -n keycloak-lab logs keycloak-1 | grep -E 'ISPN000093|ISPN000094' | tail -5
```
**어디를 보나** — 괄호 안의 멤버 수. 실측은 이렇다(observed).
현재 멤버 수는 로그의 마지막 `ISPN000094` 한 줄로 판정하지 않는다. 2026-09-22 재검증에서는 두 파드가 잠시 각각 `(1)`이 된 뒤 `ISPN000093: MERGED ... (2)`로 합쳐졌기 때문에 `grep ISPN000094 | tail -1`만 치면 현재 클러스터를 1노드로 오판했다. 현재 상태는 각 파드가 내보내는 `vendor_cluster_size`로 바로 확인한다.
```bash label="[lab host] 각 Keycloak 파드가 현재 몇 멤버를 보는지 확인한다"
for POD in keycloak-0 keycloak-1; do
echo "[$POD]"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_cluster_size'
done
```
두 줄 모두 마지막 값이 `2.0`이어야 한다. `kubectl get --raw`는 API server를 통해 파드의 management port `9000`을 읽기 때문에 별도 `curl` 파드를 띄우지 않아도 된다.
**어디를 보나** — 로그에서는 가장 최근 view 이벤트의 괄호 안 멤버 수를 보고, 현재 상태는 `vendor_cluster_size` 두 줄을 기준으로 판정한다. 과거 실측은 이렇다(observed).
```text
2026-09-04 00:52:09,294 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)]
@@ -185,7 +200,7 @@ kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1
└─ 뷰 ID (바뀔 때마다 1 증가)
```
**이 값이 뜻하는 것** — 멤버가 2 다. 이 줄이 증명하는 범위는 거기까지이고, 멤버가 둘이라는 것과 세션이 오간다는 것은 다른 말이다.
**이 값이 뜻하는 것** — 멤버가 2 다. 이 줄이 증명하는 범위는 거기까지이고, 멤버가 둘이라는 것과 세션이 오간다는 것은 다른 말이다. 2026-09-22 재검증에서도 두 파드의 `vendor_cluster_size`가 모두 `2.0`으로 확인됐다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt`와 `a0-03-vendor-cluster-size.txt`다.
### 4. 디스커버리 테이블을 본다
@@ -236,26 +251,25 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
### 6. 노드별 캐시 엔트리를 밖에서 묻는다
**무엇을 보는가** — 이 실험의 주 계기인 캐시 엔트리 수.
**무엇을 보는가** — 각 Keycloak 파드가 자기 로컬 메모리에 들고 있는 `sessions`·`clientSessions` 엔트리 수.
Keycloak 컨테이너에는 `curl` 도 `wget` 도 없어 `exec` 로 물으면 `exit 127` 이 난다. Prometheus 가 15초마다 이미 긁고 있으므로 밖에서 묻는 쪽이 짧다.
Keycloak 컨테이너 자체에는 `curl`·`wget`이 없다. 그렇다고 Prometheus API JSON을 `tr`과 `grep`으로 잘라 읽을 필요도 없다. Kubernetes API server가 파드의 management port `9000`을 프록시할 수 있으므로, 파드별 `/metrics`를 직접 읽는 편이 짧고 무엇을 재는지도 더 분명하다.
```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique'
```bash label="[lab host] 두 Keycloak 파드의 세션 캐시 엔트리를 직접 읽는다"
for POD in keycloak-0 keycloak-1; do
echo "[$POD]"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_statistics_approximate_entries_unique' \
| grep -E 'cache="(sessions|clientSessions)"'
done
```
처음 한 번은 자르지 않고 그대로 본다. 어떤 라벨이 붙어 있는지 알아야 다음부터 무엇으로 거를지 정할 수 있다. 라벨을 보고 나면 읽기 좋게 자른다 — 아래 줄은 가이드가 미검증으로 표시했다(unknown).
**어디를 보나** — 각 줄 끝의 숫자다. `cache="sessions"`와 `cache="clientSessions"`를 구분해서 본다.
```bash label="[lab host] ② 라벨을 보고 나서 필요한 줄만 자른다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' \
| tr ',' '\n' | grep -E '"cache":|"pod":|^"[0-9]'
```
**왜 이 명령이 더 낫나** — Prometheus scrape 주기를 기다리지 않고 현재 파드 값을 바로 읽는다. JSON 구조를 억지로 잘라내는 `wget → tr → grep` 파이프도 없어 초보자가 어느 단계에서 값이 사라졌는지 추적하기 쉽다.
**어디를 보나** — `cache` 가 `sessions` 인 두 줄과 그 값.
**이 값이 뜻하는 것** — `clientSessions`·`work` 같은 다른 캐시도 같이 나오므로 `cache` 라벨을 반드시 확인한다. 중괄호를 URL 에 그대로 넣으면 `wget` 이 싫어할 수 있어 쿼리에 라벨 필터를 걸지 않고 받은 뒤에 거른다.
2026-09-22 재검증에서 초기화 직후 두 파드의 `sessions`·`clientSessions`가 모두 `0.0`이었다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt`다.
### 7. 탐침을 무엇으로 할지 정한다
@@ -366,7 +380,7 @@ kubectl -n keycloak-lab run kc-probe --rm -it --restart=Never \
--command -- sh
```
셸에서 `exit` 하면 `--rm` 이 파드를 지운다. 비밀번호는 명령 치환으로 넘기므로 값이 터미널에도 셸 히스토리에도 남지 않는다. 존재와 길이만 밖에서 확인한다.
셸에서 `exit` 하면 `--rm` 이 파드를 지운다. 명령 치환식 자체만 셸 히스토리에 남고 비밀번호 리터럴은 히스토리에 남지 않는다. 다만 실행 중인 `kubectl` 프로세스 인자에는 값이 잠깐 들어갈 수 있으므로 이 형태는 전용 lab에서만 쓴다. 운영 환경에서는 `secretKeyRef`처럼 Secret을 프로세스 인자로 꺼내지 않는 방식을 쓴다. 화면에는 값 대신 존재와 길이만 확인한다.
```bash label="[lab host] 비밀번호의 길이만 센다"
kubectl -n keycloak-lab get secret keycloak-lab-secrets \
@@ -529,49 +543,33 @@ curl -s -w '\n%{http_code}\n' -X POST "http://$K0:8080$TOK" \
이 `400` 을 적어 둔다. A-1 에서 7800 을 막으면 같은 곳이 `200` 으로 바뀌고, 그것이 A-1 의 결론이다.
### 시험 0b — 복제인가, 같은 DB 를 본 것인가
### 시험 0b — 로그인한 노드의 엔트리가 반대편에도 복제되는가
로그인 한 번을 사이에 두고 양쪽 노드의 캐시 계수기를 잰다. 복제라면 반대편도 같이 늘고, 같은 DB 를 보는 것뿐이라면 반대편은 안 움직인다. 전값을 재고, `keycloak-0` 에만 로그인 한 번을 넣고, 30초 기다렸다가 후값을 같은 명령으로 잰다.
이 시험은 **로컬 엔트리 소유권**을 본다. 여기서 반대편 파드의 엔트리가 늘지 않았다고 해서 곧바로 "반대편은 DB를 읽는다"고 결론 내리면 안 된다. `owners=1`인 분산 캐시는 요청을 받은 노드가 owner가 아니어도 클러스터 통신으로 owner의 엔트리를 사용할 수 있기 때문이다. 실제 읽기 경로는 0d에서 SQL 로그와 함께 판정한다.
```sh label="[탐침 파드] 발급 노드에만 로그인 한 번을 넣고 나간다"
먼저 §6 명령으로 양쪽 `sessions` 값을 적어 둔다. 그다음 `keycloak-0`에 로그인 한 번만 넣는다.
```sh label="[탐침 파드] keycloak-0 에 로그인 한 번을 넣는다"
curl -s -o /dev/null -w '%{http_code}\n' -X POST \
"http://$K0:8080/realms/master/protocol/openid-connect/token" \
-d grant_type=password -d client_id=admin-cli \
-d username=admin -d "password=$PW"
exit
```
실측은 이렇다(observed, `02-cache-delta.txt`).
다시 §6 명령으로 같은 값을 읽는다. direct metrics라 Prometheus scrape를 기다릴 필요가 없다.
2026-09-22 재검증 결과는 이랬다(observed).
```text
=== keycloak-0 (로그인을 받은 노드) ===
계수기 캐시 전 후 증가
rpc.replication_count clientSessions 1 1 +0
rpc.replication_count sessions 1 1 +0
approximate_entries_unique clientSessions 1 2 +1 ←
approximate_entries_unique sessions 1 2 +1 ←
hits clientSessions 2 2 +0
hits sessions 2 2 +0
misses clientSessions 2 3 +1 ←
misses sessions 3 4 +1 ←
stores clientSessions 2 3 +1 ←
stores sessions 2 3 +1 ←
=== keycloak-1 (아무 요청도 받지 않은 노드) ===
계수기 캐시 전 후 증가
rpc.replication_count clientSessions 7 7 +0
rpc.replication_count sessions 7 7 +0
approximate_entries_unique clientSessions 0 0 +0
approximate_entries_unique sessions 0 0 +0
hits clientSessions 4 4 +0
hits sessions 4 4 +0
misses clientSessions 0 0 +0
misses sessions 0 0 +0
stores clientSessions 1 1 +0
stores sessions 1 1 +0
전 후
keycloak-0 sessions 1.0 2.0
keycloak-1 sessions 0.0 0.0
DB online rows 1 2
```
`keycloak-1` 열이 전부 `+0` 이다. 엔트리도 0, 저장도 0 이고 `keycloak-1` 의 `sessions` 엔트리는 처음부터 끝까지 0 이다. `rpc.replication_count` 가 `1`·`7` 로 0 이 아닌 것에 속으면 안 된다 — 이 계수기는 세션 캐시만의 것이 아니라 클러스터가 다른 용무로 주고받은 것까지 센다. 판정은 증가분이 0 이라는 것으로 한다.
로그인을 받은 `keycloak-0`만 `+1`, 요청을 받지 않은 `keycloak-1`은 `+0`이었다. 따라서 **세션 엔트리를 두 노드에 완전 복제하는 구조는 아니다.** 다만 이 숫자만으로 반대편 요청이 DB로 가는지, owner 노드로 원격 조회되는지는 알 수 없다. 그 구분은 0d의 실제 SQL이 한다.
증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt`다.
### 시험 0c — 엔트리는 어느 노드에 있는가
@@ -597,7 +595,7 @@ for i in 1 2 3 4 5; do
done; echo
```
30초 기다렸다가 관찰용 터미널에서 엔트리를 잰다. 「주입 전에」 §6 의 `tr`·`grep` 형태를 그대로 쓰고, `cache":"sessions"` 인 두 줄의 값을 적어 둔다. 스크레이프 간격이 15초라 바로 물으면 옛 값이 나온다.
로그인 직후 §6의 direct metrics 명령으로 `sessions` 값을 다시 읽는다. 이 값은 파드의 management endpoint를 직접 읽으므로 Prometheus scrape 15초를 기다리지 않는다.
그다음 같은 루프를 `$K1` 만 `$K0` 로 바꿔 한 번 더 친다. 원 가이드는 이 두 번째 루프를 「`$K1` 을 `$K0` 로 바꿔 5회 더」라고 문장으로만 적었다.
@@ -610,22 +608,16 @@ for i in 1 2 3 4 5; do
done; echo
```
30초 기다렸다 같은 방법으로 다시 잰다. 실측은 이렇다(observed, `03-cache-ownership.txt`).
같은 방법으로 다시 잰다. 2026-09-22 재검증에서도 기존 기록과 같은 대각선 모양이 나왔다(observed).
```text
keycloak-0 = 10.42.1.43 (kc-lab-2)
keycloak-1 = 10.42.0.35 (kc-lab-1)
단계 k0 entries k1 entries
시작 2.0 0.0
keycloak-1 에 로그인 5회 2.0 5.0
keycloak-0 에 로그인 5회 7.0 5.0
=== 대조: PostgreSQL 에는 몇 건인가 ===
online 세션 12
단계 k0 entries k1 entries DB online
시작 2.0 0.0 2
keycloak-1 에 로그인 5회 2.0 5.0 7
keycloak-0 에 로그인 5회 7.0 5.0 12
```
대각선이다. 한 번에 한 쪽만 늘고, `7 + 5 = 12` 로 DB 총계와 맞으므로 어느 엔트리도 두 번 세어지지 않았다.
대각선이다. 한 번에 로그인 요청을 받은 쪽의 로컬 엔트리만 늘고, `7 + 5 = 12`로 DB 총계와 맞았다. 이것은 `owners=1`의 로컬 소유권 분포를 보여 준다. 반대편 노드가 이 세션을 사용할 때 어느 저장 경로를 거치는지는 이 표만으로 정하지 않는다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt`다.
```bash label="[lab host] DB 총계를 센다"
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
@@ -678,113 +670,75 @@ curl -s -o /dev/null -w '%{http_code}\n' -X POST "http://$K1:8080$TOK" \
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT"
```
실측은 이렇다(observed).
2026-09-22 재검증에서는 요청 자체는 성공했지만, **예전 문서와 SQL 경로가 달랐다.**
```text
=== 요청 ===
SID=jSt9GEPVQLJsO-1CeJjVgltg
K1_ENTRIES_BEFORE=5.0
REFRESH_ON_K1=200
K1_ENTRIES_AFTER=5.0
SID=0jdhDrcu6VUaGIFCjWzNXDs2
refresh_on_keycloak_1=200
```
`%h` 가 남긴 IP 로 걸러 `keycloak-1` 이 보낸 것만 본다. 거르는 명령은 관찰용 터미널에서 치는데 거기에는 `K0`·`K1` 이 없다. 두 값은 「주입 검증」에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다.
먼저 현재 파드 IP를 다시 잡는다.
```bash label="[lab host] 관찰용 터미널에서도 파드 IP 를 잡는다"
```bash label="[lab host] PostgreSQL 로그를 파드 IP와 sid로 나눠 볼 준비"
K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}')
K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
echo "$K0 $K1"
```
두 값이 「주입 검증」에서 본 것과 같아야 한다. 이 두 줄을 건너뛰고 다음 블록을 치면 `grep "$K1"` 이 `grep ""` 가 되어 모든 줄이 통과하므로, 두 파드가 날린 문장을 `keycloak-1` 만 걸러 낸 것으로 읽게 되고 뒤에서 세는 건수도 양쪽이 같은 값으로 나온다. 화면에는 아무 경고도 안 뜬다.
그다음 refresh를 받은 `keycloak-1`의 세션 SQL을 찾는다.
```bash label="[lab host] 반대편 노드가 날린 문장만 추린다"
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
| grep "$K1" | grep 'LOG: execute'
```bash label="[lab host] 반대편 노드의 세션 테이블 SQL만 찾는다"
kubectl -n keycloak-lab logs deploy/postgres --since=2m \
| grep "$K1" \
| grep -E 'OFFLINE_USER_SESSION|OFFLINE_CLIENT_SESSION'
```
:::warning
2026-09-22 재검증에서는 **출력이 없었다.** 같은 시간대 `keycloak-1` 주소에는 `JGROUPS_PING`의 `DELETE/INSERT/SELECT`만 있었고, 방금 만든 sid가 들어간 `OFFLINE_*_SESSION` 질의는 없었다.
**요청을 보내자마자 이 명령을 치면 한 줄도 안 나온다.** 이 트랜잭션은 마지막에서 두 번째 문장이 `SET LOCAL synchronous_commit TO OFF` 라 커밋이 미뤄지고, 로그 줄도 그만큼 늦게 나온다. 2026-09-17 에 요청 직후에 쳤더니 `keycloak-1` 쪽에서는 디스커버리 질의 한 줄만 나왔고, 같은 필터를 몇 초 뒤에 다시 치니 아래 여덟 줄이 다 나왔다(observed). **그 첫 화면을 그대로 읽으면 「반대편은 DB 를 안 읽었다 = 복제였다」는 정반대 결론이 나온다.** 몇 초 기다렸다 친다.
sid 자체로 한 번 더 확인한다.
:::
```bash label="[lab host] 이번 로그인 sid가 어느 DB 연결에서 보였는지 찾는다"
kubectl -n keycloak-lab logs deploy/postgres --since=2m \
| grep '{{SID}}'
```
실측은 이렇다(observed, `04-read-path-sql.txt`).
현재 실측에서는 sid 관련 SQL이 모두 `keycloak-0` 주소에서 나왔다. 로그인 시 `OFFLINE_USER_SESSION`·`OFFLINE_CLIENT_SESSION`을 조회하고 새 행을 넣었으며, 마지막에는 `SET LOCAL synchronous_commit TO OFF` 뒤 `COMMIT`했다. 반면 `keycloak-1` refresh는 `200`인데 그 sid의 DB SQL은 만들지 않았다.
```text
select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,...,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
select puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where puse1_0.USER_SESSION_ID=$1 and puse1_0.OFFLINE_FLAG=$2 for no key update of puse1_0 skip locked
select pcse1_0.CLIENT_ID,...,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (...) in (($1,$2,$3,$4,$5))
select pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where ... for no key update of pcse1_0 skip locked
update OFFLINE_CLIENT_SESSION set TIMESTAMP=$1,VERSION=$2 where CLIENT_ID=$3 and ... and VERSION=$8
update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1,VERSION=$2 where OFFLINE_FLAG=$3 and USER_SESSION_ID=$4 and VERSION=$5
keycloak-0 login
SELECT OFFLINE_USER_SESSION
SELECT OFFLINE_CLIENT_SESSION
INSERT OFFLINE_USER_SESSION
INSERT OFFLINE_CLIENT_SESSION
SET LOCAL synchronous_commit TO OFF
COMMIT
keycloak-1 refresh
HTTP 200
sid 관련 OFFLINE_*_SESSION SQL 없음
```
`keycloak-1` 은 세션을 DB 에서 읽고 DB 에 쓴다. 파라미터는 `DETAIL` 줄에 있다. sid 는 ③ 이 `SID=` 로 화면에 찍은 값을 옮겨 넣는다 — 그 변수는 탐침 파드 안에만 있어서 `[lab host]` 셸에서는 `$SID` 가 빈 문자열이다. 로그인할 때마다 새로 생기는 값이기도 하다.
```bash label="[lab host] 그 sid 가 들어간 줄만 앞에서 120자씩 본다"
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
| grep '{{SID}}' | cut -c1-120
```
이 실험대의 값은 `jSt9GEPVQLJsO-1CeJjVgltg` 였다(observed).
실측은 이렇다(observed).
따라서 현재 환경에서 확인된 경로는 다음처럼 읽는 것이 맞다.
```text
2026-09-04 01:12:32.851 UTC [81407] [keycloak-0] DETAIL: parameters: $1 = '0', $2 = 'jSt9GEPVQLJsO-1CeJjVgltg'
...
2026-09-04 01:12:34.934 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '0', $2 = 'jSt9GEPVQLJsO-1CeJjVgltg'
2026-09-04 01:12:34.936 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = 'jSt9GEPVQLJsO-1CeJjVgltg', $2 = '0'
2026-09-04 01:12:34.944 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '1788484354', $2 = '1', $3 = '131a9912-...', ...
2026-09-04 01:12:34.946 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '1788484354', $2 = '1', $3 = '0', $4 = 'jSt9GEPVQLJsO-1CeJjVgltg', $5 = '0'
keycloak-1 이 요청을 받음
↓
자기 로컬 sessions 엔트리는 없음
↓
Infinispan/JGroups 분산 캐시를 통해 owner 엔트리를 사용 가능
↓
이번 refresh에서는 PostgreSQL 세션 행을 직접 읽지 않음
```
증거 파일에는 IP 대신 `[keycloak-0]` `[keycloak-1]` 이 적혀 있다. 원래 실행 스크립트가 `sed` 로 IP 를 파드 이름으로 바꿔 놓은 것이고, 따라 하는 화면에는 `10.42.0.35` 같은 IP 가 그대로 나온다. pid 도 본다 — `81407` 은 `keycloak-0` 의 연결, `81376` 은 `keycloak-1` 의 연결이며 pid 가 트랜잭션의 경계를 가른다.
중요한 점은 **"로컬 캐시에 없다"와 "DB에서 읽는다" 사이에 등호를 놓으면 안 된다는 것**이다. PostgreSQL은 persistent user session의 저장소지만, 살아 있는 2노드 클러스터에서 모든 교차 노드 요청이 DB를 다시 읽는 것은 아니다. DB fallback이나 재적재 경로는 캐시 miss, 노드 상실, 재시작 같은 조건을 따로 주입해 확인해야 한다.
이 갱신 트랜잭션은 `01:12:34.934` 의 `BEGIN` 에서 `01:12:34.947` 의 `COMMIT` 까지 13밀리초다. `BEGIN` 과 `COMMIT` 은 sid 를 파라미터로 달지 않아서 위 `grep` 에 안 걸린다. 그래서 화면에 남는 마지막 줄이 `.946` 이고, 거기까지만 세면 12 가 나온다. 경계 두 줄은 같은 pid `81376` 연결에서 나왔고, 실험 기록에 `pid=… |` 꼴로 옮겨 적힌 것으로만 남아 있다(observed). 자기 화면에서 그 둘을 보려면 sid 필터를 빼고 로그에 찍힌 그 pid 로 다시 거른다. 원 가이드에는 그 명령이 없어서 2026-09-17 에 만들어 쳐 봤다(observed).
2026-09-04의 옛 실험 기록에는 반대편 노드가 `OFFLINE_*_SESSION`을 SELECT/UPDATE한 흔적이 있었다. 그 값은 당시 관측으로 남기되 **현재 Keycloak 26.7.0 실험대의 불변 동작으로 일반화하지 않는다.** 이번 재검증 증거는 다음 파일에 있다.
```bash label="[lab host] 그 pid 의 트랜잭션 경계만 본다"
kubectl -n keycloak-lab logs deploy/postgres --since=5m \
| grep '{{PID}}' | grep -E 'BEGIN|COMMIT|synchronous_commit'
```
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt`
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt`
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt`
`{{PID}}` 는 위 `DETAIL` 줄의 대괄호 안 숫자다 — 그 실험대에서는 `[915]` 였다. 같은 pid 의 `BEGIN` 과 `COMMIT` 사이에 여덟 문장이 들어 있는 것이 보인다. 그 두 줄이 하는 일은 트랜잭션의 경계를 긋는 것이다. 뒤에 나오는 `SET LOCAL synchronous_commit TO OFF` 가 같은 트랜잭션 안에서 `COMMIT` 직전에 나왔다는 판정이 거기서 나오고, 원 가이드는 그 확인을 「pid 로 경계를 확인했다」로 적는다.
파드별 질의 건수는 미검증 형태로 센다(unknown). 여기서도 sid 는 ③ 이 찍은 자기 값이다.
```bash label="[lab host] 두 파드가 각각 몇 줄을 날렸는지 센다"
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
| grep '{{SID}}' | grep -c "$K0"
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
| grep '{{SID}}' | grep -c "$K1"
```
실측은 `6 [keycloak-1]` 과 `6 [keycloak-0]` 이다(observed). sid 하나에 대해 `keycloak-0` 이 6건(로그인), `keycloak-1` 이 6건(갱신)을 날렸다.
위 실측의 `K1_ENTRIES_BEFORE=5.0` 과 `K1_ENTRIES_AFTER=5.0` 이 같다. `keycloak-1` 은 남의 세션을 DB 에서 읽어 처리하고도 캐시에 담지 않았다. 캐시에 담기는 것은 그 노드가 로그인시켜 만든 세션뿐이고 남의 세션은 매번 DB 에서 읽는다. 세션 어피니티가 정확성이 아니라 성능 문제인 까닭이 여기 있다.
같은 로그에 jdbc-ping 하트비트도 보인다(observed).
```text
01:12:37.551 pid=81369 | BEGIN
01:12:37.551 pid=81369 | DELETE from JGROUPS_PING WHERE address=$1
01:12:37.552 pid=81369 | INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values (...)
01:12:37.553 pid=81369 | COMMIT
```
디스커버리는 별도 연결(pid 가 다르다)에서 주기적으로 자기 행을 지우고 다시 넣는다. 디스커버리와 트랜스포트가 다른 경로라는 것이 로그에서 눈으로 확인되고, A-1 이 그 둘을 갈라 끊는다.
13밀리초짜리 그 트랜잭션에는 셋이 들어 있었다. 낙관적 락(`VERSION` 컬럼), `FOR NO KEY UPDATE ... SKIP LOCKED`, 그리고 `SET LOCAL synchronous_commit TO OFF` 다. 전역 설정은 다르다.
```bash label="[lab host] 전역 설정을 읽는다"
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
-c "show synchronous_commit"
```
전역은 `on` 이고 Keycloak 이 세션 트랜잭션에만 `SET LOCAL` 로 끈다. `SET LOCAL` 은 그 트랜잭션이 끝나면 되돌아간다. PostgreSQL 이 갑자기 죽으면 직전 수백 밀리초의 세션 쓰기가 사라질 수 있고, A-3 이 그 숫자를 잰다.
전역 `synchronous_commit`은 여전히 `on`이었고, `keycloak-0`이 로그인 세션을 저장하는 트랜잭션에서만 `SET LOCAL synchronous_commit TO OFF`가 관측됐다. `SET LOCAL`은 해당 트랜잭션이 끝나면 되돌아간다. A-3에서 DB crash 직전 쓰기 손실을 볼 때는 **실제로 어떤 요청이 이 구문을 실행했는지 SQL 로그로 같이 묶어** 해석한다.
여기까지가 탐침 파드에서 칠 것의 마지막이다. 파드 셸을 붙잡고 있던 터미널에서 나온다. 나가지 않으면 `--rm` 이 파드를 안 지우고 원상복구 확인표의 `kc-probe` 줄이 `NotFound` 가 아니게 된다.
@@ -852,10 +806,10 @@ kubectl -n keycloak-lab rollout status statefulset/keycloak --timeout=300s
| 항목 | 명령 | 돌아왔을 때 |
|---|---|---|
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running` |
| 클러스터 뷰 | `kubectl -n keycloak-lab logs keycloak-0 \| grep ISPN000094 \| tail -1` | 멤버 `(2)` |
| 클러스터 크기 | 각 파드의 `/metrics`에서 `vendor_cluster_size` 확인 | 두 줄 모두 `2.0` |
| 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** |
| DB 세션 | `psql -c "select count(*) from offline_user_session"` | `0` |
| 캐시 | `vendor_statistics_approximate_entries_unique` | `sessions` 두 줄 다 `0` |
| 캐시 | §6의 direct metrics 명령 | `sessions`·`clientSessions` 모두 `0.0` |
| 문장 로깅 | `psql -c "show log_statement"` | `none` |
| 탐침 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) |
| 밖 | `curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` |
@@ -879,7 +833,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
| `userinfo` 가 양쪽 다 `403` | **`openid` scope 가 없다.** 복제와 무관 | 본문의 `insufficient_scope` |
| 세션 개수가 계속 어긋난다 | **관리 API 호출도 세션을 만든다** | 개수 말고 **sid** 로 본다 |
| 캐시 합계와 DB 총계가 안 맞는다 | **DB 만 지우고 파드를 재시작 안 했다** | `rollout restart statefulset/keycloak` |
| 로그인했는데 지표가 안 움직인다 | Prometheus 스크레이프는 15초 간격 | 30초 기다렸다 다시 |
| 로그인했는데 지표가 안 움직인다 | 다른 캐시 라벨을 보고 있거나 요청이 실패했다 | §6 direct metrics에서 `sessions` 라벨과 로그인 HTTP 상태를 같이 본다 |
| `rpc.replication_count` 가 0 이 아니라 당황 | 세션 캐시만의 계수기가 아니다 | 절대값이 아니라 **증가분**으로 본다 |
| `CID` 가 엉뚱한 값이다 | `sed` 의 `.*` 가 탐욕적이라 **마지막** `"id"` 를 잡는다 | `tr ',' '\n' \| grep -m1 '"id"'` |
| 문장 로깅을 켰는데 SQL 이 안 보인다 | `pg_reload_conf()` 를 안 했다 | `show log_statement` 가 `all` 인지 |
@@ -888,6 +842,16 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
## 무엇이 관측이고 무엇이 아닌가
2026-09-22에는 Keycloak 26.7.0 환경에서 이 절차를 다시 실행했다. 현재 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-*.txt`에 있다.
- (observed, 2026-09-22) 양쪽 `vendor_cluster_size=2.0`, 교차 노드 refresh `200`, 같은 sid 유지, 반대편 logout `204`, 그 뒤 원래 노드 refresh `400 invalid_grant`.
- (observed, 2026-09-22) 로컬 cache ownership은 `2/0 → 2/5 → 7/5`, DB online row는 `2 → 7 → 12`였다.
- (changed, 2026-09-22) 반대편 refresh가 성공했지만 그 파드 주소에서 해당 sid의 `OFFLINE_USER_SESSION`/`OFFLINE_CLIENT_SESSION` SQL은 나오지 않았다. 옛 기록의 "반대편은 매번 DB를 읽는다"는 설명은 현재 동작으로 일반화하지 않는다.
- (observed, 2026-09-22) 로그인한 owner 쪽에서는 `OFFLINE_*_SESSION` SELECT/INSERT와 `SET LOCAL synchronous_commit TO OFF`가 확인됐다.
- (observed, 2026-09-22) 정리 후 DB 세션 0, 두 파드 캐시 0, cluster size 2, `log_statement=none`, 외부 realm HTTP 200으로 돌아왔다. 증거는 `a0-15-cleanup.txt`다.
아래 항목은 과거 실행에서 얻은 값이다. 날짜가 다른 관측을 현재 불변 동작으로 섞지 않는다.
이 절차의 숫자는 `2026-09-04 09:52–10:14 KST` 에 돈 한 번의 실행에서 나왔다(observed).
- (observed) 파드 IP `10.42.1.43`·`10.42.0.35`, 뷰 ID `5` 와 멤버 `(2)`, `jgroups_ping` 의 `coord = t` 하나, 캐시 델타 전량, `7 + 5 = 12`, `keycloak-1` 이 날린 SQL 여덟 줄, pid `81407`/`81376`, 비밀번호 길이 `19`.
@@ -896,7 +860,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
- (observed) 같은 날 새로 드러난 것 — 요청 직후에 로그를 거르면 반대편 문장이 한 줄도 안 나온다는 것, pid 로 거르면 `BEGIN`~`COMMIT` 경계가 보인다는 것, 토큰 길이가 `612자`·`758자` 로 원래 실행과 다르다는 것.
- (unknown) 파드별 질의 건수를 세는 두 줄은 이번에도 그대로 치지 않았다. 원래 실행은 스크립트로 했다.
- 트랜잭션 경계 시각 `01:12:34.934` 와 `01:12:34.947` 은 실험 기록 한 벌에만 있다. `04-read-path-sql.txt` 에 보존된 것은 sid 가 걸린 `DETAIL` 줄과 시각 없는 문장 목록이라 타임스탬프가 붙은 `BEGIN`/`COMMIT` 이 없다. 그래서 13밀리초를 증거 원문으로 다시 확인할 수는 없다.
- 캐시 설정은 파일에서 읽을 수 없다. `cache-ispn.xml` 에는 `<transport/>` 뿐이고, 「세션은 DB 로 공유된다」는 판정은 설정을 읽어서가 아니라 동작을 측정해서 얻었다.
- 캐시 설정은 파일에서 완전히 읽을 수 없다. `cache-ispn.xml`에는 `<transport/>`만 보이고 런타임 분산 캐시 동작은 지표·SQL·장애 주입을 함께 봐야 한다. 과거의 「세션은 DB로 공유된다」 단일 판정은 2026-09-22 재검증 결과로 수정됐다.
- 스크립트를 안 쓰는 까닭도 측정 실패에서 나왔다(observed). `kubectl run --rm -i ... | grep` 로 받았더니 중간 조각이 통째로 사라져 `keycloak-1` 의 스냅샷과 다음 마커가 함께 없어졌고, 전값이 0 으로 잡히면서 가짜 델타가 만들어졌다. 그때 리포트는 `keycloak-1` 이 `+9`, `+7` 증가한 것처럼 보였다 — 없는 복제가 있는 것처럼 보이는 오류다. 다른 하나는 중첩 인용이다. `ssh host '... $VAR ...'` 안에 다시 `sh -c "..."` 를 넣으면 인용이 세 겹이 되어 치환이 조용히 깨졌고, 첫 시도에서 파드 IP 가 빈 문자열이 되어 아무 출력도 나오지 않았다.
<!-- body:end -->
@@ -47,7 +47,7 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800
**원 가이드는 이 명령들을 `kc-lab-1` 에서 치라고 적었다.** 기반 가이드가 세운 실험대에서는 그 기계에 kubeconfig 가 없어서 `sudo` 없는 `kubectl` 이 `permission denied` 로 막힌다 — kubeconfig 는 lab host 의 `~/.kube/config` 에만 있다(2026-09-17 에 양쪽에서 쳐서 확인했다, observed). 그래서 `kubectl` 블록의 기계 이름을 `[lab host]` 로 적었고, 노드 자체를 건드리는 명령에만 게스트 셸을 쓴다.
주입에 쓰는 매니페스트 경로 `deploy/lab/k8s/a1-block-jgroups-transport.yaml` 는 저장소 상대경로다. 체크아웃을 `kc-lab-1` 의 어디에 뒀는지는 원 가이드에 없고 거기로 옮기는 명령도 없으므로(unknown), 이 상대경로가 그대로 통하는 디렉터리에서 시작한다. 다른 디렉터리에서 치면 `cat` 도 `kubectl apply` 도 파일을 못 찾고 끝난다.
주입에 쓰는 매니페스트 경로 `deploy/lab/k8s/a1-block-jgroups-transport.yaml`는 저장소 상대경로다. 현재 lab host에는 원본 저장소가 `~/workspace/keycloak-pattern`에 있으므로 먼저 `cd ~/workspace/keycloak-pattern`로 이동한다. 다른 디렉터리에서 치면 `cat`과 `kubectl apply`가 파일을 못 찾고 끝난다.
터미널은 둘을 연다. 하나는 임시 curl 파드용, 하나는 관찰용이다. 그래서 `[lab host]` 라벨이 붙은 블록이 `[탐침 파드]` 블록 사이에 끼어 있으면 **관찰용 터미널에서 친다** — 파드 셸을 나가라는 뜻이 아니다. 나가라고 할 때는 `exit` 를 블록으로 따로 적는다.
@@ -59,13 +59,13 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800
| 탐침 파드 | `kc-probe` — `curlimages/curl:8.11.1`, `--rm -it`, `--restart=Never` |
| 분단 판정 | `jgroups_ping` 의 `coord = t` 가 두 줄 |
| 걸리는 시간 | 전 구간 약 30분 |
| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 |
| 도구 | `jq`는 없다. 현재 상태는 Prometheus JSON을 자르지 않고 각 Keycloak 파드의 `/metrics`를 `kubectl get --raw`로 직접 읽는다 |
**공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다.
## 이 실험이 가르는 것
A-0 은 세션이 Infinispan 복제가 아니라 PostgreSQL 로 공유된다고 측정했다. Keycloak 24 이전 자료는 세션이 7800 으로 복제된다고 말한다. 통념은 7800 을 막으면 세션 공유가 깨진다고 예측하고 A-0 모델은 안 깨진다고 예측하므로, 7800 만 끊어 보면 둘 중 어느 쪽이 틀렸는지 판정된다.
A-0 재검증에서는 `owners=1`인 분산 캐시와 PostgreSQL persistent session store가 함께 동작했다. 정상 2노드 상태의 교차 refresh는 반대편 노드에서 세션 SQL 없이도 성공했으므로, "로컬 캐시에 없으면 DB에서 읽는다"는 단순 모델은 버렸다. A-1은 7800을 끊었을 때 **원격 owner 접근과 캐시 무효화가 어떻게 달라지는지**를 직접 본다.
끊을 때 두 가지를 갈라야 한다.
@@ -95,7 +95,7 @@ kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
차단 후에 볼 것을 차단 전에 똑같은 명령으로 먼저 봐 둔다. 시험군만 재는 측정은 측정이 아니다.
```text
노드 → 파드 → 정책 → 클러스터 뷰(로그) → 디스커버리(DB) → 지표(Prometheus) → 대조군 시험
노드 → 파드 → 정책 → 현재 cluster metric → 디스커버리(DB) → 최근 cluster event → 대조군 시험
```
### 1. 두 파드가 서로 다른 노드에 있는가
@@ -116,9 +116,7 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
echo "$K0 $K1"
```
**어디를 보나** — `READY` 가 둘 다 `1/1`, `RESTARTS` 가 `0`, `NODE` 열이 서로 다른지. 실측은 `10.42.1.43 10.42.0.35` 였다(observed).
**이 값이 뜻하는 것** — `RESTARTS` 는 뒤에서 다시 센다. 이 값이 오르면 주입이 엉뚱한 곳을 건드렸다.
**어디를 보나** — `READY`가 둘 다 `1/1`이고 `NODE` 열이 서로 다른지. `RESTARTS`는 이전 VM 재부팅 같은 이력 때문에 0이 아닐 수 있으므로 숫자를 적어 두고 **주입 전후에 증가했는지** 비교한다. 파드 IP도 이 시점의 값을 적는다.
### 2. 기존 정책이 없는가
@@ -136,23 +134,30 @@ No resources found in keycloak-lab namespace.
**이 값이 뜻하는 것** — NetworkPolicy 는 합집합으로 허용되므로 두 개가 겹치면 무엇이 열려 있는지 한눈에 안 보인다.
### 3. 양쪽 클러스터 뷰가 같은 줄인가
### 3. 양쪽이 현재 같은 2노드 클러스터를 보는가
**무엇을 보는가** — 두 노드가 같은 멤버 목록을 찍고 있는지.
로그의 마지막 `ISPN000094` 한 줄은 현재 상태가 아닐 수 있다. A-0 재검증에서 `(1)` 로그 뒤에 `ISPN000093: MERGED ... (2)`가 생겨 `grep ISPN000094 | tail -1`만 보면 현재를 잘못 판정했다. 현재 멤버 수는 각 파드의 metric으로 읽는다.
```bash label="[lab host] 양쪽 로그에서 마지막 클러스터 뷰 한 줄씩"
kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1
kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1
```bash label="[lab host] 두 Keycloak 파드가 현재 세는 멤버 수"
for POD in keycloak-0 keycloak-1; do
echo "[$POD]"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_cluster_size'
done
```
**어디를 보나** — 두 줄이 완전히 같은지. 실측은 이렇다(observed).
두 줄 모두 마지막 값이 `2.0`이어야 한다. 로그는 원인을 볼 때만 최근 cluster event를 함께 본다.
```text
keycloak-0: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)]
keycloak-1: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)]
```bash label="[lab host] 최근 cluster view 이벤트"
for POD in keycloak-0 keycloak-1; do
echo "[$POD]"
kubectl -n keycloak-lab logs "$POD" \
| grep -E 'ISPN000093|ISPN000094' | tail -5
done
```
**이 값이 뜻하는 것** — `keycloak-0-30843` 의 뒤 숫자는 JGroups 가 붙인 것이고 파드가 재시작되면 바뀐다. 나중에 `keycloak-0-26403` 이 나오면 같은 파드의 새 인스턴스다.
2026-09-22 A-1 시작 전에도 두 파드의 `vendor_cluster_size`는 모두 `2.0`이었다.
### 4. 디스커버리 테이블에 둘 다 등록돼 있는가
@@ -175,44 +180,22 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
**이 값이 뜻하는 것** — 여기서 셋이 서로 다른 것을 말한다. 로그는 그때 그렇게 보였다는 기록이고, 테이블은 지금 등록되어 있다는 것이며, 지표는 지금 그 노드가 그렇게 안다는 것이다. A-1 에서 이 셋이 갈린다.
### 5. 두 노드가 아는 멤버 수를 지표로 본다
### 5. 현재값은 파드에서 직접 읽고, 시계열이 필요할 때만 Prometheus를 쓴다
**무엇을 보는가** — 각 노드가 스스로 세는 클러스터 크기.
A-1 판정에 필요한 현재 cluster size는 3번과 같은 direct metric 명령으로 본다. 이 방식은 Prometheus scrape 주기를 기다리지 않고 JSON을 `tr`·`grep`으로 잘라낼 필요도 없다.
```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
```bash label="[lab host] 현재 cluster size를 직접 읽는다"
for POD in keycloak-0 keycloak-1; do
printf '%s ' "$POD"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_cluster_size'
done
```
라벨을 보고 나면 읽기 좋게 자른다. 아래 두 줄은 가이드가 미검증으로 표시했고(unknown), 둘째 줄은 `jq` 가 깔려 있는 환경용이라 이 실험대에서는 쓸 수 없다.
**어디를 보나** — 두 파드 모두 `2.0`. 분단 뒤에는 둘 다 `1.0`이 된다.
```bash label="[lab host] ② 라벨을 보고 나서 필요한 줄만 자른다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \
| tr ',' '\n' | grep -E '"pod":|^"[0-9]'
```
```bash label="[lab host] ③ jq 가 있는 환경이라면 이 형태 — 이 실험대에는 jq 가 없다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \
| jq -r '.data.result[] | "\(.metric.pod) \(.metric.node) \(.value[1])"'
```
**어디를 보나** — 결과가 두 줄이고 값이 둘 다 `2` 인지. 한 노드만 보면 분단을 놓친다. 분단되면 한쪽만 1 이 되는 경로가 있다.
JGroups 카운터도 지금 0 인 것을 봐 둔다.
```bash label="[lab host] 병합 이벤트 계수기"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_jgroups_merge3_get_num_merge_events'
```
실측은 이렇다(observed, `02-control-before-block.txt`).
```text
vendor_jgroups_merge3_get_num_merge_events 0.0 (양쪽 노드)
vendor_jgroups_fd_sock2_get_num_suspected_members 0.0 (양쪽 노드)
```
Prometheus는 "언제 2에서 1로 바뀌었는가" 같은 시계열을 뒤에서 대조할 때만 쓴다. `jq`가 없는 이 실험대에서 현재값 하나를 보기 위해 JSON을 잘라내지는 않는다.
### 6. 대조군 시험을 차단 전에 한 번 돌린다
@@ -297,7 +280,8 @@ exit
**목적** — 8080 과 9000 은 열어 둔 채 7800 으로 오는 새 연결만 막는다.
```bash label="[lab host] ① 매니페스트를 먼저 읽는다"
```bash label="[lab host] ① 원본 저장소로 이동해 매니페스트를 먼저 읽는다"
cd ~/workspace/keycloak-pattern
cat deploy/lab/k8s/a1-block-jgroups-transport.yaml
```
@@ -321,7 +305,7 @@ spec:
# 7800 is absent on purpose. That is the whole experiment.
```
① 에서 이 매니페스트를 못 찾으면 파일을 직접 만든다. 같은 경로를 에디터로 열어 위 열다섯 줄을 그대로 넣고 저장한다. `printf` 나 `cat <<EOF` 로 찍어 내지 않는다. 주입 검증에서 `describe` 로 대조할 것이 이 줄들이고, 덧붙이는 형태로 쓰면 같은 절차를 두 번 밟았을 때 파일에 같은 내용이 두 벌 쌓인다. 파일을 여는 명령은 원 가이드에 없다(unknown).
①에서 파일이 안 보이면 먼저 `pwd`와 `git status --short`로 `~/workspace/keycloak-pattern` 체크아웃이 맞는지 확인한다. 이 실험은 저장소에 있는 canonical 매니페스트를 검증하는 것이므로, 파일이 없다고 즉석에서 새 매니페스트를 만들어 진행하지 않는다.
매니페스트 안에 `metadata.namespace` 가 `keycloak-lab` 으로 적혀 있다. ② 의 `apply` 에는 `-n` 이 없으니 네임스페이스는 이 줄이 정한다. 손으로 옮겨 적다 이 줄을 빠뜨리면 정책이 `default` 네임스페이스에 걸린다. 거기에는 `app=keycloak` 인 파드가 없으니 정책은 만들어지는데 아무 파드도 안 잡힌다.
@@ -358,7 +342,7 @@ kubectl -n keycloak-lab describe networkpolicy a1-block-jgroups-transport
kubectl -n keycloak-lab get pods -o wide | grep keycloak
```
실측은 `keycloak-0 ready=true restarts=0`, `keycloak-1 ready=true restarts=0` 이다(observed). `RESTARTS` 가 여전히 0 이면 9000 을 제대로 열어 뒀다는 뜻이다.
두 파드가 계속 Ready인지와 `RESTARTS`가 **주입 전보다 증가하지 않았는지**를 본다. 2026-09-22에는 8080/9000은 `200`, 7800은 `curl exit=7`이었고 정책 적용 직후 cluster size는 여전히 `2/2`였다.
### 2. 열어 둔 포트는 살아 있고 막은 포트는 죽었는가
@@ -392,8 +376,12 @@ exit
### 3. 그런데 클러스터가 안 깨졌다
```bash label="[lab host] 두 노드가 아는 멤버 수를 다시 본다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
for POD in keycloak-0 keycloak-1; do
printf '%s ' "$POD"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_cluster_size'
done
```
실측은 이렇다(observed, `07-cluster-size.txt`).
@@ -449,8 +437,24 @@ sudo conntrack -L 2>/dev/null | grep 7800
:::
```bash label="[lab host] 없으면 먼저 깐다"
sudo apt install -y conntrack
```bash label="[kc-lab-1] 없으면 이 게스트에 먼저 설치한다"
sudo apt-get update
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y conntrack
```
`kc-lab-2`에도 별도로 설치한다. 패키지는 노드마다 따로 설치된다.
```bash label="[lab host] 반대편 게스트에도 설치한다"
ssh kc-lab-2
```
```bash label="[kc-lab-2] conntrack 설치"
sudo apt-get update
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y conntrack
```
```bash label="[kc-lab-2] lab host로 돌아온다"
exit
```
깔고 나면 문서가 적은 두 줄이 그대로 나온다(2026-09-17, observed).
@@ -466,7 +470,7 @@ tcp 6 85885 ESTABLISHED src=10.42.0.13 dst=10.42.1.7 sport=38439 dport=5780
sudo grep 7800 /proc/net/nf_conntrack
```
반대편 노드는 붙어서 친다. 아래 세 줄 형태는 이 실험대에서 치지 않았다(unknown) — 원래 실행은 `ssh kc-lab-2 'sudo conntrack -L 2>/dev/null | grep 7800'` 한 줄로 쳤고, 한 줄에 원격 접속과 원격 셸의 인용을 겹쳐 놓는 대신 행동 하나를 명령 하나로 나눴다.
반대편 노드도 같은 방식으로 직접 들어가서 본다. 2026-09-22 재검증에서는 두 게스트에 `conntrack 1.4.7`을 설치하고 각각의 표에서 7800과 57800 ESTABLISHED 튜플을 확인했다.
```bash label="[lab host] ① 반대편 노드에 붙는다"
ssh kc-lab-2
@@ -584,7 +588,7 @@ kubectl -n observability exec deploy/prometheus -- \
keycloak-1: ... 11:43:57=2 11:44:27=1 11:44:57=1 ... 11:47:27=1
```
양쪽 다 1 이다. 서로를 멤버로 안 세고 있고, 로그가 까닭을 말한다.
양쪽 다 1이면 서로를 멤버로 세지 않는 상태다. 2026-09-22에는 `keycloak-0` 재생성 직후 약 20초 동안 management endpoint와 `JGROUPS_PING` 등록 자체가 아직 준비되지 않았고, 10번의 JOIN timeout 뒤 singleton이 된 다음에야 `cluster_size=1`과 coordinator 2개가 함께 보였다. **파드 생성 직후의 빈 값은 분단 판정이 아니라 아직 startup 중이라는 뜻**이다. 로그가 그 순서를 설명한다.
```bash label="[lab host] 합류 시도와 클러스터 뷰를 한 번에 본다"
kubectl -n keycloak-lab logs keycloak-0 | grep -E "GMS|ISPN000094" | tail -20
@@ -634,7 +638,7 @@ zsh: no matches found: custom-columns=NAME:.metadata.name,READY:.status.containe
실측은 `keycloak-0 false 0`, `keycloak-1 true 0` 이다(observed, `11-service-impact.txt`). 2026-09-17 에도 같은 두 줄이 나왔다(observed).
**그 `false` 는 파드를 지우자마자 나오지 않는다.** readiness 프로브가 `periodSeconds: 10` · `failureThreshold: 3` 이라 헬스가 먼저 `503` 이 되고 그로부터 최대 30초 뒤에 조건이 뒤집힌다. 2026-09-17 에 지운 지 60초 시점에는 헬스가 이미 `503` 인데 파드는 아직 `1/1 Ready=True` 였다(observed). **그 시점 화면만 보고 「분단이 서비스에 안 잡혔다」로 읽지 않는다** — 1~2분 두고 다시 본다.
**그 `false`는 즉시 나오지 않는다.** startup → singleton 형성 → cluster health DOWN → readiness 반영 순서로 시간이 걸린다. 2026-09-22에도 새 `keycloak-0`이 먼저 singleton `cluster_size=1`이 된 뒤 잠시 `1/1`로 보였다가 결국 `0/1`로 빠졌다. **한 순간의 Ready 값만 보지 말고 cluster metric과 health를 같이 본다.**
까닭은 헬스 본문에 있다.
@@ -701,7 +705,7 @@ curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.1
curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: auth.hyeonworks.com' http://192.168.122.10/realms/master
```
실측은 정문이 `HTTP 200`, 토큰 발급도 `HTTP 200` 이다(observed). 분단된 노드가 스스로 로드밸런서에서 빠졌고 서비스는 계속됐다. liveness 였다면 재시작을 반복했을 텐데 재시작해도 안 나아지는 문제이므로 readiness 로 격리하는 쪽이 맞는 신호다. 다만 비대칭이라서 살았다 — `keycloak-1` 은 멤버가 하나 줄어든 정상적인 사건이라 Ready 를 유지했고, `keycloak-0` 은 합류 자체를 못 해 DOWN 이 됐다. 양쪽이 동시에 DOWN 이 되는 경로가 있다면 전면 장애이고, 그것이 A-5 의 주제다.
실측은 정문이 `HTTP 200`, 토큰 발급도 `HTTP 200` 이다(observed). 분단된 노드가 스스로 로드밸런서에서 빠졌고 서비스는 계속됐다. readiness가 내려가면 Service endpoint에서 제외되지만 컨테이너를 재시작하지는 않는다. 이 장애는 재시작보다 트래픽 격리가 필요한 상태라 readiness 신호가 맞다. 다만 비대칭이라서 살았다 — `keycloak-1` 은 멤버가 하나 줄어든 정상적인 사건이라 Ready 를 유지했고, `keycloak-0` 은 합류 자체를 못 해 DOWN 이 됐다. 양쪽이 동시에 DOWN 이 되는 경로가 있다면 전면 장애이고, 그것이 A-5 의 주제다.
본 시험은 Service 를 쓰면 안 된다. `keycloak-0` 이 NotReady 라 Service 로 보내면 전부 `keycloak-1` 로 간다. 새 주소로 임시 파드를 다시 띄우고 파드 주소로 직접 친다.
@@ -775,7 +779,7 @@ exit
[4] keycloak-0 에서 재갱신 시도 HTTP 200 ← 400 이어야 했다
```
[2] 에서 세션 공유는 예측이 맞았다. 클러스터가 갈라졌는데도 한쪽에서 만든 세션을 반대쪽이 갱신했으니 세션은 7800 으로 다니지 않는다. [4] 에서 로그아웃 전파는 예측이 틀렸다. 대조군에서 400 이던 곳이 200 이다.
[2]에서 반대편 refresh `200`은 **분단 상태에서도 PostgreSQL에 남은 persistent session을 이용해 세션을 재적재할 수 있음**을 보여 준다. A-0 정상 클러스터에서는 같은 교차 refresh가 DB 세션 SQL 없이 성공했으므로, "세션은 항상 DB로 읽힌다"고 일반화하지 않는다. [4]에서는 로그아웃 무효화가 분단을 건너지 못해 대조군 `400 invalid_grant`와 달리 `200`이 나왔다.
[4] 의 200 이 로그아웃이 아예 안 됐다는 뜻인지 확인한다. sid 는 [1] 에서 JWT payload 를 풀어 화면에 찍고 적어 둔 그 값이다. 로그인할 때마다 새로 생기므로 자기 실행의 값을 넣는다.
@@ -795,9 +799,14 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
(0 rows) ← DB 행은 삭제되었다
```
```bash label="[lab host] 세션 캐시 엔트리를 노드별로 본다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique{cache="sessions"}'
```bash label="[lab host] 세션 캐시 엔트리를 노드별로 직접 본다"
for POD in keycloak-0 keycloak-1; do
echo "[$POD]"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_statistics_approximate_entries_unique' \
| grep -E 'cache="(sessions|clientSessions)"'
done
```
실측은 `keycloak-1 kc-lab-1 = 0`, `keycloak-0 kc-lab-2 = 1` 이다(observed). 캐시에는 그 세션이 있다.
@@ -812,7 +821,7 @@ kubectl -n observability exec deploy/prometheus -- \
keycloak-0 은 자기 캐시로 200 을 준다 ◀────────────┘
```
룩어사이드 캐시는 읽을 때 DB 와 대조하지 않는다. 세션 조회는 PostgreSQL 을 타고 세션 무효화는 클러스터 메시지(7800)를 타므로, 7800 을 막으면 조회는 정상이고 무효화만 전파되지 않는다. 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다.
캐시의 stale 엔트리는 매 요청마다 DB와 대조되지 않았다. 이번 분단에서는 K1이 persistent session을 이용해 refresh를 처리하고 DB 행을 삭제했지만, K0의 기존 cache entry 무효화는 7800 분단을 건너지 못했다. 따라서 **정상 클러스터의 원격 owner 경로와 분단 뒤 DB 재적재/fallback 경로를 같은 것으로 설명하지 않는다.** 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다.
## 복구와 원상복구 확인표
@@ -825,9 +834,13 @@ date '+%H:%M:%S 해제'
kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
```
```bash label="[lab host] ② 30초 간격으로 멤버 수를 몇 번 친다"
kubectl -n observability exec deploy/prometheus -- \
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
```bash label="[lab host] ② 15~30초 간격으로 두 파드의 현재 멤버 수를 본다"
for POD in keycloak-0 keycloak-1; do
printf '%s ' "$POD"
kubectl -n keycloak-lab get --raw \
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
| grep '^vendor_cluster_size'
done
```
**예상 결과** — 실측은 이렇다(observed, `12-recovery.txt`).
@@ -843,7 +856,7 @@ networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keyclo
+90초 keycloak-0=2 keycloak-1=2 ← 재형성
```
**왜 필요한가** — 90초 만에 자동으로 다시 붙었고 사람 손이 필요 없었다. 누가 붙였는지는 카운터가 말한다.
**왜 필요한가** — 재형성은 즉시가 아니다. 2026-09-04에는 약 90초가 걸렸지만, 2026-09-22에는 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 회복됐고, `keycloak-0` readiness는 그 뒤 약 15초 더 지나 `true`로 돌아왔다. **cluster merge와 Service endpoint 복귀를 같은 시각으로 가정하지 않는다.**
**문제가 생기면** — 2~3분이 지나도 1 이면 MERGE3 주기 밖이거나 정책이 안 지워진 것이므로 `get networkpolicy` 부터 본다.
@@ -876,7 +889,7 @@ kubectl -n observability exec deploy/prometheus -- \
| 정책 | `kubectl -n keycloak-lab get networkpolicy` | `No resources found` |
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running` |
| Service | `kubectl -n keycloak-lab get endpointslice -l kubernetes.io/service-name=keycloak` | ready 주소 **둘** |
| 클러스터 뷰 | `kubectl -n keycloak-lab logs keycloak-0 \| grep ISPN000094 \| tail -1` | 멤버 `(2)`, 양쪽 동일 |
| 클러스터 현재값 | 각 파드 `/metrics`의 `vendor_cluster_size` | 양쪽 `2.0` |
| 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** |
| 지표 | `vendor_cluster_size` | 양쪽 `2` |
| 임시 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) |
@@ -891,7 +904,7 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시
| 정책을 걸었는데 지표가 안 변한다 | conntrack 의 ESTABLISHED 가 먼저 통과시킨다 | `sudo conntrack -L 2>/dev/null \| grep 7800` |
| `conntrack -D` 가 `0 flow entries` | 튜플이 틀렸다. `--dport` 만으로는 0건 | `-L` 출력의 src/dst/sport/dport 를 **그대로** 옮긴다 |
| conntrack 을 지웠는데도 계속 2 | **이 실험은 그것만으로 분단되는지 판정 못 했다** | 정책이 걸린 채 파드를 재시작한다 |
| 파드가 재시작을 반복한다 (`RESTARTS` 증가) | **9000 을 안 열었다.** readiness 실패 → kubelet 이 죽인다 | `describe pod` 의 Events. 매니페스트에 9000 이 있는지 |
| 파드가 `0/1`로 빠진다 | 9000 접근 실패 또는 Keycloak readiness DOWN | `describe pod`와 `/health/ready`; **readiness 실패 자체는 컨테이너를 재시작하지 않는다** |
| `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 임시 curl 파드를 띄우거나 Prometheus 에 묻는다 |
| refresh 가 계속 `keycloak-1` 로만 간다 | Service 로 보냈다. NotReady 파드는 빠진다 | **파드 IP 로 직접** |
| 재시작 뒤 아무 데도 안 닿는다 | **파드 IP 가 바뀌었다** (`10.42.1.43 → 10.42.1.67`) | `get pod -o jsonpath='{.status.podIP}'` 다시 |
@@ -902,12 +915,22 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시
## 무엇이 관측이고 무엇이 아닌가
2026-09-22에는 Keycloak 26.7.0 현재 lab에서 A-1을 다시 처음부터 실행했다. 현재 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a1-*.txt`에 있다.
- (observed, 2026-09-22) 정책 적용 후 8080·9000은 `200`, 7800은 `curl exit=7`이었지만 기존 JGroups connection 때문에 cluster size는 `2/2`였다.
- (observed, 2026-09-22) 두 게스트의 conntrack에 7800·57800 `ESTABLISHED [ASSURED]`가 있었고 정확한 튜플을 양쪽에서 지워도 약 40초 동안 cluster size `2/2`가 유지됐다.
- (observed, 2026-09-22) 정책을 둔 채 `keycloak-0`을 재생성하자 JOIN이 10번 timeout된 뒤 singleton이 됐고, 이후 양쪽 `cluster_size=1`, `JGROUPS_PING coord=true` 두 줄이 됐다.
- (observed, 2026-09-22) 분단된 `keycloak-0`은 결국 `0/1`이 되어 EndpointSlice에서 `ready=false`, `keycloak-1`만 `ready=true`였으며 edge와 외부 realm은 계속 `200`이었다.
- (observed, 2026-09-22) 분단 중 K0 로그인 → K1 refresh `200` → K1 logout `204` → K0 refresh `200`. DB sid 행은 0건인데 K0 cache는 `sessions=1`, `clientSessions=1`이었다.
- (observed, 2026-09-22) 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 돌아왔고, 약 15초 뒤 K0 readiness도 회복됐다. 마지막으로 세션 행을 비우고 StatefulSet을 재시작해 cache 0, DB session 0, cluster 2/2, 외부 `200`으로 정리했다.
아래 2026-09-04/17 값은 과거 실행 기록이다. 현재 재검증값과 날짜를 섞지 않는다.
이 절차의 숫자는 `2026-09-04 11:38–11:52 KST` 에 돈 한 번의 실행에서 나왔다(observed).
- (observed) 차단 `11:38:08`·재시작 `11:46:07`·해제 `11:49:58`, 25분 내내 2 이던 `vendor_cluster_size`, `/proc/net/tcp6` 의 `01`, conntrack 네 줄, `coord = t` 가 둘, 분단 중 교차 refresh `200` 과 로그아웃 후 `200`, DB 행 0 과 캐시 1, 90초 재형성, `merge_events` 가 `0 → 1`.
- (unknown) `tr ',' '\n' | grep -E` 로 자른 Prometheus 출력과 `jq` 형태. `jq` 는 이 실험대에 아예 없다.
- (unknown) `ssh kc-lab-2` 로 들어가서 `conntrack -L` 을 따로 치는 세 줄 형태. 이 실험대는 `ssh kc-lab-2 '...'` 한 줄로 쳤다.
- (unknown) 매니페스트가 놓인 체크아웃의 위치와 그 디렉터리로 옮기는 명령, 그리고 파일이 없을 때 여는 에디터 명령. 원 가이드는 `cat` 과 `kubectl apply` 를 저장소 상대경로로만 적는다.
- 이 실험이 판정하지 못한 것 — conntrack 삭제만으로 분단이 만들어지는지. 해설 문서가 「3분 뒤 분단」이라고 썼다가 정정했고, 실제 하락은 파드 재시작 4초 뒤였다.
- 이 실험이 재지 않은 것 — `keycloak-0` 캐시에 있던 낡은 엔트리가 병합 후 어떻게 되는지. 궁금하면 재형성 뒤에 `vendor_statistics_approximate_entries_unique{cache="sessions"}` 를 다시 본다.
- 가이드가 스크립트를 안 쓰는 까닭도 측정 실패에서 나왔다(observed). 원래 실행은 임시 파드를 20초마다 띄워 지표를 긁었고 `+20초 suspected(k0 k1) = []` 처럼 빈 값과 개수가 안 맞는 값이 섞였다. 판정 조건이 `[ "$R" != "0.0 0.0 " ]` 이어서 빈 문자열을 변화로 읽고 즉시 빠져나왔다.
File diff suppressed because it is too large Load Diff
@@ -0,0 +1,120 @@
uid=1000(donghyeon) gid=1000(donghyeon) groups=1000(donghyeon),962(libvirt),998(wheel)
test-server
NAME="Arch Linux"
PRETTY_NAME="Arch Linux"
ID=arch
BUILD_ID=rolling
ANSI_COLOR="38;2;23;147;209"
HOME_URL="https://archlinux.org/"
DOCUMENTATION_URL="https://wiki.archlinux.org/"
SUPPORT_URL="https://bbs.archlinux.org/"
BUG_REPORT_URL="https://gitlab.archlinux.org/groups/archlinux/-/issues"
PRIVACY_POLICY_URL="https://terms.archlinux.org/docs/privacy-policy/"
LOGO=archlinux-logo
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Address sizes: 39 bits physical, 48 bits virtual
Byte Order: Little Endian
CPU(s): 8
On-line CPU(s) list: 0-7
Vendor ID: GenuineIntel
Model name: 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz
CPU family: 6
Model: 140
Thread(s) per core: 2
Core(s) per socket: 4
Socket(s): 1
Stepping: 1
Microcode version: 0x86
CPU(s) scaling MHz: 30%
CPU max MHz: 4200.0000
CPU min MHz: 400.0000
BogoMIPS: 4838.40
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l2 cdp_l2 ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb intel_pt avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves split_lock_detect user_shstk dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp hwp_pkg_req vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid movdiri movdir64b fsrm avx512_vp2intersect md_clear ibt flush_l1d arch_capabilities
Virtualization: VT-x
L1d cache: 192 KiB (4 instances)
L1i cache: 128 KiB (4 instances)
L2 cache: 5 MiB (4 instances)
L3 cache: 8 MiB (1 instance)
NUMA node(s): 1
NUMA node0 CPU(s): 0-7
Vulnerability Gather data sampling: Vulnerable: No microcode
Vulnerability Ghostwrite: Not affected
Vulnerability Indirect target selection: Mitigation; Aligned branch/return thunks
Vulnerability Itlb multihit: Not affected
Vulnerability L1tf: Not affected
Vulnerability Mds: Not affected
Vulnerability Meltdown: Not affected
Vulnerability Mmio stale data: Not affected
Vulnerability Old microcode: Vulnerable
Vulnerability Reg file data sampling: Not affected
Vulnerability Retbleed: Not affected
Vulnerability Spec rstack overflow: Not affected
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; PBRSB-eIBRS SW sequence; BHI SW loop, KVM SW loop
Vulnerability Srbds: Not affected
Vulnerability Tsa: Not affected
Vulnerability Tsx async abort: Not affected
Vulnerability Vmscape: Not affected
total used free shared buff/cache available
Mem: 11Gi 10Gi 240Mi 4.5Mi 781Mi 701Mi
Swap: 8.0Gi 749Mi 7.3Gi
NAME TYPE SIZE FSTYPE MOUNTPOINTS MODEL
nvme0n1 disk 238.5G SAMSUNG MZVLQ256HAJD-00000
|-nvme0n1p1 part 512M vfat /boot
|-nvme0n1p2 part 8G swap [SWAP]
`-nvme0n1p3 part 230G ext4 /
Filesystem Type Size Used Avail Use% Mounted on
/dev/nvme0n1p3 ext4 226G 19G 195G 9% /
devtmpfs devtmpfs 5.7G 0 5.7G 0% /dev
tmpfs tmpfs 5.7G 0 5.7G 0% /dev/shm
efivarfs efivarfs 128K 97K 27K 79% /sys/firmware/efi/efivars
tmpfs tmpfs 2.3G 1.7M 2.3G 1% /run
none tmpfs 1.0M 0 1.0M 0% /run/credentials/systemd-journald.service
tmpfs tmpfs 5.7G 1.8M 5.7G 1% /tmp
/dev/nvme0n1p1 vfat 511M 58M 454M 12% /boot
none tmpfs 1.0M 0 1.0M 0% /run/credentials/getty@tty1.service
tmpfs tmpfs 1.2G 8.0K 1.2G 1% /run/user/1000
none tmpfs 1.0M 4.0K 1020K 1% /run/credentials/libvirtd.service
crw-rw-rw- 1 root kvm 10, 232 Sep 17 14:46 /dev/kvm
12.7.0
5.1.0
QEMU emulator version 11.1.1
Copyright (c) 2003-2026 Fabrice Bellard and the QEMU Project developers
Id Name State
-----------------------------
13 kc-lab-1 running
15 kc-lab-edge running
16 kc-lab-2 running
Name State Autostart Persistent
--------------------------------------------
default active yes yes
lo UNKNOWN 127.0.0.1/8 ::1/128
wlo1 UP 192.168.0.200/24 fe80::89b4:127d:2023:1f81/64
tailscale0 UNKNOWN 100.83.212.4/32 fd7a:115c:a1e0::4032:d405/128 fe80::71ad:b041:840a:b437/64
virbr0 UP 192.168.122.1/24
vnet11 UNKNOWN fe80::fc54:ff:feaa:bb11/64
vnet13 UNKNOWN fe80::fc54:ff:feaa:bb10/64
vnet14 UNKNOWN fe80::fc54:ff:feaa:bb12/64
default via 192.168.0.1 dev wlo1 proto static metric 600
192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600
192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1
21: vnet11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master virbr0 state forwarding priority 32 cost 2
23: vnet13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master virbr0 state forwarding priority 32 cost 2
24: vnet14: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master virbr0 state forwarding priority 32 cost 2
Netid State Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
udp UNCONN 0 0 192.168.122.1:53 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=5))
udp UNCONN 0 0 0.0.0.0%virbr0:67 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=3))
udp UNCONN 0 0 0.0.0.0:41641 0.0.0.0:* users:(("tailscaled",pid=449,fd=21))
udp UNCONN 0 0 [::]:41641 [::]:* users:(("tailscaled",pid=449,fd=19))
tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid=447,fd=6))
tcp LISTEN 0 4096 100.83.212.4:36345 0.0.0.0:* users:(("tailscaled",pid=449,fd=20))
tcp LISTEN 0 4096 127.0.0.1:5900 0.0.0.0:* users:(("qemu-system-x86",pid=167709,fd=13))
tcp LISTEN 0 4096 127.0.0.1:5901 0.0.0.0:* users:(("qemu-system-x86",pid=173056,fd=13))
tcp LISTEN 0 4096 127.0.0.1:5902 0.0.0.0:* users:(("qemu-system-x86",pid=167796,fd=13))
tcp LISTEN 0 32 192.168.122.1:53 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=6))
tcp LISTEN 0 128 [::]:22 [::]:* users:(("sshd",pid=447,fd=7))
tcp LISTEN 0 4096 [fd7a:115c:a1e0::4032:d405]:40056 [::]:* users:(("tailscaled",pid=449,fd=22))
@@ -0,0 +1,24 @@
Id Name State
-----------------------------
13 kc-lab-1 running
15 kc-lab-edge running
16 kc-lab-2 running
---volumes---
Name Path
----------------------------------------------------------------------
base.qcow2 /var/lib/libvirt/images/base.qcow2
kc-lab-1.qcow2 /var/lib/libvirt/images/kc-lab-1.qcow2
kc-lab-2.qcow2 /var/lib/libvirt/images/kc-lab-2.qcow2
kc-lab-edge.qcow2 /var/lib/libvirt/images/kc-lab-edge.qcow2
seed-kc-lab-1.iso /var/lib/libvirt/images/seed-kc-lab-1.iso
seed-kc-lab-2.iso /var/lib/libvirt/images/seed-kc-lab-2.iso
seed-kc-lab-edge.iso /var/lib/libvirt/images/seed-kc-lab-edge.iso
---reservations---
<host mac='52:54:00:aa:bb:10' name='kc-lab-edge' ip='192.168.122.10'/>
<host mac='52:54:00:aa:bb:11' name='kc-lab-1' ip='192.168.122.11'/>
<host mac='52:54:00:aa:bb:12' name='kc-lab-2' ip='192.168.122.12'/>
---disk---
Filesystem Size Used Avail Use% Mounted on
/dev/nvme0n1p3 226G 19G 195G 9% /
@@ -0,0 +1,9 @@
=== kc-lab-1 ===
kc-lab-1
status: done
active
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kc-lab-1 Ready control-plane 4d3h v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
kc-lab-2 Ready <none> 4d3h v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
=== kc-lab-2 ===
@@ -0,0 +1,14 @@
Domain 'kc-lab-2' destroyed
Domain 'kc-lab-2' has been undefined
Volume 'vda'(/var/lib/libvirt/images/kc-lab-2.qcow2) removed.
Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-2.iso) removed.
Domain 'kc-lab-1' destroyed
Domain 'kc-lab-1' has been undefined
Volume 'vda'(/var/lib/libvirt/images/kc-lab-1.qcow2) removed.
Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-1.iso) removed.
Updated network default persistent config and live state
Updated network default persistent config and live state
@@ -0,0 +1,28 @@
vmx
kvm_intel 524288 3
kvm 1490944 2 kvm_intel
irqbypass 16384 1 kvm
qemu-full 11.1.1-1
libvirt 1:12.7.0-1
virt-install 5.1.0-4
dnsmasq 2.93-1
enabled
active
Triggers=libvirtd.service
Listen=/run/libvirt/libvirt-sock (Stream)
donghyeon libvirt wheel
qemu:///system
Name State Autostart Persistent
--------------------------------------------
default active yes yes
Id Name State
-----------------------------
15 kc-lab-edge running
donghyeon:x:1000:1000::/home/donghyeon:/bin/zsh
LIBVIRT_DEFAULT_URI=
1:uri_default = "qemu:///system"
/home/donghyeon/.zshrc:2:export LIBVIRT_DEFAULT_URI=qemu:///system
/home/donghyeon/.bashrc:11:export LIBVIRT_DEFAULT_URI=qemu:///system
@@ -0,0 +1,4 @@
kc-lab-1.yaml:10: sudo: "ALL=(ALL) NOPASSWD:ALL"
kc-lab-2.yaml:10: sudo: "ALL=(ALL) NOPASSWD:ALL"
seed-kc-lab-1.iso 378880 bytes 600
seed-kc-lab-2.iso 378880 bytes 600
@@ -0,0 +1,41 @@
=== 192.168.122.11 ===
Warning: Permanently added '192.168.122.11' (ED25519) to the list of known hosts.
kc-lab-1
enp1s0 UP 192.168.122.11/24 metric 100
status: done
/usr/bin/cloud-init 22.4.2
sudo_noninteractive=yes
=== 192.168.122.12 ===
Warning: Permanently added '192.168.122.12' (ED25519) to the list of known hosts.
kc-lab-2
enp1s0 UP 192.168.122.12/24 metric 100
status: done
/usr/bin/cloud-init 22.4.2
sudo_noninteractive=yes
=== domains ===
Id Name State
-----------------------------
15 kc-lab-edge running
17 kc-lab-1 running
18 kc-lab-2 running
=== block ===
Target Source
-----------------------------------------------------
vda /var/lib/libvirt/images/kc-lab-1.qcow2
vdb /var/lib/libvirt/images/seed-kc-lab-1.iso
Target Source
-----------------------------------------------------
vda /var/lib/libvirt/images/kc-lab-2.qcow2
vdb /var/lib/libvirt/images/seed-kc-lab-2.iso
=== leases ===
Name MAC address Protocol Address
------------------------------------------------------------
vnet15 52:54:00:aa:bb:11 ipv4 192.168.122.11/24
Name MAC address Protocol Address
------------------------------------------------------------
vnet16 52:54:00:aa:bb:12 ipv4 192.168.122.12/24
@@ -0,0 +1,5 @@
active
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kc-lab-1 Ready control-plane 27m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
X509v3 Subject Alternative Name:
DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:localhost, DNS:kc-lab-1, IP Address:127.0.0.1, IP Address:0:0:0:0:0:0:0:1, IP Address:192.168.122.11, IP Address:10.43.0.1, IP Address:192.168.122.11
@@ -0,0 +1,274 @@
=== pinning before ===
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
=== qemu thread map ===
* CPU #0: thread_id=272131 model=host
CPU #1: thread_id=272132 model=host
* CPU #0: thread_id=272156 model=host
CPU #1: thread_id=272157 model=host
=== mpstat ===
=== psr samples ===
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
19:11:09.856
272131 7 10.1 Sl CPU 0/KVM
272132 4 10.0 Rl CPU 1/KVM
272156 2 5.1 Sl CPU 0/KVM
272157 6 5.1 Sl CPU 1/KVM
19:11:09 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:10 all 1.25 0.00 4.87 0.00 0.75 0.25 0.00 15.61 0.00 77.28
19:11:10 0 1.00 0.00 3.00 0.00 1.00 0.00 0.00 13.00 0.00 82.00
19:11:10 1 0.99 0.00 4.95 0.00 0.99 0.00 0.00 8.91 0.00 84.16
19:11:10 2 0.99 0.00 4.95 0.00 0.99 0.00 0.00 15.84 0.00 77.23
19:11:10 3 0.00 0.00 5.00 0.00 0.00 0.00 0.00 14.00 0.00 81.00
19:11:10 4 2.00 0.00 4.00 0.00 1.00 0.00 0.00 21.00 0.00 72.00
19:11:10 5 2.02 0.00 7.07 0.00 1.01 1.01 0.00 17.17 0.00 71.72
19:11:10 6 1.96 0.00 5.88 0.00 0.98 0.98 0.00 18.63 0.00 71.57
19:11:10 7 1.02 0.00 4.08 0.00 0.00 0.00 0.00 16.33 0.00 78.57
19:11:10.866
272131 5 10.1 Rl CPU 0/KVM
272132 7 10.1 Rl CPU 1/KVM
272156 0 5.2 Rl CPU 0/KVM
272157 1 5.1 Rl CPU 1/KVM
19:11:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:11 all 2.48 0.00 12.78 0.00 0.37 0.62 0.00 33.00 0.00 50.74
19:11:11 0 3.96 0.00 10.89 0.00 0.00 0.00 0.00 38.61 0.00 46.53
19:11:11 1 1.98 0.00 12.87 0.00 0.00 0.00 0.00 26.73 0.00 58.42
19:11:11 2 2.02 0.00 13.13 0.00 0.00 0.00 0.00 39.39 0.00 45.45
19:11:11 3 2.94 0.00 12.75 0.00 0.98 0.00 0.00 36.27 0.00 47.06
19:11:11 4 2.00 0.00 13.00 0.00 0.00 0.00 0.00 31.00 0.00 54.00
19:11:11 5 1.96 0.00 12.75 0.00 0.98 2.94 0.00 27.45 0.00 53.92
19:11:11 6 2.02 0.00 14.14 0.00 0.00 0.00 0.00 28.28 0.00 55.56
19:11:11 7 2.94 0.00 12.75 0.00 0.98 1.96 0.00 36.27 0.00 45.10
19:11:11.878
272131 3 10.2 Rl CPU 0/KVM
272132 1 10.1 Rl CPU 1/KVM
272156 0 5.2 Sl CPU 0/KVM
272157 6 5.1 Rl CPU 1/KVM
19:11:11 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:12 all 2.70 0.00 12.25 0.49 0.98 0.86 0.00 37.25 0.00 45.47
19:11:12 0 3.85 0.00 13.46 0.96 0.96 0.96 0.00 25.00 0.00 54.81
19:11:12 1 2.00 0.00 8.00 0.00 1.00 0.00 0.00 53.00 0.00 36.00
19:11:12 2 2.91 0.00 11.65 0.00 0.97 0.97 0.00 34.95 0.00 48.54
19:11:12 3 1.94 0.00 8.74 0.97 0.97 0.00 0.00 55.34 0.00 32.04
19:11:12 4 3.92 0.00 12.75 0.98 0.98 0.00 0.00 29.41 0.00 51.96
19:11:12 5 0.98 0.00 15.69 0.98 0.98 2.94 0.00 31.37 0.00 47.06
19:11:12 6 3.92 0.00 13.73 0.00 0.98 0.00 0.00 27.45 0.00 53.92
19:11:12 7 2.00 0.00 14.00 0.00 1.00 2.00 0.00 42.00 0.00 39.00
19:11:12.891
272131 0 10.2 Rl CPU 0/KVM
272132 7 10.1 Sl CPU 1/KVM
272156 6 5.2 Rl CPU 0/KVM
272157 4 5.1 Sl CPU 1/KVM
19:11:12 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:13 all 0.63 0.00 2.63 0.00 0.25 0.38 0.00 16.77 0.00 79.35
19:11:13 0 0.00 0.00 0.00 0.00 1.02 0.00 0.00 50.00 0.00 48.98
19:11:13 1 1.96 0.00 3.92 0.00 0.98 0.98 0.00 20.59 0.00 71.57
19:11:13 2 0.00 0.00 3.03 0.00 0.00 0.00 0.00 13.13 0.00 83.84
19:11:13 3 1.01 0.00 3.03 0.00 0.00 0.00 0.00 3.03 0.00 92.93
19:11:13 4 0.00 0.00 0.99 0.00 0.00 0.00 0.00 7.92 0.00 91.09
19:11:13 5 1.00 0.00 4.00 0.00 0.00 1.00 0.00 8.00 0.00 86.00
19:11:13 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 27.27 0.00 71.72
19:11:13 7 0.99 0.00 4.95 0.00 0.00 0.99 0.00 4.95 0.00 88.12
19:11:13.905
272131 0 10.2 Sl CPU 0/KVM
272132 3 10.1 Sl CPU 1/KVM
272156 6 5.2 Sl CPU 0/KVM
272157 5 5.1 Sl CPU 1/KVM
19:11:13 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:14 all 0.13 0.00 0.50 0.00 0.88 0.00 0.00 2.13 0.00 96.37
19:11:14 0 0.00 0.00 1.00 0.00 1.00 0.00 0.00 3.00 0.00 95.00
19:11:14 1 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
19:11:14 2 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
19:11:14 3 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
19:11:14 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:14 5 0.00 0.00 0.00 0.00 1.00 0.00 0.00 4.00 0.00 95.00
19:11:14 6 0.99 0.00 0.00 0.00 0.99 0.00 0.00 0.00 0.00 98.02
19:11:14 7 0.00 0.00 0.00 0.00 1.01 0.00 0.00 3.03 0.00 95.96
19:11:14.926
272131 2 10.2 Sl CPU 0/KVM
272132 3 10.1 Sl CPU 1/KVM
272156 6 5.2 Sl CPU 0/KVM
272157 5 5.1 Sl CPU 1/KVM
19:11:14 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:15 all 0.25 0.00 0.88 0.63 0.50 0.00 0.00 1.51 0.00 96.11
19:11:15 0 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
19:11:15 1 1.00 0.00 2.00 0.00 0.00 0.00 0.00 1.00 0.00 96.00
19:11:15 2 0.00 0.00 0.00 0.00 1.01 0.00 0.00 2.02 0.00 96.97
19:11:15 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
19:11:15 4 0.00 0.00 0.99 0.00 0.99 0.00 0.00 0.99 0.00 97.03
19:11:15 5 1.01 0.00 1.01 1.01 0.00 0.00 0.00 1.01 0.00 95.96
19:11:15 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 2.02 0.00 96.97
19:11:15 7 1.00 0.00 0.00 4.00 0.00 0.00 0.00 0.00 0.00 95.00
19:11:15.947
272131 0 10.2 Sl CPU 0/KVM
272132 4 10.1 Sl CPU 1/KVM
272156 7 5.2 Sl CPU 0/KVM
272157 5 5.1 Sl CPU 1/KVM
19:11:15 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:16 all 0.00 0.00 0.88 0.00 0.63 0.38 0.00 2.14 0.00 95.85
19:11:16 0 0.00 0.00 1.01 0.00 1.01 1.01 0.00 3.03 0.00 93.94
19:11:16 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:16 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:16 3 0.00 0.00 1.00 0.00 0.00 1.00 0.00 2.00 0.00 96.00
19:11:16 4 0.00 0.00 0.00 0.00 1.00 1.00 0.00 3.00 0.00 95.00
19:11:16 5 0.00 0.00 0.99 0.00 0.99 0.00 0.00 1.98 0.00 96.04
19:11:16 6 1.00 0.00 2.00 0.00 1.00 0.00 0.00 4.00 0.00 92.00
19:11:16 7 0.00 0.00 2.00 0.00 1.00 0.00 0.00 3.00 0.00 94.00
19:11:16.962
272131 0 10.2 Sl CPU 0/KVM
272132 6 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 7 5.1 Sl CPU 1/KVM
19:11:16 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:17 all 0.50 0.00 0.75 0.13 0.63 0.13 0.00 1.63 0.00 96.25
19:11:17 0 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
19:11:17 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:17 2 0.98 0.00 0.98 0.00 0.98 0.00 0.00 1.96 0.00 95.10
19:11:17 3 1.00 0.00 1.00 0.00 1.00 0.00 0.00 0.00 0.00 97.00
19:11:17 4 1.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 95.00
19:11:17 5 0.00 0.00 0.00 1.00 0.00 1.00 0.00 1.00 0.00 97.00
19:11:17 6 0.00 0.00 2.02 0.00 1.01 0.00 0.00 5.05 0.00 91.92
19:11:17 7 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
19:11:17.975
272131 5 10.2 Sl CPU 0/KVM
272132 6 10.1 Rl CPU 1/KVM
272156 3 5.2 Sl CPU 0/KVM
272157 6 5.1 Sl CPU 1/KVM
19:11:17 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:18 all 0.25 0.00 0.63 0.00 0.50 0.13 0.00 2.39 0.00 96.10
19:11:18 0 1.02 0.00 1.02 0.00 0.00 0.00 0.00 1.02 0.00 96.94
19:11:18 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:18 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:18 3 1.01 0.00 1.01 0.00 0.00 0.00 0.00 2.02 0.00 95.96
19:11:18 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.02 0.00 98.98
19:11:18 5 0.00 0.00 0.99 0.00 0.99 0.00 0.00 4.95 0.00 93.07
19:11:18 6 0.00 0.00 0.98 0.00 1.96 0.98 0.00 6.86 0.00 89.22
19:11:18 7 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
19:11:18.996
272131 4 10.2 Sl CPU 0/KVM
272132 6 10.1 Sl CPU 1/KVM
272156 3 5.2 Rl CPU 0/KVM
272157 7 5.1 Rl CPU 1/KVM
19:11:18 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:19 all 0.00 0.00 0.88 0.13 0.75 0.13 0.00 2.25 0.00 95.74
19:11:19 0 0.00 0.00 1.00 1.00 0.00 1.00 0.00 0.00 0.00 97.00
19:11:19 1 0.00 0.00 0.00 0.00 0.99 0.00 0.00 0.00 0.00 99.01
19:11:19 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:19 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 5.05 0.00 92.93
19:11:19 4 0.00 0.00 0.99 0.00 1.98 0.00 0.00 3.96 0.00 93.07
19:11:19 5 1.00 0.00 2.00 0.00 1.00 0.00 0.00 2.00 0.00 94.00
19:11:19 6 0.00 0.00 1.01 0.00 1.01 0.00 0.00 4.04 0.00 93.94
19:11:19 7 0.00 0.00 1.01 0.00 0.00 0.00 0.00 3.03 0.00 95.96
19:11:20.016
272131 4 10.2 Sl CPU 0/KVM
272132 6 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 7 5.1 Sl CPU 1/KVM
19:11:19 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:20 all 0.00 0.00 0.88 0.13 0.63 0.13 0.00 2.01 0.00 96.12
19:11:20 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 99.00
19:11:20 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:20 2 0.00 0.00 0.00 0.00 0.00 1.02 0.00 1.02 0.00 97.96
19:11:20 3 0.00 0.00 1.96 0.00 0.98 0.00 0.00 1.96 0.00 95.10
19:11:20 4 0.00 0.00 2.00 0.00 1.00 0.00 0.00 5.00 0.00 92.00
19:11:20 5 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 0.00 98.99
19:11:20 6 0.00 0.00 1.00 0.00 2.00 0.00 0.00 5.00 0.00 92.00
19:11:20 7 1.00 0.00 1.00 1.00 1.00 0.00 0.00 2.00 0.00 94.00
19:11:21.038
272131 0 10.2 Sl CPU 0/KVM
272132 4 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 1 5.1 Sl CPU 1/KVM
19:11:20 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:21 all 0.38 0.00 0.88 0.00 0.63 0.25 0.00 2.52 0.00 95.35
19:11:21 0 1.03 0.00 0.00 0.00 1.03 0.00 0.00 4.12 0.00 93.81
19:11:21 1 0.00 0.00 1.98 0.00 0.00 0.99 0.00 2.97 0.00 94.06
19:11:21 2 0.00 0.00 1.00 0.00 1.00 0.00 0.00 4.00 0.00 94.00
19:11:21 3 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
19:11:21 4 0.00 0.00 1.00 0.00 1.00 1.00 0.00 4.00 0.00 93.00
19:11:21 5 0.00 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 98.99
19:11:21 6 1.01 0.00 2.02 0.00 1.01 0.00 0.00 5.05 0.00 90.91
19:11:21 7 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 0.00 98.99
19:11:22.060
272131 0 10.2 Sl CPU 0/KVM
272132 7 10.1 Sl CPU 1/KVM
272156 6 5.2 Sl CPU 0/KVM
272157 4 5.1 Sl CPU 1/KVM
19:11:21 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:22 all 0.50 0.00 0.88 0.00 0.63 0.25 0.00 1.51 0.00 96.23
19:11:22 0 0.99 0.00 0.99 0.00 0.99 0.99 0.00 1.98 0.00 94.06
19:11:22 1 0.00 0.00 0.00 0.00 1.01 0.00 0.00 2.02 0.00 96.97
19:11:22 2 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 98.00
19:11:22 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:22 4 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
19:11:22 5 1.02 0.00 3.06 0.00 0.00 0.00 0.00 1.02 0.00 94.90
19:11:22 6 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
19:11:22 7 1.00 0.00 0.00 0.00 1.00 1.00 0.00 2.00 0.00 95.00
19:11:23.075
272131 6 10.2 Sl CPU 0/KVM
272132 0 10.1 Sl CPU 1/KVM
272156 6 5.2 Sl CPU 0/KVM
272157 5 5.1 Sl CPU 1/KVM
19:11:22 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:23 all 0.13 0.00 1.00 0.00 0.50 0.25 0.00 1.76 0.00 96.36
19:11:23 0 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
19:11:23 1 0.00 0.00 1.01 0.00 1.01 0.00 0.00 5.05 0.00 92.93
19:11:23 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:23 3 0.99 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 98.02
19:11:23 4 0.00 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 99.01
19:11:23 5 0.00 0.00 1.01 0.00 1.01 1.01 0.00 2.02 0.00 94.95
19:11:23 6 0.00 0.00 1.98 0.00 0.00 0.99 0.00 1.98 0.00 95.05
19:11:23 7 0.00 0.00 1.01 0.00 1.01 0.00 0.00 2.02 0.00 95.96
19:11:24.088
272131 0 10.2 Sl CPU 0/KVM
272132 3 10.1 Sl CPU 1/KVM
272156 7 5.2 Sl CPU 0/KVM
272157 4 5.1 Sl CPU 1/KVM
19:11:23 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:24 all 0.50 0.00 1.25 0.50 0.50 0.13 0.00 2.13 0.00 94.98
19:11:24 0 0.00 0.00 1.00 1.00 2.00 1.00 0.00 4.00 0.00 91.00
19:11:24 1 1.01 0.00 0.00 1.01 0.00 0.00 0.00 1.01 0.00 96.97
19:11:24 2 0.00 0.00 0.99 0.99 0.99 0.00 0.00 0.00 0.00 97.03
19:11:24 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 4.04 0.00 93.94
19:11:24 4 1.01 0.00 1.01 0.00 0.00 0.00 0.00 3.03 0.00 94.95
19:11:24 5 1.00 0.00 3.00 1.00 0.00 0.00 0.00 0.00 0.00 95.00
19:11:24 6 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
19:11:24 7 0.00 0.00 3.03 0.00 0.00 0.00 0.00 5.05 0.00 91.92
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: all 0.64 0.00 2.82 0.13 0.61 0.26 0.00 8.38 0.00 87.16
Average: 0 0.74 0.00 2.47 0.20 0.80 0.33 0.00 10.23 0.00 85.22
Average: 1 0.60 0.00 2.41 0.07 0.47 0.13 0.00 8.36 0.00 87.97
Average: 2 0.53 0.00 2.54 0.07 0.47 0.13 0.00 7.68 0.00 88.58
Average: 3 0.60 0.00 2.66 0.07 0.53 0.07 0.00 8.73 0.00 87.34
Average: 4 0.67 0.00 2.66 0.07 0.67 0.13 0.00 7.66 0.00 88.15
Average: 5 0.60 0.00 3.54 0.27 0.60 0.67 0.00 6.88 0.00 87.45
Average: 6 0.73 0.00 3.20 0.00 0.80 0.20 0.00 9.27 0.00 85.80
Average: 7 0.67 0.00 3.08 0.33 0.54 0.40 0.00 8.23 0.00 86.75
@@ -0,0 +1,197 @@
===== initial affinity =====
VCPU CPU Affinity
----------------------
0 0
1 1
===== unpinned affinity =====
VCPU CPU Affinity
----------------------
0 0
1 1
===== unpinned latency =====
requests 1500 rc 0 elapsed_sec 8.802
avg 0.01076 p50 0.009718 p95 0.021846 p99 0.035426 max 0.058487
===== unpinned guest vmstat =====
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
3 0 0 1898652 45560 1326328 0 0 84 216 1101 1991 4 3 92 0 0
2 0 0 1898652 45560 1326328 0 0 0 16 10267 6027 21 8 70 0 0
2 0 0 1898652 45560 1326328 0 0 0 0 7465 6253 19 6 75 0 0
1 0 0 1898652 45560 1326328 0 0 0 0 6598 4918 7 4 90 0 0
1 0 0 1898652 45560 1326328 0 0 0 0 6903 5623 13 4 83 0 0
1 0 0 1898652 45560 1326328 0 0 0 0 6547 4680 11 4 85 0 0
===== unpinned psr samples =====
19:11:41.901
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:42.156
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:42.410
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:42.663
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:42.917
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:43.172
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:43.427
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:43.680
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:43.934
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:44.187
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:44.440
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:44.693
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:44.947
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:45.200
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:45.454
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:45.708
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:45.961
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:46.214
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:46.468
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:46.722
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
===== unpinned mpstat averages =====
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: all 0.72 0.00 7.30 0.14 0.49 0.35 0.00 23.75 0.00 67.25
Average: 0 0.33 0.00 11.75 0.00 0.66 0.33 0.00 24.01 0.00 62.91
Average: 1 0.33 0.00 12.69 0.00 0.67 0.17 0.00 16.53 0.00 69.62
Average: 2 0.17 0.00 10.33 0.00 0.33 0.17 0.00 32.83 0.00 56.17
Average: 3 0.33 0.00 10.47 0.33 0.66 0.33 0.00 26.58 0.00 61.30
Average: 4 1.74 0.00 3.65 0.32 0.32 0.48 0.00 1.43 0.00 92.08
Average: 5 0.96 0.00 4.00 0.00 0.32 0.80 0.00 0.80 0.00 93.12
Average: 6 0.67 0.00 1.50 0.17 0.50 0.00 0.00 87.69 0.00 9.48
Average: 7 1.13 0.00 4.38 0.32 0.49 0.49 0.00 2.76 0.00 90.44
===== pinned affinity =====
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
===== pinned latency =====
requests 1500 rc 0 elapsed_sec 8.071
avg 0.009484 p50 0.008671 p95 0.019239 p99 0.022534 max 0.02749
===== pinned guest vmstat =====
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 1889172 45572 1326552 0 0 84 215 1105 1992 4 3 92 0 0
1 0 0 1889172 45572 1326552 0 0 0 0 3891 3810 2 4 94 0 1
1 0 0 1889172 45572 1326552 0 0 0 0 6445 4538 4 4 93 0 0
2 0 0 1889172 45572 1326552 0 0 0 0 6579 4359 6 5 89 0 1
1 0 0 1889172 45572 1326552 0 0 0 0 6639 5002 4 3 93 0 0
1 0 0 1889172 45572 1326552 0 0 0 20 6965 5633 4 3 93 0 0
===== pinned psr samples =====
19:11:52.284
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:52.542
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:52.799
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:53.056
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:53.309
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:53.563
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:53.816
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:54.070
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:54.324
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:54.577
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:54.831
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:55.084
272123 272131 2 10.2 Sl CPU 0/KVM
272123 272132 0 10.1 Sl CPU 1/KVM
19:11:55.337
272123 272131 1 10.2 Sl CPU 0/KVM
272123 272132 3 10.1 Sl CPU 1/KVM
19:11:55.590
272123 272131 1 10.2 Sl CPU 0/KVM
272123 272132 6 10.1 Sl CPU 1/KVM
19:11:55.843
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 0 10.1 Sl CPU 1/KVM
19:11:56.096
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 7 10.1 Rl CPU 1/KVM
19:11:56.349
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 1 10.1 Sl CPU 1/KVM
19:11:56.603
272123 272131 0 10.2 Sl CPU 0/KVM
272123 272132 5 10.1 Sl CPU 1/KVM
19:11:56.856
272123 272131 0 10.2 Rl CPU 0/KVM
272123 272132 1 10.1 Rl CPU 1/KVM
19:11:57.109
272123 272131 1 10.2 Sl CPU 0/KVM
272123 272132 6 10.1 Sl CPU 1/KVM
===== pinned mpstat averages =====
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: all 0.47 0.00 4.26 0.25 0.49 0.35 0.00 15.75 0.00 78.43
Average: 0 0.33 0.00 6.27 0.17 0.33 0.50 0.00 8.09 0.00 84.32
Average: 1 0.50 0.00 6.46 0.00 0.66 0.33 0.00 6.95 0.00 85.10
Average: 2 0.82 0.00 4.90 0.16 0.49 0.33 0.00 6.21 0.00 87.09
Average: 3 0.49 0.00 4.43 0.16 0.49 0.33 0.00 8.37 0.00 85.71
Average: 4 0.00 0.00 0.50 0.33 0.33 0.17 0.00 86.19 0.00 12.48
Average: 5 0.49 0.00 4.74 0.65 0.65 0.49 0.00 5.39 0.00 87.58
Average: 6 0.32 0.00 2.39 0.48 0.48 0.32 0.00 1.75 0.00 94.27
Average: 7 0.82 0.00 4.43 0.00 0.49 0.33 0.00 4.43 0.00 89.49
===== restored affinity =====
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
NAME STATUS ROLES AGE VERSION
kc-lab-1 Ready control-plane 152m v1.36.4+k3s1
kc-lab-2 Ready <none> 125m v1.36.4+k3s1
@@ -0,0 +1,50 @@
19:47:21.618 code=200 time=0.079319
19:47:21.804 code=200 time=0.200757
19:47:22.118 code=200 time=0.008694
19:47:22.241 code=200 time=0.021876
19:47:22.374 code=200 time=0.011015
19:47:22.499 code=200 time=0.018856
19:47:22.633 code=200 time=0.009970
19:47:22.756 code=200 time=0.021301
19:47:22.890 code=200 time=0.011034
19:47:23.017 code=200 time=0.016894
19:47:23.149 code=200 time=0.010263
19:47:23.273 code=200 time=0.017978
19:47:23.406 code=200 time=0.009116
19:47:23.529 code=200 time=0.021723
19:47:23.665 code=200 time=0.009695
19:47:23.789 code=200 time=0.011758
19:47:23.912 code=200 time=0.010194
19:47:24.037 code=200 time=0.013743
19:47:24.164 code=200 time=0.011150
19:47:24.289 code=200 time=0.009744
19:47:24.407 code=200 time=0.011032
19:47:24.533 code=200 time=0.014391
19:47:24.661 code=200 time=0.005114
19:47:24.774 code=200 time=0.011881
19:47:24.899 code=200 time=0.009561
19:47:25.023 code=200 time=0.015034
19:47:25.153 code=200 time=0.011083
19:47:25.279 code=200 time=0.015105
19:47:25.410 code=200 time=0.009800
19:47:25.534 code=200 time=0.017048
19:47:25.666 code=200 time=0.009653
19:47:25.789 code=200 time=0.018054
19:47:25.923 code=200 time=0.009859
19:47:26.045 code=200 time=0.009050
19:47:26.162 code=200 time=0.010445
19:47:26.287 code=200 time=0.019458
19:47:26.421 code=200 time=0.009819
19:47:26.545 code=200 time=0.020573
19:47:26.681 code=200 time=0.009752
19:47:26.805 code=200 time=0.014049
19:47:26.933 code=200 time=0.009544
19:47:27.057 code=200 time=0.014120
19:47:27.185 code=200 time=0.010351
19:47:27.310 code=200 time=0.013838
19:47:27.438 code=200 time=0.009029
19:47:27.561 code=200 time=0.016071
19:47:27.691 code=200 time=0.006815
19:47:27.810 code=200 time=0.013287
19:47:27.938 code=200 time=0.016021
19:47:28.068 code=200 time=0.016277
@@ -0,0 +1,34 @@
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.17 392.08 0.93 15.21 6.14 75.91 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 2.00 256.00 0.00 0.00 4.00 128.00 6.00 64.00 0.00 0.00 3.83 10.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.03 1.70
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 12.00 396.00 0.00 0.00 6.67 33.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 7.00 0.09 2.10
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 80.00 15.00 71.43 4.17 13.33 0.00 0.00 0.00 0.00 0.00 0.00 3.00 3.33 0.03 1.60
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 52.00 0.00 0.00 3.83 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.00 0.02 0.80
@@ -0,0 +1,7 @@
total used free shared buff/cache available
Mem: 11Gi 7.5Gi 1.4Gi 4.5Mi 2.7Gi 3.8Gi
Swap: 8.0Gi 68Mi 7.9Gi
pswpin 513
pswpout 31076
pgfault 54255029
pgmajfault 56493
@@ -0,0 +1,10 @@
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
3 0 69832 1515344 77300 2773236 0 0 22 392 3891 5 0 1 96 0 0 2
0 0 69832 1518008 77300 2773404 0 0 100 0 5953 7763 1 2 88 0 0 9
0 0 69832 1516300 77300 2773408 0 0 256 64 6098 7742 1 3 92 0 0 3
1 0 69832 1514864 77300 2773708 0 0 0 0 5785 7063 1 2 92 0 0 5
1 0 69832 1511732 77300 2773708 0 0 0 0 5770 7177 1 3 93 0 0 3
0 0 69832 1510324 77300 2773708 0 0 0 396 6003 7218 1 2 93 0 0 4
0 0 69832 1515184 77308 2773708 0 0 0 80 5925 7471 1 3 93 0 0 3
1 0 69832 1515760 77308 2773740 0 0 0 52 5347 6717 1 2 94 0 0 3
@@ -0,0 +1,11 @@
requests=2000
concurrency=20
elapsed_sec=2.602722
throughput_rps=768.426
latency_avg_ms=25.832
latency_p50_ms=24.679
latency_p95_ms=36.914
latency_p99_ms=45.915
latency_max_ms=75.179
codes={200: 2000}
errors={}
@@ -0,0 +1,225 @@
===== forced unpinned before baseline =====
--- live affinity ---
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
--- taskset ---
pid 272131's current affinity list: 0-7
pid 272132's current affinity list: 0-7
===== unpinned state =====
--- live affinity ---
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
--- taskset ---
pid 272131's current affinity list: 0-7
pid 272132's current affinity list: 0-7
===== unpinned latency =====
requests 1000 rc 0 elapsed_sec 5.456 throughput_rps 183.29
avg 0.009328 p50 0.008377 p95 0.018901 p99 0.0218 max 0.023998
===== unpinned guest vmstat =====
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 0 0 1863908 45696 1327772 0 0 83 213 1112 1994 4 3 92 0 0
1 0 0 1863908 45696 1327772 0 0 0 0 4620 4601 4 4 92 0 1
1 0 0 1863908 45696 1327772 0 0 0 1152 6643 4528 4 5 91 0 0
1 0 0 1863908 45696 1327772 0 0 0 0 6593 4959 4 6 90 0 0
1 0 0 1863908 45696 1327772 0 0 0 0 7074 4559 3 5 91 0 0
1 0 0 1863908 45696 1327772 0 0 0 0 6954 4558 6 6 88 0 0
===== unpinned psr =====
19:13:21.191
272131 2 Sl CPU 0/KVM
272132 4 Sl CPU 1/KVM
19:13:21.394
272131 0 Sl CPU 0/KVM
272132 2 Sl CPU 1/KVM
19:13:21.598
272131 0 Sl CPU 0/KVM
272132 4 Sl CPU 1/KVM
19:13:21.806
272131 2 Rl CPU 0/KVM
272132 4 Rl CPU 1/KVM
19:13:22.011
272131 3 Sl CPU 0/KVM
272132 4 Sl CPU 1/KVM
19:13:22.214
272131 1 Sl CPU 0/KVM
272132 4 Sl CPU 1/KVM
19:13:22.417
272131 1 Sl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:22.620
272131 2 Sl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:22.823
272131 1 Sl CPU 0/KVM
272132 0 Sl CPU 1/KVM
19:13:23.027
272131 1 Sl CPU 0/KVM
272132 2 Rl CPU 1/KVM
19:13:23.230
272131 6 Rl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:23.434
272131 6 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:23.637
272131 0 Sl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:23.841
272131 2 Sl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:24.044
272131 5 Sl CPU 0/KVM
272132 7 Sl CPU 1/KVM
19:13:24.247
272131 7 Rl CPU 0/KVM
272132 6 Sl CPU 1/KVM
19:13:24.451
272131 7 Sl CPU 0/KVM
272132 6 Sl CPU 1/KVM
19:13:24.654
272131 0 Sl CPU 0/KVM
272132 3 Sl CPU 1/KVM
19:13:24.857
272131 0 Rl CPU 0/KVM
272132 5 Rl CPU 1/KVM
19:13:25.060
272131 3 Rl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:25.264
272131 6 Rl CPU 0/KVM
272132 3 Rl CPU 1/KVM
19:13:25.467
272131 0 Sl CPU 0/KVM
272132 5 Sl CPU 1/KVM
19:13:25.670
272131 5 Rl CPU 0/KVM
272132 0 Rl CPU 1/KVM
19:13:25.873
272131 5 Rl CPU 0/KVM
272132 1 Rl CPU 1/KVM
===== pin applied =====
--- live affinity ---
VCPU CPU Affinity
----------------------
0 0
1 1
--- taskset ---
pid 272131's current affinity list: 0
pid 272132's current affinity list: 1
===== pinned state =====
--- live affinity ---
VCPU CPU Affinity
----------------------
0 0
1 1
--- taskset ---
pid 272131's current affinity list: 0
pid 272132's current affinity list: 1
===== pinned latency =====
requests 1000 rc 0 elapsed_sec 5.459 throughput_rps 183.2
avg 0.009395 p50 0.008351 p95 0.019546 p99 0.022011 max 0.025262
===== pinned guest vmstat =====
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
3 0 0 1864612 45700 1327904 0 0 83 213 1113 1994 4 3 92 0 0
1 0 0 1864612 45700 1327904 0 0 0 0 4431 4700 5 3 92 0 0
1 0 0 1864612 45700 1327904 0 0 0 0 6724 4676 4 5 91 0 0
1 0 0 1864612 45700 1327904 0 0 0 0 7003 5729 7 6 87 0 0
1 0 0 1864612 45700 1327904 0 0 0 28 6807 4500 5 6 87 1 0
1 0 0 1864612 45700 1327904 0 0 0 0 6817 4257 6 4 91 0 0
===== pinned psr =====
19:13:28.239
272131 0 Rl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:28.443
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:28.651
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:28.858
272131 0 Rl CPU 0/KVM
272132 1 Rl CPU 1/KVM
19:13:29.063
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:29.266
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:29.470
272131 0 Rl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:29.673
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:29.877
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:30.080
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:30.283
272131 0 Rl CPU 0/KVM
272132 1 Rl CPU 1/KVM
19:13:30.487
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:30.690
272131 0 Rl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:30.893
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:31.096
272131 0 Rl CPU 0/KVM
272132 1 Rl CPU 1/KVM
19:13:31.299
272131 0 Sl CPU 0/KVM
272132 1 Rl CPU 1/KVM
19:13:31.503
272131 0 Sl CPU 0/KVM
272132 1 Rl CPU 1/KVM
19:13:31.706
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:31.909
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:32.112
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:32.315
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:32.518
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:32.721
272131 0 Sl CPU 0/KVM
272132 1 Sl CPU 1/KVM
19:13:32.925
272131 0 Rl CPU 0/KVM
272132 1 Rl CPU 1/KVM
===== restored =====
--- live affinity ---
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
--- taskset ---
pid 272131's current affinity list: 0-7
pid 272132's current affinity list: 0-7
NAME STATUS ROLES AGE VERSION
kc-lab-1 Ready control-plane 154m v1.36.4+k3s1
kc-lab-2 Ready <none> 126m v1.36.4+k3s1
@@ -0,0 +1,120 @@
19:47:38.460 code=200 time=0.005270
19:47:38.572 code=200 time=0.008470
19:47:38.687 code=200 time=0.004638
19:47:38.806 code=200 time=0.007732
19:47:38.921 code=200 time=0.005265
19:47:39.054 code=200 time=0.010958
19:47:39.194 code=200 time=0.006002
19:47:39.316 code=200 time=0.009317
19:47:39.434 code=200 time=0.004510
19:47:39.545 code=200 time=0.006908
19:47:39.659 code=200 time=0.009554
19:47:39.783 code=200 time=0.019560
19:47:39.917 code=200 time=0.011013
19:47:40.042 code=200 time=0.013299
19:47:40.169 code=200 time=0.009545
19:47:40.292 code=200 time=0.011360
19:47:40.417 code=200 time=0.009475
19:47:40.539 code=200 time=0.006967
19:47:40.657 code=200 time=0.010366
19:47:40.783 code=200 time=0.013215
19:47:40.910 code=200 time=0.010986
19:47:41.035 code=200 time=0.010475
19:47:41.154 code=200 time=0.010914
19:47:41.279 code=200 time=0.012117
19:47:41.406 code=200 time=0.011196
19:47:41.532 code=200 time=0.014331
19:47:41.661 code=200 time=0.010366
19:47:41.785 code=200 time=0.014321
19:47:41.915 code=200 time=0.007514
19:47:42.036 code=200 time=0.016231
19:47:42.166 code=200 time=0.010225
19:47:42.291 code=200 time=0.010506
19:47:42.415 code=200 time=0.009929
19:47:42.538 code=200 time=0.012207
19:47:42.665 code=200 time=0.010592
19:47:42.791 code=200 time=0.014707
19:47:42.921 code=200 time=0.010189
19:47:43.046 code=200 time=0.015131
19:47:43.174 code=200 time=0.009313
19:47:43.298 code=200 time=0.016272
19:47:43.429 code=200 time=0.010029
19:47:43.553 code=200 time=0.016667
19:47:43.685 code=200 time=0.009874
19:47:43.809 code=200 time=0.013957
19:47:43.936 code=200 time=0.010111
19:47:44.061 code=200 time=0.016351
19:47:44.190 code=200 time=0.010347
19:47:44.315 code=200 time=0.012039
19:47:44.441 code=200 time=0.011658
19:47:44.567 code=200 time=0.013953
19:47:44.696 code=200 time=0.005358
19:47:44.809 code=200 time=0.013671
19:47:44.939 code=200 time=0.015413
19:47:45.069 code=200 time=0.019086
19:47:45.203 code=200 time=0.011133
19:47:45.328 code=200 time=0.015611
19:47:45.458 code=200 time=0.010078
19:47:45.581 code=200 time=0.006107
19:47:45.694 code=200 time=0.010521
19:47:45.819 code=200 time=0.015099
19:47:45.949 code=200 time=0.009578
19:47:46.081 code=200 time=0.006828
19:47:46.201 code=200 time=0.008989
19:47:46.324 code=200 time=0.011324
19:47:46.449 code=200 time=0.012655
19:47:46.577 code=200 time=0.014301
19:47:46.704 code=200 time=0.005134
19:47:46.817 code=200 time=0.010732
19:47:46.939 code=200 time=0.010154
19:47:47.063 code=200 time=0.008645
19:47:47.183 code=200 time=0.009447
19:47:47.306 code=200 time=0.013637
19:47:47.434 code=200 time=0.010510
19:47:47.557 code=200 time=0.015244
19:47:47.688 code=200 time=0.010629
19:47:47.814 code=200 time=0.007208
19:47:47.930 code=200 time=0.008892
19:47:48.047 code=200 time=0.013355
19:47:48.174 code=200 time=0.009273
19:47:48.298 code=200 time=0.016664
19:47:48.429 code=200 time=0.009523
19:47:48.553 code=200 time=0.011198
19:47:48.677 code=200 time=0.007394
19:47:48.793 code=200 time=0.008521
19:47:48.915 code=200 time=0.008909
19:47:49.037 code=200 time=0.015569
19:47:49.167 code=200 time=0.004392
19:47:49.278 code=200 time=0.011397
19:47:49.403 code=200 time=0.008738
19:47:49.525 code=200 time=0.012458
19:47:49.651 code=200 time=0.008714
19:47:49.775 code=200 time=0.008699
19:47:49.896 code=200 time=0.009959
19:47:50.019 code=200 time=0.013524
19:47:50.147 code=200 time=0.010091
19:47:50.271 code=200 time=0.012991
19:47:50.399 code=200 time=0.010360
19:47:50.524 code=200 time=0.010911
19:47:50.648 code=200 time=0.009582
19:47:50.771 code=200 time=0.007451
19:47:50.891 code=200 time=0.010557
19:47:51.016 code=200 time=0.016125
19:47:51.145 code=200 time=0.009736
19:47:51.269 code=200 time=0.015956
19:47:51.397 code=200 time=0.004827
19:47:51.509 code=200 time=0.012707
19:47:51.637 code=200 time=0.009885
19:47:51.761 code=200 time=0.010593
19:47:51.884 code=200 time=0.011109
19:47:52.010 code=200 time=0.011714
19:47:52.136 code=200 time=0.009578
19:47:52.260 code=200 time=0.007658
19:47:52.379 code=200 time=0.010269
19:47:52.504 code=200 time=0.012827
19:47:52.631 code=200 time=0.008183
19:47:52.752 code=200 time=0.011648
19:47:52.877 code=200 time=0.010264
19:47:53.002 code=200 time=0.014311
19:47:53.130 code=200 time=0.010016
19:47:53.255 code=200 time=0.015139
@@ -0,0 +1,18 @@
start {'MemAvailable': 4028200, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 268435456 {'MemAvailable': 3767856, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 536870912 {'MemAvailable': 3503128, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 805306368 {'MemAvailable': 3238952, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 1073741824 {'MemAvailable': 2972824, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 1342177280 {'MemAvailable': 2748004, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 1610612736 {'MemAvailable': 2478396, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 1879048192 {'MemAvailable': 2214212, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 2147483648 {'MemAvailable': 1942608, 'SwapTotal': 8388604, 'SwapFree': 8318772}
step allocated_bytes 2415919104 {'MemAvailable': 1692216, 'SwapTotal': 8388604, 'SwapFree': 8318424}
step allocated_bytes 2684354560 {'MemAvailable': 1483016, 'SwapTotal': 8388604, 'SwapFree': 8245952}
step allocated_bytes 2952790016 {'MemAvailable': 1297108, 'SwapTotal': 8388604, 'SwapFree': 8192148}
step allocated_bytes 3221225472 {'MemAvailable': 1034072, 'SwapTotal': 8388604, 'SwapFree': 8192032}
step allocated_bytes 3489660928 {'MemAvailable': 773744, 'SwapTotal': 8388604, 'SwapFree': 8192024}
step allocated_bytes 3758096384 {'MemAvailable': 524620, 'SwapTotal': 8388604, 'SwapFree': 8170268}
hold 12 allocated_bytes 3758096384 {'MemAvailable': 524620, 'SwapTotal': 8388604, 'SwapFree': 8170268}
release allocated_bytes 3758096384 {'MemAvailable': 604420, 'SwapTotal': 8388604, 'SwapFree': 8057356}
after_release {'MemAvailable': 4018732, 'SwapTotal': 8388604, 'SwapFree': 8057356}
@@ -0,0 +1,74 @@
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.17 392.11 0.93 15.21 6.14 75.91 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 109.00 1528.00 0.00 0.00 0.77 14.02 134.00 1444.00 11.00 7.59 0.51 10.78 0.00 0.00 0.00 0.00 0.00 0.00 14.00 1.93 0.18 7.10
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 60.00 5460.00 0.00 0.00 0.15 91.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.90
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 12.00 0.00 0.00 5.00 4.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 1.00 0.02 0.80
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 10.00 104.00 14.00 58.33 2.50 10.40 0.00 0.00 0.00 0.00 0.00 0.00 5.00 1.80 0.03 2.30
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 10.00 48.00 0.00 0.00 0.80 4.80 6.00 56.00 0.00 0.00 0.17 9.33 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.01 1.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 391.00 11392.00 27.00 6.46 0.21 29.14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.08 2.50
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 1.00 4.00 0.00 0.00 1.00 4.00 25.00 104.00 1.00 3.85 4.64 4.16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.70
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 14.00 184.00 13.00 48.15 1.50 13.14 0.00 0.00 0.00 0.00 0.00 0.00 5.00 0.80 0.02 2.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 52.00 0.00 0.00 4.33 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 2.00 0.03 1.10
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2.00 12.00 1.00 33.33 7.50 6.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.70
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 18.00 200.00 0.00 0.00 0.94 11.11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.70
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 1.00 4.00 0.00 0.00 0.00 4.00 8.00 100.00 14.00 63.64 4.62 12.50 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.67 0.04 2.80
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
@@ -0,0 +1,7 @@
pswpin 513
pswpout 31076
pgfault 54884399
pgmajfault 56971
total used free shared buff/cache available
Mem: 11Gi 7.3Gi 3.7Gi 3.8Mi 721Mi 4.1Gi
Swap: 8.0Gi 323Mi 7.7Gi
@@ -0,0 +1,7 @@
pswpin 513
pswpout 31076
pgfault 54258035
pgmajfault 56493
total used free shared buff/cache available
Mem: 11Gi 7.5Gi 1.5Gi 4.5Mi 2.7Gi 3.9Gi
Swap: 8.0Gi 68Mi 7.9Gi
@@ -0,0 +1,20 @@
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
2 0 69832 1516784 77380 2774348 0 0 22 392 3891 5 0 1 96 0 0 2
1 1 269788 182148 54864 680816 0 0 1480 1360 18465 8404 4 15 74 1 0 6
1 0 304604 186524 54864 686332 0 0 5460 0 6228 7724 1 4 92 0 0 2
0 0 304604 184152 54864 686332 0 0 0 0 6226 7378 1 2 93 0 0 4
0 0 304604 174344 54864 686336 0 0 0 0 6048 7355 1 3 93 0 0 3
0 0 304604 169776 54864 686348 0 0 0 12 6223 7585 1 3 93 0 0 3
1 0 304604 166072 54872 686392 0 0 0 104 6116 7554 1 2 93 0 0 4
1 0 304604 163264 54872 686396 0 0 0 0 5818 7039 1 3 93 0 0 4
1 0 331248 213948 53388 673060 0 0 48 56 6209 7166 1 3 91 0 0 5
0 0 331248 205104 53528 684216 0 0 11392 0 7729 10714 1 3 91 1 0 3
1 0 331248 201104 53532 684312 0 0 4 104 7466 11318 1 3 92 0 0 3
0 0 331248 197272 53548 684416 0 0 0 184 7598 11800 1 3 93 0 0 3
1 0 331248 198600 53548 684420 0 0 0 0 6136 7947 1 3 94 0 0 2
0 0 331248 3609528 53548 684480 0 0 0 52 6473 7826 1 3 92 0 0 3
1 0 331248 3608896 53548 684484 0 0 0 12 5903 7560 1 3 94 0 0 2
0 0 331248 3875532 53556 684664 0 0 200 0 6207 7473 1 3 93 0 0 3
1 0 331248 3878848 53576 684656 0 0 4 100 4697 5849 0 2 96 0 0 2
0 0 331248 3878848 53576 684684 0 0 0 0 4800 5355 0 2 97 0 0 2
@@ -0,0 +1,15 @@
=== pinned ===
VCPU CPU Affinity
----------------------
0 0
1 1
VCPU CPU Affinity
----------------------
0 2
1 3
@@ -0,0 +1,50 @@
19:48:58.422 code=200 time=0.005367
19:48:58.535 code=200 time=0.017086
19:48:58.667 code=200 time=0.009485
19:48:58.790 code=200 time=0.012863
19:48:58.917 code=200 time=0.011068
19:48:59.043 code=200 time=0.012421
19:48:59.169 code=200 time=0.008095
19:48:59.290 code=200 time=0.008011
19:48:59.410 code=200 time=0.010697
19:48:59.534 code=200 time=0.012811
19:48:59.662 code=200 time=0.009368
19:48:59.786 code=200 time=0.011262
19:48:59.910 code=200 time=0.008604
19:49:00.033 code=200 time=0.013054
19:49:00.160 code=200 time=0.008032
19:49:00.279 code=200 time=0.013803
19:49:00.406 code=200 time=0.010433
19:49:00.530 code=200 time=0.005969
19:49:00.643 code=200 time=0.010429
19:49:00.768 code=200 time=0.014340
19:49:00.897 code=200 time=0.010905
19:49:01.024 code=200 time=0.010411
19:49:01.146 code=200 time=0.009523
19:49:01.269 code=200 time=0.013386
19:49:01.398 code=200 time=0.019906
19:49:01.532 code=200 time=0.013645
19:49:01.660 code=200 time=0.010554
19:49:01.783 code=200 time=0.013084
19:49:01.911 code=200 time=0.010348
19:49:02.036 code=200 time=0.011489
19:49:02.161 code=200 time=0.022119
19:49:02.298 code=200 time=0.012481
19:49:02.424 code=200 time=0.009933
19:49:02.548 code=200 time=0.011356
19:49:02.673 code=200 time=0.011420
19:49:02.799 code=200 time=0.012644
19:49:02.925 code=200 time=0.011300
19:49:03.052 code=200 time=0.013069
19:49:03.179 code=200 time=0.009622
19:49:03.303 code=200 time=0.012217
19:49:03.430 code=200 time=0.009425
19:49:03.553 code=200 time=0.011932
19:49:03.679 code=200 time=0.010612
19:49:03.805 code=200 time=0.013482
19:49:03.933 code=200 time=0.012042
19:49:04.060 code=200 time=0.010964
19:49:04.184 code=200 time=0.009675
19:49:04.309 code=200 time=0.013427
19:49:04.435 code=200 time=0.004777
19:49:04.547 code=200 time=0.010402
@@ -0,0 +1,34 @@
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.23 22.88 0.40 63.46 0.58 98.27 5.17 392.16 0.93 15.21 6.14 75.92 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 3.00 128.00 0.00 0.00 5.00 42.67 6.00 52.00 0.00 0.00 3.83 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.04 1.60
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 11.00 408.00 17.00 60.71 4.82 37.09 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.06 1.50
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 4.00 12.00 0.00 0.00 2.50 3.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 1.50 0.01 1.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 24.00 0.00 0.00 5.50 4.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 5.50 0.04 1.80
@@ -0,0 +1,11 @@
total used free shared buff/cache available
Mem: 11Gi 7.3Gi 3.7Gi 3.8Mi 728Mi 4.1Gi
Swap: 8.0Gi 317Mi 7.7Gi
SwapTotal: 8388604 kB
SwapFree: 8063500 kB
Zswap: 32360 kB
Zswapped: 258144 kB
pswpin 513
pswpout 31076
pgfault 54964236
pgmajfault 57202
@@ -0,0 +1,10 @@
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
3 0 331248 3876260 53876 691100 0 0 22 392 3891 5 0 1 96 0 0 2
1 0 331248 3872868 53876 691176 0 0 4 0 6223 7895 1 3 92 0 0 4
1 0 331248 3867984 53876 691396 0 0 0 0 6304 8259 1 3 92 0 0 4
2 0 331248 3869052 53876 691528 0 0 128 52 6099 7158 1 3 91 0 0 5
2 0 331248 3868744 53884 691568 0 0 0 408 5749 7015 1 2 92 0 0 4
0 0 331248 3865844 53884 691592 0 0 0 0 6150 7520 1 3 93 0 0 3
1 0 331248 3865352 53884 691608 0 0 0 12 5955 7559 1 2 92 0 0 4
0 0 325104 3867040 53884 691600 0 0 0 24 5045 6031 0 2 96 0 0 2
@@ -0,0 +1,263 @@
=== qemu thread map ===
* CPU #0: thread_id=272131 model=host
CPU #1: thread_id=272132 model=host
* CPU #0: thread_id=272156 model=host
CPU #1: thread_id=272157 model=host
=== mpstat ===
=== psr samples ===
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
19:11:39.292
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Sl CPU 1/KVM
19:11:39 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:40 all 0.13 0.00 2.38 0.00 0.63 0.00 0.00 5.64 0.00 91.23
19:11:40 0 0.00 0.00 3.03 0.00 1.01 0.00 0.00 10.10 0.00 85.86
19:11:40 1 0.00 0.00 4.04 0.00 1.01 0.00 0.00 8.08 0.00 86.87
19:11:40 2 0.00 0.00 3.03 0.00 1.01 0.00 0.00 12.12 0.00 83.84
19:11:40 3 0.00 0.00 3.96 0.00 0.99 0.00 0.00 7.92 0.00 87.13
19:11:40 4 0.00 0.00 0.99 0.00 0.99 0.00 0.00 3.96 0.00 94.06
19:11:40 5 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 0.00 98.00
19:11:40 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 1.01 0.00 97.98
19:11:40 7 1.00 0.00 2.00 0.00 0.00 0.00 0.00 1.00 0.00 96.00
19:11:40.302
272131 0 10.2 Rl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Rl CPU 1/KVM
19:11:40 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:41 all 2.48 0.00 10.41 0.00 0.50 0.62 0.00 35.56 0.00 50.43
19:11:41 0 1.02 0.00 6.12 0.00 0.00 0.00 0.00 67.35 0.00 25.51
19:11:41 1 2.00 0.00 15.00 0.00 1.00 0.00 0.00 35.00 0.00 47.00
19:11:41 2 0.00 0.00 10.10 0.00 0.00 0.00 0.00 66.67 0.00 23.23
19:11:41 3 0.00 0.00 10.10 0.00 0.00 0.00 0.00 68.69 0.00 21.21
19:11:41 4 3.92 0.00 9.80 0.00 0.00 0.00 0.00 12.75 0.00 73.53
19:11:41 5 3.88 0.00 11.65 0.00 0.97 2.91 0.00 5.83 0.00 74.76
19:11:41 6 4.85 0.00 8.74 0.00 0.97 0.00 0.00 17.48 0.00 67.96
19:11:41 7 3.88 0.00 11.65 0.00 0.97 1.94 0.00 14.56 0.00 66.99
19:11:41.314
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Sl CPU 1/KVM
19:11:41 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:42 all 3.21 0.00 16.81 0.37 0.74 0.74 0.00 23.73 0.00 54.39
19:11:42 0 0.99 0.00 21.78 0.99 0.99 0.00 0.00 32.67 0.00 42.57
19:11:42 1 1.00 0.00 19.00 0.00 0.00 1.00 0.00 29.00 0.00 50.00
19:11:42 2 0.99 0.00 20.79 0.00 0.99 0.99 0.00 44.55 0.00 31.68
19:11:42 3 1.00 0.00 23.00 0.00 1.00 0.00 0.00 38.00 0.00 37.00
19:11:42 4 6.86 0.00 11.76 0.98 0.98 0.00 0.00 10.78 0.00 68.63
19:11:42 5 3.96 0.00 12.87 0.00 0.99 1.98 0.00 13.86 0.00 66.34
19:11:42 6 5.94 0.00 11.88 0.00 0.00 0.00 0.00 10.89 0.00 71.29
19:11:42 7 4.85 0.00 13.59 0.97 0.97 1.94 0.00 10.68 0.00 66.99
19:11:42.326
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Rl CPU 0/KVM
272157 3 5.1 Rl CPU 1/KVM
19:11:42 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:43 all 2.33 0.00 12.16 0.12 0.86 0.86 0.00 31.08 0.00 52.58
19:11:43 0 1.96 0.00 13.73 0.00 0.98 0.00 0.00 45.10 0.00 38.24
19:11:43 1 1.98 0.00 18.81 0.00 0.99 0.00 0.00 22.77 0.00 55.45
19:11:43 2 0.00 0.00 15.84 0.00 0.99 0.00 0.00 51.49 0.00 31.68
19:11:43 3 0.00 0.00 16.83 0.00 0.99 0.99 0.00 49.50 0.00 31.68
19:11:43 4 4.76 0.00 8.57 0.00 0.00 0.95 0.00 2.86 0.00 82.86
19:11:43 5 4.00 0.00 10.00 0.00 1.00 3.00 0.00 0.00 0.00 82.00
19:11:43 6 1.00 0.00 4.00 1.00 1.00 0.00 0.00 66.00 0.00 27.00
19:11:43 7 4.81 0.00 9.62 0.00 0.96 1.92 0.00 12.50 0.00 70.19
19:11:43.338
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Rl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Rl CPU 1/KVM
19:11:43 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:44 all 0.25 0.00 5.84 0.00 0.25 0.12 0.00 25.84 0.00 67.70
19:11:44 0 0.00 0.00 10.10 0.00 0.00 1.01 0.00 16.16 0.00 72.73
19:11:44 1 0.00 0.00 9.09 0.00 1.01 0.00 0.00 19.19 0.00 70.71
19:11:44 2 0.00 0.00 11.11 0.00 0.00 0.00 0.00 38.38 0.00 50.51
19:11:44 3 1.00 0.00 11.00 0.00 0.00 0.00 0.00 36.00 0.00 52.00
19:11:44 4 0.94 0.00 1.89 0.00 0.94 0.00 0.00 0.00 0.00 96.23
19:11:44 5 0.00 0.00 1.96 0.00 0.00 0.00 0.00 0.00 0.00 98.04
19:11:44 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
19:11:44 7 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02
19:11:44.350
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Sl CPU 1/KVM
19:11:44 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:45 all 0.37 0.00 6.58 0.12 0.61 0.12 0.00 21.92 0.00 70.28
19:11:45 0 0.00 0.00 10.89 0.00 0.99 0.00 0.00 14.85 0.00 73.27
19:11:45 1 0.00 0.00 12.00 0.00 0.00 0.00 0.00 11.00 0.00 77.00
19:11:45 2 1.00 0.00 11.00 0.00 0.00 0.00 0.00 35.00 0.00 53.00
19:11:45 3 0.00 0.00 11.00 0.00 1.00 0.00 0.00 19.00 0.00 69.00
19:11:45 4 0.94 0.00 2.83 0.00 0.00 0.94 0.00 0.00 0.00 95.28
19:11:45 5 0.00 0.00 2.80 0.00 0.93 0.00 0.00 0.00 0.00 96.26
19:11:45 6 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00
19:11:45 7 0.94 0.00 2.83 0.94 0.94 0.00 0.00 0.00 0.00 94.34
19:11:45.360
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Sl CPU 1/KVM
19:11:45 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:46 all 0.00 0.00 5.28 0.00 0.49 0.37 0.00 22.21 0.00 71.66
19:11:46 0 0.00 0.00 8.91 0.00 0.99 0.99 0.00 24.75 0.00 64.36
19:11:46 1 0.00 0.00 11.88 0.00 0.99 0.99 0.00 18.81 0.00 67.33
19:11:46 2 0.00 0.00 6.86 0.00 0.98 0.00 0.00 23.53 0.00 68.63
19:11:46 3 0.00 0.00 7.92 0.00 0.99 0.00 0.00 13.86 0.00 77.23
19:11:46 4 0.00 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 98.06
19:11:46 5 0.00 0.00 1.89 0.00 0.00 0.94 0.00 0.00 0.00 97.17
19:11:46 6 0.00 0.00 1.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00
19:11:46 7 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02
19:11:46.370
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Rl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Rl CPU 1/KVM
19:11:46 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:47 all 0.49 0.00 4.67 0.49 0.49 0.25 0.00 20.52 0.00 73.10
19:11:47 0 0.00 0.00 10.89 0.00 0.00 0.00 0.00 17.82 0.00 71.29
19:11:47 1 0.00 0.00 11.11 0.00 1.01 0.00 0.00 8.08 0.00 79.80
19:11:47 2 1.00 0.00 5.00 0.00 0.00 0.00 0.00 22.00 0.00 72.00
19:11:47 3 1.00 0.00 3.00 2.00 0.00 1.00 0.00 20.00 0.00 73.00
19:11:47 4 0.93 0.00 1.87 1.87 0.93 0.93 0.00 0.00 0.00 93.46
19:11:47 5 0.97 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 97.09
19:11:47 6 0.00 0.00 0.00 0.00 1.00 0.00 0.00 99.00 0.00 0.00
19:11:47 7 0.00 0.00 3.85 0.00 0.96 0.00 0.00 0.00 0.00 95.19
19:11:47.383
272131 0 10.2 Rl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.1 Sl CPU 1/KVM
19:11:47 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:48 all 0.00 0.00 5.03 0.12 0.49 0.12 0.00 17.67 0.00 76.56
19:11:48 0 0.00 0.00 12.00 0.00 1.00 0.00 0.00 14.00 0.00 73.00
19:11:48 1 0.00 0.00 11.11 0.00 0.00 0.00 0.00 4.04 0.00 84.85
19:11:48 2 0.00 0.00 6.00 0.00 1.00 0.00 0.00 17.00 0.00 76.00
19:11:48 3 0.00 0.00 6.00 0.00 1.00 0.00 0.00 9.00 0.00 84.00
19:11:48 4 0.00 0.00 2.83 0.00 0.00 0.00 0.00 0.00 0.00 97.17
19:11:48 5 0.00 0.00 0.93 0.93 0.93 0.00 0.00 0.00 0.00 97.20
19:11:48 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
19:11:48 7 0.00 0.00 1.94 0.00 0.00 0.97 0.00 0.00 0.00 97.09
19:11:48.396
272131 0 10.2 Rl CPU 0/KVM
272132 1 10.1 Rl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.2 Sl CPU 1/KVM
19:11:48 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:49 all 0.00 0.00 5.04 0.00 0.61 0.25 0.00 17.32 0.00 76.78
19:11:49 0 0.00 0.00 9.90 0.00 0.99 0.99 0.00 10.89 0.00 77.23
19:11:49 1 0.00 0.00 11.88 0.00 0.99 0.99 0.00 5.94 0.00 80.20
19:11:49 2 0.00 0.00 7.00 0.00 0.00 0.00 0.00 12.00 0.00 81.00
19:11:49 3 0.00 0.00 7.00 0.00 1.00 0.00 0.00 13.00 0.00 79.00
19:11:49 4 0.00 0.00 1.89 0.00 0.94 0.00 0.00 0.00 0.00 97.17
19:11:49 5 0.00 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 98.06
19:11:49 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
19:11:49 7 0.00 0.00 0.96 0.00 0.96 0.00 0.00 0.00 0.00 98.08
19:11:49.406
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Rl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.2 Sl CPU 1/KVM
19:11:49 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:50 all 0.12 0.00 4.05 0.00 0.37 0.49 0.00 17.08 0.00 77.76
19:11:50 0 0.00 0.00 11.00 0.00 1.00 0.00 0.00 8.00 0.00 80.00
19:11:50 1 0.00 0.00 9.00 0.00 1.00 0.00 0.00 10.00 0.00 80.00
19:11:50 2 0.00 0.00 5.00 0.00 0.00 1.00 0.00 15.00 0.00 79.00
19:11:50 3 0.00 0.00 4.95 0.00 0.00 0.99 0.00 6.93 0.00 87.13
19:11:50 4 0.93 0.00 0.93 0.00 0.00 0.93 0.00 0.00 0.00 97.20
19:11:50 5 0.00 0.00 0.97 0.00 0.00 0.97 0.00 0.00 0.00 98.06
19:11:50 6 0.99 0.00 0.00 0.00 0.99 0.00 0.00 98.02 0.00 0.00
19:11:50 7 0.00 0.00 0.98 0.00 0.00 0.00 0.00 0.00 0.00 99.02
19:11:50.417
272131 0 10.2 Rl CPU 0/KVM
272132 1 10.1 Rl CPU 1/KVM
272156 2 5.2 Rl CPU 0/KVM
272157 3 5.2 Rl CPU 1/KVM
19:11:50 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:51 all 0.97 0.00 4.75 0.12 0.49 0.12 0.00 15.23 0.00 78.20
19:11:51 0 1.00 0.00 10.00 0.00 0.00 1.00 0.00 4.00 0.00 84.00
19:11:51 1 2.00 0.00 12.00 0.00 0.00 0.00 0.00 9.00 0.00 77.00
19:11:51 2 0.00 0.00 3.96 0.00 0.99 0.00 0.00 10.89 0.00 84.16
19:11:51 3 1.96 0.00 3.92 0.00 0.98 0.00 0.00 9.80 0.00 83.33
19:11:51 4 0.94 0.00 2.83 0.94 0.00 0.00 0.00 0.00 0.00 95.28
19:11:51 5 0.93 0.00 1.87 0.00 0.93 0.00 0.00 0.00 0.00 96.26
19:11:51 6 0.00 0.00 2.00 0.00 0.00 0.00 0.00 91.00 0.00 7.00
19:11:51 7 1.90 0.00 1.90 0.00 0.95 0.00 0.00 0.00 0.00 95.24
19:11:51.429
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.2 Sl CPU 1/KVM
19:11:51 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:52 all 0.25 0.00 1.13 0.00 0.75 0.13 0.00 2.00 0.00 95.62
19:11:52 0 0.00 0.00 1.98 0.00 1.98 0.00 0.00 5.94 0.00 90.10
19:11:52 1 0.00 0.00 1.98 0.00 1.98 0.99 0.00 5.94 0.00 89.11
19:11:52 2 1.98 0.00 1.98 0.00 0.00 0.00 0.00 0.99 0.00 95.05
19:11:52 3 0.00 0.00 0.99 0.00 0.99 0.00 0.00 2.97 0.00 95.05
19:11:52 4 0.00 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 98.99
19:11:52 5 0.00 0.00 1.03 0.00 0.00 0.00 0.00 0.00 0.00 98.97
19:11:52 6 0.99 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 98.02
19:11:52 7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
19:11:52.451
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.2 Sl CPU 1/KVM
19:11:52 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:53 all 0.74 0.00 2.23 0.37 0.62 0.50 0.00 7.92 0.00 87.62
19:11:53 0 1.00 0.00 4.00 0.00 1.00 1.00 0.00 9.00 0.00 84.00
19:11:53 1 0.00 0.00 3.09 0.00 1.03 0.00 0.00 8.25 0.00 87.63
19:11:53 2 1.98 0.00 2.97 0.00 0.99 0.00 0.00 3.96 0.00 90.10
19:11:53 3 1.00 0.00 3.00 1.00 0.00 0.00 0.00 8.00 0.00 87.00
19:11:53 4 0.00 0.00 0.98 1.96 0.00 0.98 0.00 28.43 0.00 67.65
19:11:53 5 0.00 0.00 1.94 0.00 0.97 0.97 0.00 5.83 0.00 90.29
19:11:53 6 0.00 0.00 0.98 0.00 0.98 0.00 0.00 0.00 0.00 98.04
19:11:53 7 1.94 0.00 0.97 0.00 0.00 0.97 0.00 0.00 0.00 96.12
19:11:53.473
272131 0 10.2 Sl CPU 0/KVM
272132 1 10.1 Sl CPU 1/KVM
272156 2 5.2 Sl CPU 0/KVM
272157 3 5.2 Sl CPU 1/KVM
19:11:53 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:11:54 all 0.12 0.00 4.80 0.00 0.37 0.49 0.00 17.49 0.00 76.72
19:11:54 0 1.00 0.00 11.00 0.00 0.00 0.00 0.00 6.00 0.00 82.00
19:11:54 1 0.00 0.00 10.89 0.00 0.99 0.99 0.00 10.89 0.00 76.24
19:11:54 2 0.00 0.00 7.00 0.00 0.00 1.00 0.00 14.00 0.00 78.00
19:11:54 3 0.00 0.00 3.96 0.00 0.99 0.99 0.00 11.88 0.00 82.18
19:11:54 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
19:11:54 5 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02
19:11:54 6 0.00 0.00 1.89 0.00 0.00 0.94 0.00 0.00 0.00 97.17
19:11:54 7 0.00 0.00 1.92 0.00 0.96 0.00 0.00 0.00 0.00 97.12
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: all 0.75 0.00 6.09 0.12 0.55 0.35 0.00 18.78 0.00 73.37
Average: 0 0.40 0.00 9.71 0.07 0.73 0.33 0.00 19.10 0.00 69.66
Average: 1 0.47 0.00 10.75 0.00 0.80 0.33 0.00 13.75 0.00 73.90
Average: 2 0.33 0.00 7.86 0.00 0.47 0.20 0.00 24.50 0.00 66.64
Average: 3 0.27 0.00 7.77 0.20 0.66 0.27 0.00 20.93 0.00 69.90
Average: 4 1.35 0.00 3.28 0.39 0.39 0.32 0.00 10.21 0.00 84.07
Average: 5 0.91 0.00 3.63 0.06 0.45 0.71 0.00 1.75 0.00 92.48
Average: 6 0.93 0.00 2.18 0.07 0.40 0.07 0.00 58.33 0.00 38.03
Average: 7 1.30 0.00 3.76 0.13 0.52 0.52 0.00 2.60 0.00 91.17
@@ -0,0 +1,11 @@
requests=2000
concurrency=20
elapsed_sec=3.246808
throughput_rps=615.990
latency_avg_ms=32.233
latency_p50_ms=30.977
latency_p95_ms=46.315
latency_p99_ms=67.953
latency_max_ms=87.452
codes={200: 2000}
errors={}
@@ -0,0 +1,15 @@
=== restored ===
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
@@ -0,0 +1,11 @@
requests=2000
concurrency=20
elapsed_sec=2.519337
throughput_rps=793.860
latency_avg_ms=25.049
latency_p50_ms=22.995
latency_p95_ms=32.716
latency_p99_ms=44.084
latency_max_ms=1077.109
codes={200: 2000}
errors={}
@@ -0,0 +1,11 @@
requests=2000
concurrency=20
elapsed_sec=2.558586
throughput_rps=781.682
latency_avg_ms=25.436
latency_p50_ms=23.655
latency_p95_ms=33.558
latency_p99_ms=44.598
latency_max_ms=146.276
codes={200: 2000}
errors={}
@@ -0,0 +1 @@
zsh:1: ==final-affinity=== not found
@@ -0,0 +1,14 @@
pod/cpu-throttle-probe created
pod/cpu-throttle-probe condition met
10000 100000
usage_usec 541034
user_usec 536304
system_usec 4730
nr_periods 54
nr_throttled 46
throttled_usec 4317644
nr_bursts 0
burst_usec 0
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
cpu-throttle-probe 1/1 Running 0 11s 10.42.0.22 kc-lab-1 <none> <none>
pod "cpu-throttle-probe" deleted from keycloak-lab namespace
@@ -0,0 +1,80 @@
--- baseline affinity ---
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
--- keycloak-1 cgroup before ---
max 100000
usage_usec 96556117
user_usec 86036914
system_usec 10519203
nr_periods 0
nr_throttled 0
throttled_usec 0
nr_bursts 0
burst_usec 0
--- contended affinity ---
VCPU CPU Affinity
----------------------
0 0
1 0
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 0 0 1849024 46076 1337252 0 0 81 209 1114 1994 4 3 92 0 0
19:16:02 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:03 0 0.00 0.00 1.00 0.00 0.00 0.00 0.00 91.00 0.00 8.00
3 0 0 1849024 46076 1337252 0 0 0 0 1274 2599 16 35 0 0 50
19:16:03 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:04 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 0 999 2041 16 34 0 0 50
19:16:04 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:05 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 0 1146 2249 18 33 0 0 50
19:16:05 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:06 0 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 0 1197 1953 15 36 0 0 50
19:16:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:07 0 1.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 0 1287 2073 11 39 0 0 50
19:16:07 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:08 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 776 1663 3016 15 35 0 0 50
19:16:08 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:09 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 420 1396 2456 15 35 0 0 50
19:16:09 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:10 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 0 1420 2580 14 36 0 0 50
19:16:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
3 0 0 1849024 46076 1337252 0 0 0 0 1628 2923 10 39 0 0 50
19:16:11 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
19:16:12 0 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
Average: 0 0.00 0.00 0.10 0.00 0.20 0.00 0.00 98.90 0.00 0.80
--- keycloak-1 cgroup after ---
max 100000
usage_usec 96593292
user_usec 86053197
system_usec 10540094
nr_periods 0
nr_throttled 0
throttled_usec 0
nr_bursts 0
burst_usec 0
@@ -0,0 +1,4 @@
server: https://192.168.122.11:6443
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kc-lab-1 Ready control-plane 27m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
109 /home/donghyeon/workspace/virtualization-revalidation-20260921/node-token
@@ -0,0 +1,5 @@
VCPU CPU Affinity
----------------------
0 0-7
1 0-7
@@ -0,0 +1,66 @@
=== environment ===
2026-09-21T10:18:05,027137070+00:00
default via 192.168.0.1 dev wlo1 proto static metric 600
192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600
running
edge_bytes=460914688
base_bytes=338952192
=== graceful shutdown edge ===
Domain 'kc-lab-edge' is being shutdown
shutdown_wait=1 state=running
shutdown_wait=2 state=running
shutdown_wait=3 state=shut off
=== stopped edge image ===
image: /var/lib/libvirt/images/kc-lab-edge.qcow2
file format: qcow2
virtual size: 10 GiB (10737418240 bytes)
disk size: 356 MiB
cluster_size: 65536
backing file: /var/lib/libvirt/images/base.qcow2
backing file format: qcow2
Format specific information:
compat: 1.1
compression type: zlib
lazy refcounts: true
refcount bits: 16
corrupt: false
extended l2: false
Child node '/file':
filename: /var/lib/libvirt/images/kc-lab-edge.qcow2
protocol type: file
file length: 440 MiB (460914688 bytes)
c36eef86b339d1bb1ec5556be581cc247fc9ff6667943a91244bc26d055fdb28 /var/lib/libvirt/images/kc-lab-edge.qcow2
=== edge overlay transfer ===
dest_edge_bytes=460914688
c36eef86b339d1bb1ec5556be581cc247fc9ff6667943a91244bc26d055fdb28 destination-edge
edge_elapsed_sec=15.216
edge_avg_MiB_s=28.887
=== restart edge ===
Domain 'kc-lab-edge' started
edge_ssh_ready_after=6
running
=== base transfer after edge restart ===
3033874999eef45d1e3009e6d68dba2e8e411cdddfc94c95387b24db4cf0d999 /var/lib/libvirt/images/base.qcow2
dest_base_bytes=338952192
3033874999eef45d1e3009e6d68dba2e8e411cdddfc94c95387b24db4cf0d999 destination-base
base_elapsed_sec=11.689
base_avg_MiB_s=27.654
image_set_bytes=799866880
image_set_MiB=762.812
image_set_transfer_sec=26.906
image_set_avg_MiB_s=28.352
=== post health ===
running
NAME STATUS ROLES AGE VERSION
kc-lab-1 Ready control-plane 160m v1.36.4+k3s1
kc-lab-2 Ready <none> 133m v1.36.4+k3s1
=== external request from workmachine ===
external_http=200 remote_ip=100.83.212.4 time=0.025464
2026-09-21T10:18:51,226179650+00:00
=== destination qemu-img info ===
/tmp/reval_wifi_copy2.sh: line 63: qemu-img: command not found
@@ -0,0 +1,35 @@
=== before ===
State: running
Max memory: 5242880 KiB
Used memory: 5242880 KiB
actual 5242880
swap_in 0
swap_out 0
major_fault 289
minor_fault 44503
unused 4899128
available 5048068
usable 4802116
Domain 'kc-lab-1' saved to /var/lib/libvirt/save/kc-lab-1-reval-5g.save
save_sec=8.956592
=== saved file ===
size_bytes=3333557094 blocks=6510864 block_size=512
3.2G /var/lib/libvirt/save/kc-lab-1-reval-5g.save
shut off
Domain restored from /var/lib/libvirt/save/kc-lab-1-reval-5g.save
restore_sec=2.286119
=== after restore ===
ssh: connect to host 192.168.122.11 port 22: Connection timed out
kc-lab-1
active
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kc-lab-1 Ready control-plane 159m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
kc-lab-2 Ready <none> 131m v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
State: running
Max memory: 5242880 KiB
Used memory: 5242880 KiB
save_file_removed=yes
@@ -0,0 +1,26 @@
=== before reconcile ===
table ip libvirt_network {
chain guest_input { # handle 4
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept # handle 331
oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 235204 bytes 1218504730 accept # handle 324
oif "virbr0" counter packets 3 bytes 180 reject # handle 321
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205
}
}
=== after reconcile ===
table ip libvirt_network {
chain guest_input { # handle 4
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 333
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept # handle 331
oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 235204 bytes 1218504730 accept # handle 324
oif "virbr0" counter packets 3 bytes 180 reject # handle 321
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205
}
}
curl: (7) Failed to connect to auth.hyeonworks.com:443 after 0 ms: Could not connect to server
=== external ===
http=000 time=0.000165
@@ -0,0 +1,55 @@
=== before 4g save ===
State: running
Max memory: 5242880 KiB
Used memory: 4194304 KiB
actual 4194304
swap_in 0
swap_out 0
major_fault 289
minor_fault 44503
unused 4899128
available 5048068
usable 4802116
total used free shared buff/cache available
Mem: 3905 1989 799 1 1352 1916
Swap: 0 0 0
Domain 'kc-lab-1' saved to /var/lib/libvirt/save/kc-lab-1-reval-4g.save
save_sec=3.966730
=== saved file ===
size_bytes=3222304048 blocks=6293576 block_size=512
3.1G /var/lib/libvirt/save/kc-lab-1-reval-4g.save
shut off
Domain restored from /var/lib/libvirt/save/kc-lab-1-reval-4g.save
restore_sec=1.978473
ssh: connect to host 192.168.122.11 port 22: Connection timed out
kc-lab-1
active
=== restored 4g state ===
State: running
Max memory: 5242880 KiB
Used memory: 4194304 KiB
actual 4194304
swap_in 0
swap_out 0
major_fault 289
minor_fault 44503
unused 4899128
available 5048068
usable 4802116
=== restored original memory ===
State: running
Max memory: 5242880 KiB
Used memory: 5242880 KiB
total used free shared buff/cache available
Mem: 4929 1997 1815 1 1352 2932
Swap: 0 0 0
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
kc-lab-1 Ready control-plane 159m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
kc-lab-2 Ready <none> 131m v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
save_file_removed=yes
@@ -0,0 +1,18 @@
--- current qemu network args ---
-netdev
'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}'
'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}'
--- direct request precheck ---
code=200 time=0.002025
--- load ---
requests=2000
concurrency=20
elapsed_sec=0.826639
throughput_rps=2419.437
latency_avg_ms=8.070
latency_p50_ms=7.114
latency_p95_ms=15.065
latency_p99_ms=26.880
latency_max_ms=51.698
codes={200: 2000}
errors={}

Some files were not shown because too many files have changed in this diff Show More