refactor: 문서 사람처럼 작성하기
This commit is contained in:
@@ -0,0 +1,16 @@
|
||||
apiVersion: v1
|
||||
kind: ConfigMap
|
||||
metadata:
|
||||
name: coredns-custom
|
||||
namespace: kube-system
|
||||
data:
|
||||
hyeonworks.server: |
|
||||
hyeonworks.com:53 {
|
||||
hosts {
|
||||
192.168.122.10 auth.hyeonworks.com
|
||||
192.168.122.10 app1.hyeonworks.com
|
||||
192.168.122.10 app2.hyeonworks.com
|
||||
fallthrough
|
||||
}
|
||||
forward . /etc/resolv.conf
|
||||
}
|
||||
+26
@@ -0,0 +1,26 @@
|
||||
=== A0 baseline ===
|
||||
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
|
||||
kc-lab-1 Ready control-plane 20h v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
kc-lab-2 Ready <none> 20h v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 1 (17h ago) 20h 10.42.1.19 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 20h 10.42.0.21 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (17h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
|
||||
|
||||
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
|
||||
2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
|
||||
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-6462 | 10.42.1.19:7800 | f
|
||||
keycloak-1-14503 | 10.42.0.21:7800 | t
|
||||
(2 rows)
|
||||
|
||||
|
||||
offline_flag | count
|
||||
--------------+-------
|
||||
(0 rows)
|
||||
|
||||
|
||||
+240
@@ -0,0 +1,240 @@
|
||||
=== A0 precondition diagnosis ===
|
||||
STATEFULSET
|
||||
containers:
|
||||
- args:
|
||||
- start
|
||||
env:
|
||||
- name: KC_DB
|
||||
value: postgres
|
||||
- name: KC_DB_URL
|
||||
value: jdbc:postgresql://postgres:5432/keycloak
|
||||
- name: KC_DB_USERNAME
|
||||
value: keycloak
|
||||
- name: KC_DB_PASSWORD
|
||||
valueFrom:
|
||||
secretKeyRef:
|
||||
key: POSTGRES_PASSWORD
|
||||
name: keycloak-lab-secrets
|
||||
- name: KC_HOSTNAME
|
||||
value: https://auth.hyeonworks.com
|
||||
- name: KC_HOSTNAME_STRICT
|
||||
value: "true"
|
||||
- name: KC_PROXY_HEADERS
|
||||
value: xforwarded
|
||||
- name: KC_HTTP_ENABLED
|
||||
value: "true"
|
||||
- name: KC_HEALTH_ENABLED
|
||||
value: "true"
|
||||
- name: KC_METRICS_ENABLED
|
||||
value: "true"
|
||||
- name: JAVA_OPTS_KC_HEAP
|
||||
value: -Xms256m -Xmx512m
|
||||
- name: KC_BOOTSTRAP_ADMIN_USERNAME
|
||||
value: admin
|
||||
- name: KC_BOOTSTRAP_ADMIN_PASSWORD
|
||||
valueFrom:
|
||||
secretKeyRef:
|
||||
key: KC_BOOTSTRAP_ADMIN_PASSWORD
|
||||
name: keycloak-lab-secrets
|
||||
image: quay.io/keycloak/keycloak:26.7.0
|
||||
imagePullPolicy: IfNotPresent
|
||||
livenessProbe:
|
||||
failureThreshold: 3
|
||||
httpGet:
|
||||
path: /health/live
|
||||
port: management
|
||||
scheme: HTTP
|
||||
periodSeconds: 30
|
||||
successThreshold: 1
|
||||
timeoutSeconds: 1
|
||||
name: keycloak
|
||||
ports:
|
||||
- containerPort: 8080
|
||||
name: http
|
||||
protocol: TCP
|
||||
- containerPort: 9000
|
||||
name: management
|
||||
protocol: TCP
|
||||
- containerPort: 7800
|
||||
name: jgroups
|
||||
protocol: TCP
|
||||
readinessProbe:
|
||||
failureThreshold: 3
|
||||
httpGet:
|
||||
path: /health/ready
|
||||
port: management
|
||||
scheme: HTTP
|
||||
periodSeconds: 10
|
||||
successThreshold: 1
|
||||
timeoutSeconds: 1
|
||||
resources:
|
||||
limits:
|
||||
memory: 900Mi
|
||||
requests:
|
||||
cpu: 100m
|
||||
memory: 640Mi
|
||||
startupProbe:
|
||||
failureThreshold: 60
|
||||
httpGet:
|
||||
path: /health/started
|
||||
port: management
|
||||
scheme: HTTP
|
||||
periodSeconds: 10
|
||||
successThreshold: 1
|
||||
timeoutSeconds: 1
|
||||
terminationMessagePath: /dev/termination-log
|
||||
terminationMessagePolicy: File
|
||||
dnsPolicy: ClusterFirst
|
||||
restartPolicy: Always
|
||||
schedulerName: default-scheduler
|
||||
securityContext: {}
|
||||
terminationGracePeriodSeconds: 30
|
||||
topologySpreadConstraints:
|
||||
- labelSelector:
|
||||
matchLabels:
|
||||
app: keycloak
|
||||
maxSkew: 1
|
||||
topologyKey: kubernetes.io/hostname
|
||||
whenUnsatisfiable: ScheduleAnyway
|
||||
updateStrategy:
|
||||
rollingUpdate:
|
||||
partition: 0
|
||||
type: RollingUpdate
|
||||
status:
|
||||
availableReplicas: 2
|
||||
collisionCount: 0
|
||||
currentReplicas: 2
|
||||
currentRevision: keycloak-658b7db769
|
||||
observedGeneration: 3
|
||||
readyReplicas: 2
|
||||
replicas: 2
|
||||
updateRevision: keycloak-658b7db769
|
||||
updatedReplicas: 2
|
||||
POLICIES
|
||||
apiVersion: v1
|
||||
items: []
|
||||
kind: List
|
||||
metadata:
|
||||
resourceVersion: ""
|
||||
VIEWS0
|
||||
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
|
||||
VIEWS1
|
||||
2026-09-21 08:24:38,739 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-62696(v=16.0.12)|1] (2) [keycloak-0-62696(v=16.0.12), keycloak-1-14503(v=16.0.12)]
|
||||
2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
|
||||
JGROUPS_ERRORS0
|
||||
2026-09-21 10:25:57,589 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled
|
||||
2026-09-21 10:26:00,298 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller'
|
||||
2026-09-21 10:26:00,372 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping`
|
||||
2026-09-21 10:26:00,384 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800
|
||||
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
|
||||
2026-09-21 10:26:00,490 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-6462`, physical addresses are `[10.42.1.19:7800]`
|
||||
2026-09-21 10:26:00,781 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-6462, Site name: null, Cluster name: ISPN
|
||||
2026-09-21 10:24:44,583 ERROR [org.jgroups.protocols.TCP] (Connection.Receiver [10.42.1.19:7800 - 10.42.0.21:40127]-6,keycloak-0-6462(v=16.0.12)) 10.42.1.19:7800: failed sending graceful close to 10.42.0.21:7800: Broken pipe
|
||||
2026-09-21 10:25:32,641 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
|
||||
2026-09-21 10:25:32,647 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN100000: Node keycloak-1-14503 joined the cluster
|
||||
2026-09-21 10:25:32,648 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN100000: Node keycloak-1-14503 joined the cluster
|
||||
2026-09-21 10:25:32,703 INFO [org.infinispan.LIFECYCLE] (jgroups-8,keycloak-0-6462(v=16.0.12)) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,706 INFO [org.infinispan.LIFECYCLE] (jgroups-9,keycloak-0-6462(v=16.0.12)) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,721 INFO [org.infinispan.LIFECYCLE] (jgroups-5,keycloak-0-6462(v=16.0.12)) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,725 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,733 INFO [org.infinispan.LIFECYCLE] (jgroups-9,keycloak-0-6462(v=16.0.12)) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,734 INFO [org.infinispan.LIFECYCLE] (jgroups-14,keycloak-0-6462(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,738 INFO [org.infinispan.LIFECYCLE] (jgroups-8,keycloak-0-6462(v=16.0.12)) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,739 INFO [org.infinispan.LIFECYCLE] (jgroups-10,keycloak-0-6462(v=16.0.12)) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,739 INFO [org.infinispan.LIFECYCLE] (jgroups-11,keycloak-0-6462(v=16.0.12)) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,743 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,745 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,752 INFO [org.infinispan.LIFECYCLE] (jgroups-15,keycloak-0-6462(v=16.0.12)) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,758 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,758 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,759 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,760 INFO [org.infinispan.LIFECYCLE] (jgroups-12,keycloak-0-6462(v=16.0.12)) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,762 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-org.infinispan.CONFIG' started at 2026-09-21T10:25:32.745199318Z and done 2026-09-21T10:25:32.762466908Z
|
||||
2026-09-21 10:25:32,766 INFO [org.infinispan.LIFECYCLE] (jgroups-15,keycloak-0-6462(v=16.0.12)) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,767 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,773 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-actionTokens' started at 2026-09-21T10:25:32.760572704Z and done 2026-09-21T10:25:32.773977930Z
|
||||
2026-09-21 10:25:32,777 INFO [org.infinispan.LIFECYCLE] (jgroups-11,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-authenticationSessions' started at 2026-09-21T10:25:32.763178673Z and done 2026-09-21T10:25:32.777952836Z
|
||||
2026-09-21 10:25:32,778 INFO [org.infinispan.LIFECYCLE] (jgroups-14,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-work' started at 2026-09-21T10:25:32.743029355Z and done 2026-09-21T10:25:32.778710830Z
|
||||
2026-09-21 10:25:32,794 INFO [org.infinispan.LIFECYCLE] (jgroups-13,keycloak-0-6462(v=16.0.12)) ISPN000973: Task 'state-transfer-loginFailures' started at 2026-09-21T10:25:32.767420590Z and done 2026-09-21T10:25:32.794206177Z
|
||||
2026-09-21 10:25:54,422 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:54,420"}}]}
|
||||
JGROUPS_ERRORS1
|
||||
2026-09-21 10:25:32,692 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,693 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,695 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,695 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,696 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=authenticationSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,696 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,696 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,697 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,697 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,699 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineClientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,700 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,700 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,699 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=ReplicatedConsistentHash{ns = 256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,700 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,701 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,703 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=sessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,703 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,703 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=ReplicatedConsistentHash{ns = 256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,705 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,704 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,706 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,707 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,707 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,708 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=work] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,708 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,708 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,708 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,709 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=org.infinispan.CONFIG] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,709 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,709 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,710 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,711 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,711 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,712 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,713 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=offlineSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,713 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,714 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t2) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,714 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,715 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,716 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,716 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=clientSessions] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,717 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t2) [Context=loginFailures] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,718 WARN [org.infinispan.partitionhandling.impl.PreferAvailabilityStrategy] (non-blocking-thread--p2-t3) ISPN000517: Ignoring cache topology from [keycloak-0-6462] during merge: CacheTopology{id=1, phase=NO_REBALANCE, rebalanceId=1, currentCH=DefaultConsistentHash{ns=256, owners = (1)[keycloak-0-6462: 256+0]}, pendingCH=null, unionCH=null, actualMembers=[keycloak-0-6462], persistentUUIDs=[bf90c9e0-9448-4c3e-8037-a686c7a82db1]}
|
||||
2026-09-21 10:25:32,718 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100007: After merge (or coordinator change), recovered members [keycloak-1-14503] with topology id 8
|
||||
2026-09-21 10:25:32,718 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t4) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,721 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100008: Updating cache members list [keycloak-1-14503], topology id 9
|
||||
2026-09-21 10:25:32,722 INFO [org.infinispan.CLUSTER] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,722 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t3) [Context=actionTokens] ISPN100002: Starting rebalance with members [keycloak-1-14503, keycloak-0-6462], phase READ_OLD_WRITE_ALL, topology id 10
|
||||
2026-09-21 10:25:32,730 INFO [org.infinispan.LIFECYCLE] (non-blocking-thread--p2-t1) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 10
|
||||
2026-09-21 10:25:32,757 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,759 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,759 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,760 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,761 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,762 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,764 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,767 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,767 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=offlineSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,768 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,772 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,774 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=offlineClientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,776 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=sessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,777 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=clientSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,777 INFO [org.infinispan.CLUSTER] (jgroups-14,keycloak-1-14503(v=16.0.12)) [Context=org.infinispan.CONFIG] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,779 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,779 INFO [org.infinispan.CLUSTER] (jgroups-15,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,780 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,786 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,788 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,789 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=work] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,790 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,793 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100009: Advancing to rebalance phase READ_ALL_WRITE_ALL, topology id 11
|
||||
2026-09-21 10:25:32,794 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=authenticationSessions] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,795 INFO [org.infinispan.CLUSTER] (jgroups-12,keycloak-1-14503(v=16.0.12)) [Context=actionTokens] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:32,797 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100009: Advancing to rebalance phase READ_NEW_WRITE_ALL, topology id 12
|
||||
2026-09-21 10:25:32,799 INFO [org.infinispan.CLUSTER] (jgroups-16,keycloak-1-14503(v=16.0.12)) [Context=loginFailures] ISPN100010: Finished rebalance with members [keycloak-1-14503, keycloak-0-6462], topology id 13
|
||||
2026-09-21 10:25:47,998 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:47,996"}}]}
|
||||
2026-09-21 10:25:57,996 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak Initialized","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-21 10:25:47,996"}}]}
|
||||
+133
@@ -0,0 +1,133 @@
|
||||
=== A0 current cluster truth ===
|
||||
READY0
|
||||
{
|
||||
"status": "UP",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
READY1
|
||||
{
|
||||
"status": "UP",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
CLUSTER_EVENTS0
|
||||
2026-09-21 10:26:00,451 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)]
|
||||
2026-09-21 10:25:32,641 INFO [org.infinispan.CLUSTER] (jgroups-5,keycloak-0-6462(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
|
||||
CLUSTER_EVENTS1
|
||||
2026-09-21 08:24:38,739 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-62696(v=16.0.12)|1] (2) [keycloak-0-62696(v=16.0.12), keycloak-1-14503(v=16.0.12)]
|
||||
2026-09-21 10:24:44,590 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
|
||||
2026-09-21 10:25:32,640 INFO [org.infinispan.CLUSTER] (jgroups-9,keycloak-1-14503(v=16.0.12)) ISPN000093: Received new, MERGED cluster view for channel ISPN: MergeView::[keycloak-1-14503(v=16.0.12)|3] (2) [keycloak-1-14503(v=16.0.12), keycloak-0-6462(v=16.0.12)], 2 subgroups: [keycloak-0-6462(v=16.0.12)|0] (1) [keycloak-0-6462(v=16.0.12)], [keycloak-1-14503(v=16.0.12)|2] (1) [keycloak-1-14503(v=16.0.12)]
|
||||
PROM_NAMES
|
||||
"kube_apiserver_clusterip_allocator_allocated_ips"
|
||||
"kube_apiserver_clusterip_allocator_allocation_duration_seconds_bucket"
|
||||
"kube_apiserver_clusterip_allocator_allocation_duration_seconds_count"
|
||||
"kube_apiserver_clusterip_allocator_allocation_duration_seconds_sum"
|
||||
"kube_apiserver_clusterip_allocator_allocation_total"
|
||||
"kube_apiserver_clusterip_allocator_available_ips"
|
||||
"vendor_cluster_size"
|
||||
"vendor_jgroups_fd_sock2_get_actual_bind_port"
|
||||
"vendor_jgroups_fd_sock2_get_num_suspected_members"
|
||||
"vendor_jgroups_frag4_get_number_of_received_fragments"
|
||||
"vendor_jgroups_frag4_get_number_of_sent_fragments"
|
||||
"vendor_jgroups_gms_get_view_handler_size"
|
||||
"vendor_jgroups_merge3_get_num_merge_events"
|
||||
"vendor_jgroups_merge3_get_views"
|
||||
"vendor_jgroups_mfc_get_average_time_blocked"
|
||||
"vendor_jgroups_mfc_get_number_of_blockings"
|
||||
"vendor_jgroups_mfc_get_number_of_credit_requests_received"
|
||||
"vendor_jgroups_mfc_get_number_of_credit_requests_sent"
|
||||
"vendor_jgroups_mfc_get_number_of_credit_responses_received"
|
||||
"vendor_jgroups_mfc_get_number_of_credit_responses_sent"
|
||||
"vendor_jgroups_nakack2_get_become_server_queue_size_actual"
|
||||
"vendor_jgroups_nakack2_get_current_seqno"
|
||||
"vendor_jgroups_nakack2_get_non_member_messages"
|
||||
"vendor_jgroups_nakack2_get_num_messages_received"
|
||||
"vendor_jgroups_nakack2_get_num_messages_sent"
|
||||
"vendor_jgroups_nakack2_get_size_of_all_messages"
|
||||
"vendor_jgroups_nakack2_get_size_of_all_messages_incl_headers"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_capacity"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_missing_messages"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_num_compactions"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_num_current_rows"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_num_moves"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_num_purges"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_num_resizes"
|
||||
"vendor_jgroups_nakack2_get_xmit_table_undelivered_msgs"
|
||||
"vendor_jgroups_red_get_drop_rate"
|
||||
"vendor_jgroups_red_get_dropped_messages"
|
||||
"vendor_jgroups_red_get_total_messages"
|
||||
"vendor_jgroups_stable_get_num_votes"
|
||||
"vendor_jgroups_stable_get_stability_received"
|
||||
"vendor_jgroups_stable_get_stability_sent"
|
||||
"vendor_jgroups_stable_get_stable_received"
|
||||
"vendor_jgroups_stable_get_stable_sent"
|
||||
"vendor_jgroups_stats_async_requests_total"
|
||||
"vendor_jgroups_stats_bytes_sent_total"
|
||||
"vendor_jgroups_stats_sync_requests_seconds_count"
|
||||
"vendor_jgroups_stats_sync_requests_seconds_sum"
|
||||
"vendor_jgroups_stats_timed_out_requests_total"
|
||||
"vendor_jgroups_tcp_get_different_cluster_messages"
|
||||
"vendor_jgroups_tcp_get_different_version_messages"
|
||||
"vendor_jgroups_tcp_get_largest_size"
|
||||
"vendor_jgroups_tcp_get_num_batches_received"
|
||||
"vendor_jgroups_tcp_get_num_batches_sent"
|
||||
"vendor_jgroups_tcp_get_num_bytes_received"
|
||||
"vendor_jgroups_tcp_get_num_bytes_sent"
|
||||
"vendor_jgroups_tcp_get_num_mcast_bytes_received"
|
||||
"vendor_jgroups_tcp_get_num_mcast_bytes_sent"
|
||||
"vendor_jgroups_tcp_get_num_mcast_msgs_received"
|
||||
"vendor_jgroups_tcp_get_num_mcast_msgs_sent"
|
||||
"vendor_jgroups_tcp_get_num_mcasts_received"
|
||||
"vendor_jgroups_tcp_get_num_mcasts_sent"
|
||||
"vendor_jgroups_tcp_get_num_msgs_received"
|
||||
"vendor_jgroups_tcp_get_num_msgs_sent"
|
||||
"vendor_jgroups_tcp_get_num_rejected_msgs"
|
||||
"vendor_jgroups_tcp_get_num_single_msgs_sent"
|
||||
"vendor_jgroups_tcp_get_num_timer_tasks"
|
||||
"vendor_jgroups_tcp_get_num_ucast_bytes_received"
|
||||
"vendor_jgroups_tcp_get_num_ucast_bytes_sent"
|
||||
"vendor_jgroups_tcp_get_num_ucast_msgs_received"
|
||||
"vendor_jgroups_tcp_get_num_ucast_msgs_sent"
|
||||
"vendor_jgroups_tcp_get_num_ucasts_received"
|
||||
"vendor_jgroups_tcp_get_num_ucasts_sent"
|
||||
"vendor_jgroups_tcp_get_open_connections"
|
||||
"vendor_jgroups_tcp_get_thread_pool_size"
|
||||
"vendor_jgroups_tcp_get_thread_pool_size_active"
|
||||
"vendor_jgroups_tcp_get_timer_threads"
|
||||
"vendor_jgroups_ufc_get_average_time_blocked"
|
||||
"vendor_jgroups_ufc_get_number_of_blockings"
|
||||
"vendor_jgroups_ufc_get_number_of_credit_requests_received"
|
||||
"vendor_jgroups_ufc_get_number_of_credit_requests_sent"
|
||||
+2
@@ -0,0 +1,2 @@
|
||||
=== vendor_cluster_size ===
|
||||
{"status":"success","data":{"resultType":"vector","result":[{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-1-14503","instance":"10.42.0.21:9000","job":"keycloak","node":"kc-lab-1","pod":"keycloak-1"},"value":[1790051098.284,"2"]},{"metric":{"__name__":"vendor_cluster_size","cache_manager":"keycloak","exported_node":"keycloak-0-6462","instance":"10.42.1.19:9000","job":"keycloak","node":"kc-lab-2","pod":"keycloak-0"},"value":[1790051098.284,"2"]}]}}
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
=== A0 cache baseline before reset ===
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-6462"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-6462"} 0.0
|
||||
[keycloak-1]
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-14503"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-14503"} 0.0
|
||||
+26
@@ -0,0 +1,26 @@
|
||||
=== A0 reset injection ===
|
||||
[1] delete session rows
|
||||
DELETE 0
|
||||
[2] restart
|
||||
2026-09-22 13:28:32 KST
|
||||
statefulset.apps/keycloak restarted
|
||||
[3] wait
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[4] pods
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 30s 10.42.1.22 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 64s 10.42.0.23 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[5] db sessions
|
||||
offline_flag | count
|
||||
--------------+-------
|
||||
(0 rows)
|
||||
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
=== A0 reset verification ===
|
||||
[keycloak-0 cluster]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-19436"} 2.0
|
||||
[keycloak-0 caches]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 0.0
|
||||
[keycloak-1 cluster]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-60369"} 2.0
|
||||
[keycloak-1 caches]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
|
||||
[JGROUPS_PING]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-19436 | 10.42.1.22:7800 | f
|
||||
keycloak-1-60369 | 10.42.0.23:7800 | t
|
||||
(2 rows)
|
||||
|
||||
+6
@@ -0,0 +1,6 @@
|
||||
=== A0 cross-node session without exporting credentials ===
|
||||
initial access_len=758 refresh_len=612 sid_present=yes
|
||||
SID=CnH31RQMG-p4h3_DMTAb9XPT
|
||||
refresh_on_opposite=200 sid_same=yes new_refresh_present=yes
|
||||
logout_on_opposite=204
|
||||
refresh_after_logout_on_original=400 error=invalid_grant
|
||||
+19
@@ -0,0 +1,19 @@
|
||||
=== A0 cache delta ===
|
||||
[before]
|
||||
keycloak-0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 1.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 1.0
|
||||
keycloak-1
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
|
||||
[one login on keycloak-0 via kcadm]
|
||||
login=ok
|
||||
[after]
|
||||
keycloak-0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-19436"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-19436"} 2.0
|
||||
keycloak-1
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-60369"} 0.0
|
||||
[db]
|
||||
0|2
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
=== A0 cache ownership ===
|
||||
[start]
|
||||
keycloak-0 2.0
|
||||
keycloak-1 0.0
|
||||
db=2
|
||||
[5 logins on keycloak-1]
|
||||
.....
|
||||
[after_k1_5]
|
||||
keycloak-0 2.0
|
||||
keycloak-1 5.0
|
||||
db=7
|
||||
[5 logins on keycloak-0]
|
||||
.....
|
||||
[after_k0_5]
|
||||
keycloak-0 7.0
|
||||
keycloak-1 5.0
|
||||
db=12
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
=== A0 enable SQL statement logging ===
|
||||
ALTER SYSTEM
|
||||
ALTER SYSTEM
|
||||
pg_reload_conf
|
||||
----------------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
log_statement
|
||||
---------------
|
||||
all
|
||||
(1 row)
|
||||
|
||||
log_line_prefix
|
||||
-----------------
|
||||
%m [%p] %h
|
||||
(1 row)
|
||||
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== A0 SQL read path request ===
|
||||
SID=Ef60AqLPvErV75Rz5PRRFZsw
|
||||
REFRESH_ON_K1=200
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== A0 one login + opposite refresh for SQL capture ===
|
||||
SID=0jdhDrcu6VUaGIFCjWzNXDs2
|
||||
refresh_on_keycloak_1=200
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
=== A0 SQL read path evidence ===
|
||||
K1=10.42.0.28 SID=Ef60AqLPvErV75Rz5PRRFZsw
|
||||
[K1 statements]
|
||||
[SID details]
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
=== A0 SQL evidence for opposite-node refresh ===
|
||||
K0=10.42.1.22 K1=10.42.0.23 SID=0jdhDrcu6VUaGIFCjWzNXDs2
|
||||
[K1 statements]
|
||||
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
|
||||
2026-09-22 04:33:54.159 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
|
||||
2026-09-22 04:33:54.170 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
|
||||
2026-09-22 04:33:54.172 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
|
||||
[SID details]
|
||||
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = NULL, $2 = '1790051633', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790051633,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790051633}"},"state":"LOGGED_IN"}', $4 = '1790051633', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790051633","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790051633","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790051633', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
ALTER SYSTEM
|
||||
ALTER SYSTEM
|
||||
pg_reload_conf
|
||||
----------------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
log_statement
|
||||
---------------
|
||||
none
|
||||
(1 row)
|
||||
|
||||
log_line_prefix
|
||||
-----------------
|
||||
%m [%p]
|
||||
(1 row)
|
||||
|
||||
+49
@@ -0,0 +1,49 @@
|
||||
=== A0 SQL PID drill-down ===
|
||||
[K1 pid 99043]
|
||||
2026-09-22 04:33:36.552 UTC [99043] 10.42.0.23 LOG: statement:
|
||||
2026-09-22 04:33:46.552 UTC [99043] 10.42.0.23 LOG: statement:
|
||||
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
|
||||
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 LOG: execute S_36: DELETE from JGROUPS_PING WHERE address=$1
|
||||
2026-09-22 04:33:54.157 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000006'
|
||||
2026-09-22 04:33:54.158 UTC [99043] 10.42.0.23 LOG: execute S_37: INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values ($1, $2, $3, $4, $5, $6, $7)
|
||||
2026-09-22 04:33:54.158 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000006', $2 = 'keycloak-1-60369', $3 = 'ISPN', $4 = '10.42.0.23:7800', $5 = 't', $6 = '1790051634', $7 = 'uuid://00000000-0000-0000-0000-000000000006'
|
||||
2026-09-22 04:33:54.159 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
|
||||
2026-09-22 04:33:54.170 UTC [99043] 10.42.0.23 LOG: statement: BEGIN
|
||||
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 LOG: execute S_36: DELETE from JGROUPS_PING WHERE address=$1
|
||||
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000007'
|
||||
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 LOG: execute S_37: INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values ($1, $2, $3, $4, $5, $6, $7)
|
||||
2026-09-22 04:33:54.171 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'uuid://00000000-0000-0000-0000-000000000007', $2 = 'keycloak-0-19436', $3 = 'ISPN', $4 = '10.42.1.22:7800', $5 = 'f', $6 = '1790051634', $7 = 'uuid://00000000-0000-0000-0000-000000000006'
|
||||
2026-09-22 04:33:54.172 UTC [99043] 10.42.0.23 LOG: execute S_2: COMMIT
|
||||
2026-09-22 04:33:54.763 UTC [99043] 10.42.0.23 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
|
||||
2026-09-22 04:33:54.763 UTC [99043] 10.42.0.23 DETAIL: parameters: $1 = 'ISPN'
|
||||
2026-09-22 04:33:56.549 UTC [99043] 10.42.0.23 LOG: statement:
|
||||
2026-09-22 04:34:06.550 UTC [99043] 10.42.0.23 LOG: statement:
|
||||
[K0 pid 99097]
|
||||
2026-09-22 04:33:39.471 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
|
||||
2026-09-22 04:33:39.471 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN'
|
||||
2026-09-22 04:33:49.470 UTC [99097] 10.42.1.22 LOG: statement:
|
||||
2026-09-22 04:33:51.716 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
|
||||
2026-09-22 04:33:51.716 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN'
|
||||
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 LOG: statement: BEGIN
|
||||
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 LOG: execute S_131/C_160: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 04:33:53.857 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 LOG: execute S_134/C_161: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
|
||||
2026-09-22 04:33:53.859 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.868 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT
|
||||
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 LOG: statement: BEGIN
|
||||
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 LOG: execute S_131/C_162: select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,puse1_0.BROKER_SESSION_ID,puse1_0.CREATED_ON,puse1_0.DATA,puse1_0.LAST_SESSION_REFRESH,puse1_0.REALM_ID,puse1_0.REMEMBER_ME,puse1_0.USER_ID,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
2026-09-22 04:33:53.871 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '0', $2 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 LOG: execute S_134/C_163: select pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID,pcse1_0.DATA,pcse1_0.REALM_ID,pcse1_0.TIMESTAMP,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (pcse1_0.CLIENT_ID,pcse1_0.CLIENT_STORAGE_PROVIDER,pcse1_0.EXTERNAL_CLIENT_ID,pcse1_0.OFFLINE_FLAG,pcse1_0.USER_SESSION_ID) in (($1,$2,$3,$4,$5))
|
||||
2026-09-22 04:33:53.874 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 LOG: execute S_146: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
|
||||
2026-09-22 04:33:53.875 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = NULL, $2 = '1790051633', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790051633,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790051633}"},"state":"LOGGED_IN"}', $4 = '1790051633', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute S_147: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9)
|
||||
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790051633","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790051633","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790051633', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = '0jdhDrcu6VUaGIFCjWzNXDs2'
|
||||
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
2026-09-22 04:33:53.876 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT
|
||||
2026-09-22 04:33:57.958 UTC [99097] 10.42.1.22 LOG: statement:
|
||||
2026-09-22 04:33:59.473 UTC [99097] 10.42.1.22 LOG: execute S_34: SELECT address, name, ip, coord, coordinated_by, last_update FROM JGROUPS_PING WHERE cluster_name=$1
|
||||
2026-09-22 04:33:59.473 UTC [99097] 10.42.1.22 DETAIL: parameters: $1 = 'ISPN'
|
||||
2026-09-22 04:34:01.558 UTC [99097] 10.42.1.22 LOG: statement: BEGIN
|
||||
2026-09-22 04:34:01.559 UTC [99097] 10.42.1.22 LOG: execute <unnamed>/C_164: select re1_0.ID from REALM re1_0
|
||||
2026-09-22 04:34:01.573 UTC [99097] 10.42.1.22 LOG: execute S_2: COMMIT
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== A0 SQL read path atomic rerun ===
|
||||
K0=10.42.1.29 K1=10.42.0.28
|
||||
[enable]
|
||||
+39
@@ -0,0 +1,39 @@
|
||||
=== A0 cleanup ===
|
||||
DELETE 13
|
||||
statefulset.apps/keycloak restarted
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 31s 10.42.1.23 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 65s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[db]
|
||||
0
|
||||
[log_statement]
|
||||
none
|
||||
[cluster/cache]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-63395"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-63395"} 0.0
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
|
||||
[jgroups_ping]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-63395 | 10.42.1.23:7800 | f
|
||||
keycloak-1-58832 | 10.42.0.24:7800 | t
|
||||
(2 rows)
|
||||
|
||||
[external]
|
||||
code=200
|
||||
+48
@@ -0,0 +1,48 @@
|
||||
=== A0 SQL read path atomic rerun v2 ===
|
||||
K0=10.42.1.29 K1=10.42.0.28
|
||||
[enable]
|
||||
ALTER SYSTEM
|
||||
ALTER SYSTEM
|
||||
t
|
||||
none
|
||||
%m [%p]
|
||||
[request]
|
||||
SID=xo9l3m-QjR8PCgLTkmMsX76j
|
||||
REFRESH_ON_K1=200
|
||||
[k1 sql]
|
||||
2026-09-22 05:42:59.316 UTC [56] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.322 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.322 UTC [57] 10.42.0.28 LOG: execute S_31/C_102: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='1' and puse1_0.LAST_SESSION_REFRESH<$2 fetch first $3 rows only
|
||||
2026-09-22 05:42:59.324 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.328 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.328 UTC [57] 10.42.0.28 LOG: execute S_33/C_103: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='1' and puse1_0.CREATED_ON<$2 fetch first $3 rows only
|
||||
2026-09-22 05:42:59.329 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.336 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.336 UTC [57] 10.42.0.28 LOG: execute S_35/C_104: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID,puse1_0.DATA from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME is null and puse1_0.LAST_SESSION_REFRESH<$2 fetch first $3 rows only
|
||||
2026-09-22 05:42:59.340 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.344 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.344 UTC [57] 10.42.0.28 LOG: execute S_37/C_105: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID,puse1_0.DATA from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME is null and puse1_0.CREATED_ON<$2 fetch first $3 rows only
|
||||
2026-09-22 05:42:59.346 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.348 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.348 UTC [57] 10.42.0.28 LOG: execute S_39/C_106: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=$2 and puse1_0.LAST_SESSION_REFRESH<$3 fetch first $4 rows only
|
||||
2026-09-22 05:42:59.350 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.352 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.352 UTC [57] 10.42.0.28 LOG: execute S_41/C_107: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=$2 and puse1_0.CREATED_ON<$3 fetch first $4 rows only
|
||||
2026-09-22 05:42:59.355 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.357 UTC [57] 10.42.0.28 LOG: statement: BEGIN
|
||||
2026-09-22 05:42:59.357 UTC [57] 10.42.0.28 LOG: execute S_43/C_108: select puse1_0.USER_SESSION_ID,puse1_0.USER_ID from OFFLINE_USER_SESSION puse1_0 where puse1_0.REALM_ID=$1 and puse1_0.OFFLINE_FLAG='0' and puse1_0.REMEMBER_ME=true fetch first $2 rows only
|
||||
2026-09-22 05:42:59.360 UTC [57] 10.42.0.28 LOG: execute S_2: COMMIT
|
||||
2026-09-22 05:42:59.361 UTC [56] 10.42.0.28 LOG: execute S_1: COMMIT
|
||||
[sid details]
|
||||
2026-09-22 05:42:59.719 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '0', $2 = 'xo9l3m-QjR8PCgLTkmMsX76j'
|
||||
2026-09-22 05:42:59.719 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'xo9l3m-QjR8PCgLTkmMsX76j'
|
||||
2026-09-22 05:42:59.725 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '0', $2 = 'xo9l3m-QjR8PCgLTkmMsX76j'
|
||||
2026-09-22 05:42:59.725 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $2 = 'local', $3 = 'local', $4 = '0', $5 = 'xo9l3m-QjR8PCgLTkmMsX76j'
|
||||
2026-09-22 05:42:59.726 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = NULL, $2 = '1790055779', $3 = '{"ipAddress":"127.0.0.1","authMethod":"openid-connect","rememberMe":false,"started":0,"notes":{"KC_DEVICE_NOTE":"eyJpcEFkZHJlc3MiOiIxMjcuMC4wLjEiLCJvcyI6Ik90aGVyIiwib3NWZXJzaW9uIjoiVW5rbm93biIsImJyb3dzZXIiOiJBcGFjaGUtSHR0cENsaWVudC80LjUuMTQiLCJkZXZpY2UiOiJPdGhlciIsImxhc3RBY2Nlc3MiOjAsIm1vYmlsZSI6ZmFsc2V9","authenticators-completed":"{\"6cc83057-d459-418c-8aa2-633389309200\":1790055779,\"f65a0385-ef5e-4507-9739-c35eaa24b1c8\":1790055779}"},"state":"LOGGED_IN"}', $4 = '1790055779', $5 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $6 = 'f', $7 = '539df575-06d2-4d06-b3ef-4baab545efe4', $8 = '0', $9 = '0', $10 = 'xo9l3m-QjR8PCgLTkmMsX76j'
|
||||
2026-09-22 05:42:59.726 UTC [66] 10.42.1.29 DETAIL: parameters: $1 = '{"authMethod":"openid-connect","notes":{"clientId":"3bb3bc7b-0ac8-4871-8037-fa5a33cbd316","userSessionStartedAt":"1790055779","iss":"https://auth.hyeonworks.com/realms/master","startedAt":"1790055779","level-of-authentication":"-1"}}', $2 = '9e248c0a-9b5c-40dd-b03d-b03f6728b7bc', $3 = '1790055779', $4 = '0', $5 = '3bb3bc7b-0ac8-4871-8037-fa5a33cbd316', $6 = 'local', $7 = 'local', $8 = '0', $9 = 'xo9l3m-QjR8PCgLTkmMsX76j'
|
||||
[disable]
|
||||
ALTER SYSTEM
|
||||
ALTER SYSTEM
|
||||
t
|
||||
all
|
||||
%m [%p] %h
|
||||
+66
@@ -0,0 +1,66 @@
|
||||
=== A1 baseline + manifest ===
|
||||
[manifest]
|
||||
# Experiment A-1 — cut the JGroups transport (TCP 7800) while leaving discovery alone.
|
||||
#
|
||||
# The point is to separate two things that are easy to conflate:
|
||||
#
|
||||
# discovery how the nodes FIND each other -> PostgreSQL JGROUPS_PING table
|
||||
# transport how they actually TALK -> TCP 7800
|
||||
#
|
||||
# Blocking only the transport produces a state that cannot happen on a single
|
||||
# node: both members stay registered in the database, so each believes the other
|
||||
# exists, yet no message gets through.
|
||||
#
|
||||
# kubectl apply -f deploy/lab/k8s/a1-block-jgroups-transport.yaml
|
||||
# kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
|
||||
#
|
||||
# NetworkPolicy is an ALLOWLIST, not a firewall with deny rules. There is no way
|
||||
# to write "deny 7800". The moment a pod is selected by a policy carrying
|
||||
# policyTypes: [Ingress], every inbound port is denied unless a rule permits it.
|
||||
# So 7800 is blocked by *omission*: 8080 and 9000 are listed, 7800 is not.
|
||||
#
|
||||
# That makes the two allow rules load-bearing — get them wrong and the experiment
|
||||
# measures a dead Keycloak instead of a partitioned cluster:
|
||||
#
|
||||
# 8080 the HTTP endpoint. Traefik, the other pod's REST calls, and the probe
|
||||
# traffic all arrive here.
|
||||
# 9000 the management port: /health/started, /health/ready, /health/live and
|
||||
# /metrics. Losing it means the kubelet fails the readiness probe and
|
||||
# kills the pod — the cluster would break for the wrong reason.
|
||||
#
|
||||
# Both rules deliberately omit `from:`, which allows those ports from any source.
|
||||
# Narrowing the source is not the subject here; the 2-hop experiment already
|
||||
# established how to do that by label when it matters.
|
||||
apiVersion: networking.k8s.io/v1
|
||||
kind: NetworkPolicy
|
||||
metadata:
|
||||
name: a1-block-jgroups-transport
|
||||
namespace: keycloak-lab
|
||||
spec:
|
||||
podSelector:
|
||||
matchLabels:
|
||||
app: keycloak
|
||||
policyTypes: [Ingress]
|
||||
ingress:
|
||||
- ports:
|
||||
- { port: 8080, protocol: TCP } # HTTP — must stay open
|
||||
- { port: 9000, protocol: TCP } # health + metrics — must stay open
|
||||
# 7800 is absent on purpose. That is the whole experiment.
|
||||
[policies]
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 83s 10.42.1.23 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 117s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[cluster]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
[jgroups]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-0-63395 | 10.42.1.23:7800 | f
|
||||
keycloak-1-58832 | 10.42.0.24:7800 | t
|
||||
(2 rows)
|
||||
|
||||
[conntrack commands]
|
||||
kc-lab-1 kc-lab-2
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
=== A1 control before block ===
|
||||
control_refresh_on_opposite=200 sid_same=yes
|
||||
control_logout_on_opposite=204
|
||||
control_refresh_after_logout_on_original=400 error=invalid_grant
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== install conntrack on guest nodes ===
|
||||
[kc-lab-1]
|
||||
[kc-lab-2]
|
||||
+21
@@ -0,0 +1,21 @@
|
||||
=== A1 apply network policy ===
|
||||
networkpolicy.networking.k8s.io/a1-block-jgroups-transport created
|
||||
2026-09-22 13:41:53 KST applied
|
||||
NAME POD-SELECTOR AGE
|
||||
a1-block-jgroups-transport app=keycloak 0s
|
||||
Name: a1-block-jgroups-transport
|
||||
Namespace: keycloak-lab
|
||||
Created on: 2026-09-22 13:40:23 +0900 KST
|
||||
Labels: <none>
|
||||
Annotations: <none>
|
||||
Spec:
|
||||
PodSelector: app=keycloak
|
||||
Allowing ingress traffic:
|
||||
To Port: 8080/TCP
|
||||
To Port: 9000/TCP
|
||||
From: <any> (traffic not restricted by source)
|
||||
Not affecting egress traffic
|
||||
Policy Types: Ingress
|
||||
[conntrack version]
|
||||
kc-lab-1 conntrack v1.4.7 (conntrack-tools)
|
||||
kc-lab-2 conntrack v1.4.7 (conntrack-tools)
|
||||
+12
@@ -0,0 +1,12 @@
|
||||
=== A1 port injection verification ===
|
||||
[10.42.1.23]
|
||||
9000 code=200 exit=0
|
||||
8080 code=200 exit=0
|
||||
7800 code=000 exit=7
|
||||
[10.42.0.24]
|
||||
9000 code=200 exit=0
|
||||
8080 code=200 exit=0
|
||||
7800 code=000 exit=7
|
||||
[cluster immediately after policy]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
+13
@@ -0,0 +1,13 @@
|
||||
=== A1 established sockets and conntrack ===
|
||||
[/proc keycloak-0]
|
||||
3: 0000000000000000FFFF000017012A0A:1E78 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1564471 1 00000000c2729507 100 0 0 10 0
|
||||
4: 00000000000000000000000000000000:E1C8 00000000000000000000000000000000:0000 0A 00000000:00000000 00:00000000 00000000 1000 0 1564472 1 0000000087977218 100 0 0 10 0
|
||||
13: 0000000000000000FFFF000017012A0A:1E78 0000000000000000FFFF000018002A0A:92F3 01 00000000:00000000 02:000AC5C2 00000000 1000 0 1564473 2 000000008e6d15f7 21 4 30 10 -1
|
||||
15: 0000000000000000FFFF000017012A0A:E1C8 0000000000000000FFFF000018002A0A:A727 01 00000000:00000000 02:000AC5C0 00000000 1000 0 1564475 2 00000000f3542af7 20 4 28 10 -1
|
||||
[kc-lab-1 conntrack 7800]
|
||||
tcp 6 86395 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
|
||||
tcp 6 102 SYN_SENT src=10.42.0.25 dst=10.42.1.23 sport=43974 dport=7800 [UNREPLIED] src=10.42.1.23 dst=10.42.0.25 sport=7800 dport=43974 mark=0 use=1
|
||||
tcp 6 86259 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
|
||||
[kc-lab-2 conntrack 7800]
|
||||
tcp 6 86395 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
|
||||
tcp 6 86259 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
|
||||
+23
@@ -0,0 +1,23 @@
|
||||
=== A1 delete exact established JGroups conntrack ===
|
||||
[kc-lab-1 delete 7800]
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
|
||||
[kc-lab-1 delete 57800]
|
||||
tcp 6 86246 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
|
||||
[kc-lab-2 delete 7800]
|
||||
tcp 6 86399 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [ASSURED] mark=0 use=1
|
||||
[kc-lab-2 delete 57800]
|
||||
tcp 6 86246 ESTABLISHED src=10.42.0.24 dst=10.42.1.23 sport=42791 dport=57800 src=10.42.1.23 dst=10.42.0.24 sport=57800 dport=42791 [ASSURED] mark=0 use=1
|
||||
[remaining]
|
||||
[kc-lab-1]
|
||||
tcp 6 88 SYN_SENT src=10.42.0.25 dst=10.42.1.23 sport=43974 dport=7800 [UNREPLIED] src=10.42.1.23 dst=10.42.0.25 sport=7800 dport=43974 mark=0 use=1
|
||||
[kc-lab-2]
|
||||
tcp 6 299 ESTABLISHED src=10.42.1.23 dst=10.42.0.24 sport=7800 dport=37619 [UNREPLIED] src=10.42.0.24 dst=10.42.1.23 sport=37619 dport=7800 mark=0 use=1
|
||||
[cluster after +0s]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
[cluster after +10s]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
[cluster after +30s]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-63395"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
+49
@@ -0,0 +1,49 @@
|
||||
=== A1 force partition by recreating keycloak-0 ===
|
||||
2026-09-22 13:43:33 KST delete-keycloak-0
|
||||
old_ip=10.42.1.23
|
||||
pod "keycloak-0" deleted from keycloak-lab namespace
|
||||
new_ip=10.42.1.24 phase=Running after=4s
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 17s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 4m50s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[cluster metrics]
|
||||
keycloak-0 unavailable
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
|
||||
[jgroups_ping]
|
||||
name | ip | coord
|
||||
------------------+-----------------+-------
|
||||
keycloak-1-58832 | 10.42.0.24:7800 | t
|
||||
(1 row)
|
||||
|
||||
[recent views]
|
||||
[keycloak-0]
|
||||
[keycloak-1]
|
||||
2026-09-22 04:37:55,195 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-19436(v=16.0.12)|9] (2) [keycloak-0-19436(v=16.0.12), keycloak-1-58832(v=16.0.12)]
|
||||
2026-09-22 04:38:05,865 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|10] (1) [keycloak-1-58832(v=16.0.12)]
|
||||
2026-09-22 04:38:28,734 INFO [org.infinispan.CLUSTER] (jgroups-8,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|11] (2) [keycloak-1-58832(v=16.0.12), keycloak-0-63395(v=16.0.12)]
|
||||
2026-09-22 04:42:04,992 INFO [org.infinispan.CLUSTER] (jgroups-11,keycloak-1-58832(v=16.0.12)) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-58832(v=16.0.12)|12] (1) [keycloak-1-58832(v=16.0.12)]
|
||||
[health]
|
||||
keycloak-0
|
||||
keycloak-1 {
|
||||
"status": "UP",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
+120
@@ -0,0 +1,120 @@
|
||||
=== A1 partition convergence after restart ===
|
||||
[after wait 30s]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 64s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 5m37s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
[k0 recent log]
|
||||
JAVA_OPTS_KC_HEAP already set in environment; overriding default settings
|
||||
Changes detected in configuration. Updating the server image.
|
||||
Updating the configuration and installing your custom providers, if any. Please wait.
|
||||
2026-09-22 04:42:11,025 WARN [org.keycloak.common.Profile] (build-3) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
|
||||
2026-09-22 04:42:21,654 INFO [io.quarkus.deployment.QuarkusAugmentor] (main) Quarkus augmentation completed in 13416ms
|
||||
Server configuration updated and persisted. Run the following command to review the configuration:
|
||||
|
||||
kc.sh show-config
|
||||
|
||||
Next time you run the server, just add --optimized to the command to ensure this build is used.
|
||||
2026-09-22 04:42:22,891 INFO [org.keycloak.truststore.TruststoreBuilder] (main) Found the following truststore files in the truststore paths [/var/run/secrets/kubernetes.io/serviceaccount/ca.crt]
|
||||
2026-09-22 04:42:24,838 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled
|
||||
2026-09-22 04:42:25,721 INFO [org.hibernate.orm.jdbc.batch] (JPA Startup Thread) HHH100501: Automatic JDBC statement batching enabled (maximum batch size 32)
|
||||
2026-09-22 04:42:25,850 WARN [org.keycloak.common.Profile] (executor-thread-1) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
|
||||
2026-09-22 04:42:25,935 INFO [io.quarkus] (main) Keycloak 26.7.0 on JVM (powered by Quarkus 3.33.2.1) started in 4.177s. Listening on: http://0.0.0.0:8080. Management interface listening on http://0.0.0.0:9000.
|
||||
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Profile prod activated.
|
||||
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Installed features: [agroal, cdi, hibernate-orm, jdbc-postgresql, keycloak, micrometer, narayana-jta, opentelemetry, rest, rest-jackson, smallrye-context-propagation, smallrye-health, vertx]
|
||||
2026-09-22 04:42:25,992 INFO [org.keycloak.quarkus.runtime.storage.database.jpa.DatabaseIndexChecker] (db-index-checker) Running database index checker
|
||||
2026-09-22 04:42:26,881 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups JDBC_PING discovery enabled.
|
||||
2026-09-22 04:42:26,886 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
|
||||
2026-09-22 04:42:26,896 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups Encryption enabled (mTLS).
|
||||
2026-09-22 04:42:27,465 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Starting JGroups certificate reload manager
|
||||
2026-09-22 04:42:27,585 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller'
|
||||
2026-09-22 04:42:27,666 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping`
|
||||
2026-09-22 04:42:27,669 INFO [org.jgroups.JChannel] (executor-thread-1) local_addr: 00000000-0000-0000-0000-00000000000a(v=16.0.12), name: keycloak-0-32489
|
||||
2026-09-22 04:42:27,682 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800
|
||||
2026-09-22 04:42:29,721 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 1
|
||||
2026-09-22 04:42:31,742 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 2
|
||||
2026-09-22 04:42:33,759 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 3
|
||||
2026-09-22 04:42:35,765 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 4
|
||||
2026-09-22 04:42:36,823 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
|
||||
2026-09-22 04:42:37,784 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 5
|
||||
2026-09-22 04:42:39,801 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 6
|
||||
2026-09-22 04:42:41,819 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 7
|
||||
2026-09-22 04:42:43,836 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 8
|
||||
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 9
|
||||
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): too many JOIN attempts (10): becoming singleton
|
||||
2026-09-22 04:42:45,903 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-32489(v=16.0.12)|0] (1) [keycloak-0-32489(v=16.0.12)]
|
||||
2026-09-22 04:42:45,904 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Reloading JGroups Certificate
|
||||
2026-09-22 04:42:45,954 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-32489`, physical addresses are `[10.42.1.24:7800]`
|
||||
2026-09-22 04:42:46,303 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-32489, Site name: null, Cluster name: ISPN
|
||||
2026-09-22 04:42:46,351 INFO [org.keycloak.models.workflow.WorkflowsEventListenerFactory] (executor-thread-1) Workflow runner task scheduled: next execution at 16:42:46, then every PT12H
|
||||
2026-09-22 04:42:46,822 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
|
||||
2026-09-22 04:42:46,905 INFO [org.keycloak.services.resources.KeycloakApplication] (executor-thread-1) Bootstrap completed in 21.053000 seconds
|
||||
2026-09-22 04:43:06,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
[cluster metrics]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
|
||||
[jgroups_ping]
|
||||
keycloak-0-32489|10.42.1.24:7800|true
|
||||
keycloak-1-58832|10.42.0.24:7800|true
|
||||
[after wait 60s]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 2m5s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 6m38s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
[k0 recent log]
|
||||
JAVA_OPTS_KC_HEAP already set in environment; overriding default settings
|
||||
Changes detected in configuration. Updating the server image.
|
||||
Updating the configuration and installing your custom providers, if any. Please wait.
|
||||
2026-09-22 04:42:11,025 WARN [org.keycloak.common.Profile] (build-3) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
|
||||
2026-09-22 04:42:21,654 INFO [io.quarkus.deployment.QuarkusAugmentor] (main) Quarkus augmentation completed in 13416ms
|
||||
Server configuration updated and persisted. Run the following command to review the configuration:
|
||||
|
||||
kc.sh show-config
|
||||
|
||||
Next time you run the server, just add --optimized to the command to ensure this build is used.
|
||||
2026-09-22 04:42:22,891 INFO [org.keycloak.truststore.TruststoreBuilder] (main) Found the following truststore files in the truststore paths [/var/run/secrets/kubernetes.io/serviceaccount/ca.crt]
|
||||
2026-09-22 04:42:24,838 INFO [org.infinispan.CONTAINER] (main) ISPN000974: Virtual threads support: disabled
|
||||
2026-09-22 04:42:25,721 INFO [org.hibernate.orm.jdbc.batch] (JPA Startup Thread) HHH100501: Automatic JDBC statement batching enabled (maximum batch size 32)
|
||||
2026-09-22 04:42:25,850 WARN [org.keycloak.common.Profile] (executor-thread-1) Deprecated features identity-brokering-api:v1, twitter-broker:v1 enabled by default. Check the upgrading guide for steps to use later versions if available.
|
||||
2026-09-22 04:42:25,935 INFO [io.quarkus] (main) Keycloak 26.7.0 on JVM (powered by Quarkus 3.33.2.1) started in 4.177s. Listening on: http://0.0.0.0:8080. Management interface listening on http://0.0.0.0:9000.
|
||||
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Profile prod activated.
|
||||
2026-09-22 04:42:25,936 INFO [io.quarkus] (main) Installed features: [agroal, cdi, hibernate-orm, jdbc-postgresql, keycloak, micrometer, narayana-jta, opentelemetry, rest, rest-jackson, smallrye-context-propagation, smallrye-health, vertx]
|
||||
2026-09-22 04:42:25,992 INFO [org.keycloak.quarkus.runtime.storage.database.jpa.DatabaseIndexChecker] (db-index-checker) Running database index checker
|
||||
2026-09-22 04:42:26,881 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups JDBC_PING discovery enabled.
|
||||
2026-09-22 04:42:26,886 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
|
||||
2026-09-22 04:42:26,896 INFO [org.keycloak.spi.infinispan.impl.embedded.JGroupsConfigurator] (executor-thread-1) JGroups Encryption enabled (mTLS).
|
||||
2026-09-22 04:42:27,465 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Starting JGroups certificate reload manager
|
||||
2026-09-22 04:42:27,585 INFO [org.infinispan.CONTAINER] (executor-thread-1) ISPN000556: Starting user marshaller 'org.infinispan.commons.marshall.ImmutableProtoStreamMarshaller'
|
||||
2026-09-22 04:42:27,666 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000078: Starting JGroups channel `ISPN` with stack `jdbc-ping`
|
||||
2026-09-22 04:42:27,669 INFO [org.jgroups.JChannel] (executor-thread-1) local_addr: 00000000-0000-0000-0000-00000000000a(v=16.0.12), name: keycloak-0-32489
|
||||
2026-09-22 04:42:27,682 INFO [org.jgroups.protocols.FD_SOCK2] (executor-thread-1) server listening on *:57800
|
||||
2026-09-22 04:42:29,721 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 1
|
||||
2026-09-22 04:42:31,742 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 2
|
||||
2026-09-22 04:42:33,759 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 3
|
||||
2026-09-22 04:42:35,765 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 4
|
||||
2026-09-22 04:42:36,823 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
|
||||
2026-09-22 04:42:37,784 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 5
|
||||
2026-09-22 04:42:39,801 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 6
|
||||
2026-09-22 04:42:41,819 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 7
|
||||
2026-09-22 04:42:43,836 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 8
|
||||
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): JOIN(keycloak-0-32489(v=16.0.12)) sent to keycloak-1-58832 timed out (after 2000 ms), on try 9
|
||||
2026-09-22 04:42:45,858 WARN [org.jgroups.protocols.pbcast.GMS] (executor-thread-1) keycloak-0-32489(v=16.0.12): too many JOIN attempts (10): becoming singleton
|
||||
2026-09-22 04:42:45,903 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-0-32489(v=16.0.12)|0] (1) [keycloak-0-32489(v=16.0.12)]
|
||||
2026-09-22 04:42:45,904 INFO [org.keycloak.jgroups.certificates.CertificateReloadManager] (executor-thread-1) Reloading JGroups Certificate
|
||||
2026-09-22 04:42:45,954 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000079: Channel `ISPN` local address is `keycloak-0-32489`, physical addresses are `[10.42.1.24:7800]`
|
||||
2026-09-22 04:42:46,303 INFO [org.keycloak.connections.infinispan.DefaultInfinispanConnectionProviderFactory] (executor-thread-1) Node name: keycloak-0-32489, Site name: null, Cluster name: ISPN
|
||||
2026-09-22 04:42:46,351 INFO [org.keycloak.models.workflow.WorkflowsEventListenerFactory] (executor-thread-1) Workflow runner task scheduled: next execution at 16:42:46, then every PT12H
|
||||
2026-09-22 04:42:46,822 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"DOWN"}]}
|
||||
2026-09-22 04:42:46,905 INFO [org.keycloak.services.resources.KeycloakApplication] (executor-thread-1) Bootstrap completed in 21.053000 seconds
|
||||
2026-09-22 04:43:06,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:43:16,829 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:43:26,825 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:43:26,836 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:43:36,841 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:43:46,835 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:43:56,836 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
2026-09-22 04:44:06,837 INFO [io.smallrye.health] (vert.x-eventloop-thread-0) SRHCK01001: Reporting health down status: {"status":"DOWN","checks":[{"name":"Graceful Shutdown","status":"UP"},{"name":"Keycloak cluster health check","status":"DOWN","data":{"Failing since":"2026-09-22 04:43:06,823"}},{"name":"Keycloak database connections async health check","status":"UP"},{"name":"Keycloak Initialized","status":"UP"}]}
|
||||
[cluster metrics]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
|
||||
[jgroups_ping]
|
||||
keycloak-0-32489|10.42.1.24:7800|true
|
||||
keycloak-1-58832|10.42.0.24:7800|true
|
||||
+12
@@ -0,0 +1,12 @@
|
||||
=== A1 service visibility while partitioned ===
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 3m43s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 8m16s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
[endpointslice]
|
||||
NAME ADDR READY
|
||||
keycloak-4fq7q [10.42.0.24],[10.42.1.24] true,false
|
||||
[lab-host edge https]
|
||||
code=200
|
||||
[outside]
|
||||
code=200
|
||||
+6
@@ -0,0 +1,6 @@
|
||||
=== A1 session semantics while partitioned ===
|
||||
K0=10.42.1.24 K1=10.42.0.24
|
||||
login_on_keycloak_0=ok access_len=758 refresh_len=612 sid=Vi5Z2jLod1_Q6oGIY72ETNrR
|
||||
refresh_on_keycloak_1=200 sid_same=yes new_refresh_present=yes error=
|
||||
logout_on_keycloak_1=204
|
||||
refresh_after_logout_on_keycloak_0=200 error=
|
||||
+16
@@ -0,0 +1,16 @@
|
||||
=== A1 stale session after partitioned logout ===
|
||||
[db sid]
|
||||
user_session_id | offline_flag | last_session_refresh
|
||||
-----------------+--------------+----------------------
|
||||
(0 rows)
|
||||
|
||||
[session cache entries]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
[keycloak-1]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-58832"} 0.0
|
||||
[cluster]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
|
||||
+1
@@ -0,0 +1 @@
|
||||
=== A1 remove policy and watch recovery ===
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== remove policy ===
|
||||
2026-09-22 13:47:56 KST remove-policy
|
||||
networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keycloak-lab namespace
|
||||
+71
@@ -0,0 +1,71 @@
|
||||
=== A1 recovery watch ===
|
||||
--- check 0 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 4m29s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 9m2s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
|
||||
jgroups:
|
||||
keycloak-0-32489|true
|
||||
keycloak-1-58832|true
|
||||
--- check 1 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 4m44s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 9m17s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 1.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 1.0
|
||||
jgroups:
|
||||
keycloak-0-32489|true
|
||||
keycloak-1-58832|true
|
||||
--- check 2 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 0/1 Running 0 4m59s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 9m32s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
jgroups:
|
||||
keycloak-0-32489|false
|
||||
keycloak-1-58832|true
|
||||
--- check 3 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 5m15s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 9m48s 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
jgroups:
|
||||
keycloak-0-32489|false
|
||||
keycloak-1-58832|true
|
||||
--- check 4 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 5m30s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
jgroups:
|
||||
keycloak-0-32489|false
|
||||
keycloak-1-58832|true
|
||||
--- check 5 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 5m46s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
jgroups:
|
||||
keycloak-0-32489|false
|
||||
keycloak-1-58832|true
|
||||
--- check 6 ---
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 6m1s 10.42.1.24 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 10m 10.42.0.24 kc-lab-1 <none> <none>
|
||||
cluster:
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-32489"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-58832"} 2.0
|
||||
jgroups:
|
||||
keycloak-0-32489|false
|
||||
keycloak-1-58832|true
|
||||
+36
@@ -0,0 +1,36 @@
|
||||
=== A1 final cleanup ===
|
||||
[clear session rows]
|
||||
DELETE 0
|
||||
[restart keycloak to clear stale cache]
|
||||
statefulset.apps/keycloak restarted
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 31s 10.42.1.25 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 65s 10.42.0.26 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[networkpolicy]
|
||||
[db sessions]
|
||||
0
|
||||
[cluster/cache]
|
||||
[keycloak-0]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-65032"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-65032"} 0.0
|
||||
[keycloak-1]
|
||||
vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-49950"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-49950"} 0.0
|
||||
[jgroups]
|
||||
keycloak-0-65032|10.42.1.25:7800|false
|
||||
keycloak-1-49950|10.42.0.26:7800|true
|
||||
[outside]
|
||||
code=200
|
||||
+21
@@ -0,0 +1,21 @@
|
||||
=== A2 baseline and token preparation ===
|
||||
[pods]
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
keycloak-0 1/1 Running 0 2m58s 10.42.1.25 kc-lab-2 <none> <none>
|
||||
keycloak-1 1/1 Running 0 3m32s 10.42.0.26 kc-lab-1 <none> <none>
|
||||
postgres-7b474b88c8-x7th5 1/1 Running 1 (18h ago) 20h 10.42.1.21 kc-lab-2 <none> <none>
|
||||
[cluster]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0
|
||||
[prepare keycloak-0 session and client id]
|
||||
k0_session=ready cid_present=yes
|
||||
[prepare keycloak-1 session]
|
||||
k1_session=ready
|
||||
[db sessions]
|
||||
offline_flag | count
|
||||
--------------+-------
|
||||
0 | 2
|
||||
(1 row)
|
||||
|
||||
[service before]
|
||||
code=200
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
=== A2 stop PostgreSQL and probe immediately ===
|
||||
2026-09-22 13:54:02 KST scale-postgres-0
|
||||
deployment.apps/postgres scaled
|
||||
pod/postgres-7b474b88c8-x7th5 condition met
|
||||
postgres_pods:
|
||||
deploy:
|
||||
NAME READY UP-TO-DATE AVAILABLE AGE
|
||||
postgres 0/0 0 0 20h
|
||||
[keycloak-0 paths]
|
||||
existing_refresh_k0=500
|
||||
admin_session_api_k0=500
|
||||
jwks_k0=200
|
||||
well_known_k0=200
|
||||
[keycloak-1 refresh]
|
||||
existing_refresh_k1=500
|
||||
+2
@@ -0,0 +1,2 @@
|
||||
=== A2 new login while DB is down ===
|
||||
new_login_exit=1 http=unknown
|
||||
+17
@@ -0,0 +1,17 @@
|
||||
=== A2 readiness/service while DB is down ===
|
||||
[pods]
|
||||
keycloak-0 false 0 10.42.1.25
|
||||
keycloak-1 false 0 10.42.0.26
|
||||
[health keycloak-0]
|
||||
Error from server (ServiceUnavailable): the server is currently unable to handle the request
|
||||
|
||||
[health keycloak-1]
|
||||
Error from server (ServiceUnavailable): the server is currently unable to handle the request
|
||||
|
||||
[endpointslice]
|
||||
NAME ADDR READY
|
||||
keycloak-4fq7q [10.42.0.26],[10.42.1.25] false,false
|
||||
[edge]
|
||||
code=503
|
||||
[outside]
|
||||
code=503
|
||||
+69
@@ -0,0 +1,69 @@
|
||||
=== A2 final outage observations ===
|
||||
[new login raw status]
|
||||
new_login_http=500
|
||||
[health direct by temporary curl pod]
|
||||
[10.42.1.25]
|
||||
{
|
||||
"status": "DOWN",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "DOWN",
|
||||
"data": {
|
||||
"Failing since": "2026-09-22 04:52:37,764"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
[10.42.0.26]
|
||||
{
|
||||
"status": "DOWN",
|
||||
"checks": [
|
||||
{
|
||||
"name": "Graceful Shutdown",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak database connections async health check",
|
||||
"status": "DOWN",
|
||||
"data": {
|
||||
"Failing since": "2026-09-22 04:52:33,757"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "Keycloak Initialized",
|
||||
"status": "UP"
|
||||
},
|
||||
{
|
||||
"name": "Keycloak cluster health check",
|
||||
"status": "UP"
|
||||
}
|
||||
]
|
||||
}
|
||||
[prometheus up / readiness metric availability]
|
||||
[up keycloak snippets]
|
||||
"value":[1790052878.559
|
||||
"value":[1790052878.559
|
||||
"value":[1790052878.559
|
||||
"value":[1790052878.559
|
||||
"value":[1790052878.559
|
||||
"job":"keycloak"
|
||||
"pod":"keycloak-1"}
|
||||
"value":[1790052878.559
|
||||
"job":"keycloak"
|
||||
"pod":"keycloak-0"}
|
||||
"value":[1790052878.559
|
||||
[kube_pod_status_ready]
|
||||
{"status":"success","data":{"resultType":"vector","result":[]}}
|
||||
+8
@@ -0,0 +1,8 @@
|
||||
=== A2 restore PostgreSQL ===
|
||||
2026-09-22 13:56:08 KST scale-postgres-1
|
||||
deployment.apps/postgres scaled
|
||||
Waiting for deployment "postgres" rollout to finish: 0 of 1 updated replicas are available...
|
||||
deployment "postgres" successfully rolled out
|
||||
2026-09-22 13:56:21 KST postgres-ready
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
postgres-7b474b88c8-rfft2 1/1 Running 0 13s 10.42.1.27 kc-lab-2 <none> <none>
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
=== A2 Keycloak self-recovery ===
|
||||
13:56:37
|
||||
keycloak-0 true 0
|
||||
keycloak-1 true 0
|
||||
edge=200
|
||||
RECOVERED
|
||||
[db sessions]
|
||||
offline_flag | count
|
||||
--------------+-------
|
||||
0 | 2
|
||||
(1 row)
|
||||
|
||||
[cluster]
|
||||
keycloak-0 vendor_cluster_size{cache_manager="keycloak",node="keycloak-0-65032"} 2.0
|
||||
keycloak-1 vendor_cluster_size{cache_manager="keycloak",node="keycloak-1-49950"} 2.0
|
||||
[cleanup tmp]
|
||||
[outside]
|
||||
code=200
|
||||
+50
@@ -0,0 +1,50 @@
|
||||
=== A3 design precheck ===
|
||||
[session column types]
|
||||
column_name | data_type
|
||||
----------------------+-----------
|
||||
created_on | integer
|
||||
last_session_refresh | integer
|
||||
(2 rows)
|
||||
|
||||
[enable statement log]
|
||||
ALTER SYSTEM
|
||||
pg_reload_conf
|
||||
----------------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
log_statement
|
||||
---------------
|
||||
all
|
||||
(1 row)
|
||||
|
||||
[one login via kcadm inside Keycloak]
|
||||
[login transaction statements]
|
||||
2026-09-22 04:57:40.645 UTC [48] LOG: statement: BEGIN
|
||||
2026-09-22 04:57:40.652 UTC [48] LOG: execute S_2: COMMIT
|
||||
2026-09-22 04:57:40.654 UTC [48] LOG: statement: BEGIN
|
||||
2026-09-22 04:57:40.658 UTC [48] LOG: execute <unnamed>: insert into OFFLINE_USER_SESSION (BROKER_SESSION_ID,CREATED_ON,DATA,LAST_SESSION_REFRESH,REALM_ID,REMEMBER_ME,USER_ID,VERSION,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9,$10)
|
||||
2026-09-22 04:57:40.658 UTC [48] LOG: execute <unnamed>: insert into OFFLINE_CLIENT_SESSION (DATA,REALM_ID,TIMESTAMP,VERSION,CLIENT_ID,CLIENT_STORAGE_PROVIDER,EXTERNAL_CLIENT_ID,OFFLINE_FLAG,USER_SESSION_ID) values ($1,$2,$3,$4,$5,$6,$7,$8,$9)
|
||||
2026-09-22 04:57:40.659 UTC [48] LOG: execute <unnamed>: SET LOCAL synchronous_commit TO OFF
|
||||
2026-09-22 04:57:40.659 UTC [48] LOG: execute S_2: COMMIT
|
||||
[disable statement log]
|
||||
ALTER SYSTEM
|
||||
pg_reload_conf
|
||||
----------------
|
||||
t
|
||||
(1 row)
|
||||
|
||||
log_statement
|
||||
---------------
|
||||
all
|
||||
(1 row)
|
||||
|
||||
[WAL settings]
|
||||
name | setting | unit | source
|
||||
------------------------+---------+------+---------
|
||||
commit_delay | 0 | | default
|
||||
synchronous_commit | on | | default
|
||||
wal_writer_delay | 200 | ms | default
|
||||
wal_writer_flush_after | 128 | 8kB | default
|
||||
(4 rows)
|
||||
|
||||
+29
@@ -0,0 +1,29 @@
|
||||
=== A3 log_statement settle + clean baseline ===
|
||||
[log_statement after reload settles]
|
||||
none
|
||||
[delete session rows]
|
||||
DELETE 3
|
||||
[restart Keycloak to clear local caches]
|
||||
statefulset.apps/keycloak restarted
|
||||
Waiting for partitioned roll out to finish: 0 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for partitioned roll out to finish: 1 out of 2 new pods have been updated...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
Waiting for 1 pods to be ready...
|
||||
partitioned roll out complete: 2 new pods have been updated...
|
||||
[db count]
|
||||
0
|
||||
[cache]
|
||||
[keycloak-0]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-36407"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-0-36407"} 0.0
|
||||
[keycloak-1]
|
||||
vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-38371"} 0.0
|
||||
vendor_statistics_approximate_entries_unique{cache="clientSessions",cache_manager="keycloak",node="keycloak-1-38371"} 0.0
|
||||
[restart counts]
|
||||
keycloak-0 0 true
|
||||
keycloak-1 0 true
|
||||
postgres-7b474b88c8-rfft2 0 true
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== A3 kcadm load smoke without token extraction ===
|
||||
attempts=5 success=5 elapsed_ms=6528
|
||||
db_online=5
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
=== A3 raw login speed smoke ===
|
||||
attempts=20 success=20
|
||||
note=end_timestamp_only:1790053298719
|
||||
db_online=25
|
||||
+6
@@ -0,0 +1,6 @@
|
||||
=== A3 attempt1 baseline reset ===
|
||||
DELETE 25
|
||||
statefulset.apps/keycloak restarted
|
||||
db=0
|
||||
keycloak-0=vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-0-17240"} 0.0
|
||||
keycloak-1=vendor_statistics_approximate_entries_unique{cache="sessions",cache_manager="keycloak",node="keycloak-1-54671"} 0.0
|
||||
+8
@@ -0,0 +1,8 @@
|
||||
=== A3 attempt1 force delete ===
|
||||
db_before_delete=200
|
||||
old_pod=postgres-7b474b88c8-rfft2
|
||||
2026-09-22 14:03:39.703 KST force-delete
|
||||
pod "postgres-7b474b88c8-rfft2" force deleted from keycloak-lab namespace
|
||||
deployment "postgres" successfully rolled out
|
||||
new_pod=postgres-7b474b88c8-lcvxh
|
||||
[new postgres startup markers]
|
||||
+12
@@ -0,0 +1,12 @@
|
||||
=== A3 attempt1 actual readiness and startup ===
|
||||
pod/postgres-7b474b88c8-lcvxh condition met
|
||||
pod=postgres-7b474b88c8-lcvxh
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
postgres-7b474b88c8-lcvxh 1/1 Running 0 17s 10.42.1.30 kc-lab-2 <none> <none>
|
||||
[startup markers]
|
||||
2026-09-22 05:02:10.937 UTC [29] LOG: database system was shut down at 2026-09-22 05:02:10 UTC
|
||||
2026-09-22 05:02:10.946 UTC [1] LOG: database system is ready to accept connections
|
||||
db_online=200
|
||||
[keycloak readiness]
|
||||
keycloak-0 true 0
|
||||
keycloak-1 true 0
|
||||
+3
@@ -0,0 +1,3 @@
|
||||
=== A3 attempt1 concurrent baseline ===
|
||||
DELETE 200
|
||||
db=0
|
||||
+5
@@ -0,0 +1,5 @@
|
||||
=== A3 attempt1 concurrent force delete ===
|
||||
db_before=410
|
||||
14:04:37.098 force-delete
|
||||
pod "postgres-7b474b88c8-lcvxh" force deleted from keycloak-lab namespace
|
||||
pod=
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
=== A3 attempt1 wait new postgres correctly ===
|
||||
pod_created=postgres-7b474b88c8-2tqlc after=1 s
|
||||
pod/postgres-7b474b88c8-2tqlc condition met
|
||||
[startup]
|
||||
2026-09-22 05:03:08.501 UTC [29] LOG: database system was shut down at 2026-09-22 05:03:07 UTC
|
||||
2026-09-22 05:03:08.509 UTC [1] LOG: database system is ready to accept connections
|
||||
db_online=412
|
||||
+51
-58
@@ -30,8 +30,8 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API
|
||||
정문이 `503` 인 동안 `up` 이 양쪽 다 1 이었던 것을 다룬다.
|
||||
- **readiness 가 깨진 노드를 시야에서 먼저 치운다**
|
||||
Ready 파드가 0개가 되고 `ready` 주소가 빈 목록이 되는 경로를 다룬다.
|
||||
- **세션을 공유하는 것이 Infinispan 인지 PostgreSQL 인지 손으로 가른다**
|
||||
먼저 해 둬야 하는 편이다. 세션을 데이터베이스가 공유한다는 것을 손으로 확인해 두지 않으면 여기서 나오는 `500` 을 해석할 수 없다.
|
||||
- **세션 캐시와 persistent session store의 경계를 손으로 가른다**
|
||||
A-0 재검증에서 정상 2노드의 교차 refresh는 반대편 DB 세션 SQL 없이도 성공했다. 여기서는 DB 자체를 내려 **캐시만으로 처리할 수 없는 쓰기 경로가 무엇인지** 확인한다.
|
||||
- **PostgreSQL 을 진짜로 크래시시키고 잃은 로그인을 센다**
|
||||
같은 데이터베이스를 SIGKILL 로 죽이는 편이다. 정상 종료가 아무것도 잃지 않는다는 이 편의 결과가 그쪽의 대조군이 된다.
|
||||
|
||||
@@ -55,7 +55,7 @@ PostgreSQL 을 정상 종료시키고 refresh 와 새 로그인과 관리 API
|
||||
| 재는 경로 | 넷 — 캐시 있는 노드 refresh · 없는 노드 refresh · 새 로그인 · 관리 API |
|
||||
| 시간 제약 | access token 수명 60초. 토큰 발급 · 정지 · 시험을 그 안에 끝낸다 |
|
||||
| 정지 구간 | 1분 남짓. 그동안 정문이 실제로 `503` 이 된다 |
|
||||
| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 |
|
||||
| 도구 | `jq`는 없다. 현재 상태는 각 파드의 management endpoint와 `kubectl`을 우선 사용하고, 시계열이 필요할 때만 Prometheus를 본다 |
|
||||
|
||||
**공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다.
|
||||
|
||||
@@ -130,24 +130,20 @@ echo "$K0 $K1"
|
||||
|
||||
### 3. 클러스터가 정상인지 먼저 확인한다
|
||||
|
||||
**무엇을 보는가** — 두 노드가 아는 멤버 수.
|
||||
현재 멤버 수는 Prometheus JSON을 잘라 읽지 않고 각 Keycloak 파드의 metric을 직접 본다.
|
||||
|
||||
```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
|
||||
```bash label="[lab host] 양쪽 cluster size를 직접 확인한다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
printf '%s ' "$POD"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
라벨을 보고 나서 자른다. 아래 줄은 가이드가 미검증으로 표시했다(unknown).
|
||||
두 줄 모두 `2.0`이어야 한다. 이 값이 1이거나 한쪽이 비어 있으면 A-2를 시작하지 않는다. DB 장애 효과와 이미 깨진 클러스터 효과가 섞이기 때문이다.
|
||||
|
||||
```bash label="[lab host] ② 필요한 줄만 자른다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \
|
||||
| tr ',' '\n' | grep -E '"pod":|^"[0-9]'
|
||||
```
|
||||
|
||||
**어디를 보나** — 실측은 `cluster_size keycloak-1 = 2`, `cluster_size keycloak-0 = 2` 다(observed).
|
||||
|
||||
**이 값이 뜻하는 것** — 여기가 `1` 이면 A-1 의 분단이 안 풀린 것이고, 그 위에서 재면 두 실험이 섞인다.
|
||||
2026-09-22 재검증 시작 전에도 두 파드 모두 `2.0`이었다.
|
||||
|
||||
### 4. 상주 탐침 파드를 띄운다
|
||||
|
||||
@@ -167,6 +163,8 @@ kubectl -n keycloak-lab wait --for=condition=Ready pod/a2-probe --timeout=120s
|
||||
|
||||
`--rm` 이 없으므로 끝나면 직접 지운다. 지우는 명령은 복구 절에 있다.
|
||||
|
||||
이 명령은 lab 편의상 Secret 값을 `kubectl run --env=...`의 프로세스 인자로 잠깐 넘긴다. 셸 히스토리에는 비밀번호 리터럴이 남지 않지만 실행 중인 프로세스 인자에는 노출될 수 있다. 운영 환경에서는 이 형태 대신 Pod manifest의 `secretKeyRef`를 사용한다. 이 문서의 증거에는 비밀번호나 토큰 본문을 남기지 않는다.
|
||||
|
||||
비밀번호는 명령 치환으로 넘기므로 값이 터미널에도 셸 히스토리에도 남지 않는다. 존재와 길이만 확인한다.
|
||||
|
||||
```bash label="[lab host] ② 비밀번호의 길이만 센다"
|
||||
@@ -215,28 +213,24 @@ done
|
||||
|
||||
### 6. 세션이 각자 노드에만 캐시됐는가
|
||||
|
||||
```bash label="[lab host] 노드별 캐시 엔트리"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' \
|
||||
| tr ',' '\n' | grep -E '"cache":|"pod":|^"[0-9]'
|
||||
세션을 만든 뒤 각 파드의 로컬 cache entry와 DB row 수를 같이 본다.
|
||||
|
||||
```bash label="[lab host] 두 파드의 세션 캐시를 직접 읽는다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_statistics_approximate_entries_unique' \
|
||||
| grep -E 'cache="(sessions|clientSessions)"'
|
||||
done
|
||||
```
|
||||
|
||||
실측은 이렇다(observed, `02-setup-sessions.txt`).
|
||||
|
||||
```text
|
||||
=== [확인] 세션이 각자 노드에만 캐시되었는가 ===
|
||||
keycloak-1 = 0 건
|
||||
keycloak-0 = 1 건
|
||||
```
|
||||
|
||||
`keycloak-1` 이 `0` 인 것은 스크레이프 지연 때문이다. 방금 로그인했으므로 다음 15초 스크레이프에서 `1` 이 될 수 있고, 원래 실행 기록에도 「캐시 keycloak-0 = 1 건 / keycloak-1 = 0 건 (스크레이프 지연)」으로 적혀 있다. 판정에 쓰는 값은 양쪽이 다른지가 아니라 `keycloak-0` 이 확실히 가지고 있는지다.
|
||||
|
||||
```bash label="[lab host] DB 세션 수도 적어 둔다"
|
||||
```bash label="[lab host] PostgreSQL에 저장된 online session 수를 센다"
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
-c "select offline_flag, count(*) from offline_user_session group by offline_flag"
|
||||
-c "select offline_flag, count(*) from offline_user_session group by offline_flag order by offline_flag"
|
||||
```
|
||||
|
||||
실측은 온라인 세션 `2` 다(observed). 복구 후에 세션이 살아남았는지 볼 대조군이므로 적어 둔다.
|
||||
2026-09-22 재검증에서는 A-2 직전 online session이 `2`건이었다. 이 숫자를 복구 뒤와 비교한다.
|
||||
|
||||
### 7. ④ 에 쓸 클라이언트 id 를 미리 뽑는다
|
||||
|
||||
@@ -387,7 +381,7 @@ kubectl -n keycloak-lab get pods -o "custom-columns=NAME:.metadata.name,READY:.s
|
||||
|
||||
**그 50초 사이의 화면을 보고 「DB 가 없어도 멀쩡하다」로 읽지 않는다.** 이미 500 인데 아직 트래픽에서 안 빠졌을 뿐이다. 이 편이 잡으려는 것도 그 어긋남이다 — 되는 것과 Ready 인 것은 다르다.
|
||||
|
||||
`READY` 가 `false` 인데 `RESTARTS` 는 여전히 `0` 이다. 파드는 죽지 않았고 트래픽에서 빠졌을 뿐이다. `RESTARTS` 가 오르고 있으면 liveness 가 실패하는 것이고, 그 상태에서 무엇을 재든 「DB 없는 Keycloak」이 아니라 「재시작 중인 Keycloak」을 재게 된다. 이 `restarts=0` 이 자동 회복이라는 결론을 가능하게 하는 조건이다.
|
||||
`READY=false`인데 `RESTARTS`가 주입 전보다 늘지 않았다면 프로세스는 살아 있고 트래픽에서만 빠진 것이다. 2026-09-22에는 두 파드가 `false`, restart count는 둘 다 그대로 `0`이었다. restart count가 증가하면 DB 장애 외에 컨테이너 재시작이 섞인 것이므로 별도로 기록한다.
|
||||
|
||||
## 관찰
|
||||
|
||||
@@ -454,21 +448,7 @@ HTTP 000000{"error":"HTTP 401 Unauthorized"}401
|
||||
|
||||
`curl -w '%{http_code}'` 를 쓰면서 `-o /dev/null` 을 빼면 본문이 표준출력으로 같이 나오고, 거기에 `--retry` 까지 걸려 있어 실패한 시도의 `000` 이 앞에 쌓인다. 위 표의 ④ `500` 은 아래 「서명 검증만 필요한 두 경로와 ④」 블록에서 DB 가 아직 내려가 있는 동안 다시 잰 값이다. 첫 측정은 쓰지 않았다 — 오염된 측정은 버리고 다시 잰다.
|
||||
|
||||
① 이 `500` 인 것이 이 실험의 답이다. 캐시에 세션을 들고 있어도 refresh 는 실패한다.
|
||||
|
||||
```text
|
||||
refresh 처리
|
||||
├── 세션이 존재하는가 → 캐시로 답할 수 있다
|
||||
└── LAST_SESSION_REFRESH 갱신 → DB 쓰기가 필요하다 ← 여기서 죽는다
|
||||
```
|
||||
|
||||
A-0 에서 잡은 SQL 그대로다.
|
||||
|
||||
```sql label="A-0 의 문장 로그에서 잡은 갱신 문장"
|
||||
update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1, VERSION=$2 where ...
|
||||
```
|
||||
|
||||
캐시는 읽기를 대신할 뿐 쓰기를 대신하지 못한다. refresh 는 이름과 달리 쓰기 연산이다.
|
||||
①의 `500`이 이 실험의 핵심이다. 세션이 메모리 캐시에 있어도 refresh는 DB가 없으면 완료되지 않았다. **여기서 필요한 결론은 특정 SQL 문장을 단정하는 것이 아니라, refresh 처리에 persistent session store 쓰기 경로가 포함된다는 것**이다. A-0의 2026-09-22 정상 클러스터 재검증에서는 반대편 refresh에 별도 세션 SELECT가 없었으므로, 오래된 `UPDATE OFFLINE_USER_SESSION ...` 한 줄을 모든 refresh의 고정 경로처럼 설명하지 않는다.
|
||||
|
||||
상태가 필요 없는 경로는 살아남는다. ④ 도 여기서 한 번 더 친다 — 표에 적은 ④ `500` 이 이 블록이 낸 값이다. 셋을 한 블록에 두면 세 경로의 답이 한 화면에 나란히 나온다.
|
||||
|
||||
@@ -537,7 +517,7 @@ curl -I --resolve auth.hyeonworks.com:443:192.168.122.10 https://auth.hyeonworks
|
||||
|
||||
노드를 몇 대로 늘려도 DB 가 죽으면 전부 같이 죽는다. Keycloak 의 대수는 DB 장애에 아무 도움이 되지 않는다.
|
||||
|
||||
헬스 본문이 까닭을 말한다. Keycloak 이미지에는 `curl` 이 없으므로 파드 밖에서 묻는다. 묻는 명령은 관찰용 터미널에서 치는데 `"http://$K0:9000/..."` 는 큰따옴표라 파드 안이 아니라 그 터미널의 셸이 편다. 두 값은 2번에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다.
|
||||
헬스 본문이 까닭을 말한다. Keycloak 이미지에는 `curl`이 없고, `kubectl get --raw .../pods/<pod>:9000/proxy/...`도 파드가 NotReady인 동안 `ServiceUnavailable`로 실패할 수 있다. 그래서 **임시 curl 파드에서 Pod IP를 직접** 묻는다. 묻는 명령은 관찰용 터미널에서 치는데 `"http://$K0:9000/..."` 는 큰따옴표라 파드 안이 아니라 그 터미널의 셸이 편다. 두 값은 2번에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다.
|
||||
|
||||
```bash label="[lab host] 관찰용 터미널에서도 파드 주소를 잡는다"
|
||||
K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}')
|
||||
@@ -545,7 +525,7 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
|
||||
echo "$K0 $K1"
|
||||
```
|
||||
|
||||
DB 가 없어도 이 두 줄은 된다. 파드 주소는 쿠버네티스 API 가 답하고, 주입 검증 3번에서 본 대로 Keycloak 파드는 재시작하지 않았으므로(`RESTARTS 0`) 값도 2번과 같다. 이 두 줄을 건너뛰고 다음 블록을 치면 `curl -s "http://:9000/health/ready"` 가 되어 URL 이 거부되고 빈 출력이 나온다. 전면 장애 한복판이라 그 빈 줄을 「헬스 엔드포인트까지 죽었다」로 읽기 쉬운데, 실제로는 헬스가 응답하고 네 항목 중 하나만 DOWN 이다.
|
||||
DB가 없어도 이 두 줄은 된다. 파드 주소는 Kubernetes API가 답한다. `RESTARTS`는 절대 0을 요구하지 말고 **주입 전보다 증가했는지** 비교한다. 2026-09-22 재검증에서는 두 파드 모두 주입 전후 `0 → 0`이었다. 이 두 줄을 건너뛰고 다음 블록을 치면 `curl -s "http://:9000/health/ready"` 가 되어 URL 이 거부되고 빈 출력이 나온다. 전면 장애 한복판이라 그 빈 줄을 「헬스 엔드포인트까지 죽었다」로 읽기 쉬운데, 실제로는 헬스가 응답하고 네 항목 중 하나만 DOWN 이다.
|
||||
|
||||
```bash label="[lab host] 탐침 파드를 통해 헬스를 묻는다"
|
||||
kubectl -n keycloak-lab exec a2-probe -- \
|
||||
@@ -660,7 +640,7 @@ kubectl -n keycloak-lab get pods -o "custom-columns=NAME:.metadata.name,RESTARTS
|
||||
→ 서비스 복귀
|
||||
```
|
||||
|
||||
②의 실측은 `keycloak-0 0`, `keycloak-1 0` 이다(observed). 주입 검증에서 본 값 그대로다.
|
||||
restart count는 주입 전 값과 비교한다. 2026-09-22 재검증에서는 둘 다 `0 → 0`으로 변하지 않았다.
|
||||
|
||||
2026-09-17 에 다시 재 보니 `scale --replicas=1` 에서 두 파드가 `true` 로 돌아오기까지 **36초**였다(observed). 그 가운데 절반쯤은 PostgreSQL 파드가 뜨는 시간이다.
|
||||
|
||||
@@ -674,7 +654,7 @@ deployment "postgres" successfully rolled out
|
||||
|
||||
**④ 는 이 시점에 `401` 이 정상이다.** 2026-09-17 실행에서 ①②③ 이 `200` 인데 ④ 만 `401` 이었다(observed). access token 이 60초짜리라 정지 구간을 지나오며 만료됐을 뿐 DB 와는 무관하다. 위 7번의 시계 경고가 이것을 미리 말해 둔다.
|
||||
|
||||
**왜 필요한가** — 커넥션 풀이 스스로 재연결하고 readiness 가 다시 UP 이 되면서 Service 에 복귀했다. 회복 시간은 DB Ready 이후 약 15초, Keycloak 재시작은 불필요(`restarts=0`)였다. liveness 는 실패하면 재시작이라 재시작하면 나아지는 문제(교착, 메모리 누수)에 쓰고, readiness 는 실패하면 트래픽에서 격리라 재시작해도 안 나아지는 문제(의존 대상이 죽음)에 쓴다. DB 장애에 liveness 를 걸면 모든 파드가 무한 재시작하고, DB 가 돌아와도 CrashLoopBackOff 의 백오프 때문에 회복이 늦어지며, 재시작하면 캐시까지 날아간다.
|
||||
**왜 필요한가** — 커넥션 풀이 스스로 재연결하고 readiness가 다시 UP이 되면서 Service에 복귀했다. 2026-09-22에는 PostgreSQL이 13:56:21에 Ready가 된 뒤 13:56:37 확인 시점에 두 Keycloak과 edge가 이미 정상(`Ready=true`, 외부 200)이었다. Keycloak restart count는 증가하지 않았다. liveness 는 실패하면 재시작이라 재시작하면 나아지는 문제(교착, 메모리 누수)에 쓰고, readiness 는 실패하면 트래픽에서 격리라 재시작해도 안 나아지는 문제(의존 대상이 죽음)에 쓴다. DB 장애에 liveness 를 걸면 모든 파드가 무한 재시작하고, DB 가 돌아와도 CrashLoopBackOff 의 백오프 때문에 회복이 늦어지며, 재시작하면 캐시까지 날아간다.
|
||||
|
||||
**문제가 생기면** — 계속 `503` 이면 Keycloak 이 아직 재연결 중이다. 15~30초 더 기다리고 재시작하지 않는다.
|
||||
|
||||
@@ -691,16 +671,16 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
|
||||
```
|
||||
|
||||
**예상 결과** — 실측은 `online 세션 5` 다(observed). 주입 전에 적어 둔 값보다 크거나 같다. 실험 중에 로그인을 여러 번 했으므로 늘어나 있다.
|
||||
**예상 결과** — 2026-09-22 재검증은 주입 전 `2`, 복구 후 `2`였다. 정상 종료 구간에서 새 로그인은 `500`으로 실패했으므로 이번 회차에는 세션 수가 늘 이유도 없었다.
|
||||
|
||||
**왜 필요한가** — 세션은 DB 에 있으므로 DB 가 돌아오면 같이 돌아오고, 정상 종료였기 때문에 하나도 잃지 않았다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다.
|
||||
**왜 필요한가** — 주입 전후 동일한 `2`건이 남아 정상 종료 자체가 저장된 세션 행을 잃지 않았음을 확인했다. 탐침 파드는 `sleep 7200` 이 끝나면 `Completed` 로 남고 자동으로 사라지지 않는다. 다음 실험에서 `a2-probe` 이름이 이미 있다고 거절당하는 까닭이 거기 있다.
|
||||
|
||||
**문제가 생기면** — 세션 수가 주입 전보다 적으면 이 실험 밖에서 누가 지운 것이다. A-3 의 정리 단계가 돌았는지 본다.
|
||||
|
||||
| 항목 | 명령 | 돌아왔을 때 |
|
||||
|---|---|---|
|
||||
| DB | `kubectl -n keycloak-lab get deploy postgres` | `1/1` |
|
||||
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running`, `RESTARTS 0` |
|
||||
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running`, restart count가 주입 전과 동일 |
|
||||
| Service | `kubectl -n keycloak-lab get endpointslice -l kubernetes.io/service-name=keycloak` | ready 주소 **둘** |
|
||||
| 헬스 | `exec a2-probe -- curl -s "http://$K0:9000/health/ready"` | 전체 `UP` |
|
||||
| 클러스터 | `vendor_cluster_size` | 양쪽 `2` |
|
||||
@@ -718,6 +698,7 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
|
||||
| DB 를 내렸는데 몇 초 만에 돌아온다 | **`delete pod` 를 썼다.** Deployment 가 새로 만든다 | `scale --replicas=0` |
|
||||
| ④ 가 `401` 이다 | **access token 이 만료됐다** (수명 60초) | 토큰 발급 → 정지 → 시험을 60초 안에 |
|
||||
| `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 탐침 파드로 치거나 Prometheus 에 묻는다 |
|
||||
| 컨테이너 안 원라이너에서 `awk: command not found` | 현재 Keycloak 이미지에는 `awk`도 없다 | `sed`, shell built-in처럼 실제 존재를 확인한 도구만 쓰거나 계산을 lab host에서 한다 |
|
||||
| 파드 셸에 다시 들어갔더니 변수가 없다 | `exec` 세션이 끝나면 셸 변수는 사라진다 | 셸을 붙잡고 있는다. 터미널 두 개 |
|
||||
| `kubectl get endpoints` 가 경고를 찍는다 | v1.33 부터 deprecated | `get endpointslice -l kubernetes.io/service-name=...` |
|
||||
| `up` 이 1 이라 정상인 줄 알았다 | **`up` 은 스크레이프 성공만 말한다** | readiness 와 외부 코드를 본다 |
|
||||
@@ -728,10 +709,22 @@ kubectl -n keycloak-lab delete pod a2-probe --ignore-not-found
|
||||
|
||||
## 무엇이 관측이고 무엇이 아닌가
|
||||
|
||||
2026-09-22 현재 lab에서 A-2를 다시 실행했다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a2-*.txt`에 있다.
|
||||
|
||||
- (observed, 2026-09-22) 주입 전 Keycloak 두 파드 Ready, cluster size `2/2`, online session `2`, 정문 `200`.
|
||||
- (observed, 2026-09-22) PostgreSQL을 `replicas=0`으로 내린 직후 두 파드의 기존 refresh가 모두 `500`, 새 login `500`, admin session API `500`, JWKS와 `.well-known`은 `200`.
|
||||
- (observed, 2026-09-22) 두 Keycloak은 restart count 증가 없이 `Ready=false`, EndpointSlice `false,false`, edge와 외부 응답은 `503`.
|
||||
- (observed, 2026-09-22) 직접 Pod IP의 `/health/ready`를 보면 전체 `DOWN`, `database connections async health check`만 `DOWN`, cluster health와 initialized는 `UP`.
|
||||
- (observed, 2026-09-22) `kube_pod_status_ready` Prometheus query는 여전히 빈 배열이다.
|
||||
- (observed, 2026-09-22) PostgreSQL은 13:56:21 KST에 Ready가 됐고 13:56:37 확인 시 두 Keycloak은 재시작 없이 Ready, edge/외부 `200`, online session은 주입 전과 같은 `2`, cluster size `2/2`.
|
||||
- (command finding) 현재 Keycloak 26.7.0 이미지에는 `curl`, `wget`뿐 아니라 `awk`도 없다. 컨테이너 내부 명령은 일반적인 userland를 가정하지 않는다.
|
||||
|
||||
아래 2026-09-04/17 숫자는 과거 실행 기록이다. 날짜가 다른 값은 현재 불변값처럼 섞지 않는다.
|
||||
|
||||
이 절차의 숫자는 `2026-09-04 11:53–11:58 KST` 에 돈 한 번의 실행에서 나왔다(observed).
|
||||
|
||||
- (observed) 정지 `11:56:04`·재기동 `11:57:09`, 네 경로 전부 `500`, JWKS 와 `.well-known` 이 `200`, `ready : []`, 정문 `503`, 헬스 네 항목 중 `database connections` 만 DOWN, `up` 이 양쪽 `1`, `kube_pod_status_ready` 결과가 빈 배열, `restarts=0`, 복구 세션 `5`, 비밀번호 길이 `19`.
|
||||
- (unknown) `tr ',' '\n' | grep -E` 로 자른 Prometheus 출력 셋과 `CID` 를 뽑는 줄. 가이드가 미검증으로 표시했다.
|
||||
- (changed) 현재값 판정에 Prometheus JSON을 `tr`/`grep`으로 자르는 형태는 쓰지 않는다. CID 자체는 2026-09-22에 `kcadm`으로 확인했고, 문서의 curl 기반 CID 추출 원라이너는 별도 검증하지 않았다.
|
||||
- 한 번은 버린 측정이 있다 — ④ 의 첫 측정 `HTTP 000000{"error":"HTTP 401 Unauthorized"}401` 은 `-o /dev/null` 을 빼고 `--retry` 를 걸어 나온 오염된 값이라 쓰지 않았다. 표의 `500` 은 DB 가 내려가 있는 동안 서명 검증 경로와 함께 다시 잰 값이다.
|
||||
- ④ 를 언제 다시 쟀는지를 원본과 다르게 적었다(unknown). 원본 가이드는 그 `500` 을 「복구 절에서 다시 잰 값」이라고 쓰는데 복구 절에는 ④ 를 다시 재는 명령이 없고, DB 가 선 뒤에 재면 `500` 이 나올 수 없다. 증거 파일 `04-health-and-service.txt` 의 「④ 다시」 절은 정문 `503` · `ready : []` 와 같은 묶음에 들어 있어 정지 구간에 찍혔다. 그래서 이 기록은 재측정을 관찰 절에 넣었고, 원본이 「복구 절」이라고 쓴 것이 무엇을 가리키는지는 확인하지 못했다.
|
||||
- 말할 수 있는 범위가 여기까지인 것이 하나 있다 — JWKS 가 살아 있으므로 「이미 JWKS 를 캐시한 리소스 서버는 토큰 검증을 계속할 수 있다」는 이론이고, 이 실험대에 독립 리소스 서버가 없어 확인하지 못했다. B층에서 확인한다.
|
||||
|
||||
+111
-147
@@ -137,7 +137,7 @@ kubectl get nodes
|
||||
kubectl -n keycloak-lab get pods -o wide
|
||||
```
|
||||
|
||||
**어디를 보나** — `READY` 가 둘 다 `1/1`, `RESTARTS` 가 `0`, 그리고 `NODE` 열이 서로 다른지. `postgres` 가 어느 노드에 있는지도 적어 둔다.
|
||||
**어디를 보나** — `READY` 가 둘 다 `1/1`이고 `NODE` 열이 서로 다른지. `RESTARTS` 는 이전 VM 재부팅이나 컨테이너 재시작 이력 때문에 0이 아닐 수 있으므로, 여기서는 전제 조건으로 쓰지 않는다. `postgres` 가 어느 노드에 있는지도 적어 둔다.
|
||||
|
||||
**이 값이 뜻하는 것** — 두 Keycloak 파드가 같은 노드에 있으면 이 실험은 성립하지 않는다. 원래 실행에서는 `keycloak-0` 이 `kc-lab-2`, `keycloak-1` 이 `kc-lab-1` 이었다(observed). 파드 번호와 노드 번호가 어긋나므로 이름만 보고 짐작하지 않는다. `postgres` 의 위치는 A-2 와 A-3 에서 쓴다.
|
||||
|
||||
@@ -165,12 +165,27 @@ echo "$K0 $K1"
|
||||
|
||||
**무엇을 보는가** — 두 노드가 서로를 멤버로 세고 있는지.
|
||||
|
||||
```bash label="[lab host] 양쪽 로그에서 마지막 클러스터 뷰 한 줄씩"
|
||||
kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1
|
||||
kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1
|
||||
로그는 사건 기록이다. 일반 view는 `ISPN000094`, 분리됐다 다시 합쳐진 merge view는 `ISPN000093`으로 남을 수 있으므로 둘을 함께 본다.
|
||||
|
||||
```bash label="[lab host] 양쪽 로그에서 최근 cluster view 이벤트를 본다"
|
||||
kubectl -n keycloak-lab logs keycloak-0 | grep -E 'ISPN000093|ISPN000094' | tail -5
|
||||
kubectl -n keycloak-lab logs keycloak-1 | grep -E 'ISPN000093|ISPN000094' | tail -5
|
||||
```
|
||||
|
||||
**어디를 보나** — 괄호 안의 멤버 수. 실측은 이렇다(observed).
|
||||
현재 멤버 수는 로그의 마지막 `ISPN000094` 한 줄로 판정하지 않는다. 2026-09-22 재검증에서는 두 파드가 잠시 각각 `(1)`이 된 뒤 `ISPN000093: MERGED ... (2)`로 합쳐졌기 때문에 `grep ISPN000094 | tail -1`만 치면 현재 클러스터를 1노드로 오판했다. 현재 상태는 각 파드가 내보내는 `vendor_cluster_size`로 바로 확인한다.
|
||||
|
||||
```bash label="[lab host] 각 Keycloak 파드가 현재 몇 멤버를 보는지 확인한다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
두 줄 모두 마지막 값이 `2.0`이어야 한다. `kubectl get --raw`는 API server를 통해 파드의 management port `9000`을 읽기 때문에 별도 `curl` 파드를 띄우지 않아도 된다.
|
||||
|
||||
**어디를 보나** — 로그에서는 가장 최근 view 이벤트의 괄호 안 멤버 수를 보고, 현재 상태는 `vendor_cluster_size` 두 줄을 기준으로 판정한다. 과거 실측은 이렇다(observed).
|
||||
|
||||
```text
|
||||
2026-09-04 00:52:09,294 INFO [org.infinispan.CLUSTER] (executor-thread-1) ISPN000094: Received new cluster view for channel ISPN: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)]
|
||||
@@ -185,7 +200,7 @@ kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1
|
||||
└─ 뷰 ID (바뀔 때마다 1 증가)
|
||||
```
|
||||
|
||||
**이 값이 뜻하는 것** — 멤버가 2 다. 이 줄이 증명하는 범위는 거기까지이고, 멤버가 둘이라는 것과 세션이 오간다는 것은 다른 말이다.
|
||||
**이 값이 뜻하는 것** — 멤버가 2 다. 이 줄이 증명하는 범위는 거기까지이고, 멤버가 둘이라는 것과 세션이 오간다는 것은 다른 말이다. 2026-09-22 재검증에서도 두 파드의 `vendor_cluster_size`가 모두 `2.0`으로 확인됐다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-02-current-cluster-truth.txt`와 `a0-03-vendor-cluster-size.txt`다.
|
||||
|
||||
### 4. 디스커버리 테이블을 본다
|
||||
|
||||
@@ -236,26 +251,25 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
|
||||
### 6. 노드별 캐시 엔트리를 밖에서 묻는다
|
||||
|
||||
**무엇을 보는가** — 이 실험의 주 계기인 캐시 엔트리 수.
|
||||
**무엇을 보는가** — 각 Keycloak 파드가 자기 로컬 메모리에 들고 있는 `sessions`·`clientSessions` 엔트리 수.
|
||||
|
||||
Keycloak 컨테이너에는 `curl` 도 `wget` 도 없어 `exec` 로 물으면 `exit 127` 이 난다. Prometheus 가 15초마다 이미 긁고 있으므로 밖에서 묻는 쪽이 짧다.
|
||||
Keycloak 컨테이너 자체에는 `curl`·`wget`이 없다. 그렇다고 Prometheus API JSON을 `tr`과 `grep`으로 잘라 읽을 필요도 없다. Kubernetes API server가 파드의 management port `9000`을 프록시할 수 있으므로, 파드별 `/metrics`를 직접 읽는 편이 짧고 무엇을 재는지도 더 분명하다.
|
||||
|
||||
```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique'
|
||||
```bash label="[lab host] 두 Keycloak 파드의 세션 캐시 엔트리를 직접 읽는다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_statistics_approximate_entries_unique' \
|
||||
| grep -E 'cache="(sessions|clientSessions)"'
|
||||
done
|
||||
```
|
||||
|
||||
처음 한 번은 자르지 않고 그대로 본다. 어떤 라벨이 붙어 있는지 알아야 다음부터 무엇으로 거를지 정할 수 있다. 라벨을 보고 나면 읽기 좋게 자른다 — 아래 줄은 가이드가 미검증으로 표시했다(unknown).
|
||||
**어디를 보나** — 각 줄 끝의 숫자다. `cache="sessions"`와 `cache="clientSessions"`를 구분해서 본다.
|
||||
|
||||
```bash label="[lab host] ② 라벨을 보고 나서 필요한 줄만 자른다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique' \
|
||||
| tr ',' '\n' | grep -E '"cache":|"pod":|^"[0-9]'
|
||||
```
|
||||
**왜 이 명령이 더 낫나** — Prometheus scrape 주기를 기다리지 않고 현재 파드 값을 바로 읽는다. JSON 구조를 억지로 잘라내는 `wget → tr → grep` 파이프도 없어 초보자가 어느 단계에서 값이 사라졌는지 추적하기 쉽다.
|
||||
|
||||
**어디를 보나** — `cache` 가 `sessions` 인 두 줄과 그 값.
|
||||
|
||||
**이 값이 뜻하는 것** — `clientSessions`·`work` 같은 다른 캐시도 같이 나오므로 `cache` 라벨을 반드시 확인한다. 중괄호를 URL 에 그대로 넣으면 `wget` 이 싫어할 수 있어 쿼리에 라벨 필터를 걸지 않고 받은 뒤에 거른다.
|
||||
2026-09-22 재검증에서 초기화 직후 두 파드의 `sessions`·`clientSessions`가 모두 `0.0`이었다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-06-reset-verified.txt`다.
|
||||
|
||||
### 7. 탐침을 무엇으로 할지 정한다
|
||||
|
||||
@@ -366,7 +380,7 @@ kubectl -n keycloak-lab run kc-probe --rm -it --restart=Never \
|
||||
--command -- sh
|
||||
```
|
||||
|
||||
셸에서 `exit` 하면 `--rm` 이 파드를 지운다. 비밀번호는 명령 치환으로 넘기므로 값이 터미널에도 셸 히스토리에도 남지 않는다. 존재와 길이만 밖에서 확인한다.
|
||||
셸에서 `exit` 하면 `--rm` 이 파드를 지운다. 명령 치환식 자체만 셸 히스토리에 남고 비밀번호 리터럴은 히스토리에 남지 않는다. 다만 실행 중인 `kubectl` 프로세스 인자에는 값이 잠깐 들어갈 수 있으므로 이 형태는 전용 lab에서만 쓴다. 운영 환경에서는 `secretKeyRef`처럼 Secret을 프로세스 인자로 꺼내지 않는 방식을 쓴다. 화면에는 값 대신 존재와 길이만 확인한다.
|
||||
|
||||
```bash label="[lab host] 비밀번호의 길이만 센다"
|
||||
kubectl -n keycloak-lab get secret keycloak-lab-secrets \
|
||||
@@ -529,49 +543,33 @@ curl -s -w '\n%{http_code}\n' -X POST "http://$K0:8080$TOK" \
|
||||
|
||||
이 `400` 을 적어 둔다. A-1 에서 7800 을 막으면 같은 곳이 `200` 으로 바뀌고, 그것이 A-1 의 결론이다.
|
||||
|
||||
### 시험 0b — 복제인가, 같은 DB 를 본 것인가
|
||||
### 시험 0b — 로그인한 노드의 엔트리가 반대편에도 복제되는가
|
||||
|
||||
로그인 한 번을 사이에 두고 양쪽 노드의 캐시 계수기를 잰다. 복제라면 반대편도 같이 늘고, 같은 DB 를 보는 것뿐이라면 반대편은 안 움직인다. 전값을 재고, `keycloak-0` 에만 로그인 한 번을 넣고, 30초 기다렸다가 후값을 같은 명령으로 잰다.
|
||||
이 시험은 **로컬 엔트리 소유권**을 본다. 여기서 반대편 파드의 엔트리가 늘지 않았다고 해서 곧바로 "반대편은 DB를 읽는다"고 결론 내리면 안 된다. `owners=1`인 분산 캐시는 요청을 받은 노드가 owner가 아니어도 클러스터 통신으로 owner의 엔트리를 사용할 수 있기 때문이다. 실제 읽기 경로는 0d에서 SQL 로그와 함께 판정한다.
|
||||
|
||||
```sh label="[탐침 파드] 발급 노드에만 로그인 한 번을 넣고 나간다"
|
||||
먼저 §6 명령으로 양쪽 `sessions` 값을 적어 둔다. 그다음 `keycloak-0`에 로그인 한 번만 넣는다.
|
||||
|
||||
```sh label="[탐침 파드] keycloak-0 에 로그인 한 번을 넣는다"
|
||||
curl -s -o /dev/null -w '%{http_code}\n' -X POST \
|
||||
"http://$K0:8080/realms/master/protocol/openid-connect/token" \
|
||||
-d grant_type=password -d client_id=admin-cli \
|
||||
-d username=admin -d "password=$PW"
|
||||
exit
|
||||
```
|
||||
|
||||
실측은 이렇다(observed, `02-cache-delta.txt`).
|
||||
다시 §6 명령으로 같은 값을 읽는다. direct metrics라 Prometheus scrape를 기다릴 필요가 없다.
|
||||
|
||||
2026-09-22 재검증 결과는 이랬다(observed).
|
||||
|
||||
```text
|
||||
=== keycloak-0 (로그인을 받은 노드) ===
|
||||
계수기 캐시 전 후 증가
|
||||
rpc.replication_count clientSessions 1 1 +0
|
||||
rpc.replication_count sessions 1 1 +0
|
||||
approximate_entries_unique clientSessions 1 2 +1 ←
|
||||
approximate_entries_unique sessions 1 2 +1 ←
|
||||
hits clientSessions 2 2 +0
|
||||
hits sessions 2 2 +0
|
||||
misses clientSessions 2 3 +1 ←
|
||||
misses sessions 3 4 +1 ←
|
||||
stores clientSessions 2 3 +1 ←
|
||||
stores sessions 2 3 +1 ←
|
||||
|
||||
=== keycloak-1 (아무 요청도 받지 않은 노드) ===
|
||||
계수기 캐시 전 후 증가
|
||||
rpc.replication_count clientSessions 7 7 +0
|
||||
rpc.replication_count sessions 7 7 +0
|
||||
approximate_entries_unique clientSessions 0 0 +0
|
||||
approximate_entries_unique sessions 0 0 +0
|
||||
hits clientSessions 4 4 +0
|
||||
hits sessions 4 4 +0
|
||||
misses clientSessions 0 0 +0
|
||||
misses sessions 0 0 +0
|
||||
stores clientSessions 1 1 +0
|
||||
stores sessions 1 1 +0
|
||||
전 후
|
||||
keycloak-0 sessions 1.0 2.0
|
||||
keycloak-1 sessions 0.0 0.0
|
||||
DB online rows 1 2
|
||||
```
|
||||
|
||||
`keycloak-1` 열이 전부 `+0` 이다. 엔트리도 0, 저장도 0 이고 `keycloak-1` 의 `sessions` 엔트리는 처음부터 끝까지 0 이다. `rpc.replication_count` 가 `1`·`7` 로 0 이 아닌 것에 속으면 안 된다 — 이 계수기는 세션 캐시만의 것이 아니라 클러스터가 다른 용무로 주고받은 것까지 센다. 판정은 증가분이 0 이라는 것으로 한다.
|
||||
로그인을 받은 `keycloak-0`만 `+1`, 요청을 받지 않은 `keycloak-1`은 `+0`이었다. 따라서 **세션 엔트리를 두 노드에 완전 복제하는 구조는 아니다.** 다만 이 숫자만으로 반대편 요청이 DB로 가는지, owner 노드로 원격 조회되는지는 알 수 없다. 그 구분은 0d의 실제 SQL이 한다.
|
||||
|
||||
증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-08-cache-delta.txt`다.
|
||||
|
||||
### 시험 0c — 엔트리는 어느 노드에 있는가
|
||||
|
||||
@@ -597,7 +595,7 @@ for i in 1 2 3 4 5; do
|
||||
done; echo
|
||||
```
|
||||
|
||||
30초 기다렸다가 관찰용 터미널에서 엔트리를 잰다. 「주입 전에」 §6 의 `tr`·`grep` 형태를 그대로 쓰고, `cache":"sessions"` 인 두 줄의 값을 적어 둔다. 스크레이프 간격이 15초라 바로 물으면 옛 값이 나온다.
|
||||
로그인 직후 §6의 direct metrics 명령으로 `sessions` 값을 다시 읽는다. 이 값은 파드의 management endpoint를 직접 읽으므로 Prometheus scrape 15초를 기다리지 않는다.
|
||||
|
||||
그다음 같은 루프를 `$K1` 만 `$K0` 로 바꿔 한 번 더 친다. 원 가이드는 이 두 번째 루프를 「`$K1` 을 `$K0` 로 바꿔 5회 더」라고 문장으로만 적었다.
|
||||
|
||||
@@ -610,22 +608,16 @@ for i in 1 2 3 4 5; do
|
||||
done; echo
|
||||
```
|
||||
|
||||
30초 기다렸다 같은 방법으로 다시 잰다. 실측은 이렇다(observed, `03-cache-ownership.txt`).
|
||||
같은 방법으로 다시 잰다. 2026-09-22 재검증에서도 기존 기록과 같은 대각선 모양이 나왔다(observed).
|
||||
|
||||
```text
|
||||
keycloak-0 = 10.42.1.43 (kc-lab-2)
|
||||
keycloak-1 = 10.42.0.35 (kc-lab-1)
|
||||
|
||||
단계 k0 entries k1 entries
|
||||
시작 2.0 0.0
|
||||
keycloak-1 에 로그인 5회 2.0 5.0
|
||||
keycloak-0 에 로그인 5회 7.0 5.0
|
||||
|
||||
=== 대조: PostgreSQL 에는 몇 건인가 ===
|
||||
online 세션 12
|
||||
단계 k0 entries k1 entries DB online
|
||||
시작 2.0 0.0 2
|
||||
keycloak-1 에 로그인 5회 2.0 5.0 7
|
||||
keycloak-0 에 로그인 5회 7.0 5.0 12
|
||||
```
|
||||
|
||||
대각선이다. 한 번에 한 쪽만 늘고, `7 + 5 = 12` 로 DB 총계와 맞으므로 어느 엔트리도 두 번 세어지지 않았다.
|
||||
대각선이다. 한 번에 로그인 요청을 받은 쪽의 로컬 엔트리만 늘고, `7 + 5 = 12`로 DB 총계와 맞았다. 이것은 `owners=1`의 로컬 소유권 분포를 보여 준다. 반대편 노드가 이 세션을 사용할 때 어느 저장 경로를 거치는지는 이 표만으로 정하지 않는다. 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-09-cache-ownership.txt`다.
|
||||
|
||||
```bash label="[lab host] DB 총계를 센다"
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
@@ -678,113 +670,75 @@ curl -s -o /dev/null -w '%{http_code}\n' -X POST "http://$K1:8080$TOK" \
|
||||
-d grant_type=refresh_token -d client_id=admin-cli -d "refresh_token=$RT"
|
||||
```
|
||||
|
||||
실측은 이렇다(observed).
|
||||
2026-09-22 재검증에서는 요청 자체는 성공했지만, **예전 문서와 SQL 경로가 달랐다.**
|
||||
|
||||
```text
|
||||
=== 요청 ===
|
||||
SID=jSt9GEPVQLJsO-1CeJjVgltg
|
||||
K1_ENTRIES_BEFORE=5.0
|
||||
REFRESH_ON_K1=200
|
||||
K1_ENTRIES_AFTER=5.0
|
||||
SID=0jdhDrcu6VUaGIFCjWzNXDs2
|
||||
refresh_on_keycloak_1=200
|
||||
```
|
||||
|
||||
`%h` 가 남긴 IP 로 걸러 `keycloak-1` 이 보낸 것만 본다. 거르는 명령은 관찰용 터미널에서 치는데 거기에는 `K0`·`K1` 이 없다. 두 값은 「주입 검증」에서 잡았는데 그 터미널을 지금 탐침 파드 셸이 붙잡고 있으므로, 관찰용 터미널에서 두 줄을 다시 친다.
|
||||
먼저 현재 파드 IP를 다시 잡는다.
|
||||
|
||||
```bash label="[lab host] 관찰용 터미널에서도 파드 IP 를 잡는다"
|
||||
```bash label="[lab host] PostgreSQL 로그를 파드 IP와 sid로 나눠 볼 준비"
|
||||
K0=$(kubectl -n keycloak-lab get pod keycloak-0 -o jsonpath='{.status.podIP}')
|
||||
K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
|
||||
echo "$K0 $K1"
|
||||
```
|
||||
|
||||
두 값이 「주입 검증」에서 본 것과 같아야 한다. 이 두 줄을 건너뛰고 다음 블록을 치면 `grep "$K1"` 이 `grep ""` 가 되어 모든 줄이 통과하므로, 두 파드가 날린 문장을 `keycloak-1` 만 걸러 낸 것으로 읽게 되고 뒤에서 세는 건수도 양쪽이 같은 값으로 나온다. 화면에는 아무 경고도 안 뜬다.
|
||||
그다음 refresh를 받은 `keycloak-1`의 세션 SQL을 찾는다.
|
||||
|
||||
```bash label="[lab host] 반대편 노드가 날린 문장만 추린다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
|
||||
| grep "$K1" | grep 'LOG: execute'
|
||||
```bash label="[lab host] 반대편 노드의 세션 테이블 SQL만 찾는다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=2m \
|
||||
| grep "$K1" \
|
||||
| grep -E 'OFFLINE_USER_SESSION|OFFLINE_CLIENT_SESSION'
|
||||
```
|
||||
|
||||
:::warning
|
||||
2026-09-22 재검증에서는 **출력이 없었다.** 같은 시간대 `keycloak-1` 주소에는 `JGROUPS_PING`의 `DELETE/INSERT/SELECT`만 있었고, 방금 만든 sid가 들어간 `OFFLINE_*_SESSION` 질의는 없었다.
|
||||
|
||||
**요청을 보내자마자 이 명령을 치면 한 줄도 안 나온다.** 이 트랜잭션은 마지막에서 두 번째 문장이 `SET LOCAL synchronous_commit TO OFF` 라 커밋이 미뤄지고, 로그 줄도 그만큼 늦게 나온다. 2026-09-17 에 요청 직후에 쳤더니 `keycloak-1` 쪽에서는 디스커버리 질의 한 줄만 나왔고, 같은 필터를 몇 초 뒤에 다시 치니 아래 여덟 줄이 다 나왔다(observed). **그 첫 화면을 그대로 읽으면 「반대편은 DB 를 안 읽었다 = 복제였다」는 정반대 결론이 나온다.** 몇 초 기다렸다 친다.
|
||||
sid 자체로 한 번 더 확인한다.
|
||||
|
||||
:::
|
||||
```bash label="[lab host] 이번 로그인 sid가 어느 DB 연결에서 보였는지 찾는다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=2m \
|
||||
| grep '{{SID}}'
|
||||
```
|
||||
|
||||
실측은 이렇다(observed, `04-read-path-sql.txt`).
|
||||
현재 실측에서는 sid 관련 SQL이 모두 `keycloak-0` 주소에서 나왔다. 로그인 시 `OFFLINE_USER_SESSION`·`OFFLINE_CLIENT_SESSION`을 조회하고 새 행을 넣었으며, 마지막에는 `SET LOCAL synchronous_commit TO OFF` 뒤 `COMMIT`했다. 반면 `keycloak-1` refresh는 `200`인데 그 sid의 DB SQL은 만들지 않았다.
|
||||
|
||||
```text
|
||||
select puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID,...,puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where (puse1_0.OFFLINE_FLAG,puse1_0.USER_SESSION_ID) in (($1,$2))
|
||||
select puse1_0.VERSION from OFFLINE_USER_SESSION puse1_0 where puse1_0.USER_SESSION_ID=$1 and puse1_0.OFFLINE_FLAG=$2 for no key update of puse1_0 skip locked
|
||||
select pcse1_0.CLIENT_ID,...,pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where (...) in (($1,$2,$3,$4,$5))
|
||||
select pcse1_0.VERSION from OFFLINE_CLIENT_SESSION pcse1_0 where ... for no key update of pcse1_0 skip locked
|
||||
update OFFLINE_CLIENT_SESSION set TIMESTAMP=$1,VERSION=$2 where CLIENT_ID=$3 and ... and VERSION=$8
|
||||
update OFFLINE_USER_SESSION set LAST_SESSION_REFRESH=$1,VERSION=$2 where OFFLINE_FLAG=$3 and USER_SESSION_ID=$4 and VERSION=$5
|
||||
keycloak-0 login
|
||||
SELECT OFFLINE_USER_SESSION
|
||||
SELECT OFFLINE_CLIENT_SESSION
|
||||
INSERT OFFLINE_USER_SESSION
|
||||
INSERT OFFLINE_CLIENT_SESSION
|
||||
SET LOCAL synchronous_commit TO OFF
|
||||
COMMIT
|
||||
|
||||
keycloak-1 refresh
|
||||
HTTP 200
|
||||
sid 관련 OFFLINE_*_SESSION SQL 없음
|
||||
```
|
||||
|
||||
`keycloak-1` 은 세션을 DB 에서 읽고 DB 에 쓴다. 파라미터는 `DETAIL` 줄에 있다. sid 는 ③ 이 `SID=` 로 화면에 찍은 값을 옮겨 넣는다 — 그 변수는 탐침 파드 안에만 있어서 `[lab host]` 셸에서는 `$SID` 가 빈 문자열이다. 로그인할 때마다 새로 생기는 값이기도 하다.
|
||||
|
||||
```bash label="[lab host] 그 sid 가 들어간 줄만 앞에서 120자씩 본다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
|
||||
| grep '{{SID}}' | cut -c1-120
|
||||
```
|
||||
|
||||
이 실험대의 값은 `jSt9GEPVQLJsO-1CeJjVgltg` 였다(observed).
|
||||
|
||||
실측은 이렇다(observed).
|
||||
따라서 현재 환경에서 확인된 경로는 다음처럼 읽는 것이 맞다.
|
||||
|
||||
```text
|
||||
2026-09-04 01:12:32.851 UTC [81407] [keycloak-0] DETAIL: parameters: $1 = '0', $2 = 'jSt9GEPVQLJsO-1CeJjVgltg'
|
||||
...
|
||||
2026-09-04 01:12:34.934 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '0', $2 = 'jSt9GEPVQLJsO-1CeJjVgltg'
|
||||
2026-09-04 01:12:34.936 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = 'jSt9GEPVQLJsO-1CeJjVgltg', $2 = '0'
|
||||
2026-09-04 01:12:34.944 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '1788484354', $2 = '1', $3 = '131a9912-...', ...
|
||||
2026-09-04 01:12:34.946 UTC [81376] [keycloak-1] DETAIL: parameters: $1 = '1788484354', $2 = '1', $3 = '0', $4 = 'jSt9GEPVQLJsO-1CeJjVgltg', $5 = '0'
|
||||
keycloak-1 이 요청을 받음
|
||||
↓
|
||||
자기 로컬 sessions 엔트리는 없음
|
||||
↓
|
||||
Infinispan/JGroups 분산 캐시를 통해 owner 엔트리를 사용 가능
|
||||
↓
|
||||
이번 refresh에서는 PostgreSQL 세션 행을 직접 읽지 않음
|
||||
```
|
||||
|
||||
증거 파일에는 IP 대신 `[keycloak-0]` `[keycloak-1]` 이 적혀 있다. 원래 실행 스크립트가 `sed` 로 IP 를 파드 이름으로 바꿔 놓은 것이고, 따라 하는 화면에는 `10.42.0.35` 같은 IP 가 그대로 나온다. pid 도 본다 — `81407` 은 `keycloak-0` 의 연결, `81376` 은 `keycloak-1` 의 연결이며 pid 가 트랜잭션의 경계를 가른다.
|
||||
중요한 점은 **"로컬 캐시에 없다"와 "DB에서 읽는다" 사이에 등호를 놓으면 안 된다는 것**이다. PostgreSQL은 persistent user session의 저장소지만, 살아 있는 2노드 클러스터에서 모든 교차 노드 요청이 DB를 다시 읽는 것은 아니다. DB fallback이나 재적재 경로는 캐시 miss, 노드 상실, 재시작 같은 조건을 따로 주입해 확인해야 한다.
|
||||
|
||||
이 갱신 트랜잭션은 `01:12:34.934` 의 `BEGIN` 에서 `01:12:34.947` 의 `COMMIT` 까지 13밀리초다. `BEGIN` 과 `COMMIT` 은 sid 를 파라미터로 달지 않아서 위 `grep` 에 안 걸린다. 그래서 화면에 남는 마지막 줄이 `.946` 이고, 거기까지만 세면 12 가 나온다. 경계 두 줄은 같은 pid `81376` 연결에서 나왔고, 실험 기록에 `pid=… |` 꼴로 옮겨 적힌 것으로만 남아 있다(observed). 자기 화면에서 그 둘을 보려면 sid 필터를 빼고 로그에 찍힌 그 pid 로 다시 거른다. 원 가이드에는 그 명령이 없어서 2026-09-17 에 만들어 쳐 봤다(observed).
|
||||
2026-09-04의 옛 실험 기록에는 반대편 노드가 `OFFLINE_*_SESSION`을 SELECT/UPDATE한 흔적이 있었다. 그 값은 당시 관측으로 남기되 **현재 Keycloak 26.7.0 실험대의 불변 동작으로 일반화하지 않는다.** 이번 재검증 증거는 다음 파일에 있다.
|
||||
|
||||
```bash label="[lab host] 그 pid 의 트랜잭션 경계만 본다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=5m \
|
||||
| grep '{{PID}}' | grep -E 'BEGIN|COMMIT|synchronous_commit'
|
||||
```
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-11-sql-refresh-request.txt`
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-12-sql-read-write-path.txt`
|
||||
- `final/evidence/raw/2026-09-22-test-server-revalidation/a0-14-sql-pid-drilldown.txt`
|
||||
|
||||
`{{PID}}` 는 위 `DETAIL` 줄의 대괄호 안 숫자다 — 그 실험대에서는 `[915]` 였다. 같은 pid 의 `BEGIN` 과 `COMMIT` 사이에 여덟 문장이 들어 있는 것이 보인다. 그 두 줄이 하는 일은 트랜잭션의 경계를 긋는 것이다. 뒤에 나오는 `SET LOCAL synchronous_commit TO OFF` 가 같은 트랜잭션 안에서 `COMMIT` 직전에 나왔다는 판정이 거기서 나오고, 원 가이드는 그 확인을 「pid 로 경계를 확인했다」로 적는다.
|
||||
|
||||
파드별 질의 건수는 미검증 형태로 센다(unknown). 여기서도 sid 는 ③ 이 찍은 자기 값이다.
|
||||
|
||||
```bash label="[lab host] 두 파드가 각각 몇 줄을 날렸는지 센다"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
|
||||
| grep '{{SID}}' | grep -c "$K0"
|
||||
kubectl -n keycloak-lab logs deploy/postgres --since=60s \
|
||||
| grep '{{SID}}' | grep -c "$K1"
|
||||
```
|
||||
|
||||
실측은 `6 [keycloak-1]` 과 `6 [keycloak-0]` 이다(observed). sid 하나에 대해 `keycloak-0` 이 6건(로그인), `keycloak-1` 이 6건(갱신)을 날렸다.
|
||||
|
||||
위 실측의 `K1_ENTRIES_BEFORE=5.0` 과 `K1_ENTRIES_AFTER=5.0` 이 같다. `keycloak-1` 은 남의 세션을 DB 에서 읽어 처리하고도 캐시에 담지 않았다. 캐시에 담기는 것은 그 노드가 로그인시켜 만든 세션뿐이고 남의 세션은 매번 DB 에서 읽는다. 세션 어피니티가 정확성이 아니라 성능 문제인 까닭이 여기 있다.
|
||||
|
||||
같은 로그에 jdbc-ping 하트비트도 보인다(observed).
|
||||
|
||||
```text
|
||||
01:12:37.551 pid=81369 | BEGIN
|
||||
01:12:37.551 pid=81369 | DELETE from JGROUPS_PING WHERE address=$1
|
||||
01:12:37.552 pid=81369 | INSERT INTO JGROUPS_PING (address, name, cluster_name, ip, coord, last_update, coordinated_by) values (...)
|
||||
01:12:37.553 pid=81369 | COMMIT
|
||||
```
|
||||
|
||||
디스커버리는 별도 연결(pid 가 다르다)에서 주기적으로 자기 행을 지우고 다시 넣는다. 디스커버리와 트랜스포트가 다른 경로라는 것이 로그에서 눈으로 확인되고, A-1 이 그 둘을 갈라 끊는다.
|
||||
|
||||
13밀리초짜리 그 트랜잭션에는 셋이 들어 있었다. 낙관적 락(`VERSION` 컬럼), `FOR NO KEY UPDATE ... SKIP LOCKED`, 그리고 `SET LOCAL synchronous_commit TO OFF` 다. 전역 설정은 다르다.
|
||||
|
||||
```bash label="[lab host] 전역 설정을 읽는다"
|
||||
kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
-c "show synchronous_commit"
|
||||
```
|
||||
|
||||
전역은 `on` 이고 Keycloak 이 세션 트랜잭션에만 `SET LOCAL` 로 끈다. `SET LOCAL` 은 그 트랜잭션이 끝나면 되돌아간다. PostgreSQL 이 갑자기 죽으면 직전 수백 밀리초의 세션 쓰기가 사라질 수 있고, A-3 이 그 숫자를 잰다.
|
||||
전역 `synchronous_commit`은 여전히 `on`이었고, `keycloak-0`이 로그인 세션을 저장하는 트랜잭션에서만 `SET LOCAL synchronous_commit TO OFF`가 관측됐다. `SET LOCAL`은 해당 트랜잭션이 끝나면 되돌아간다. A-3에서 DB crash 직전 쓰기 손실을 볼 때는 **실제로 어떤 요청이 이 구문을 실행했는지 SQL 로그로 같이 묶어** 해석한다.
|
||||
|
||||
여기까지가 탐침 파드에서 칠 것의 마지막이다. 파드 셸을 붙잡고 있던 터미널에서 나온다. 나가지 않으면 `--rm` 이 파드를 안 지우고 원상복구 확인표의 `kc-probe` 줄이 `NotFound` 가 아니게 된다.
|
||||
|
||||
@@ -852,10 +806,10 @@ kubectl -n keycloak-lab rollout status statefulset/keycloak --timeout=300s
|
||||
| 항목 | 명령 | 돌아왔을 때 |
|
||||
|---|---|---|
|
||||
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running` |
|
||||
| 클러스터 뷰 | `kubectl -n keycloak-lab logs keycloak-0 \| grep ISPN000094 \| tail -1` | 멤버 `(2)` |
|
||||
| 클러스터 크기 | 각 파드의 `/metrics`에서 `vendor_cluster_size` 확인 | 두 줄 모두 `2.0` |
|
||||
| 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** |
|
||||
| DB 세션 | `psql -c "select count(*) from offline_user_session"` | `0` |
|
||||
| 캐시 | `vendor_statistics_approximate_entries_unique` | `sessions` 두 줄 다 `0` |
|
||||
| 캐시 | §6의 direct metrics 명령 | `sessions`·`clientSessions` 모두 `0.0` |
|
||||
| 문장 로깅 | `psql -c "show log_statement"` | `none` |
|
||||
| 탐침 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) |
|
||||
| 밖 | `curl -s -o /dev/null -w '%{http_code}\n' https://auth.hyeonworks.com/realms/master` | `200` |
|
||||
@@ -879,7 +833,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
|
||||
| `userinfo` 가 양쪽 다 `403` | **`openid` scope 가 없다.** 복제와 무관 | 본문의 `insufficient_scope` |
|
||||
| 세션 개수가 계속 어긋난다 | **관리 API 호출도 세션을 만든다** | 개수 말고 **sid** 로 본다 |
|
||||
| 캐시 합계와 DB 총계가 안 맞는다 | **DB 만 지우고 파드를 재시작 안 했다** | `rollout restart statefulset/keycloak` |
|
||||
| 로그인했는데 지표가 안 움직인다 | Prometheus 스크레이프는 15초 간격 | 30초 기다렸다 다시 |
|
||||
| 로그인했는데 지표가 안 움직인다 | 다른 캐시 라벨을 보고 있거나 요청이 실패했다 | §6 direct metrics에서 `sessions` 라벨과 로그인 HTTP 상태를 같이 본다 |
|
||||
| `rpc.replication_count` 가 0 이 아니라 당황 | 세션 캐시만의 계수기가 아니다 | 절대값이 아니라 **증가분**으로 본다 |
|
||||
| `CID` 가 엉뚱한 값이다 | `sed` 의 `.*` 가 탐욕적이라 **마지막** `"id"` 를 잡는다 | `tr ',' '\n' \| grep -m1 '"id"'` |
|
||||
| 문장 로깅을 켰는데 SQL 이 안 보인다 | `pg_reload_conf()` 를 안 했다 | `show log_statement` 가 `all` 인지 |
|
||||
@@ -888,6 +842,16 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
|
||||
|
||||
## 무엇이 관측이고 무엇이 아닌가
|
||||
|
||||
2026-09-22에는 Keycloak 26.7.0 환경에서 이 절차를 다시 실행했다. 현재 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a0-*.txt`에 있다.
|
||||
|
||||
- (observed, 2026-09-22) 양쪽 `vendor_cluster_size=2.0`, 교차 노드 refresh `200`, 같은 sid 유지, 반대편 logout `204`, 그 뒤 원래 노드 refresh `400 invalid_grant`.
|
||||
- (observed, 2026-09-22) 로컬 cache ownership은 `2/0 → 2/5 → 7/5`, DB online row는 `2 → 7 → 12`였다.
|
||||
- (changed, 2026-09-22) 반대편 refresh가 성공했지만 그 파드 주소에서 해당 sid의 `OFFLINE_USER_SESSION`/`OFFLINE_CLIENT_SESSION` SQL은 나오지 않았다. 옛 기록의 "반대편은 매번 DB를 읽는다"는 설명은 현재 동작으로 일반화하지 않는다.
|
||||
- (observed, 2026-09-22) 로그인한 owner 쪽에서는 `OFFLINE_*_SESSION` SELECT/INSERT와 `SET LOCAL synchronous_commit TO OFF`가 확인됐다.
|
||||
- (observed, 2026-09-22) 정리 후 DB 세션 0, 두 파드 캐시 0, cluster size 2, `log_statement=none`, 외부 realm HTTP 200으로 돌아왔다. 증거는 `a0-15-cleanup.txt`다.
|
||||
|
||||
아래 항목은 과거 실행에서 얻은 값이다. 날짜가 다른 관측을 현재 불변 동작으로 섞지 않는다.
|
||||
|
||||
이 절차의 숫자는 `2026-09-04 09:52–10:14 KST` 에 돈 한 번의 실행에서 나왔다(observed).
|
||||
|
||||
- (observed) 파드 IP `10.42.1.43`·`10.42.0.35`, 뷰 ID `5` 와 멤버 `(2)`, `jgroups_ping` 의 `coord = t` 하나, 캐시 델타 전량, `7 + 5 = 12`, `keycloak-1` 이 날린 SQL 여덟 줄, pid `81407`/`81376`, 비밀번호 길이 `19`.
|
||||
@@ -896,7 +860,7 @@ kubectl -n keycloak-lab delete pod kc-probe --ignore-not-found
|
||||
- (observed) 같은 날 새로 드러난 것 — 요청 직후에 로그를 거르면 반대편 문장이 한 줄도 안 나온다는 것, pid 로 거르면 `BEGIN`~`COMMIT` 경계가 보인다는 것, 토큰 길이가 `612자`·`758자` 로 원래 실행과 다르다는 것.
|
||||
- (unknown) 파드별 질의 건수를 세는 두 줄은 이번에도 그대로 치지 않았다. 원래 실행은 스크립트로 했다.
|
||||
- 트랜잭션 경계 시각 `01:12:34.934` 와 `01:12:34.947` 은 실험 기록 한 벌에만 있다. `04-read-path-sql.txt` 에 보존된 것은 sid 가 걸린 `DETAIL` 줄과 시각 없는 문장 목록이라 타임스탬프가 붙은 `BEGIN`/`COMMIT` 이 없다. 그래서 13밀리초를 증거 원문으로 다시 확인할 수는 없다.
|
||||
- 캐시 설정은 파일에서 읽을 수 없다. `cache-ispn.xml` 에는 `<transport/>` 뿐이고, 「세션은 DB 로 공유된다」는 판정은 설정을 읽어서가 아니라 동작을 측정해서 얻었다.
|
||||
- 캐시 설정은 파일에서 완전히 읽을 수 없다. `cache-ispn.xml`에는 `<transport/>`만 보이고 런타임 분산 캐시 동작은 지표·SQL·장애 주입을 함께 봐야 한다. 과거의 「세션은 DB로 공유된다」 단일 판정은 2026-09-22 재검증 결과로 수정됐다.
|
||||
- 스크립트를 안 쓰는 까닭도 측정 실패에서 나왔다(observed). `kubectl run --rm -i ... | grep` 로 받았더니 중간 조각이 통째로 사라져 `keycloak-1` 의 스냅샷과 다음 마커가 함께 없어졌고, 전값이 0 으로 잡히면서 가짜 델타가 만들어졌다. 그때 리포트는 `keycloak-1` 이 `+9`, `+7` 증가한 것처럼 보였다 — 없는 복제가 있는 것처럼 보이는 오류다. 다른 하나는 중첩 인용이다. `ssh host '... $VAR ...'` 안에 다시 `sh -c "..."` 를 넣으면 인용이 세 겹이 되어 치환이 조용히 깨졌고, 첫 시도에서 파드 IP 가 빈 문자열이 되어 아무 출력도 나오지 않았다.
|
||||
|
||||
<!-- body:end -->
|
||||
|
||||
+96
-73
@@ -47,7 +47,7 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800
|
||||
|
||||
**원 가이드는 이 명령들을 `kc-lab-1` 에서 치라고 적었다.** 기반 가이드가 세운 실험대에서는 그 기계에 kubeconfig 가 없어서 `sudo` 없는 `kubectl` 이 `permission denied` 로 막힌다 — kubeconfig 는 lab host 의 `~/.kube/config` 에만 있다(2026-09-17 에 양쪽에서 쳐서 확인했다, observed). 그래서 `kubectl` 블록의 기계 이름을 `[lab host]` 로 적었고, 노드 자체를 건드리는 명령에만 게스트 셸을 쓴다.
|
||||
|
||||
주입에 쓰는 매니페스트 경로 `deploy/lab/k8s/a1-block-jgroups-transport.yaml` 는 저장소 상대경로다. 체크아웃을 `kc-lab-1` 의 어디에 뒀는지는 원 가이드에 없고 거기로 옮기는 명령도 없으므로(unknown), 이 상대경로가 그대로 통하는 디렉터리에서 시작한다. 다른 디렉터리에서 치면 `cat` 도 `kubectl apply` 도 파일을 못 찾고 끝난다.
|
||||
주입에 쓰는 매니페스트 경로 `deploy/lab/k8s/a1-block-jgroups-transport.yaml`는 저장소 상대경로다. 현재 lab host에는 원본 저장소가 `~/workspace/keycloak-pattern`에 있으므로 먼저 `cd ~/workspace/keycloak-pattern`로 이동한다. 다른 디렉터리에서 치면 `cat`과 `kubectl apply`가 파일을 못 찾고 끝난다.
|
||||
|
||||
터미널은 둘을 연다. 하나는 임시 curl 파드용, 하나는 관찰용이다. 그래서 `[lab host]` 라벨이 붙은 블록이 `[탐침 파드]` 블록 사이에 끼어 있으면 **관찰용 터미널에서 친다** — 파드 셸을 나가라는 뜻이 아니다. 나가라고 할 때는 `exit` 를 블록으로 따로 적는다.
|
||||
|
||||
@@ -59,13 +59,13 @@ NetworkPolicy 로 8080 과 9000 만 열어 JGroups 트랜스포트인 TCP 7800
|
||||
| 탐침 파드 | `kc-probe` — `curlimages/curl:8.11.1`, `--rm -it`, `--restart=Never` |
|
||||
| 분단 판정 | `jgroups_ping` 의 `coord = t` 가 두 줄 |
|
||||
| 걸리는 시간 | 전 구간 약 30분 |
|
||||
| 도구 | `jq` 가 이 실험대에 없다. Prometheus 출력은 `tr` 과 `grep` 으로 자른다 |
|
||||
| 도구 | `jq`는 없다. 현재 상태는 Prometheus JSON을 자르지 않고 각 Keycloak 파드의 `/metrics`를 `kubectl get --raw`로 직접 읽는다 |
|
||||
|
||||
**공개 이름은 랩 안에서 안 풀린다.** `auth.hyeonworks.com` 같은 공개 이름이 랩 호스트에서도 게스트에서도 호스트 자신의 tailnet 주소 `100.83.212.4` 로 풀리는데 그 주소에는 443 을 듣는 것이 없다. 이름만 치면 `curl` 이 `000` 을 낸다(2026-09-17, 랩 호스트와 `kc-lab-1` 양쪽에서 쳐서 확인했다, observed). 그래서 랩 안에서 치는 `curl` 에는 `--resolve <이름>:443:192.168.122.10` 을 붙여 엣지 게스트를 짚었고, 그 형태로는 정문이 `200` 이다(observed). tailnet 에 붙은 다른 기계에서 치면 이름 그대로 닿으므로 `--resolve` 가 필요 없다.
|
||||
|
||||
## 이 실험이 가르는 것
|
||||
|
||||
A-0 은 세션이 Infinispan 복제가 아니라 PostgreSQL 로 공유된다고 측정했다. Keycloak 24 이전 자료는 세션이 7800 으로 복제된다고 말한다. 통념은 7800 을 막으면 세션 공유가 깨진다고 예측하고 A-0 모델은 안 깨진다고 예측하므로, 7800 만 끊어 보면 둘 중 어느 쪽이 틀렸는지 판정된다.
|
||||
A-0 재검증에서는 `owners=1`인 분산 캐시와 PostgreSQL persistent session store가 함께 동작했다. 정상 2노드 상태의 교차 refresh는 반대편 노드에서 세션 SQL 없이도 성공했으므로, "로컬 캐시에 없으면 DB에서 읽는다"는 단순 모델은 버렸다. A-1은 7800을 끊었을 때 **원격 owner 접근과 캐시 무효화가 어떻게 달라지는지**를 직접 본다.
|
||||
|
||||
끊을 때 두 가지를 갈라야 한다.
|
||||
|
||||
@@ -95,7 +95,7 @@ kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
|
||||
차단 후에 볼 것을 차단 전에 똑같은 명령으로 먼저 봐 둔다. 시험군만 재는 측정은 측정이 아니다.
|
||||
|
||||
```text
|
||||
노드 → 파드 → 정책 → 클러스터 뷰(로그) → 디스커버리(DB) → 지표(Prometheus) → 대조군 시험
|
||||
노드 → 파드 → 정책 → 현재 cluster metric → 디스커버리(DB) → 최근 cluster event → 대조군 시험
|
||||
```
|
||||
|
||||
### 1. 두 파드가 서로 다른 노드에 있는가
|
||||
@@ -116,9 +116,7 @@ K1=$(kubectl -n keycloak-lab get pod keycloak-1 -o jsonpath='{.status.podIP}')
|
||||
echo "$K0 $K1"
|
||||
```
|
||||
|
||||
**어디를 보나** — `READY` 가 둘 다 `1/1`, `RESTARTS` 가 `0`, `NODE` 열이 서로 다른지. 실측은 `10.42.1.43 10.42.0.35` 였다(observed).
|
||||
|
||||
**이 값이 뜻하는 것** — `RESTARTS` 는 뒤에서 다시 센다. 이 값이 오르면 주입이 엉뚱한 곳을 건드렸다.
|
||||
**어디를 보나** — `READY`가 둘 다 `1/1`이고 `NODE` 열이 서로 다른지. `RESTARTS`는 이전 VM 재부팅 같은 이력 때문에 0이 아닐 수 있으므로 숫자를 적어 두고 **주입 전후에 증가했는지** 비교한다. 파드 IP도 이 시점의 값을 적는다.
|
||||
|
||||
### 2. 기존 정책이 없는가
|
||||
|
||||
@@ -136,23 +134,30 @@ No resources found in keycloak-lab namespace.
|
||||
|
||||
**이 값이 뜻하는 것** — NetworkPolicy 는 합집합으로 허용되므로 두 개가 겹치면 무엇이 열려 있는지 한눈에 안 보인다.
|
||||
|
||||
### 3. 양쪽 클러스터 뷰가 같은 줄인가
|
||||
### 3. 양쪽이 현재 같은 2노드 클러스터를 보는가
|
||||
|
||||
**무엇을 보는가** — 두 노드가 같은 멤버 목록을 찍고 있는지.
|
||||
로그의 마지막 `ISPN000094` 한 줄은 현재 상태가 아닐 수 있다. A-0 재검증에서 `(1)` 로그 뒤에 `ISPN000093: MERGED ... (2)`가 생겨 `grep ISPN000094 | tail -1`만 보면 현재를 잘못 판정했다. 현재 멤버 수는 각 파드의 metric으로 읽는다.
|
||||
|
||||
```bash label="[lab host] 양쪽 로그에서 마지막 클러스터 뷰 한 줄씩"
|
||||
kubectl -n keycloak-lab logs keycloak-0 | grep ISPN000094 | tail -1
|
||||
kubectl -n keycloak-lab logs keycloak-1 | grep ISPN000094 | tail -1
|
||||
```bash label="[lab host] 두 Keycloak 파드가 현재 세는 멤버 수"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
**어디를 보나** — 두 줄이 완전히 같은지. 실측은 이렇다(observed).
|
||||
두 줄 모두 마지막 값이 `2.0`이어야 한다. 로그는 원인을 볼 때만 최근 cluster event를 함께 본다.
|
||||
|
||||
```text
|
||||
keycloak-0: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)]
|
||||
keycloak-1: [keycloak-1-48749(v=16.0.12)|5] (2) [keycloak-1-48749(v=16.0.12), keycloak-0-30843(v=16.0.12)]
|
||||
```bash label="[lab host] 최근 cluster view 이벤트"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab logs "$POD" \
|
||||
| grep -E 'ISPN000093|ISPN000094' | tail -5
|
||||
done
|
||||
```
|
||||
|
||||
**이 값이 뜻하는 것** — `keycloak-0-30843` 의 뒤 숫자는 JGroups 가 붙인 것이고 파드가 재시작되면 바뀐다. 나중에 `keycloak-0-26403` 이 나오면 같은 파드의 새 인스턴스다.
|
||||
2026-09-22 A-1 시작 전에도 두 파드의 `vendor_cluster_size`는 모두 `2.0`이었다.
|
||||
|
||||
### 4. 디스커버리 테이블에 둘 다 등록돼 있는가
|
||||
|
||||
@@ -175,44 +180,22 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
|
||||
**이 값이 뜻하는 것** — 여기서 셋이 서로 다른 것을 말한다. 로그는 그때 그렇게 보였다는 기록이고, 테이블은 지금 등록되어 있다는 것이며, 지표는 지금 그 노드가 그렇게 안다는 것이다. A-1 에서 이 셋이 갈린다.
|
||||
|
||||
### 5. 두 노드가 아는 멤버 수를 지표로 본다
|
||||
### 5. 현재값은 파드에서 직접 읽고, 시계열이 필요할 때만 Prometheus를 쓴다
|
||||
|
||||
**무엇을 보는가** — 각 노드가 스스로 세는 클러스터 크기.
|
||||
A-1 판정에 필요한 현재 cluster size는 3번과 같은 direct metric 명령으로 본다. 이 방식은 Prometheus scrape 주기를 기다리지 않고 JSON을 `tr`·`grep`으로 잘라낼 필요도 없다.
|
||||
|
||||
```bash label="[lab host] ① 한 줄짜리 JSON 을 통째로 본다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
|
||||
```bash label="[lab host] 현재 cluster size를 직접 읽는다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
printf '%s ' "$POD"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
라벨을 보고 나면 읽기 좋게 자른다. 아래 두 줄은 가이드가 미검증으로 표시했고(unknown), 둘째 줄은 `jq` 가 깔려 있는 환경용이라 이 실험대에서는 쓸 수 없다.
|
||||
**어디를 보나** — 두 파드 모두 `2.0`. 분단 뒤에는 둘 다 `1.0`이 된다.
|
||||
|
||||
```bash label="[lab host] ② 라벨을 보고 나서 필요한 줄만 자른다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \
|
||||
| tr ',' '\n' | grep -E '"pod":|^"[0-9]'
|
||||
```
|
||||
|
||||
```bash label="[lab host] ③ jq 가 있는 환경이라면 이 형태 — 이 실험대에는 jq 가 없다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size' \
|
||||
| jq -r '.data.result[] | "\(.metric.pod) \(.metric.node) \(.value[1])"'
|
||||
```
|
||||
|
||||
**어디를 보나** — 결과가 두 줄이고 값이 둘 다 `2` 인지. 한 노드만 보면 분단을 놓친다. 분단되면 한쪽만 1 이 되는 경로가 있다.
|
||||
|
||||
JGroups 카운터도 지금 0 인 것을 봐 둔다.
|
||||
|
||||
```bash label="[lab host] 병합 이벤트 계수기"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_jgroups_merge3_get_num_merge_events'
|
||||
```
|
||||
|
||||
실측은 이렇다(observed, `02-control-before-block.txt`).
|
||||
|
||||
```text
|
||||
vendor_jgroups_merge3_get_num_merge_events 0.0 (양쪽 노드)
|
||||
vendor_jgroups_fd_sock2_get_num_suspected_members 0.0 (양쪽 노드)
|
||||
```
|
||||
Prometheus는 "언제 2에서 1로 바뀌었는가" 같은 시계열을 뒤에서 대조할 때만 쓴다. `jq`가 없는 이 실험대에서 현재값 하나를 보기 위해 JSON을 잘라내지는 않는다.
|
||||
|
||||
### 6. 대조군 시험을 차단 전에 한 번 돌린다
|
||||
|
||||
@@ -297,7 +280,8 @@ exit
|
||||
|
||||
**목적** — 8080 과 9000 은 열어 둔 채 7800 으로 오는 새 연결만 막는다.
|
||||
|
||||
```bash label="[lab host] ① 매니페스트를 먼저 읽는다"
|
||||
```bash label="[lab host] ① 원본 저장소로 이동해 매니페스트를 먼저 읽는다"
|
||||
cd ~/workspace/keycloak-pattern
|
||||
cat deploy/lab/k8s/a1-block-jgroups-transport.yaml
|
||||
```
|
||||
|
||||
@@ -321,7 +305,7 @@ spec:
|
||||
# 7800 is absent on purpose. That is the whole experiment.
|
||||
```
|
||||
|
||||
① 에서 이 매니페스트를 못 찾으면 파일을 직접 만든다. 같은 경로를 에디터로 열어 위 열다섯 줄을 그대로 넣고 저장한다. `printf` 나 `cat <<EOF` 로 찍어 내지 않는다. 주입 검증에서 `describe` 로 대조할 것이 이 줄들이고, 덧붙이는 형태로 쓰면 같은 절차를 두 번 밟았을 때 파일에 같은 내용이 두 벌 쌓인다. 파일을 여는 명령은 원 가이드에 없다(unknown).
|
||||
①에서 파일이 안 보이면 먼저 `pwd`와 `git status --short`로 `~/workspace/keycloak-pattern` 체크아웃이 맞는지 확인한다. 이 실험은 저장소에 있는 canonical 매니페스트를 검증하는 것이므로, 파일이 없다고 즉석에서 새 매니페스트를 만들어 진행하지 않는다.
|
||||
|
||||
매니페스트 안에 `metadata.namespace` 가 `keycloak-lab` 으로 적혀 있다. ② 의 `apply` 에는 `-n` 이 없으니 네임스페이스는 이 줄이 정한다. 손으로 옮겨 적다 이 줄을 빠뜨리면 정책이 `default` 네임스페이스에 걸린다. 거기에는 `app=keycloak` 인 파드가 없으니 정책은 만들어지는데 아무 파드도 안 잡힌다.
|
||||
|
||||
@@ -358,7 +342,7 @@ kubectl -n keycloak-lab describe networkpolicy a1-block-jgroups-transport
|
||||
kubectl -n keycloak-lab get pods -o wide | grep keycloak
|
||||
```
|
||||
|
||||
실측은 `keycloak-0 ready=true restarts=0`, `keycloak-1 ready=true restarts=0` 이다(observed). `RESTARTS` 가 여전히 0 이면 9000 을 제대로 열어 뒀다는 뜻이다.
|
||||
두 파드가 계속 Ready인지와 `RESTARTS`가 **주입 전보다 증가하지 않았는지**를 본다. 2026-09-22에는 8080/9000은 `200`, 7800은 `curl exit=7`이었고 정책 적용 직후 cluster size는 여전히 `2/2`였다.
|
||||
|
||||
### 2. 열어 둔 포트는 살아 있고 막은 포트는 죽었는가
|
||||
|
||||
@@ -392,8 +376,12 @@ exit
|
||||
### 3. 그런데 클러스터가 안 깨졌다
|
||||
|
||||
```bash label="[lab host] 두 노드가 아는 멤버 수를 다시 본다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
printf '%s ' "$POD"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
실측은 이렇다(observed, `07-cluster-size.txt`).
|
||||
@@ -449,8 +437,24 @@ sudo conntrack -L 2>/dev/null | grep 7800
|
||||
|
||||
:::
|
||||
|
||||
```bash label="[lab host] 없으면 먼저 깐다"
|
||||
sudo apt install -y conntrack
|
||||
```bash label="[kc-lab-1] 없으면 이 게스트에 먼저 설치한다"
|
||||
sudo apt-get update
|
||||
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y conntrack
|
||||
```
|
||||
|
||||
`kc-lab-2`에도 별도로 설치한다. 패키지는 노드마다 따로 설치된다.
|
||||
|
||||
```bash label="[lab host] 반대편 게스트에도 설치한다"
|
||||
ssh kc-lab-2
|
||||
```
|
||||
|
||||
```bash label="[kc-lab-2] conntrack 설치"
|
||||
sudo apt-get update
|
||||
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y conntrack
|
||||
```
|
||||
|
||||
```bash label="[kc-lab-2] lab host로 돌아온다"
|
||||
exit
|
||||
```
|
||||
|
||||
깔고 나면 문서가 적은 두 줄이 그대로 나온다(2026-09-17, observed).
|
||||
@@ -466,7 +470,7 @@ tcp 6 85885 ESTABLISHED src=10.42.0.13 dst=10.42.1.7 sport=38439 dport=5780
|
||||
sudo grep 7800 /proc/net/nf_conntrack
|
||||
```
|
||||
|
||||
반대편 노드는 붙어서 친다. 아래 세 줄 형태는 이 실험대에서 치지 않았다(unknown) — 원래 실행은 `ssh kc-lab-2 'sudo conntrack -L 2>/dev/null | grep 7800'` 한 줄로 쳤고, 한 줄에 원격 접속과 원격 셸의 인용을 겹쳐 놓는 대신 행동 하나를 명령 하나로 나눴다.
|
||||
반대편 노드도 같은 방식으로 직접 들어가서 본다. 2026-09-22 재검증에서는 두 게스트에 `conntrack 1.4.7`을 설치하고 각각의 표에서 7800과 57800 ESTABLISHED 튜플을 확인했다.
|
||||
|
||||
```bash label="[lab host] ① 반대편 노드에 붙는다"
|
||||
ssh kc-lab-2
|
||||
@@ -584,7 +588,7 @@ kubectl -n observability exec deploy/prometheus -- \
|
||||
keycloak-1: ... 11:43:57=2 11:44:27=1 11:44:57=1 ... 11:47:27=1
|
||||
```
|
||||
|
||||
양쪽 다 1 이다. 서로를 멤버로 안 세고 있고, 로그가 까닭을 말한다.
|
||||
양쪽 다 1이면 서로를 멤버로 세지 않는 상태다. 2026-09-22에는 `keycloak-0` 재생성 직후 약 20초 동안 management endpoint와 `JGROUPS_PING` 등록 자체가 아직 준비되지 않았고, 10번의 JOIN timeout 뒤 singleton이 된 다음에야 `cluster_size=1`과 coordinator 2개가 함께 보였다. **파드 생성 직후의 빈 값은 분단 판정이 아니라 아직 startup 중이라는 뜻**이다. 로그가 그 순서를 설명한다.
|
||||
|
||||
```bash label="[lab host] 합류 시도와 클러스터 뷰를 한 번에 본다"
|
||||
kubectl -n keycloak-lab logs keycloak-0 | grep -E "GMS|ISPN000094" | tail -20
|
||||
@@ -634,7 +638,7 @@ zsh: no matches found: custom-columns=NAME:.metadata.name,READY:.status.containe
|
||||
|
||||
실측은 `keycloak-0 false 0`, `keycloak-1 true 0` 이다(observed, `11-service-impact.txt`). 2026-09-17 에도 같은 두 줄이 나왔다(observed).
|
||||
|
||||
**그 `false` 는 파드를 지우자마자 나오지 않는다.** readiness 프로브가 `periodSeconds: 10` · `failureThreshold: 3` 이라 헬스가 먼저 `503` 이 되고 그로부터 최대 30초 뒤에 조건이 뒤집힌다. 2026-09-17 에 지운 지 60초 시점에는 헬스가 이미 `503` 인데 파드는 아직 `1/1 Ready=True` 였다(observed). **그 시점 화면만 보고 「분단이 서비스에 안 잡혔다」로 읽지 않는다** — 1~2분 두고 다시 본다.
|
||||
**그 `false`는 즉시 나오지 않는다.** startup → singleton 형성 → cluster health DOWN → readiness 반영 순서로 시간이 걸린다. 2026-09-22에도 새 `keycloak-0`이 먼저 singleton `cluster_size=1`이 된 뒤 잠시 `1/1`로 보였다가 결국 `0/1`로 빠졌다. **한 순간의 Ready 값만 보지 말고 cluster metric과 health를 같이 본다.**
|
||||
|
||||
까닭은 헬스 본문에 있다.
|
||||
|
||||
@@ -701,7 +705,7 @@ curl -s -o /dev/null -w '%{http_code}\n' --resolve auth.hyeonworks.com:443:192.1
|
||||
curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: auth.hyeonworks.com' http://192.168.122.10/realms/master
|
||||
```
|
||||
|
||||
실측은 정문이 `HTTP 200`, 토큰 발급도 `HTTP 200` 이다(observed). 분단된 노드가 스스로 로드밸런서에서 빠졌고 서비스는 계속됐다. liveness 였다면 재시작을 반복했을 텐데 재시작해도 안 나아지는 문제이므로 readiness 로 격리하는 쪽이 맞는 신호다. 다만 비대칭이라서 살았다 — `keycloak-1` 은 멤버가 하나 줄어든 정상적인 사건이라 Ready 를 유지했고, `keycloak-0` 은 합류 자체를 못 해 DOWN 이 됐다. 양쪽이 동시에 DOWN 이 되는 경로가 있다면 전면 장애이고, 그것이 A-5 의 주제다.
|
||||
실측은 정문이 `HTTP 200`, 토큰 발급도 `HTTP 200` 이다(observed). 분단된 노드가 스스로 로드밸런서에서 빠졌고 서비스는 계속됐다. readiness가 내려가면 Service endpoint에서 제외되지만 컨테이너를 재시작하지는 않는다. 이 장애는 재시작보다 트래픽 격리가 필요한 상태라 readiness 신호가 맞다. 다만 비대칭이라서 살았다 — `keycloak-1` 은 멤버가 하나 줄어든 정상적인 사건이라 Ready 를 유지했고, `keycloak-0` 은 합류 자체를 못 해 DOWN 이 됐다. 양쪽이 동시에 DOWN 이 되는 경로가 있다면 전면 장애이고, 그것이 A-5 의 주제다.
|
||||
|
||||
본 시험은 Service 를 쓰면 안 된다. `keycloak-0` 이 NotReady 라 Service 로 보내면 전부 `keycloak-1` 로 간다. 새 주소로 임시 파드를 다시 띄우고 파드 주소로 직접 친다.
|
||||
|
||||
@@ -775,7 +779,7 @@ exit
|
||||
[4] keycloak-0 에서 재갱신 시도 HTTP 200 ← 400 이어야 했다
|
||||
```
|
||||
|
||||
[2] 에서 세션 공유는 예측이 맞았다. 클러스터가 갈라졌는데도 한쪽에서 만든 세션을 반대쪽이 갱신했으니 세션은 7800 으로 다니지 않는다. [4] 에서 로그아웃 전파는 예측이 틀렸다. 대조군에서 400 이던 곳이 200 이다.
|
||||
[2]에서 반대편 refresh `200`은 **분단 상태에서도 PostgreSQL에 남은 persistent session을 이용해 세션을 재적재할 수 있음**을 보여 준다. A-0 정상 클러스터에서는 같은 교차 refresh가 DB 세션 SQL 없이 성공했으므로, "세션은 항상 DB로 읽힌다"고 일반화하지 않는다. [4]에서는 로그아웃 무효화가 분단을 건너지 못해 대조군 `400 invalid_grant`와 달리 `200`이 나왔다.
|
||||
|
||||
[4] 의 200 이 로그아웃이 아예 안 됐다는 뜻인지 확인한다. sid 는 [1] 에서 JWT payload 를 풀어 화면에 찍고 적어 둔 그 값이다. 로그인할 때마다 새로 생기므로 자기 실행의 값을 넣는다.
|
||||
|
||||
@@ -795,9 +799,14 @@ kubectl -n keycloak-lab exec deploy/postgres -- psql -U keycloak -d keycloak \
|
||||
(0 rows) ← DB 행은 삭제되었다
|
||||
```
|
||||
|
||||
```bash label="[lab host] 세션 캐시 엔트리를 노드별로 본다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_statistics_approximate_entries_unique{cache="sessions"}'
|
||||
```bash label="[lab host] 세션 캐시 엔트리를 노드별로 직접 본다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
echo "[$POD]"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_statistics_approximate_entries_unique' \
|
||||
| grep -E 'cache="(sessions|clientSessions)"'
|
||||
done
|
||||
```
|
||||
|
||||
실측은 `keycloak-1 kc-lab-1 = 0`, `keycloak-0 kc-lab-2 = 1` 이다(observed). 캐시에는 그 세션이 있다.
|
||||
@@ -812,7 +821,7 @@ kubectl -n observability exec deploy/prometheus -- \
|
||||
keycloak-0 은 자기 캐시로 200 을 준다 ◀────────────┘
|
||||
```
|
||||
|
||||
룩어사이드 캐시는 읽을 때 DB 와 대조하지 않는다. 세션 조회는 PostgreSQL 을 타고 세션 무효화는 클러스터 메시지(7800)를 타므로, 7800 을 막으면 조회는 정상이고 무효화만 전파되지 않는다. 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다.
|
||||
캐시의 stale 엔트리는 매 요청마다 DB와 대조되지 않았다. 이번 분단에서는 K1이 persistent session을 이용해 refresh를 처리하고 DB 행을 삭제했지만, K0의 기존 cache entry 무효화는 7800 분단을 건너지 못했다. 따라서 **정상 클러스터의 원격 owner 경로와 분단 뒤 DB 재적재/fallback 경로를 같은 것으로 설명하지 않는다.** 실제 사용자도 로그아웃이 안 되는지는 따로 답이 있다 — 아니다. 파드 주소로 직접 쳤기 때문이고, 실제 사용자는 nginx → Traefik → Service 를 거치는데 NotReady 인 `keycloak-0` 은 거기서 빠져 있다.
|
||||
|
||||
## 복구와 원상복구 확인표
|
||||
|
||||
@@ -825,9 +834,13 @@ date '+%H:%M:%S 해제'
|
||||
kubectl -n keycloak-lab delete networkpolicy a1-block-jgroups-transport
|
||||
```
|
||||
|
||||
```bash label="[lab host] ② 30초 간격으로 멤버 수를 몇 번 친다"
|
||||
kubectl -n observability exec deploy/prometheus -- \
|
||||
wget -qO- 'localhost:9090/api/v1/query?query=vendor_cluster_size'
|
||||
```bash label="[lab host] ② 15~30초 간격으로 두 파드의 현재 멤버 수를 본다"
|
||||
for POD in keycloak-0 keycloak-1; do
|
||||
printf '%s ' "$POD"
|
||||
kubectl -n keycloak-lab get --raw \
|
||||
"/api/v1/namespaces/keycloak-lab/pods/$POD:9000/proxy/metrics" \
|
||||
| grep '^vendor_cluster_size'
|
||||
done
|
||||
```
|
||||
|
||||
**예상 결과** — 실측은 이렇다(observed, `12-recovery.txt`).
|
||||
@@ -843,7 +856,7 @@ networkpolicy.networking.k8s.io "a1-block-jgroups-transport" deleted from keyclo
|
||||
+90초 keycloak-0=2 keycloak-1=2 ← 재형성
|
||||
```
|
||||
|
||||
**왜 필요한가** — 90초 만에 자동으로 다시 붙었고 사람 손이 필요 없었다. 누가 붙였는지는 카운터가 말한다.
|
||||
**왜 필요한가** — 재형성은 즉시가 아니다. 2026-09-04에는 약 90초가 걸렸지만, 2026-09-22에는 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 회복됐고, `keycloak-0` readiness는 그 뒤 약 15초 더 지나 `true`로 돌아왔다. **cluster merge와 Service endpoint 복귀를 같은 시각으로 가정하지 않는다.**
|
||||
|
||||
**문제가 생기면** — 2~3분이 지나도 1 이면 MERGE3 주기 밖이거나 정책이 안 지워진 것이므로 `get networkpolicy` 부터 본다.
|
||||
|
||||
@@ -876,7 +889,7 @@ kubectl -n observability exec deploy/prometheus -- \
|
||||
| 정책 | `kubectl -n keycloak-lab get networkpolicy` | `No resources found` |
|
||||
| 파드 | `kubectl -n keycloak-lab get pods -o wide` | `keycloak` 둘 다 `1/1 Running` |
|
||||
| Service | `kubectl -n keycloak-lab get endpointslice -l kubernetes.io/service-name=keycloak` | ready 주소 **둘** |
|
||||
| 클러스터 뷰 | `kubectl -n keycloak-lab logs keycloak-0 \| grep ISPN000094 \| tail -1` | 멤버 `(2)`, 양쪽 동일 |
|
||||
| 클러스터 현재값 | 각 파드 `/metrics`의 `vendor_cluster_size` | 양쪽 `2.0` |
|
||||
| 디스커버리 | `psql -c "select name, ip, coord from jgroups_ping order by name"` | `coord = t` 가 **하나** |
|
||||
| 지표 | `vendor_cluster_size` | 양쪽 `2` |
|
||||
| 임시 파드 | `kubectl -n keycloak-lab get pod kc-probe` | `NotFound` (없어야 정상) |
|
||||
@@ -891,7 +904,7 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시
|
||||
| 정책을 걸었는데 지표가 안 변한다 | conntrack 의 ESTABLISHED 가 먼저 통과시킨다 | `sudo conntrack -L 2>/dev/null \| grep 7800` |
|
||||
| `conntrack -D` 가 `0 flow entries` | 튜플이 틀렸다. `--dport` 만으로는 0건 | `-L` 출력의 src/dst/sport/dport 를 **그대로** 옮긴다 |
|
||||
| conntrack 을 지웠는데도 계속 2 | **이 실험은 그것만으로 분단되는지 판정 못 했다** | 정책이 걸린 채 파드를 재시작한다 |
|
||||
| 파드가 재시작을 반복한다 (`RESTARTS` 증가) | **9000 을 안 열었다.** readiness 실패 → kubelet 이 죽인다 | `describe pod` 의 Events. 매니페스트에 9000 이 있는지 |
|
||||
| 파드가 `0/1`로 빠진다 | 9000 접근 실패 또는 Keycloak readiness DOWN | `describe pod`와 `/health/ready`; **readiness 실패 자체는 컨테이너를 재시작하지 않는다** |
|
||||
| `kubectl exec keycloak-0 -- curl` 이 `exit 127` | **Keycloak 이미지에 curl 도 wget 도 없다** | 임시 curl 파드를 띄우거나 Prometheus 에 묻는다 |
|
||||
| refresh 가 계속 `keycloak-1` 로만 간다 | Service 로 보냈다. NotReady 파드는 빠진다 | **파드 IP 로 직접** |
|
||||
| 재시작 뒤 아무 데도 안 닿는다 | **파드 IP 가 바뀌었다** (`10.42.1.43 → 10.42.1.67`) | `get pod -o jsonpath='{.status.podIP}'` 다시 |
|
||||
@@ -902,12 +915,22 @@ conntrack 은 지운 채로 두면 된다. 표는 새 패킷이 오면 다시
|
||||
|
||||
## 무엇이 관측이고 무엇이 아닌가
|
||||
|
||||
2026-09-22에는 Keycloak 26.7.0 현재 lab에서 A-1을 다시 처음부터 실행했다. 현재 증거는 `final/evidence/raw/2026-09-22-test-server-revalidation/a1-*.txt`에 있다.
|
||||
|
||||
- (observed, 2026-09-22) 정책 적용 후 8080·9000은 `200`, 7800은 `curl exit=7`이었지만 기존 JGroups connection 때문에 cluster size는 `2/2`였다.
|
||||
- (observed, 2026-09-22) 두 게스트의 conntrack에 7800·57800 `ESTABLISHED [ASSURED]`가 있었고 정확한 튜플을 양쪽에서 지워도 약 40초 동안 cluster size `2/2`가 유지됐다.
|
||||
- (observed, 2026-09-22) 정책을 둔 채 `keycloak-0`을 재생성하자 JOIN이 10번 timeout된 뒤 singleton이 됐고, 이후 양쪽 `cluster_size=1`, `JGROUPS_PING coord=true` 두 줄이 됐다.
|
||||
- (observed, 2026-09-22) 분단된 `keycloak-0`은 결국 `0/1`이 되어 EndpointSlice에서 `ready=false`, `keycloak-1`만 `ready=true`였으며 edge와 외부 realm은 계속 `200`이었다.
|
||||
- (observed, 2026-09-22) 분단 중 K0 로그인 → K1 refresh `200` → K1 logout `204` → K0 refresh `200`. DB sid 행은 0건인데 K0 cache는 `sessions=1`, `clientSessions=1`이었다.
|
||||
- (observed, 2026-09-22) 정책 해제 후 약 30초에 cluster size `2/2`와 coordinator 1개가 먼저 돌아왔고, 약 15초 뒤 K0 readiness도 회복됐다. 마지막으로 세션 행을 비우고 StatefulSet을 재시작해 cache 0, DB session 0, cluster 2/2, 외부 `200`으로 정리했다.
|
||||
|
||||
아래 2026-09-04/17 값은 과거 실행 기록이다. 현재 재검증값과 날짜를 섞지 않는다.
|
||||
|
||||
이 절차의 숫자는 `2026-09-04 11:38–11:52 KST` 에 돈 한 번의 실행에서 나왔다(observed).
|
||||
|
||||
- (observed) 차단 `11:38:08`·재시작 `11:46:07`·해제 `11:49:58`, 25분 내내 2 이던 `vendor_cluster_size`, `/proc/net/tcp6` 의 `01`, conntrack 네 줄, `coord = t` 가 둘, 분단 중 교차 refresh `200` 과 로그아웃 후 `200`, DB 행 0 과 캐시 1, 90초 재형성, `merge_events` 가 `0 → 1`.
|
||||
- (unknown) `tr ',' '\n' | grep -E` 로 자른 Prometheus 출력과 `jq` 형태. `jq` 는 이 실험대에 아예 없다.
|
||||
- (unknown) `ssh kc-lab-2` 로 들어가서 `conntrack -L` 을 따로 치는 세 줄 형태. 이 실험대는 `ssh kc-lab-2 '...'` 한 줄로 쳤다.
|
||||
- (unknown) 매니페스트가 놓인 체크아웃의 위치와 그 디렉터리로 옮기는 명령, 그리고 파일이 없을 때 여는 에디터 명령. 원 가이드는 `cat` 과 `kubectl apply` 를 저장소 상대경로로만 적는다.
|
||||
- 이 실험이 판정하지 못한 것 — conntrack 삭제만으로 분단이 만들어지는지. 해설 문서가 「3분 뒤 분단」이라고 썼다가 정정했고, 실제 하락은 파드 재시작 4초 뒤였다.
|
||||
- 이 실험이 재지 않은 것 — `keycloak-0` 캐시에 있던 낡은 엔트리가 병합 후 어떻게 되는지. 궁금하면 재형성 뒤에 `vendor_statistics_approximate_entries_unique{cache="sessions"}` 를 다시 본다.
|
||||
- 가이드가 스크립트를 안 쓰는 까닭도 측정 실패에서 나왔다(observed). 원래 실행은 임시 파드를 20초마다 띄워 지표를 긁었고 `+20초 suspected(k0 k1) = []` 처럼 빈 값과 개수가 안 맞는 값이 섞였다. 판정 조건이 `[ "$R" != "0.0 0.0 " ]` 이어서 빈 문자열을 변화로 읽고 즉시 빠져나왔다.
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
+120
@@ -0,0 +1,120 @@
|
||||
uid=1000(donghyeon) gid=1000(donghyeon) groups=1000(donghyeon),962(libvirt),998(wheel)
|
||||
test-server
|
||||
NAME="Arch Linux"
|
||||
PRETTY_NAME="Arch Linux"
|
||||
ID=arch
|
||||
BUILD_ID=rolling
|
||||
ANSI_COLOR="38;2;23;147;209"
|
||||
HOME_URL="https://archlinux.org/"
|
||||
DOCUMENTATION_URL="https://wiki.archlinux.org/"
|
||||
SUPPORT_URL="https://bbs.archlinux.org/"
|
||||
BUG_REPORT_URL="https://gitlab.archlinux.org/groups/archlinux/-/issues"
|
||||
PRIVACY_POLICY_URL="https://terms.archlinux.org/docs/privacy-policy/"
|
||||
LOGO=archlinux-logo
|
||||
Architecture: x86_64
|
||||
CPU op-mode(s): 32-bit, 64-bit
|
||||
Address sizes: 39 bits physical, 48 bits virtual
|
||||
Byte Order: Little Endian
|
||||
CPU(s): 8
|
||||
On-line CPU(s) list: 0-7
|
||||
Vendor ID: GenuineIntel
|
||||
Model name: 11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz
|
||||
CPU family: 6
|
||||
Model: 140
|
||||
Thread(s) per core: 2
|
||||
Core(s) per socket: 4
|
||||
Socket(s): 1
|
||||
Stepping: 1
|
||||
Microcode version: 0x86
|
||||
CPU(s) scaling MHz: 30%
|
||||
CPU max MHz: 4200.0000
|
||||
CPU min MHz: 400.0000
|
||||
BogoMIPS: 4838.40
|
||||
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_perfmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l2 cdp_l2 ssbd ibrs ibpb stibp ibrs_enhanced tpr_shadow flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb intel_pt avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves split_lock_detect user_shstk dtherm ida arat pln pts hwp hwp_notify hwp_act_window hwp_epp hwp_pkg_req vnmi avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid movdiri movdir64b fsrm avx512_vp2intersect md_clear ibt flush_l1d arch_capabilities
|
||||
Virtualization: VT-x
|
||||
L1d cache: 192 KiB (4 instances)
|
||||
L1i cache: 128 KiB (4 instances)
|
||||
L2 cache: 5 MiB (4 instances)
|
||||
L3 cache: 8 MiB (1 instance)
|
||||
NUMA node(s): 1
|
||||
NUMA node0 CPU(s): 0-7
|
||||
Vulnerability Gather data sampling: Vulnerable: No microcode
|
||||
Vulnerability Ghostwrite: Not affected
|
||||
Vulnerability Indirect target selection: Mitigation; Aligned branch/return thunks
|
||||
Vulnerability Itlb multihit: Not affected
|
||||
Vulnerability L1tf: Not affected
|
||||
Vulnerability Mds: Not affected
|
||||
Vulnerability Meltdown: Not affected
|
||||
Vulnerability Mmio stale data: Not affected
|
||||
Vulnerability Old microcode: Vulnerable
|
||||
Vulnerability Reg file data sampling: Not affected
|
||||
Vulnerability Retbleed: Not affected
|
||||
Vulnerability Spec rstack overflow: Not affected
|
||||
Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl
|
||||
Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization
|
||||
Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; PBRSB-eIBRS SW sequence; BHI SW loop, KVM SW loop
|
||||
Vulnerability Srbds: Not affected
|
||||
Vulnerability Tsa: Not affected
|
||||
Vulnerability Tsx async abort: Not affected
|
||||
Vulnerability Vmscape: Not affected
|
||||
total used free shared buff/cache available
|
||||
Mem: 11Gi 10Gi 240Mi 4.5Mi 781Mi 701Mi
|
||||
Swap: 8.0Gi 749Mi 7.3Gi
|
||||
NAME TYPE SIZE FSTYPE MOUNTPOINTS MODEL
|
||||
nvme0n1 disk 238.5G SAMSUNG MZVLQ256HAJD-00000
|
||||
|-nvme0n1p1 part 512M vfat /boot
|
||||
|-nvme0n1p2 part 8G swap [SWAP]
|
||||
`-nvme0n1p3 part 230G ext4 /
|
||||
Filesystem Type Size Used Avail Use% Mounted on
|
||||
/dev/nvme0n1p3 ext4 226G 19G 195G 9% /
|
||||
devtmpfs devtmpfs 5.7G 0 5.7G 0% /dev
|
||||
tmpfs tmpfs 5.7G 0 5.7G 0% /dev/shm
|
||||
efivarfs efivarfs 128K 97K 27K 79% /sys/firmware/efi/efivars
|
||||
tmpfs tmpfs 2.3G 1.7M 2.3G 1% /run
|
||||
none tmpfs 1.0M 0 1.0M 0% /run/credentials/systemd-journald.service
|
||||
tmpfs tmpfs 5.7G 1.8M 5.7G 1% /tmp
|
||||
/dev/nvme0n1p1 vfat 511M 58M 454M 12% /boot
|
||||
none tmpfs 1.0M 0 1.0M 0% /run/credentials/getty@tty1.service
|
||||
tmpfs tmpfs 1.2G 8.0K 1.2G 1% /run/user/1000
|
||||
none tmpfs 1.0M 4.0K 1020K 1% /run/credentials/libvirtd.service
|
||||
crw-rw-rw- 1 root kvm 10, 232 Sep 17 14:46 /dev/kvm
|
||||
12.7.0
|
||||
5.1.0
|
||||
QEMU emulator version 11.1.1
|
||||
Copyright (c) 2003-2026 Fabrice Bellard and the QEMU Project developers
|
||||
Id Name State
|
||||
-----------------------------
|
||||
13 kc-lab-1 running
|
||||
15 kc-lab-edge running
|
||||
16 kc-lab-2 running
|
||||
|
||||
Name State Autostart Persistent
|
||||
--------------------------------------------
|
||||
default active yes yes
|
||||
|
||||
lo UNKNOWN 127.0.0.1/8 ::1/128
|
||||
wlo1 UP 192.168.0.200/24 fe80::89b4:127d:2023:1f81/64
|
||||
tailscale0 UNKNOWN 100.83.212.4/32 fd7a:115c:a1e0::4032:d405/128 fe80::71ad:b041:840a:b437/64
|
||||
virbr0 UP 192.168.122.1/24
|
||||
vnet11 UNKNOWN fe80::fc54:ff:feaa:bb11/64
|
||||
vnet13 UNKNOWN fe80::fc54:ff:feaa:bb10/64
|
||||
vnet14 UNKNOWN fe80::fc54:ff:feaa:bb12/64
|
||||
default via 192.168.0.1 dev wlo1 proto static metric 600
|
||||
192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600
|
||||
192.168.122.0/24 dev virbr0 proto kernel scope link src 192.168.122.1
|
||||
21: vnet11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master virbr0 state forwarding priority 32 cost 2
|
||||
23: vnet13: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master virbr0 state forwarding priority 32 cost 2
|
||||
24: vnet14: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master virbr0 state forwarding priority 32 cost 2
|
||||
Netid State Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
|
||||
udp UNCONN 0 0 192.168.122.1:53 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=5))
|
||||
udp UNCONN 0 0 0.0.0.0%virbr0:67 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=3))
|
||||
udp UNCONN 0 0 0.0.0.0:41641 0.0.0.0:* users:(("tailscaled",pid=449,fd=21))
|
||||
udp UNCONN 0 0 [::]:41641 [::]:* users:(("tailscaled",pid=449,fd=19))
|
||||
tcp LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid=447,fd=6))
|
||||
tcp LISTEN 0 4096 100.83.212.4:36345 0.0.0.0:* users:(("tailscaled",pid=449,fd=20))
|
||||
tcp LISTEN 0 4096 127.0.0.1:5900 0.0.0.0:* users:(("qemu-system-x86",pid=167709,fd=13))
|
||||
tcp LISTEN 0 4096 127.0.0.1:5901 0.0.0.0:* users:(("qemu-system-x86",pid=173056,fd=13))
|
||||
tcp LISTEN 0 4096 127.0.0.1:5902 0.0.0.0:* users:(("qemu-system-x86",pid=167796,fd=13))
|
||||
tcp LISTEN 0 32 192.168.122.1:53 0.0.0.0:* users:(("dnsmasq",pid=65247,fd=6))
|
||||
tcp LISTEN 0 128 [::]:22 [::]:* users:(("sshd",pid=447,fd=7))
|
||||
tcp LISTEN 0 4096 [fd7a:115c:a1e0::4032:d405]:40056 [::]:* users:(("tailscaled",pid=449,fd=22))
|
||||
+24
@@ -0,0 +1,24 @@
|
||||
Id Name State
|
||||
-----------------------------
|
||||
13 kc-lab-1 running
|
||||
15 kc-lab-edge running
|
||||
16 kc-lab-2 running
|
||||
|
||||
---volumes---
|
||||
Name Path
|
||||
----------------------------------------------------------------------
|
||||
base.qcow2 /var/lib/libvirt/images/base.qcow2
|
||||
kc-lab-1.qcow2 /var/lib/libvirt/images/kc-lab-1.qcow2
|
||||
kc-lab-2.qcow2 /var/lib/libvirt/images/kc-lab-2.qcow2
|
||||
kc-lab-edge.qcow2 /var/lib/libvirt/images/kc-lab-edge.qcow2
|
||||
seed-kc-lab-1.iso /var/lib/libvirt/images/seed-kc-lab-1.iso
|
||||
seed-kc-lab-2.iso /var/lib/libvirt/images/seed-kc-lab-2.iso
|
||||
seed-kc-lab-edge.iso /var/lib/libvirt/images/seed-kc-lab-edge.iso
|
||||
|
||||
---reservations---
|
||||
<host mac='52:54:00:aa:bb:10' name='kc-lab-edge' ip='192.168.122.10'/>
|
||||
<host mac='52:54:00:aa:bb:11' name='kc-lab-1' ip='192.168.122.11'/>
|
||||
<host mac='52:54:00:aa:bb:12' name='kc-lab-2' ip='192.168.122.12'/>
|
||||
---disk---
|
||||
Filesystem Size Used Avail Use% Mounted on
|
||||
/dev/nvme0n1p3 226G 19G 195G 9% /
|
||||
+9
@@ -0,0 +1,9 @@
|
||||
=== kc-lab-1 ===
|
||||
kc-lab-1
|
||||
status: done
|
||||
active
|
||||
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
|
||||
kc-lab-1 Ready control-plane 4d3h v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
kc-lab-2 Ready <none> 4d3h v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
|
||||
=== kc-lab-2 ===
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
Domain 'kc-lab-2' destroyed
|
||||
|
||||
Domain 'kc-lab-2' has been undefined
|
||||
Volume 'vda'(/var/lib/libvirt/images/kc-lab-2.qcow2) removed.
|
||||
Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-2.iso) removed.
|
||||
|
||||
Domain 'kc-lab-1' destroyed
|
||||
|
||||
Domain 'kc-lab-1' has been undefined
|
||||
Volume 'vda'(/var/lib/libvirt/images/kc-lab-1.qcow2) removed.
|
||||
Volume 'vdb'(/var/lib/libvirt/images/seed-kc-lab-1.iso) removed.
|
||||
|
||||
Updated network default persistent config and live state
|
||||
Updated network default persistent config and live state
|
||||
+28
@@ -0,0 +1,28 @@
|
||||
vmx
|
||||
kvm_intel 524288 3
|
||||
kvm 1490944 2 kvm_intel
|
||||
irqbypass 16384 1 kvm
|
||||
qemu-full 11.1.1-1
|
||||
libvirt 1:12.7.0-1
|
||||
virt-install 5.1.0-4
|
||||
dnsmasq 2.93-1
|
||||
enabled
|
||||
active
|
||||
Triggers=libvirtd.service
|
||||
Listen=/run/libvirt/libvirt-sock (Stream)
|
||||
donghyeon libvirt wheel
|
||||
qemu:///system
|
||||
|
||||
Name State Autostart Persistent
|
||||
--------------------------------------------
|
||||
default active yes yes
|
||||
|
||||
Id Name State
|
||||
-----------------------------
|
||||
15 kc-lab-edge running
|
||||
|
||||
donghyeon:x:1000:1000::/home/donghyeon:/bin/zsh
|
||||
LIBVIRT_DEFAULT_URI=
|
||||
1:uri_default = "qemu:///system"
|
||||
/home/donghyeon/.zshrc:2:export LIBVIRT_DEFAULT_URI=qemu:///system
|
||||
/home/donghyeon/.bashrc:11:export LIBVIRT_DEFAULT_URI=qemu:///system
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
kc-lab-1.yaml:10: sudo: "ALL=(ALL) NOPASSWD:ALL"
|
||||
kc-lab-2.yaml:10: sudo: "ALL=(ALL) NOPASSWD:ALL"
|
||||
seed-kc-lab-1.iso 378880 bytes 600
|
||||
seed-kc-lab-2.iso 378880 bytes 600
|
||||
+41
@@ -0,0 +1,41 @@
|
||||
=== 192.168.122.11 ===
|
||||
Warning: Permanently added '192.168.122.11' (ED25519) to the list of known hosts.
|
||||
kc-lab-1
|
||||
enp1s0 UP 192.168.122.11/24 metric 100
|
||||
status: done
|
||||
/usr/bin/cloud-init 22.4.2
|
||||
sudo_noninteractive=yes
|
||||
=== 192.168.122.12 ===
|
||||
Warning: Permanently added '192.168.122.12' (ED25519) to the list of known hosts.
|
||||
kc-lab-2
|
||||
enp1s0 UP 192.168.122.12/24 metric 100
|
||||
status: done
|
||||
/usr/bin/cloud-init 22.4.2
|
||||
sudo_noninteractive=yes
|
||||
=== domains ===
|
||||
Id Name State
|
||||
-----------------------------
|
||||
15 kc-lab-edge running
|
||||
17 kc-lab-1 running
|
||||
18 kc-lab-2 running
|
||||
|
||||
=== block ===
|
||||
Target Source
|
||||
-----------------------------------------------------
|
||||
vda /var/lib/libvirt/images/kc-lab-1.qcow2
|
||||
vdb /var/lib/libvirt/images/seed-kc-lab-1.iso
|
||||
|
||||
Target Source
|
||||
-----------------------------------------------------
|
||||
vda /var/lib/libvirt/images/kc-lab-2.qcow2
|
||||
vdb /var/lib/libvirt/images/seed-kc-lab-2.iso
|
||||
|
||||
=== leases ===
|
||||
Name MAC address Protocol Address
|
||||
------------------------------------------------------------
|
||||
vnet15 52:54:00:aa:bb:11 ipv4 192.168.122.11/24
|
||||
|
||||
Name MAC address Protocol Address
|
||||
------------------------------------------------------------
|
||||
vnet16 52:54:00:aa:bb:12 ipv4 192.168.122.12/24
|
||||
|
||||
+5
@@ -0,0 +1,5 @@
|
||||
active
|
||||
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
|
||||
kc-lab-1 Ready control-plane 27m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
X509v3 Subject Alternative Name:
|
||||
DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster.local, DNS:localhost, DNS:kc-lab-1, IP Address:127.0.0.1, IP Address:0:0:0:0:0:0:0:1, IP Address:192.168.122.11, IP Address:10.43.0.1, IP Address:192.168.122.11
|
||||
+274
@@ -0,0 +1,274 @@
|
||||
=== pinning before ===
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
=== qemu thread map ===
|
||||
* CPU #0: thread_id=272131 model=host
|
||||
CPU #1: thread_id=272132 model=host
|
||||
|
||||
|
||||
* CPU #0: thread_id=272156 model=host
|
||||
CPU #1: thread_id=272157 model=host
|
||||
|
||||
|
||||
=== mpstat ===
|
||||
=== psr samples ===
|
||||
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
|
||||
19:11:09.856
|
||||
272131 7 10.1 Sl CPU 0/KVM
|
||||
272132 4 10.0 Rl CPU 1/KVM
|
||||
272156 2 5.1 Sl CPU 0/KVM
|
||||
272157 6 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:09 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:10 all 1.25 0.00 4.87 0.00 0.75 0.25 0.00 15.61 0.00 77.28
|
||||
19:11:10 0 1.00 0.00 3.00 0.00 1.00 0.00 0.00 13.00 0.00 82.00
|
||||
19:11:10 1 0.99 0.00 4.95 0.00 0.99 0.00 0.00 8.91 0.00 84.16
|
||||
19:11:10 2 0.99 0.00 4.95 0.00 0.99 0.00 0.00 15.84 0.00 77.23
|
||||
19:11:10 3 0.00 0.00 5.00 0.00 0.00 0.00 0.00 14.00 0.00 81.00
|
||||
19:11:10 4 2.00 0.00 4.00 0.00 1.00 0.00 0.00 21.00 0.00 72.00
|
||||
19:11:10 5 2.02 0.00 7.07 0.00 1.01 1.01 0.00 17.17 0.00 71.72
|
||||
19:11:10 6 1.96 0.00 5.88 0.00 0.98 0.98 0.00 18.63 0.00 71.57
|
||||
19:11:10 7 1.02 0.00 4.08 0.00 0.00 0.00 0.00 16.33 0.00 78.57
|
||||
19:11:10.866
|
||||
272131 5 10.1 Rl CPU 0/KVM
|
||||
272132 7 10.1 Rl CPU 1/KVM
|
||||
272156 0 5.2 Rl CPU 0/KVM
|
||||
272157 1 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:11 all 2.48 0.00 12.78 0.00 0.37 0.62 0.00 33.00 0.00 50.74
|
||||
19:11:11 0 3.96 0.00 10.89 0.00 0.00 0.00 0.00 38.61 0.00 46.53
|
||||
19:11:11 1 1.98 0.00 12.87 0.00 0.00 0.00 0.00 26.73 0.00 58.42
|
||||
19:11:11 2 2.02 0.00 13.13 0.00 0.00 0.00 0.00 39.39 0.00 45.45
|
||||
19:11:11 3 2.94 0.00 12.75 0.00 0.98 0.00 0.00 36.27 0.00 47.06
|
||||
19:11:11 4 2.00 0.00 13.00 0.00 0.00 0.00 0.00 31.00 0.00 54.00
|
||||
19:11:11 5 1.96 0.00 12.75 0.00 0.98 2.94 0.00 27.45 0.00 53.92
|
||||
19:11:11 6 2.02 0.00 14.14 0.00 0.00 0.00 0.00 28.28 0.00 55.56
|
||||
19:11:11 7 2.94 0.00 12.75 0.00 0.98 1.96 0.00 36.27 0.00 45.10
|
||||
19:11:11.878
|
||||
272131 3 10.2 Rl CPU 0/KVM
|
||||
272132 1 10.1 Rl CPU 1/KVM
|
||||
272156 0 5.2 Sl CPU 0/KVM
|
||||
272157 6 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:11 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:12 all 2.70 0.00 12.25 0.49 0.98 0.86 0.00 37.25 0.00 45.47
|
||||
19:11:12 0 3.85 0.00 13.46 0.96 0.96 0.96 0.00 25.00 0.00 54.81
|
||||
19:11:12 1 2.00 0.00 8.00 0.00 1.00 0.00 0.00 53.00 0.00 36.00
|
||||
19:11:12 2 2.91 0.00 11.65 0.00 0.97 0.97 0.00 34.95 0.00 48.54
|
||||
19:11:12 3 1.94 0.00 8.74 0.97 0.97 0.00 0.00 55.34 0.00 32.04
|
||||
19:11:12 4 3.92 0.00 12.75 0.98 0.98 0.00 0.00 29.41 0.00 51.96
|
||||
19:11:12 5 0.98 0.00 15.69 0.98 0.98 2.94 0.00 31.37 0.00 47.06
|
||||
19:11:12 6 3.92 0.00 13.73 0.00 0.98 0.00 0.00 27.45 0.00 53.92
|
||||
19:11:12 7 2.00 0.00 14.00 0.00 1.00 2.00 0.00 42.00 0.00 39.00
|
||||
19:11:12.891
|
||||
272131 0 10.2 Rl CPU 0/KVM
|
||||
272132 7 10.1 Sl CPU 1/KVM
|
||||
272156 6 5.2 Rl CPU 0/KVM
|
||||
272157 4 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:12 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:13 all 0.63 0.00 2.63 0.00 0.25 0.38 0.00 16.77 0.00 79.35
|
||||
19:11:13 0 0.00 0.00 0.00 0.00 1.02 0.00 0.00 50.00 0.00 48.98
|
||||
19:11:13 1 1.96 0.00 3.92 0.00 0.98 0.98 0.00 20.59 0.00 71.57
|
||||
19:11:13 2 0.00 0.00 3.03 0.00 0.00 0.00 0.00 13.13 0.00 83.84
|
||||
19:11:13 3 1.01 0.00 3.03 0.00 0.00 0.00 0.00 3.03 0.00 92.93
|
||||
19:11:13 4 0.00 0.00 0.99 0.00 0.00 0.00 0.00 7.92 0.00 91.09
|
||||
19:11:13 5 1.00 0.00 4.00 0.00 0.00 1.00 0.00 8.00 0.00 86.00
|
||||
19:11:13 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 27.27 0.00 71.72
|
||||
19:11:13 7 0.99 0.00 4.95 0.00 0.00 0.99 0.00 4.95 0.00 88.12
|
||||
19:11:13.905
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 3 10.1 Sl CPU 1/KVM
|
||||
272156 6 5.2 Sl CPU 0/KVM
|
||||
272157 5 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:13 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:14 all 0.13 0.00 0.50 0.00 0.88 0.00 0.00 2.13 0.00 96.37
|
||||
19:11:14 0 0.00 0.00 1.00 0.00 1.00 0.00 0.00 3.00 0.00 95.00
|
||||
19:11:14 1 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:14 2 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
|
||||
19:11:14 3 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
|
||||
19:11:14 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:14 5 0.00 0.00 0.00 0.00 1.00 0.00 0.00 4.00 0.00 95.00
|
||||
19:11:14 6 0.99 0.00 0.00 0.00 0.99 0.00 0.00 0.00 0.00 98.02
|
||||
19:11:14 7 0.00 0.00 0.00 0.00 1.01 0.00 0.00 3.03 0.00 95.96
|
||||
19:11:14.926
|
||||
272131 2 10.2 Sl CPU 0/KVM
|
||||
272132 3 10.1 Sl CPU 1/KVM
|
||||
272156 6 5.2 Sl CPU 0/KVM
|
||||
272157 5 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:14 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:15 all 0.25 0.00 0.88 0.63 0.50 0.00 0.00 1.51 0.00 96.11
|
||||
19:11:15 0 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
|
||||
19:11:15 1 1.00 0.00 2.00 0.00 0.00 0.00 0.00 1.00 0.00 96.00
|
||||
19:11:15 2 0.00 0.00 0.00 0.00 1.01 0.00 0.00 2.02 0.00 96.97
|
||||
19:11:15 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:15 4 0.00 0.00 0.99 0.00 0.99 0.00 0.00 0.99 0.00 97.03
|
||||
19:11:15 5 1.01 0.00 1.01 1.01 0.00 0.00 0.00 1.01 0.00 95.96
|
||||
19:11:15 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 2.02 0.00 96.97
|
||||
19:11:15 7 1.00 0.00 0.00 4.00 0.00 0.00 0.00 0.00 0.00 95.00
|
||||
19:11:15.947
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 4 10.1 Sl CPU 1/KVM
|
||||
272156 7 5.2 Sl CPU 0/KVM
|
||||
272157 5 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:15 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:16 all 0.00 0.00 0.88 0.00 0.63 0.38 0.00 2.14 0.00 95.85
|
||||
19:11:16 0 0.00 0.00 1.01 0.00 1.01 1.01 0.00 3.03 0.00 93.94
|
||||
19:11:16 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:16 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:16 3 0.00 0.00 1.00 0.00 0.00 1.00 0.00 2.00 0.00 96.00
|
||||
19:11:16 4 0.00 0.00 0.00 0.00 1.00 1.00 0.00 3.00 0.00 95.00
|
||||
19:11:16 5 0.00 0.00 0.99 0.00 0.99 0.00 0.00 1.98 0.00 96.04
|
||||
19:11:16 6 1.00 0.00 2.00 0.00 1.00 0.00 0.00 4.00 0.00 92.00
|
||||
19:11:16 7 0.00 0.00 2.00 0.00 1.00 0.00 0.00 3.00 0.00 94.00
|
||||
19:11:16.962
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 6 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 7 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:16 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:17 all 0.50 0.00 0.75 0.13 0.63 0.13 0.00 1.63 0.00 96.25
|
||||
19:11:17 0 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:17 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:17 2 0.98 0.00 0.98 0.00 0.98 0.00 0.00 1.96 0.00 95.10
|
||||
19:11:17 3 1.00 0.00 1.00 0.00 1.00 0.00 0.00 0.00 0.00 97.00
|
||||
19:11:17 4 1.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 95.00
|
||||
19:11:17 5 0.00 0.00 0.00 1.00 0.00 1.00 0.00 1.00 0.00 97.00
|
||||
19:11:17 6 0.00 0.00 2.02 0.00 1.01 0.00 0.00 5.05 0.00 91.92
|
||||
19:11:17 7 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
|
||||
19:11:17.975
|
||||
272131 5 10.2 Sl CPU 0/KVM
|
||||
272132 6 10.1 Rl CPU 1/KVM
|
||||
272156 3 5.2 Sl CPU 0/KVM
|
||||
272157 6 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:17 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:18 all 0.25 0.00 0.63 0.00 0.50 0.13 0.00 2.39 0.00 96.10
|
||||
19:11:18 0 1.02 0.00 1.02 0.00 0.00 0.00 0.00 1.02 0.00 96.94
|
||||
19:11:18 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:18 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:18 3 1.01 0.00 1.01 0.00 0.00 0.00 0.00 2.02 0.00 95.96
|
||||
19:11:18 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.02 0.00 98.98
|
||||
19:11:18 5 0.00 0.00 0.99 0.00 0.99 0.00 0.00 4.95 0.00 93.07
|
||||
19:11:18 6 0.00 0.00 0.98 0.00 1.96 0.98 0.00 6.86 0.00 89.22
|
||||
19:11:18 7 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:18.996
|
||||
272131 4 10.2 Sl CPU 0/KVM
|
||||
272132 6 10.1 Sl CPU 1/KVM
|
||||
272156 3 5.2 Rl CPU 0/KVM
|
||||
272157 7 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:18 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:19 all 0.00 0.00 0.88 0.13 0.75 0.13 0.00 2.25 0.00 95.74
|
||||
19:11:19 0 0.00 0.00 1.00 1.00 0.00 1.00 0.00 0.00 0.00 97.00
|
||||
19:11:19 1 0.00 0.00 0.00 0.00 0.99 0.00 0.00 0.00 0.00 99.01
|
||||
19:11:19 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:19 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 5.05 0.00 92.93
|
||||
19:11:19 4 0.00 0.00 0.99 0.00 1.98 0.00 0.00 3.96 0.00 93.07
|
||||
19:11:19 5 1.00 0.00 2.00 0.00 1.00 0.00 0.00 2.00 0.00 94.00
|
||||
19:11:19 6 0.00 0.00 1.01 0.00 1.01 0.00 0.00 4.04 0.00 93.94
|
||||
19:11:19 7 0.00 0.00 1.01 0.00 0.00 0.00 0.00 3.03 0.00 95.96
|
||||
19:11:20.016
|
||||
272131 4 10.2 Sl CPU 0/KVM
|
||||
272132 6 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 7 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:19 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:20 all 0.00 0.00 0.88 0.13 0.63 0.13 0.00 2.01 0.00 96.12
|
||||
19:11:20 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.00 99.00
|
||||
19:11:20 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:20 2 0.00 0.00 0.00 0.00 0.00 1.02 0.00 1.02 0.00 97.96
|
||||
19:11:20 3 0.00 0.00 1.96 0.00 0.98 0.00 0.00 1.96 0.00 95.10
|
||||
19:11:20 4 0.00 0.00 2.00 0.00 1.00 0.00 0.00 5.00 0.00 92.00
|
||||
19:11:20 5 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 0.00 98.99
|
||||
19:11:20 6 0.00 0.00 1.00 0.00 2.00 0.00 0.00 5.00 0.00 92.00
|
||||
19:11:20 7 1.00 0.00 1.00 1.00 1.00 0.00 0.00 2.00 0.00 94.00
|
||||
19:11:21.038
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 4 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 1 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:20 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:21 all 0.38 0.00 0.88 0.00 0.63 0.25 0.00 2.52 0.00 95.35
|
||||
19:11:21 0 1.03 0.00 0.00 0.00 1.03 0.00 0.00 4.12 0.00 93.81
|
||||
19:11:21 1 0.00 0.00 1.98 0.00 0.00 0.99 0.00 2.97 0.00 94.06
|
||||
19:11:21 2 0.00 0.00 1.00 0.00 1.00 0.00 0.00 4.00 0.00 94.00
|
||||
19:11:21 3 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
|
||||
19:11:21 4 0.00 0.00 1.00 0.00 1.00 1.00 0.00 4.00 0.00 93.00
|
||||
19:11:21 5 0.00 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 98.99
|
||||
19:11:21 6 1.01 0.00 2.02 0.00 1.01 0.00 0.00 5.05 0.00 90.91
|
||||
19:11:21 7 0.00 0.00 1.01 0.00 0.00 0.00 0.00 0.00 0.00 98.99
|
||||
19:11:22.060
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 7 10.1 Sl CPU 1/KVM
|
||||
272156 6 5.2 Sl CPU 0/KVM
|
||||
272157 4 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:21 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:22 all 0.50 0.00 0.88 0.00 0.63 0.25 0.00 1.51 0.00 96.23
|
||||
19:11:22 0 0.99 0.00 0.99 0.00 0.99 0.99 0.00 1.98 0.00 94.06
|
||||
19:11:22 1 0.00 0.00 0.00 0.00 1.01 0.00 0.00 2.02 0.00 96.97
|
||||
19:11:22 2 1.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 98.00
|
||||
19:11:22 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:22 4 0.00 0.00 1.00 0.00 1.00 0.00 0.00 2.00 0.00 96.00
|
||||
19:11:22 5 1.02 0.00 3.06 0.00 0.00 0.00 0.00 1.02 0.00 94.90
|
||||
19:11:22 6 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:22 7 1.00 0.00 0.00 0.00 1.00 1.00 0.00 2.00 0.00 95.00
|
||||
19:11:23.075
|
||||
272131 6 10.2 Sl CPU 0/KVM
|
||||
272132 0 10.1 Sl CPU 1/KVM
|
||||
272156 6 5.2 Sl CPU 0/KVM
|
||||
272157 5 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:22 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:23 all 0.13 0.00 1.00 0.00 0.50 0.25 0.00 1.76 0.00 96.36
|
||||
19:11:23 0 0.00 0.00 1.01 0.00 1.01 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:23 1 0.00 0.00 1.01 0.00 1.01 0.00 0.00 5.05 0.00 92.93
|
||||
19:11:23 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:23 3 0.99 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 98.02
|
||||
19:11:23 4 0.00 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 99.01
|
||||
19:11:23 5 0.00 0.00 1.01 0.00 1.01 1.01 0.00 2.02 0.00 94.95
|
||||
19:11:23 6 0.00 0.00 1.98 0.00 0.00 0.99 0.00 1.98 0.00 95.05
|
||||
19:11:23 7 0.00 0.00 1.01 0.00 1.01 0.00 0.00 2.02 0.00 95.96
|
||||
19:11:24.088
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 3 10.1 Sl CPU 1/KVM
|
||||
272156 7 5.2 Sl CPU 0/KVM
|
||||
272157 4 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:23 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:24 all 0.50 0.00 1.25 0.50 0.50 0.13 0.00 2.13 0.00 94.98
|
||||
19:11:24 0 0.00 0.00 1.00 1.00 2.00 1.00 0.00 4.00 0.00 91.00
|
||||
19:11:24 1 1.01 0.00 0.00 1.01 0.00 0.00 0.00 1.01 0.00 96.97
|
||||
19:11:24 2 0.00 0.00 0.99 0.99 0.99 0.00 0.00 0.00 0.00 97.03
|
||||
19:11:24 3 0.00 0.00 1.01 0.00 1.01 0.00 0.00 4.04 0.00 93.94
|
||||
19:11:24 4 1.01 0.00 1.01 0.00 0.00 0.00 0.00 3.03 0.00 94.95
|
||||
19:11:24 5 1.00 0.00 3.00 1.00 0.00 0.00 0.00 0.00 0.00 95.00
|
||||
19:11:24 6 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00
|
||||
19:11:24 7 0.00 0.00 3.03 0.00 0.00 0.00 0.00 5.05 0.00 91.92
|
||||
|
||||
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
Average: all 0.64 0.00 2.82 0.13 0.61 0.26 0.00 8.38 0.00 87.16
|
||||
Average: 0 0.74 0.00 2.47 0.20 0.80 0.33 0.00 10.23 0.00 85.22
|
||||
Average: 1 0.60 0.00 2.41 0.07 0.47 0.13 0.00 8.36 0.00 87.97
|
||||
Average: 2 0.53 0.00 2.54 0.07 0.47 0.13 0.00 7.68 0.00 88.58
|
||||
Average: 3 0.60 0.00 2.66 0.07 0.53 0.07 0.00 8.73 0.00 87.34
|
||||
Average: 4 0.67 0.00 2.66 0.07 0.67 0.13 0.00 7.66 0.00 88.15
|
||||
Average: 5 0.60 0.00 3.54 0.27 0.60 0.67 0.00 6.88 0.00 87.45
|
||||
Average: 6 0.73 0.00 3.20 0.00 0.80 0.20 0.00 9.27 0.00 85.80
|
||||
Average: 7 0.67 0.00 3.08 0.33 0.54 0.40 0.00 8.23 0.00 86.75
|
||||
+197
@@ -0,0 +1,197 @@
|
||||
===== initial affinity =====
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0
|
||||
1 1
|
||||
|
||||
===== unpinned affinity =====
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0
|
||||
1 1
|
||||
|
||||
===== unpinned latency =====
|
||||
requests 1500 rc 0 elapsed_sec 8.802
|
||||
avg 0.01076 p50 0.009718 p95 0.021846 p99 0.035426 max 0.058487
|
||||
===== unpinned guest vmstat =====
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st
|
||||
3 0 0 1898652 45560 1326328 0 0 84 216 1101 1991 4 3 92 0 0
|
||||
2 0 0 1898652 45560 1326328 0 0 0 16 10267 6027 21 8 70 0 0
|
||||
2 0 0 1898652 45560 1326328 0 0 0 0 7465 6253 19 6 75 0 0
|
||||
1 0 0 1898652 45560 1326328 0 0 0 0 6598 4918 7 4 90 0 0
|
||||
1 0 0 1898652 45560 1326328 0 0 0 0 6903 5623 13 4 83 0 0
|
||||
1 0 0 1898652 45560 1326328 0 0 0 0 6547 4680 11 4 85 0 0
|
||||
===== unpinned psr samples =====
|
||||
19:11:41.901
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:42.156
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:42.410
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:42.663
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:42.917
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:43.172
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:43.427
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:43.680
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:43.934
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:44.187
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:44.440
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:44.693
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:44.947
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:45.200
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:45.454
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:45.708
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:45.961
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:46.214
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:46.468
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:46.722
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
===== unpinned mpstat averages =====
|
||||
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
Average: all 0.72 0.00 7.30 0.14 0.49 0.35 0.00 23.75 0.00 67.25
|
||||
Average: 0 0.33 0.00 11.75 0.00 0.66 0.33 0.00 24.01 0.00 62.91
|
||||
Average: 1 0.33 0.00 12.69 0.00 0.67 0.17 0.00 16.53 0.00 69.62
|
||||
Average: 2 0.17 0.00 10.33 0.00 0.33 0.17 0.00 32.83 0.00 56.17
|
||||
Average: 3 0.33 0.00 10.47 0.33 0.66 0.33 0.00 26.58 0.00 61.30
|
||||
Average: 4 1.74 0.00 3.65 0.32 0.32 0.48 0.00 1.43 0.00 92.08
|
||||
Average: 5 0.96 0.00 4.00 0.00 0.32 0.80 0.00 0.80 0.00 93.12
|
||||
Average: 6 0.67 0.00 1.50 0.17 0.50 0.00 0.00 87.69 0.00 9.48
|
||||
Average: 7 1.13 0.00 4.38 0.32 0.49 0.49 0.00 2.76 0.00 90.44
|
||||
|
||||
|
||||
===== pinned affinity =====
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
===== pinned latency =====
|
||||
requests 1500 rc 0 elapsed_sec 8.071
|
||||
avg 0.009484 p50 0.008671 p95 0.019239 p99 0.022534 max 0.02749
|
||||
===== pinned guest vmstat =====
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st
|
||||
1 0 0 1889172 45572 1326552 0 0 84 215 1105 1992 4 3 92 0 0
|
||||
1 0 0 1889172 45572 1326552 0 0 0 0 3891 3810 2 4 94 0 1
|
||||
1 0 0 1889172 45572 1326552 0 0 0 0 6445 4538 4 4 93 0 0
|
||||
2 0 0 1889172 45572 1326552 0 0 0 0 6579 4359 6 5 89 0 1
|
||||
1 0 0 1889172 45572 1326552 0 0 0 0 6639 5002 4 3 93 0 0
|
||||
1 0 0 1889172 45572 1326552 0 0 0 20 6965 5633 4 3 93 0 0
|
||||
===== pinned psr samples =====
|
||||
19:11:52.284
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:52.542
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:52.799
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:53.056
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:53.309
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:53.563
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:53.816
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:54.070
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:54.324
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:54.577
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:54.831
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:55.084
|
||||
272123 272131 2 10.2 Sl CPU 0/KVM
|
||||
272123 272132 0 10.1 Sl CPU 1/KVM
|
||||
19:11:55.337
|
||||
272123 272131 1 10.2 Sl CPU 0/KVM
|
||||
272123 272132 3 10.1 Sl CPU 1/KVM
|
||||
19:11:55.590
|
||||
272123 272131 1 10.2 Sl CPU 0/KVM
|
||||
272123 272132 6 10.1 Sl CPU 1/KVM
|
||||
19:11:55.843
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 0 10.1 Sl CPU 1/KVM
|
||||
19:11:56.096
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 7 10.1 Rl CPU 1/KVM
|
||||
19:11:56.349
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 1 10.1 Sl CPU 1/KVM
|
||||
19:11:56.603
|
||||
272123 272131 0 10.2 Sl CPU 0/KVM
|
||||
272123 272132 5 10.1 Sl CPU 1/KVM
|
||||
19:11:56.856
|
||||
272123 272131 0 10.2 Rl CPU 0/KVM
|
||||
272123 272132 1 10.1 Rl CPU 1/KVM
|
||||
19:11:57.109
|
||||
272123 272131 1 10.2 Sl CPU 0/KVM
|
||||
272123 272132 6 10.1 Sl CPU 1/KVM
|
||||
===== pinned mpstat averages =====
|
||||
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
Average: all 0.47 0.00 4.26 0.25 0.49 0.35 0.00 15.75 0.00 78.43
|
||||
Average: 0 0.33 0.00 6.27 0.17 0.33 0.50 0.00 8.09 0.00 84.32
|
||||
Average: 1 0.50 0.00 6.46 0.00 0.66 0.33 0.00 6.95 0.00 85.10
|
||||
Average: 2 0.82 0.00 4.90 0.16 0.49 0.33 0.00 6.21 0.00 87.09
|
||||
Average: 3 0.49 0.00 4.43 0.16 0.49 0.33 0.00 8.37 0.00 85.71
|
||||
Average: 4 0.00 0.00 0.50 0.33 0.33 0.17 0.00 86.19 0.00 12.48
|
||||
Average: 5 0.49 0.00 4.74 0.65 0.65 0.49 0.00 5.39 0.00 87.58
|
||||
Average: 6 0.32 0.00 2.39 0.48 0.48 0.32 0.00 1.75 0.00 94.27
|
||||
Average: 7 0.82 0.00 4.43 0.00 0.49 0.33 0.00 4.43 0.00 89.49
|
||||
===== restored affinity =====
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
NAME STATUS ROLES AGE VERSION
|
||||
kc-lab-1 Ready control-plane 152m v1.36.4+k3s1
|
||||
kc-lab-2 Ready <none> 125m v1.36.4+k3s1
|
||||
+50
@@ -0,0 +1,50 @@
|
||||
19:47:21.618 code=200 time=0.079319
|
||||
19:47:21.804 code=200 time=0.200757
|
||||
19:47:22.118 code=200 time=0.008694
|
||||
19:47:22.241 code=200 time=0.021876
|
||||
19:47:22.374 code=200 time=0.011015
|
||||
19:47:22.499 code=200 time=0.018856
|
||||
19:47:22.633 code=200 time=0.009970
|
||||
19:47:22.756 code=200 time=0.021301
|
||||
19:47:22.890 code=200 time=0.011034
|
||||
19:47:23.017 code=200 time=0.016894
|
||||
19:47:23.149 code=200 time=0.010263
|
||||
19:47:23.273 code=200 time=0.017978
|
||||
19:47:23.406 code=200 time=0.009116
|
||||
19:47:23.529 code=200 time=0.021723
|
||||
19:47:23.665 code=200 time=0.009695
|
||||
19:47:23.789 code=200 time=0.011758
|
||||
19:47:23.912 code=200 time=0.010194
|
||||
19:47:24.037 code=200 time=0.013743
|
||||
19:47:24.164 code=200 time=0.011150
|
||||
19:47:24.289 code=200 time=0.009744
|
||||
19:47:24.407 code=200 time=0.011032
|
||||
19:47:24.533 code=200 time=0.014391
|
||||
19:47:24.661 code=200 time=0.005114
|
||||
19:47:24.774 code=200 time=0.011881
|
||||
19:47:24.899 code=200 time=0.009561
|
||||
19:47:25.023 code=200 time=0.015034
|
||||
19:47:25.153 code=200 time=0.011083
|
||||
19:47:25.279 code=200 time=0.015105
|
||||
19:47:25.410 code=200 time=0.009800
|
||||
19:47:25.534 code=200 time=0.017048
|
||||
19:47:25.666 code=200 time=0.009653
|
||||
19:47:25.789 code=200 time=0.018054
|
||||
19:47:25.923 code=200 time=0.009859
|
||||
19:47:26.045 code=200 time=0.009050
|
||||
19:47:26.162 code=200 time=0.010445
|
||||
19:47:26.287 code=200 time=0.019458
|
||||
19:47:26.421 code=200 time=0.009819
|
||||
19:47:26.545 code=200 time=0.020573
|
||||
19:47:26.681 code=200 time=0.009752
|
||||
19:47:26.805 code=200 time=0.014049
|
||||
19:47:26.933 code=200 time=0.009544
|
||||
19:47:27.057 code=200 time=0.014120
|
||||
19:47:27.185 code=200 time=0.010351
|
||||
19:47:27.310 code=200 time=0.013838
|
||||
19:47:27.438 code=200 time=0.009029
|
||||
19:47:27.561 code=200 time=0.016071
|
||||
19:47:27.691 code=200 time=0.006815
|
||||
19:47:27.810 code=200 time=0.013287
|
||||
19:47:27.938 code=200 time=0.016021
|
||||
19:47:28.068 code=200 time=0.016277
|
||||
+34
@@ -0,0 +1,34 @@
|
||||
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.17 392.08 0.93 15.21 6.14 75.91 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 2.00 256.00 0.00 0.00 4.00 128.00 6.00 64.00 0.00 0.00 3.83 10.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.03 1.70
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 12.00 396.00 0.00 0.00 6.67 33.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 7.00 0.09 2.10
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 80.00 15.00 71.43 4.17 13.33 0.00 0.00 0.00 0.00 0.00 0.00 3.00 3.33 0.03 1.60
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 52.00 0.00 0.00 3.83 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.00 0.02 0.80
|
||||
|
||||
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
total used free shared buff/cache available
|
||||
Mem: 11Gi 7.5Gi 1.4Gi 4.5Mi 2.7Gi 3.8Gi
|
||||
Swap: 8.0Gi 68Mi 7.9Gi
|
||||
pswpin 513
|
||||
pswpout 31076
|
||||
pgfault 54255029
|
||||
pgmajfault 56493
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
|
||||
3 0 69832 1515344 77300 2773236 0 0 22 392 3891 5 0 1 96 0 0 2
|
||||
0 0 69832 1518008 77300 2773404 0 0 100 0 5953 7763 1 2 88 0 0 9
|
||||
0 0 69832 1516300 77300 2773408 0 0 256 64 6098 7742 1 3 92 0 0 3
|
||||
1 0 69832 1514864 77300 2773708 0 0 0 0 5785 7063 1 2 92 0 0 5
|
||||
1 0 69832 1511732 77300 2773708 0 0 0 0 5770 7177 1 3 93 0 0 3
|
||||
0 0 69832 1510324 77300 2773708 0 0 0 396 6003 7218 1 2 93 0 0 4
|
||||
0 0 69832 1515184 77308 2773708 0 0 0 80 5925 7471 1 3 93 0 0 3
|
||||
1 0 69832 1515760 77308 2773740 0 0 0 52 5347 6717 1 2 94 0 0 3
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
requests=2000
|
||||
concurrency=20
|
||||
elapsed_sec=2.602722
|
||||
throughput_rps=768.426
|
||||
latency_avg_ms=25.832
|
||||
latency_p50_ms=24.679
|
||||
latency_p95_ms=36.914
|
||||
latency_p99_ms=45.915
|
||||
latency_max_ms=75.179
|
||||
codes={200: 2000}
|
||||
errors={}
|
||||
+225
@@ -0,0 +1,225 @@
|
||||
===== forced unpinned before baseline =====
|
||||
--- live affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
--- taskset ---
|
||||
pid 272131's current affinity list: 0-7
|
||||
pid 272132's current affinity list: 0-7
|
||||
===== unpinned state =====
|
||||
--- live affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
--- taskset ---
|
||||
pid 272131's current affinity list: 0-7
|
||||
pid 272132's current affinity list: 0-7
|
||||
===== unpinned latency =====
|
||||
requests 1000 rc 0 elapsed_sec 5.456 throughput_rps 183.29
|
||||
avg 0.009328 p50 0.008377 p95 0.018901 p99 0.0218 max 0.023998
|
||||
===== unpinned guest vmstat =====
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st
|
||||
2 0 0 1863908 45696 1327772 0 0 83 213 1112 1994 4 3 92 0 0
|
||||
1 0 0 1863908 45696 1327772 0 0 0 0 4620 4601 4 4 92 0 1
|
||||
1 0 0 1863908 45696 1327772 0 0 0 1152 6643 4528 4 5 91 0 0
|
||||
1 0 0 1863908 45696 1327772 0 0 0 0 6593 4959 4 6 90 0 0
|
||||
1 0 0 1863908 45696 1327772 0 0 0 0 7074 4559 3 5 91 0 0
|
||||
1 0 0 1863908 45696 1327772 0 0 0 0 6954 4558 6 6 88 0 0
|
||||
===== unpinned psr =====
|
||||
19:13:21.191
|
||||
272131 2 Sl CPU 0/KVM
|
||||
272132 4 Sl CPU 1/KVM
|
||||
19:13:21.394
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 2 Sl CPU 1/KVM
|
||||
19:13:21.598
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 4 Sl CPU 1/KVM
|
||||
19:13:21.806
|
||||
272131 2 Rl CPU 0/KVM
|
||||
272132 4 Rl CPU 1/KVM
|
||||
19:13:22.011
|
||||
272131 3 Sl CPU 0/KVM
|
||||
272132 4 Sl CPU 1/KVM
|
||||
19:13:22.214
|
||||
272131 1 Sl CPU 0/KVM
|
||||
272132 4 Sl CPU 1/KVM
|
||||
19:13:22.417
|
||||
272131 1 Sl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:22.620
|
||||
272131 2 Sl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:22.823
|
||||
272131 1 Sl CPU 0/KVM
|
||||
272132 0 Sl CPU 1/KVM
|
||||
19:13:23.027
|
||||
272131 1 Sl CPU 0/KVM
|
||||
272132 2 Rl CPU 1/KVM
|
||||
19:13:23.230
|
||||
272131 6 Rl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:23.434
|
||||
272131 6 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:23.637
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:23.841
|
||||
272131 2 Sl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:24.044
|
||||
272131 5 Sl CPU 0/KVM
|
||||
272132 7 Sl CPU 1/KVM
|
||||
19:13:24.247
|
||||
272131 7 Rl CPU 0/KVM
|
||||
272132 6 Sl CPU 1/KVM
|
||||
19:13:24.451
|
||||
272131 7 Sl CPU 0/KVM
|
||||
272132 6 Sl CPU 1/KVM
|
||||
19:13:24.654
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 3 Sl CPU 1/KVM
|
||||
19:13:24.857
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 5 Rl CPU 1/KVM
|
||||
19:13:25.060
|
||||
272131 3 Rl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:25.264
|
||||
272131 6 Rl CPU 0/KVM
|
||||
272132 3 Rl CPU 1/KVM
|
||||
19:13:25.467
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 5 Sl CPU 1/KVM
|
||||
19:13:25.670
|
||||
272131 5 Rl CPU 0/KVM
|
||||
272132 0 Rl CPU 1/KVM
|
||||
19:13:25.873
|
||||
272131 5 Rl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
|
||||
|
||||
===== pin applied =====
|
||||
--- live affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0
|
||||
1 1
|
||||
|
||||
--- taskset ---
|
||||
pid 272131's current affinity list: 0
|
||||
pid 272132's current affinity list: 1
|
||||
===== pinned state =====
|
||||
--- live affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0
|
||||
1 1
|
||||
|
||||
--- taskset ---
|
||||
pid 272131's current affinity list: 0
|
||||
pid 272132's current affinity list: 1
|
||||
===== pinned latency =====
|
||||
requests 1000 rc 0 elapsed_sec 5.459 throughput_rps 183.2
|
||||
avg 0.009395 p50 0.008351 p95 0.019546 p99 0.022011 max 0.025262
|
||||
===== pinned guest vmstat =====
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st
|
||||
3 0 0 1864612 45700 1327904 0 0 83 213 1113 1994 4 3 92 0 0
|
||||
1 0 0 1864612 45700 1327904 0 0 0 0 4431 4700 5 3 92 0 0
|
||||
1 0 0 1864612 45700 1327904 0 0 0 0 6724 4676 4 5 91 0 0
|
||||
1 0 0 1864612 45700 1327904 0 0 0 0 7003 5729 7 6 87 0 0
|
||||
1 0 0 1864612 45700 1327904 0 0 0 28 6807 4500 5 6 87 1 0
|
||||
1 0 0 1864612 45700 1327904 0 0 0 0 6817 4257 6 4 91 0 0
|
||||
===== pinned psr =====
|
||||
19:13:28.239
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:28.443
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:28.651
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:28.858
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
19:13:29.063
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:29.266
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:29.470
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:29.673
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:29.877
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:30.080
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:30.283
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
19:13:30.487
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:30.690
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:30.893
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:31.096
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
19:13:31.299
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
19:13:31.503
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
19:13:31.706
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:31.909
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:32.112
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:32.315
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:32.518
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:32.721
|
||||
272131 0 Sl CPU 0/KVM
|
||||
272132 1 Sl CPU 1/KVM
|
||||
19:13:32.925
|
||||
272131 0 Rl CPU 0/KVM
|
||||
272132 1 Rl CPU 1/KVM
|
||||
===== restored =====
|
||||
--- live affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
--- taskset ---
|
||||
pid 272131's current affinity list: 0-7
|
||||
pid 272132's current affinity list: 0-7
|
||||
NAME STATUS ROLES AGE VERSION
|
||||
kc-lab-1 Ready control-plane 154m v1.36.4+k3s1
|
||||
kc-lab-2 Ready <none> 126m v1.36.4+k3s1
|
||||
+120
@@ -0,0 +1,120 @@
|
||||
19:47:38.460 code=200 time=0.005270
|
||||
19:47:38.572 code=200 time=0.008470
|
||||
19:47:38.687 code=200 time=0.004638
|
||||
19:47:38.806 code=200 time=0.007732
|
||||
19:47:38.921 code=200 time=0.005265
|
||||
19:47:39.054 code=200 time=0.010958
|
||||
19:47:39.194 code=200 time=0.006002
|
||||
19:47:39.316 code=200 time=0.009317
|
||||
19:47:39.434 code=200 time=0.004510
|
||||
19:47:39.545 code=200 time=0.006908
|
||||
19:47:39.659 code=200 time=0.009554
|
||||
19:47:39.783 code=200 time=0.019560
|
||||
19:47:39.917 code=200 time=0.011013
|
||||
19:47:40.042 code=200 time=0.013299
|
||||
19:47:40.169 code=200 time=0.009545
|
||||
19:47:40.292 code=200 time=0.011360
|
||||
19:47:40.417 code=200 time=0.009475
|
||||
19:47:40.539 code=200 time=0.006967
|
||||
19:47:40.657 code=200 time=0.010366
|
||||
19:47:40.783 code=200 time=0.013215
|
||||
19:47:40.910 code=200 time=0.010986
|
||||
19:47:41.035 code=200 time=0.010475
|
||||
19:47:41.154 code=200 time=0.010914
|
||||
19:47:41.279 code=200 time=0.012117
|
||||
19:47:41.406 code=200 time=0.011196
|
||||
19:47:41.532 code=200 time=0.014331
|
||||
19:47:41.661 code=200 time=0.010366
|
||||
19:47:41.785 code=200 time=0.014321
|
||||
19:47:41.915 code=200 time=0.007514
|
||||
19:47:42.036 code=200 time=0.016231
|
||||
19:47:42.166 code=200 time=0.010225
|
||||
19:47:42.291 code=200 time=0.010506
|
||||
19:47:42.415 code=200 time=0.009929
|
||||
19:47:42.538 code=200 time=0.012207
|
||||
19:47:42.665 code=200 time=0.010592
|
||||
19:47:42.791 code=200 time=0.014707
|
||||
19:47:42.921 code=200 time=0.010189
|
||||
19:47:43.046 code=200 time=0.015131
|
||||
19:47:43.174 code=200 time=0.009313
|
||||
19:47:43.298 code=200 time=0.016272
|
||||
19:47:43.429 code=200 time=0.010029
|
||||
19:47:43.553 code=200 time=0.016667
|
||||
19:47:43.685 code=200 time=0.009874
|
||||
19:47:43.809 code=200 time=0.013957
|
||||
19:47:43.936 code=200 time=0.010111
|
||||
19:47:44.061 code=200 time=0.016351
|
||||
19:47:44.190 code=200 time=0.010347
|
||||
19:47:44.315 code=200 time=0.012039
|
||||
19:47:44.441 code=200 time=0.011658
|
||||
19:47:44.567 code=200 time=0.013953
|
||||
19:47:44.696 code=200 time=0.005358
|
||||
19:47:44.809 code=200 time=0.013671
|
||||
19:47:44.939 code=200 time=0.015413
|
||||
19:47:45.069 code=200 time=0.019086
|
||||
19:47:45.203 code=200 time=0.011133
|
||||
19:47:45.328 code=200 time=0.015611
|
||||
19:47:45.458 code=200 time=0.010078
|
||||
19:47:45.581 code=200 time=0.006107
|
||||
19:47:45.694 code=200 time=0.010521
|
||||
19:47:45.819 code=200 time=0.015099
|
||||
19:47:45.949 code=200 time=0.009578
|
||||
19:47:46.081 code=200 time=0.006828
|
||||
19:47:46.201 code=200 time=0.008989
|
||||
19:47:46.324 code=200 time=0.011324
|
||||
19:47:46.449 code=200 time=0.012655
|
||||
19:47:46.577 code=200 time=0.014301
|
||||
19:47:46.704 code=200 time=0.005134
|
||||
19:47:46.817 code=200 time=0.010732
|
||||
19:47:46.939 code=200 time=0.010154
|
||||
19:47:47.063 code=200 time=0.008645
|
||||
19:47:47.183 code=200 time=0.009447
|
||||
19:47:47.306 code=200 time=0.013637
|
||||
19:47:47.434 code=200 time=0.010510
|
||||
19:47:47.557 code=200 time=0.015244
|
||||
19:47:47.688 code=200 time=0.010629
|
||||
19:47:47.814 code=200 time=0.007208
|
||||
19:47:47.930 code=200 time=0.008892
|
||||
19:47:48.047 code=200 time=0.013355
|
||||
19:47:48.174 code=200 time=0.009273
|
||||
19:47:48.298 code=200 time=0.016664
|
||||
19:47:48.429 code=200 time=0.009523
|
||||
19:47:48.553 code=200 time=0.011198
|
||||
19:47:48.677 code=200 time=0.007394
|
||||
19:47:48.793 code=200 time=0.008521
|
||||
19:47:48.915 code=200 time=0.008909
|
||||
19:47:49.037 code=200 time=0.015569
|
||||
19:47:49.167 code=200 time=0.004392
|
||||
19:47:49.278 code=200 time=0.011397
|
||||
19:47:49.403 code=200 time=0.008738
|
||||
19:47:49.525 code=200 time=0.012458
|
||||
19:47:49.651 code=200 time=0.008714
|
||||
19:47:49.775 code=200 time=0.008699
|
||||
19:47:49.896 code=200 time=0.009959
|
||||
19:47:50.019 code=200 time=0.013524
|
||||
19:47:50.147 code=200 time=0.010091
|
||||
19:47:50.271 code=200 time=0.012991
|
||||
19:47:50.399 code=200 time=0.010360
|
||||
19:47:50.524 code=200 time=0.010911
|
||||
19:47:50.648 code=200 time=0.009582
|
||||
19:47:50.771 code=200 time=0.007451
|
||||
19:47:50.891 code=200 time=0.010557
|
||||
19:47:51.016 code=200 time=0.016125
|
||||
19:47:51.145 code=200 time=0.009736
|
||||
19:47:51.269 code=200 time=0.015956
|
||||
19:47:51.397 code=200 time=0.004827
|
||||
19:47:51.509 code=200 time=0.012707
|
||||
19:47:51.637 code=200 time=0.009885
|
||||
19:47:51.761 code=200 time=0.010593
|
||||
19:47:51.884 code=200 time=0.011109
|
||||
19:47:52.010 code=200 time=0.011714
|
||||
19:47:52.136 code=200 time=0.009578
|
||||
19:47:52.260 code=200 time=0.007658
|
||||
19:47:52.379 code=200 time=0.010269
|
||||
19:47:52.504 code=200 time=0.012827
|
||||
19:47:52.631 code=200 time=0.008183
|
||||
19:47:52.752 code=200 time=0.011648
|
||||
19:47:52.877 code=200 time=0.010264
|
||||
19:47:53.002 code=200 time=0.014311
|
||||
19:47:53.130 code=200 time=0.010016
|
||||
19:47:53.255 code=200 time=0.015139
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
start {'MemAvailable': 4028200, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 268435456 {'MemAvailable': 3767856, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 536870912 {'MemAvailable': 3503128, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 805306368 {'MemAvailable': 3238952, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 1073741824 {'MemAvailable': 2972824, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 1342177280 {'MemAvailable': 2748004, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 1610612736 {'MemAvailable': 2478396, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 1879048192 {'MemAvailable': 2214212, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 2147483648 {'MemAvailable': 1942608, 'SwapTotal': 8388604, 'SwapFree': 8318772}
|
||||
step allocated_bytes 2415919104 {'MemAvailable': 1692216, 'SwapTotal': 8388604, 'SwapFree': 8318424}
|
||||
step allocated_bytes 2684354560 {'MemAvailable': 1483016, 'SwapTotal': 8388604, 'SwapFree': 8245952}
|
||||
step allocated_bytes 2952790016 {'MemAvailable': 1297108, 'SwapTotal': 8388604, 'SwapFree': 8192148}
|
||||
step allocated_bytes 3221225472 {'MemAvailable': 1034072, 'SwapTotal': 8388604, 'SwapFree': 8192032}
|
||||
step allocated_bytes 3489660928 {'MemAvailable': 773744, 'SwapTotal': 8388604, 'SwapFree': 8192024}
|
||||
step allocated_bytes 3758096384 {'MemAvailable': 524620, 'SwapTotal': 8388604, 'SwapFree': 8170268}
|
||||
hold 12 allocated_bytes 3758096384 {'MemAvailable': 524620, 'SwapTotal': 8388604, 'SwapFree': 8170268}
|
||||
release allocated_bytes 3758096384 {'MemAvailable': 604420, 'SwapTotal': 8388604, 'SwapFree': 8057356}
|
||||
after_release {'MemAvailable': 4018732, 'SwapTotal': 8388604, 'SwapFree': 8057356}
|
||||
+74
@@ -0,0 +1,74 @@
|
||||
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.23 22.86 0.40 63.50 0.58 98.39 5.17 392.11 0.93 15.21 6.14 75.91 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 109.00 1528.00 0.00 0.00 0.77 14.02 134.00 1444.00 11.00 7.59 0.51 10.78 0.00 0.00 0.00 0.00 0.00 0.00 14.00 1.93 0.18 7.10
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 60.00 5460.00 0.00 0.00 0.15 91.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.90
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 12.00 0.00 0.00 5.00 4.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 1.00 0.02 0.80
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 10.00 104.00 14.00 58.33 2.50 10.40 0.00 0.00 0.00 0.00 0.00 0.00 5.00 1.80 0.03 2.30
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 10.00 48.00 0.00 0.00 0.80 4.80 6.00 56.00 0.00 0.00 0.17 9.33 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.01 1.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 391.00 11392.00 27.00 6.46 0.21 29.14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.08 2.50
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 1.00 4.00 0.00 0.00 1.00 4.00 25.00 104.00 1.00 3.85 4.64 4.16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.70
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 14.00 184.00 13.00 48.15 1.50 13.14 0.00 0.00 0.00 0.00 0.00 0.00 5.00 0.80 0.02 2.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 52.00 0.00 0.00 4.33 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 2.00 0.03 1.10
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2.00 12.00 1.00 33.33 7.50 6.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.70
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 18.00 200.00 0.00 0.00 0.94 11.11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.70
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 1.00 4.00 0.00 0.00 0.00 4.00 8.00 100.00 14.00 63.64 4.62 12.50 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.67 0.04 2.80
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
pswpin 513
|
||||
pswpout 31076
|
||||
pgfault 54884399
|
||||
pgmajfault 56971
|
||||
total used free shared buff/cache available
|
||||
Mem: 11Gi 7.3Gi 3.7Gi 3.8Mi 721Mi 4.1Gi
|
||||
Swap: 8.0Gi 323Mi 7.7Gi
|
||||
+7
@@ -0,0 +1,7 @@
|
||||
pswpin 513
|
||||
pswpout 31076
|
||||
pgfault 54258035
|
||||
pgmajfault 56493
|
||||
total used free shared buff/cache available
|
||||
Mem: 11Gi 7.5Gi 1.5Gi 4.5Mi 2.7Gi 3.9Gi
|
||||
Swap: 8.0Gi 68Mi 7.9Gi
|
||||
+20
@@ -0,0 +1,20 @@
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
|
||||
2 0 69832 1516784 77380 2774348 0 0 22 392 3891 5 0 1 96 0 0 2
|
||||
1 1 269788 182148 54864 680816 0 0 1480 1360 18465 8404 4 15 74 1 0 6
|
||||
1 0 304604 186524 54864 686332 0 0 5460 0 6228 7724 1 4 92 0 0 2
|
||||
0 0 304604 184152 54864 686332 0 0 0 0 6226 7378 1 2 93 0 0 4
|
||||
0 0 304604 174344 54864 686336 0 0 0 0 6048 7355 1 3 93 0 0 3
|
||||
0 0 304604 169776 54864 686348 0 0 0 12 6223 7585 1 3 93 0 0 3
|
||||
1 0 304604 166072 54872 686392 0 0 0 104 6116 7554 1 2 93 0 0 4
|
||||
1 0 304604 163264 54872 686396 0 0 0 0 5818 7039 1 3 93 0 0 4
|
||||
1 0 331248 213948 53388 673060 0 0 48 56 6209 7166 1 3 91 0 0 5
|
||||
0 0 331248 205104 53528 684216 0 0 11392 0 7729 10714 1 3 91 1 0 3
|
||||
1 0 331248 201104 53532 684312 0 0 4 104 7466 11318 1 3 92 0 0 3
|
||||
0 0 331248 197272 53548 684416 0 0 0 184 7598 11800 1 3 93 0 0 3
|
||||
1 0 331248 198600 53548 684420 0 0 0 0 6136 7947 1 3 94 0 0 2
|
||||
0 0 331248 3609528 53548 684480 0 0 0 52 6473 7826 1 3 92 0 0 3
|
||||
1 0 331248 3608896 53548 684484 0 0 0 12 5903 7560 1 3 94 0 0 2
|
||||
0 0 331248 3875532 53556 684664 0 0 200 0 6207 7473 1 3 93 0 0 3
|
||||
1 0 331248 3878848 53576 684656 0 0 4 100 4697 5849 0 2 96 0 0 2
|
||||
0 0 331248 3878848 53576 684684 0 0 0 0 4800 5355 0 2 97 0 0 2
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
|
||||
|
||||
|
||||
|
||||
=== pinned ===
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0
|
||||
1 1
|
||||
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 2
|
||||
1 3
|
||||
|
||||
+50
@@ -0,0 +1,50 @@
|
||||
19:48:58.422 code=200 time=0.005367
|
||||
19:48:58.535 code=200 time=0.017086
|
||||
19:48:58.667 code=200 time=0.009485
|
||||
19:48:58.790 code=200 time=0.012863
|
||||
19:48:58.917 code=200 time=0.011068
|
||||
19:48:59.043 code=200 time=0.012421
|
||||
19:48:59.169 code=200 time=0.008095
|
||||
19:48:59.290 code=200 time=0.008011
|
||||
19:48:59.410 code=200 time=0.010697
|
||||
19:48:59.534 code=200 time=0.012811
|
||||
19:48:59.662 code=200 time=0.009368
|
||||
19:48:59.786 code=200 time=0.011262
|
||||
19:48:59.910 code=200 time=0.008604
|
||||
19:49:00.033 code=200 time=0.013054
|
||||
19:49:00.160 code=200 time=0.008032
|
||||
19:49:00.279 code=200 time=0.013803
|
||||
19:49:00.406 code=200 time=0.010433
|
||||
19:49:00.530 code=200 time=0.005969
|
||||
19:49:00.643 code=200 time=0.010429
|
||||
19:49:00.768 code=200 time=0.014340
|
||||
19:49:00.897 code=200 time=0.010905
|
||||
19:49:01.024 code=200 time=0.010411
|
||||
19:49:01.146 code=200 time=0.009523
|
||||
19:49:01.269 code=200 time=0.013386
|
||||
19:49:01.398 code=200 time=0.019906
|
||||
19:49:01.532 code=200 time=0.013645
|
||||
19:49:01.660 code=200 time=0.010554
|
||||
19:49:01.783 code=200 time=0.013084
|
||||
19:49:01.911 code=200 time=0.010348
|
||||
19:49:02.036 code=200 time=0.011489
|
||||
19:49:02.161 code=200 time=0.022119
|
||||
19:49:02.298 code=200 time=0.012481
|
||||
19:49:02.424 code=200 time=0.009933
|
||||
19:49:02.548 code=200 time=0.011356
|
||||
19:49:02.673 code=200 time=0.011420
|
||||
19:49:02.799 code=200 time=0.012644
|
||||
19:49:02.925 code=200 time=0.011300
|
||||
19:49:03.052 code=200 time=0.013069
|
||||
19:49:03.179 code=200 time=0.009622
|
||||
19:49:03.303 code=200 time=0.012217
|
||||
19:49:03.430 code=200 time=0.009425
|
||||
19:49:03.553 code=200 time=0.011932
|
||||
19:49:03.679 code=200 time=0.010612
|
||||
19:49:03.805 code=200 time=0.013482
|
||||
19:49:03.933 code=200 time=0.012042
|
||||
19:49:04.060 code=200 time=0.010964
|
||||
19:49:04.184 code=200 time=0.009675
|
||||
19:49:04.309 code=200 time=0.013427
|
||||
19:49:04.435 code=200 time=0.004777
|
||||
19:49:04.547 code=200 time=0.010402
|
||||
+34
@@ -0,0 +1,34 @@
|
||||
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.23 22.88 0.40 63.46 0.58 98.27 5.17 392.16 0.93 15.21 6.14 75.92 0.00 0.00 0.00 0.00 0.00 0.00 1.13 3.15 0.04 1.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 3.00 128.00 0.00 0.00 5.00 42.67 6.00 52.00 0.00 0.00 3.83 8.67 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.04 1.60
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 11.00 408.00 17.00 60.71 4.82 37.09 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.50 0.06 1.50
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 4.00 12.00 0.00 0.00 2.50 3.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 1.50 0.01 1.00
|
||||
|
||||
|
||||
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz f/s f_await aqu-sz %util
|
||||
nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 6.00 24.00 0.00 0.00 5.50 4.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 5.50 0.04 1.80
|
||||
|
||||
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
total used free shared buff/cache available
|
||||
Mem: 11Gi 7.3Gi 3.7Gi 3.8Mi 728Mi 4.1Gi
|
||||
Swap: 8.0Gi 317Mi 7.7Gi
|
||||
SwapTotal: 8388604 kB
|
||||
SwapFree: 8063500 kB
|
||||
Zswap: 32360 kB
|
||||
Zswapped: 258144 kB
|
||||
pswpin 513
|
||||
pswpout 31076
|
||||
pgfault 54964236
|
||||
pgmajfault 57202
|
||||
+10
@@ -0,0 +1,10 @@
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
|
||||
3 0 331248 3876260 53876 691100 0 0 22 392 3891 5 0 1 96 0 0 2
|
||||
1 0 331248 3872868 53876 691176 0 0 4 0 6223 7895 1 3 92 0 0 4
|
||||
1 0 331248 3867984 53876 691396 0 0 0 0 6304 8259 1 3 92 0 0 4
|
||||
2 0 331248 3869052 53876 691528 0 0 128 52 6099 7158 1 3 91 0 0 5
|
||||
2 0 331248 3868744 53884 691568 0 0 0 408 5749 7015 1 2 92 0 0 4
|
||||
0 0 331248 3865844 53884 691592 0 0 0 0 6150 7520 1 3 93 0 0 3
|
||||
1 0 331248 3865352 53884 691608 0 0 0 12 5955 7559 1 2 92 0 0 4
|
||||
0 0 325104 3867040 53884 691600 0 0 0 24 5045 6031 0 2 96 0 0 2
|
||||
+263
@@ -0,0 +1,263 @@
|
||||
=== qemu thread map ===
|
||||
* CPU #0: thread_id=272131 model=host
|
||||
CPU #1: thread_id=272132 model=host
|
||||
|
||||
|
||||
* CPU #0: thread_id=272156 model=host
|
||||
CPU #1: thread_id=272157 model=host
|
||||
|
||||
|
||||
=== mpstat ===
|
||||
=== psr samples ===
|
||||
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
|
||||
19:11:39.292
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:39 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:40 all 0.13 0.00 2.38 0.00 0.63 0.00 0.00 5.64 0.00 91.23
|
||||
19:11:40 0 0.00 0.00 3.03 0.00 1.01 0.00 0.00 10.10 0.00 85.86
|
||||
19:11:40 1 0.00 0.00 4.04 0.00 1.01 0.00 0.00 8.08 0.00 86.87
|
||||
19:11:40 2 0.00 0.00 3.03 0.00 1.01 0.00 0.00 12.12 0.00 83.84
|
||||
19:11:40 3 0.00 0.00 3.96 0.00 0.99 0.00 0.00 7.92 0.00 87.13
|
||||
19:11:40 4 0.00 0.00 0.99 0.00 0.99 0.00 0.00 3.96 0.00 94.06
|
||||
19:11:40 5 0.00 0.00 1.00 0.00 0.00 0.00 0.00 1.00 0.00 98.00
|
||||
19:11:40 6 0.00 0.00 1.01 0.00 0.00 0.00 0.00 1.01 0.00 97.98
|
||||
19:11:40 7 1.00 0.00 2.00 0.00 0.00 0.00 0.00 1.00 0.00 96.00
|
||||
19:11:40.302
|
||||
272131 0 10.2 Rl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:40 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:41 all 2.48 0.00 10.41 0.00 0.50 0.62 0.00 35.56 0.00 50.43
|
||||
19:11:41 0 1.02 0.00 6.12 0.00 0.00 0.00 0.00 67.35 0.00 25.51
|
||||
19:11:41 1 2.00 0.00 15.00 0.00 1.00 0.00 0.00 35.00 0.00 47.00
|
||||
19:11:41 2 0.00 0.00 10.10 0.00 0.00 0.00 0.00 66.67 0.00 23.23
|
||||
19:11:41 3 0.00 0.00 10.10 0.00 0.00 0.00 0.00 68.69 0.00 21.21
|
||||
19:11:41 4 3.92 0.00 9.80 0.00 0.00 0.00 0.00 12.75 0.00 73.53
|
||||
19:11:41 5 3.88 0.00 11.65 0.00 0.97 2.91 0.00 5.83 0.00 74.76
|
||||
19:11:41 6 4.85 0.00 8.74 0.00 0.97 0.00 0.00 17.48 0.00 67.96
|
||||
19:11:41 7 3.88 0.00 11.65 0.00 0.97 1.94 0.00 14.56 0.00 66.99
|
||||
19:11:41.314
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:41 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:42 all 3.21 0.00 16.81 0.37 0.74 0.74 0.00 23.73 0.00 54.39
|
||||
19:11:42 0 0.99 0.00 21.78 0.99 0.99 0.00 0.00 32.67 0.00 42.57
|
||||
19:11:42 1 1.00 0.00 19.00 0.00 0.00 1.00 0.00 29.00 0.00 50.00
|
||||
19:11:42 2 0.99 0.00 20.79 0.00 0.99 0.99 0.00 44.55 0.00 31.68
|
||||
19:11:42 3 1.00 0.00 23.00 0.00 1.00 0.00 0.00 38.00 0.00 37.00
|
||||
19:11:42 4 6.86 0.00 11.76 0.98 0.98 0.00 0.00 10.78 0.00 68.63
|
||||
19:11:42 5 3.96 0.00 12.87 0.00 0.99 1.98 0.00 13.86 0.00 66.34
|
||||
19:11:42 6 5.94 0.00 11.88 0.00 0.00 0.00 0.00 10.89 0.00 71.29
|
||||
19:11:42 7 4.85 0.00 13.59 0.97 0.97 1.94 0.00 10.68 0.00 66.99
|
||||
19:11:42.326
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Rl CPU 0/KVM
|
||||
272157 3 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:42 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:43 all 2.33 0.00 12.16 0.12 0.86 0.86 0.00 31.08 0.00 52.58
|
||||
19:11:43 0 1.96 0.00 13.73 0.00 0.98 0.00 0.00 45.10 0.00 38.24
|
||||
19:11:43 1 1.98 0.00 18.81 0.00 0.99 0.00 0.00 22.77 0.00 55.45
|
||||
19:11:43 2 0.00 0.00 15.84 0.00 0.99 0.00 0.00 51.49 0.00 31.68
|
||||
19:11:43 3 0.00 0.00 16.83 0.00 0.99 0.99 0.00 49.50 0.00 31.68
|
||||
19:11:43 4 4.76 0.00 8.57 0.00 0.00 0.95 0.00 2.86 0.00 82.86
|
||||
19:11:43 5 4.00 0.00 10.00 0.00 1.00 3.00 0.00 0.00 0.00 82.00
|
||||
19:11:43 6 1.00 0.00 4.00 1.00 1.00 0.00 0.00 66.00 0.00 27.00
|
||||
19:11:43 7 4.81 0.00 9.62 0.00 0.96 1.92 0.00 12.50 0.00 70.19
|
||||
19:11:43.338
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Rl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:43 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:44 all 0.25 0.00 5.84 0.00 0.25 0.12 0.00 25.84 0.00 67.70
|
||||
19:11:44 0 0.00 0.00 10.10 0.00 0.00 1.01 0.00 16.16 0.00 72.73
|
||||
19:11:44 1 0.00 0.00 9.09 0.00 1.01 0.00 0.00 19.19 0.00 70.71
|
||||
19:11:44 2 0.00 0.00 11.11 0.00 0.00 0.00 0.00 38.38 0.00 50.51
|
||||
19:11:44 3 1.00 0.00 11.00 0.00 0.00 0.00 0.00 36.00 0.00 52.00
|
||||
19:11:44 4 0.94 0.00 1.89 0.00 0.94 0.00 0.00 0.00 0.00 96.23
|
||||
19:11:44 5 0.00 0.00 1.96 0.00 0.00 0.00 0.00 0.00 0.00 98.04
|
||||
19:11:44 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
19:11:44 7 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02
|
||||
19:11:44.350
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:44 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:45 all 0.37 0.00 6.58 0.12 0.61 0.12 0.00 21.92 0.00 70.28
|
||||
19:11:45 0 0.00 0.00 10.89 0.00 0.99 0.00 0.00 14.85 0.00 73.27
|
||||
19:11:45 1 0.00 0.00 12.00 0.00 0.00 0.00 0.00 11.00 0.00 77.00
|
||||
19:11:45 2 1.00 0.00 11.00 0.00 0.00 0.00 0.00 35.00 0.00 53.00
|
||||
19:11:45 3 0.00 0.00 11.00 0.00 1.00 0.00 0.00 19.00 0.00 69.00
|
||||
19:11:45 4 0.94 0.00 2.83 0.00 0.00 0.94 0.00 0.00 0.00 95.28
|
||||
19:11:45 5 0.00 0.00 2.80 0.00 0.93 0.00 0.00 0.00 0.00 96.26
|
||||
19:11:45 6 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00
|
||||
19:11:45 7 0.94 0.00 2.83 0.94 0.94 0.00 0.00 0.00 0.00 94.34
|
||||
19:11:45.360
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:45 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:46 all 0.00 0.00 5.28 0.00 0.49 0.37 0.00 22.21 0.00 71.66
|
||||
19:11:46 0 0.00 0.00 8.91 0.00 0.99 0.99 0.00 24.75 0.00 64.36
|
||||
19:11:46 1 0.00 0.00 11.88 0.00 0.99 0.99 0.00 18.81 0.00 67.33
|
||||
19:11:46 2 0.00 0.00 6.86 0.00 0.98 0.00 0.00 23.53 0.00 68.63
|
||||
19:11:46 3 0.00 0.00 7.92 0.00 0.99 0.00 0.00 13.86 0.00 77.23
|
||||
19:11:46 4 0.00 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 98.06
|
||||
19:11:46 5 0.00 0.00 1.89 0.00 0.00 0.94 0.00 0.00 0.00 97.17
|
||||
19:11:46 6 0.00 0.00 1.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00
|
||||
19:11:46 7 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02
|
||||
19:11:46.370
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Rl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Rl CPU 1/KVM
|
||||
|
||||
19:11:46 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:47 all 0.49 0.00 4.67 0.49 0.49 0.25 0.00 20.52 0.00 73.10
|
||||
19:11:47 0 0.00 0.00 10.89 0.00 0.00 0.00 0.00 17.82 0.00 71.29
|
||||
19:11:47 1 0.00 0.00 11.11 0.00 1.01 0.00 0.00 8.08 0.00 79.80
|
||||
19:11:47 2 1.00 0.00 5.00 0.00 0.00 0.00 0.00 22.00 0.00 72.00
|
||||
19:11:47 3 1.00 0.00 3.00 2.00 0.00 1.00 0.00 20.00 0.00 73.00
|
||||
19:11:47 4 0.93 0.00 1.87 1.87 0.93 0.93 0.00 0.00 0.00 93.46
|
||||
19:11:47 5 0.97 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 97.09
|
||||
19:11:47 6 0.00 0.00 0.00 0.00 1.00 0.00 0.00 99.00 0.00 0.00
|
||||
19:11:47 7 0.00 0.00 3.85 0.00 0.96 0.00 0.00 0.00 0.00 95.19
|
||||
19:11:47.383
|
||||
272131 0 10.2 Rl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.1 Sl CPU 1/KVM
|
||||
|
||||
19:11:47 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:48 all 0.00 0.00 5.03 0.12 0.49 0.12 0.00 17.67 0.00 76.56
|
||||
19:11:48 0 0.00 0.00 12.00 0.00 1.00 0.00 0.00 14.00 0.00 73.00
|
||||
19:11:48 1 0.00 0.00 11.11 0.00 0.00 0.00 0.00 4.04 0.00 84.85
|
||||
19:11:48 2 0.00 0.00 6.00 0.00 1.00 0.00 0.00 17.00 0.00 76.00
|
||||
19:11:48 3 0.00 0.00 6.00 0.00 1.00 0.00 0.00 9.00 0.00 84.00
|
||||
19:11:48 4 0.00 0.00 2.83 0.00 0.00 0.00 0.00 0.00 0.00 97.17
|
||||
19:11:48 5 0.00 0.00 0.93 0.93 0.93 0.00 0.00 0.00 0.00 97.20
|
||||
19:11:48 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
19:11:48 7 0.00 0.00 1.94 0.00 0.00 0.97 0.00 0.00 0.00 97.09
|
||||
19:11:48.396
|
||||
272131 0 10.2 Rl CPU 0/KVM
|
||||
272132 1 10.1 Rl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.2 Sl CPU 1/KVM
|
||||
|
||||
19:11:48 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:49 all 0.00 0.00 5.04 0.00 0.61 0.25 0.00 17.32 0.00 76.78
|
||||
19:11:49 0 0.00 0.00 9.90 0.00 0.99 0.99 0.00 10.89 0.00 77.23
|
||||
19:11:49 1 0.00 0.00 11.88 0.00 0.99 0.99 0.00 5.94 0.00 80.20
|
||||
19:11:49 2 0.00 0.00 7.00 0.00 0.00 0.00 0.00 12.00 0.00 81.00
|
||||
19:11:49 3 0.00 0.00 7.00 0.00 1.00 0.00 0.00 13.00 0.00 79.00
|
||||
19:11:49 4 0.00 0.00 1.89 0.00 0.94 0.00 0.00 0.00 0.00 97.17
|
||||
19:11:49 5 0.00 0.00 1.94 0.00 0.00 0.00 0.00 0.00 0.00 98.06
|
||||
19:11:49 6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
19:11:49 7 0.00 0.00 0.96 0.00 0.96 0.00 0.00 0.00 0.00 98.08
|
||||
19:11:49.406
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Rl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.2 Sl CPU 1/KVM
|
||||
|
||||
19:11:49 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:50 all 0.12 0.00 4.05 0.00 0.37 0.49 0.00 17.08 0.00 77.76
|
||||
19:11:50 0 0.00 0.00 11.00 0.00 1.00 0.00 0.00 8.00 0.00 80.00
|
||||
19:11:50 1 0.00 0.00 9.00 0.00 1.00 0.00 0.00 10.00 0.00 80.00
|
||||
19:11:50 2 0.00 0.00 5.00 0.00 0.00 1.00 0.00 15.00 0.00 79.00
|
||||
19:11:50 3 0.00 0.00 4.95 0.00 0.00 0.99 0.00 6.93 0.00 87.13
|
||||
19:11:50 4 0.93 0.00 0.93 0.00 0.00 0.93 0.00 0.00 0.00 97.20
|
||||
19:11:50 5 0.00 0.00 0.97 0.00 0.00 0.97 0.00 0.00 0.00 98.06
|
||||
19:11:50 6 0.99 0.00 0.00 0.00 0.99 0.00 0.00 98.02 0.00 0.00
|
||||
19:11:50 7 0.00 0.00 0.98 0.00 0.00 0.00 0.00 0.00 0.00 99.02
|
||||
19:11:50.417
|
||||
272131 0 10.2 Rl CPU 0/KVM
|
||||
272132 1 10.1 Rl CPU 1/KVM
|
||||
272156 2 5.2 Rl CPU 0/KVM
|
||||
272157 3 5.2 Rl CPU 1/KVM
|
||||
|
||||
19:11:50 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:51 all 0.97 0.00 4.75 0.12 0.49 0.12 0.00 15.23 0.00 78.20
|
||||
19:11:51 0 1.00 0.00 10.00 0.00 0.00 1.00 0.00 4.00 0.00 84.00
|
||||
19:11:51 1 2.00 0.00 12.00 0.00 0.00 0.00 0.00 9.00 0.00 77.00
|
||||
19:11:51 2 0.00 0.00 3.96 0.00 0.99 0.00 0.00 10.89 0.00 84.16
|
||||
19:11:51 3 1.96 0.00 3.92 0.00 0.98 0.00 0.00 9.80 0.00 83.33
|
||||
19:11:51 4 0.94 0.00 2.83 0.94 0.00 0.00 0.00 0.00 0.00 95.28
|
||||
19:11:51 5 0.93 0.00 1.87 0.00 0.93 0.00 0.00 0.00 0.00 96.26
|
||||
19:11:51 6 0.00 0.00 2.00 0.00 0.00 0.00 0.00 91.00 0.00 7.00
|
||||
19:11:51 7 1.90 0.00 1.90 0.00 0.95 0.00 0.00 0.00 0.00 95.24
|
||||
19:11:51.429
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.2 Sl CPU 1/KVM
|
||||
|
||||
19:11:51 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:52 all 0.25 0.00 1.13 0.00 0.75 0.13 0.00 2.00 0.00 95.62
|
||||
19:11:52 0 0.00 0.00 1.98 0.00 1.98 0.00 0.00 5.94 0.00 90.10
|
||||
19:11:52 1 0.00 0.00 1.98 0.00 1.98 0.99 0.00 5.94 0.00 89.11
|
||||
19:11:52 2 1.98 0.00 1.98 0.00 0.00 0.00 0.00 0.99 0.00 95.05
|
||||
19:11:52 3 0.00 0.00 0.99 0.00 0.99 0.00 0.00 2.97 0.00 95.05
|
||||
19:11:52 4 0.00 0.00 0.00 0.00 1.01 0.00 0.00 0.00 0.00 98.99
|
||||
19:11:52 5 0.00 0.00 1.03 0.00 0.00 0.00 0.00 0.00 0.00 98.97
|
||||
19:11:52 6 0.99 0.00 0.99 0.00 0.00 0.00 0.00 0.00 0.00 98.02
|
||||
19:11:52 7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
|
||||
19:11:52.451
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.2 Sl CPU 1/KVM
|
||||
|
||||
19:11:52 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:53 all 0.74 0.00 2.23 0.37 0.62 0.50 0.00 7.92 0.00 87.62
|
||||
19:11:53 0 1.00 0.00 4.00 0.00 1.00 1.00 0.00 9.00 0.00 84.00
|
||||
19:11:53 1 0.00 0.00 3.09 0.00 1.03 0.00 0.00 8.25 0.00 87.63
|
||||
19:11:53 2 1.98 0.00 2.97 0.00 0.99 0.00 0.00 3.96 0.00 90.10
|
||||
19:11:53 3 1.00 0.00 3.00 1.00 0.00 0.00 0.00 8.00 0.00 87.00
|
||||
19:11:53 4 0.00 0.00 0.98 1.96 0.00 0.98 0.00 28.43 0.00 67.65
|
||||
19:11:53 5 0.00 0.00 1.94 0.00 0.97 0.97 0.00 5.83 0.00 90.29
|
||||
19:11:53 6 0.00 0.00 0.98 0.00 0.98 0.00 0.00 0.00 0.00 98.04
|
||||
19:11:53 7 1.94 0.00 0.97 0.00 0.00 0.97 0.00 0.00 0.00 96.12
|
||||
19:11:53.473
|
||||
272131 0 10.2 Sl CPU 0/KVM
|
||||
272132 1 10.1 Sl CPU 1/KVM
|
||||
272156 2 5.2 Sl CPU 0/KVM
|
||||
272157 3 5.2 Sl CPU 1/KVM
|
||||
|
||||
19:11:53 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:11:54 all 0.12 0.00 4.80 0.00 0.37 0.49 0.00 17.49 0.00 76.72
|
||||
19:11:54 0 1.00 0.00 11.00 0.00 0.00 0.00 0.00 6.00 0.00 82.00
|
||||
19:11:54 1 0.00 0.00 10.89 0.00 0.99 0.99 0.00 10.89 0.00 76.24
|
||||
19:11:54 2 0.00 0.00 7.00 0.00 0.00 1.00 0.00 14.00 0.00 78.00
|
||||
19:11:54 3 0.00 0.00 3.96 0.00 0.99 0.99 0.00 11.88 0.00 82.18
|
||||
19:11:54 4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
19:11:54 5 0.00 0.00 1.98 0.00 0.00 0.00 0.00 0.00 0.00 98.02
|
||||
19:11:54 6 0.00 0.00 1.89 0.00 0.00 0.94 0.00 0.00 0.00 97.17
|
||||
19:11:54 7 0.00 0.00 1.92 0.00 0.96 0.00 0.00 0.00 0.00 97.12
|
||||
|
||||
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
Average: all 0.75 0.00 6.09 0.12 0.55 0.35 0.00 18.78 0.00 73.37
|
||||
Average: 0 0.40 0.00 9.71 0.07 0.73 0.33 0.00 19.10 0.00 69.66
|
||||
Average: 1 0.47 0.00 10.75 0.00 0.80 0.33 0.00 13.75 0.00 73.90
|
||||
Average: 2 0.33 0.00 7.86 0.00 0.47 0.20 0.00 24.50 0.00 66.64
|
||||
Average: 3 0.27 0.00 7.77 0.20 0.66 0.27 0.00 20.93 0.00 69.90
|
||||
Average: 4 1.35 0.00 3.28 0.39 0.39 0.32 0.00 10.21 0.00 84.07
|
||||
Average: 5 0.91 0.00 3.63 0.06 0.45 0.71 0.00 1.75 0.00 92.48
|
||||
Average: 6 0.93 0.00 2.18 0.07 0.40 0.07 0.00 58.33 0.00 38.03
|
||||
Average: 7 1.30 0.00 3.76 0.13 0.52 0.52 0.00 2.60 0.00 91.17
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
requests=2000
|
||||
concurrency=20
|
||||
elapsed_sec=3.246808
|
||||
throughput_rps=615.990
|
||||
latency_avg_ms=32.233
|
||||
latency_p50_ms=30.977
|
||||
latency_p95_ms=46.315
|
||||
latency_p99_ms=67.953
|
||||
latency_max_ms=87.452
|
||||
codes={200: 2000}
|
||||
errors={}
|
||||
+15
@@ -0,0 +1,15 @@
|
||||
|
||||
|
||||
|
||||
|
||||
=== restored ===
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
requests=2000
|
||||
concurrency=20
|
||||
elapsed_sec=2.519337
|
||||
throughput_rps=793.860
|
||||
latency_avg_ms=25.049
|
||||
latency_p50_ms=22.995
|
||||
latency_p95_ms=32.716
|
||||
latency_p99_ms=44.084
|
||||
latency_max_ms=1077.109
|
||||
codes={200: 2000}
|
||||
errors={}
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
requests=2000
|
||||
concurrency=20
|
||||
elapsed_sec=2.558586
|
||||
throughput_rps=781.682
|
||||
latency_avg_ms=25.436
|
||||
latency_p50_ms=23.655
|
||||
latency_p95_ms=33.558
|
||||
latency_p99_ms=44.598
|
||||
latency_max_ms=146.276
|
||||
codes={200: 2000}
|
||||
errors={}
|
||||
+1
@@ -0,0 +1 @@
|
||||
zsh:1: ==final-affinity=== not found
|
||||
+14
@@ -0,0 +1,14 @@
|
||||
pod/cpu-throttle-probe created
|
||||
pod/cpu-throttle-probe condition met
|
||||
10000 100000
|
||||
usage_usec 541034
|
||||
user_usec 536304
|
||||
system_usec 4730
|
||||
nr_periods 54
|
||||
nr_throttled 46
|
||||
throttled_usec 4317644
|
||||
nr_bursts 0
|
||||
burst_usec 0
|
||||
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
|
||||
cpu-throttle-probe 1/1 Running 0 11s 10.42.0.22 kc-lab-1 <none> <none>
|
||||
pod "cpu-throttle-probe" deleted from keycloak-lab namespace
|
||||
+80
@@ -0,0 +1,80 @@
|
||||
--- baseline affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
--- keycloak-1 cgroup before ---
|
||||
max 100000
|
||||
usage_usec 96556117
|
||||
user_usec 86036914
|
||||
system_usec 10519203
|
||||
nr_periods 0
|
||||
nr_throttled 0
|
||||
throttled_usec 0
|
||||
nr_bursts 0
|
||||
burst_usec 0
|
||||
|
||||
|
||||
--- contended affinity ---
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0
|
||||
1 0
|
||||
|
||||
Linux 7.2.2-arch1-1 (test-server) 09/21/26 _x86_64_ (8 CPU)
|
||||
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
|
||||
r b swpd free buff cache si so bi bo in cs us sy id wa st
|
||||
2 0 0 1849024 46076 1337252 0 0 81 209 1114 1994 4 3 92 0 0
|
||||
|
||||
19:16:02 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:03 0 0.00 0.00 1.00 0.00 0.00 0.00 0.00 91.00 0.00 8.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 1274 2599 16 35 0 0 50
|
||||
|
||||
19:16:03 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:04 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 999 2041 16 34 0 0 50
|
||||
|
||||
19:16:04 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:05 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 1146 2249 18 33 0 0 50
|
||||
|
||||
19:16:05 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:06 0 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 1197 1953 15 36 0 0 50
|
||||
|
||||
19:16:06 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:07 0 1.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 1287 2073 11 39 0 0 50
|
||||
|
||||
19:16:07 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:08 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 776 1663 3016 15 35 0 0 50
|
||||
|
||||
19:16:08 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:09 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 420 1396 2456 15 35 0 0 50
|
||||
|
||||
19:16:09 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:10 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 1420 2580 14 36 0 0 50
|
||||
|
||||
19:16:10 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:11 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 0.00 0.00
|
||||
3 0 0 1849024 46076 1337252 0 0 0 0 1628 2923 10 39 0 0 50
|
||||
|
||||
19:16:11 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
19:16:12 0 0.00 0.00 0.00 0.00 0.99 0.00 0.00 99.01 0.00 0.00
|
||||
|
||||
Average: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
|
||||
Average: 0 0.00 0.00 0.10 0.00 0.20 0.00 0.00 98.90 0.00 0.80
|
||||
--- keycloak-1 cgroup after ---
|
||||
max 100000
|
||||
usage_usec 96593292
|
||||
user_usec 86053197
|
||||
system_usec 10540094
|
||||
nr_periods 0
|
||||
nr_throttled 0
|
||||
throttled_usec 0
|
||||
nr_bursts 0
|
||||
burst_usec 0
|
||||
+4
@@ -0,0 +1,4 @@
|
||||
server: https://192.168.122.11:6443
|
||||
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
|
||||
kc-lab-1 Ready control-plane 27m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
109 /home/donghyeon/workspace/virtualization-revalidation-20260921/node-token
|
||||
+5
@@ -0,0 +1,5 @@
|
||||
VCPU CPU Affinity
|
||||
----------------------
|
||||
0 0-7
|
||||
1 0-7
|
||||
|
||||
+66
@@ -0,0 +1,66 @@
|
||||
=== environment ===
|
||||
2026-09-21T10:18:05,027137070+00:00
|
||||
default via 192.168.0.1 dev wlo1 proto static metric 600
|
||||
192.168.0.0/24 dev wlo1 proto kernel scope link src 192.168.0.200 metric 600
|
||||
running
|
||||
|
||||
edge_bytes=460914688
|
||||
base_bytes=338952192
|
||||
=== graceful shutdown edge ===
|
||||
Domain 'kc-lab-edge' is being shutdown
|
||||
|
||||
shutdown_wait=1 state=running
|
||||
shutdown_wait=2 state=running
|
||||
shutdown_wait=3 state=shut off
|
||||
=== stopped edge image ===
|
||||
image: /var/lib/libvirt/images/kc-lab-edge.qcow2
|
||||
file format: qcow2
|
||||
virtual size: 10 GiB (10737418240 bytes)
|
||||
disk size: 356 MiB
|
||||
cluster_size: 65536
|
||||
backing file: /var/lib/libvirt/images/base.qcow2
|
||||
backing file format: qcow2
|
||||
Format specific information:
|
||||
compat: 1.1
|
||||
compression type: zlib
|
||||
lazy refcounts: true
|
||||
refcount bits: 16
|
||||
corrupt: false
|
||||
extended l2: false
|
||||
Child node '/file':
|
||||
filename: /var/lib/libvirt/images/kc-lab-edge.qcow2
|
||||
protocol type: file
|
||||
file length: 440 MiB (460914688 bytes)
|
||||
c36eef86b339d1bb1ec5556be581cc247fc9ff6667943a91244bc26d055fdb28 /var/lib/libvirt/images/kc-lab-edge.qcow2
|
||||
=== edge overlay transfer ===
|
||||
dest_edge_bytes=460914688
|
||||
c36eef86b339d1bb1ec5556be581cc247fc9ff6667943a91244bc26d055fdb28 destination-edge
|
||||
edge_elapsed_sec=15.216
|
||||
edge_avg_MiB_s=28.887
|
||||
=== restart edge ===
|
||||
Domain 'kc-lab-edge' started
|
||||
|
||||
edge_ssh_ready_after=6
|
||||
running
|
||||
|
||||
=== base transfer after edge restart ===
|
||||
3033874999eef45d1e3009e6d68dba2e8e411cdddfc94c95387b24db4cf0d999 /var/lib/libvirt/images/base.qcow2
|
||||
dest_base_bytes=338952192
|
||||
3033874999eef45d1e3009e6d68dba2e8e411cdddfc94c95387b24db4cf0d999 destination-base
|
||||
base_elapsed_sec=11.689
|
||||
base_avg_MiB_s=27.654
|
||||
image_set_bytes=799866880
|
||||
image_set_MiB=762.812
|
||||
image_set_transfer_sec=26.906
|
||||
image_set_avg_MiB_s=28.352
|
||||
=== post health ===
|
||||
running
|
||||
|
||||
NAME STATUS ROLES AGE VERSION
|
||||
kc-lab-1 Ready control-plane 160m v1.36.4+k3s1
|
||||
kc-lab-2 Ready <none> 133m v1.36.4+k3s1
|
||||
=== external request from workmachine ===
|
||||
external_http=200 remote_ip=100.83.212.4 time=0.025464
|
||||
2026-09-21T10:18:51,226179650+00:00
|
||||
=== destination qemu-img info ===
|
||||
/tmp/reval_wifi_copy2.sh: line 63: qemu-img: command not found
|
||||
+35
@@ -0,0 +1,35 @@
|
||||
=== before ===
|
||||
State: running
|
||||
Max memory: 5242880 KiB
|
||||
Used memory: 5242880 KiB
|
||||
actual 5242880
|
||||
swap_in 0
|
||||
swap_out 0
|
||||
major_fault 289
|
||||
minor_fault 44503
|
||||
unused 4899128
|
||||
available 5048068
|
||||
usable 4802116
|
||||
|
||||
Domain 'kc-lab-1' saved to /var/lib/libvirt/save/kc-lab-1-reval-5g.save
|
||||
|
||||
save_sec=8.956592
|
||||
=== saved file ===
|
||||
size_bytes=3333557094 blocks=6510864 block_size=512
|
||||
3.2G /var/lib/libvirt/save/kc-lab-1-reval-5g.save
|
||||
shut off
|
||||
|
||||
Domain restored from /var/lib/libvirt/save/kc-lab-1-reval-5g.save
|
||||
|
||||
restore_sec=2.286119
|
||||
=== after restore ===
|
||||
ssh: connect to host 192.168.122.11 port 22: Connection timed out
|
||||
kc-lab-1
|
||||
active
|
||||
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
|
||||
kc-lab-1 Ready control-plane 159m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
kc-lab-2 Ready <none> 131m v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
State: running
|
||||
Max memory: 5242880 KiB
|
||||
Used memory: 5242880 KiB
|
||||
save_file_removed=yes
|
||||
+26
@@ -0,0 +1,26 @@
|
||||
=== before reconcile ===
|
||||
table ip libvirt_network {
|
||||
chain guest_input { # handle 4
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept # handle 331
|
||||
oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 235204 bytes 1218504730 accept # handle 324
|
||||
oif "virbr0" counter packets 3 bytes 180 reject # handle 321
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205
|
||||
}
|
||||
}
|
||||
=== after reconcile ===
|
||||
table ip libvirt_network {
|
||||
chain guest_input { # handle 4
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 333
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 15069 bytes 904140 accept # handle 331
|
||||
oif "virbr0" ip daddr 192.168.122.0/24 ct state established,related counter packets 235204 bytes 1218504730 accept # handle 324
|
||||
oif "virbr0" counter packets 3 bytes 180 reject # handle 321
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 152 bytes 9120 accept # handle 269
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 0 bytes 0 accept # handle 267
|
||||
oif "virbr0" ip daddr 192.168.122.10 tcp dport { 80, 443 } ct state new counter packets 10 bytes 600 accept # handle 205
|
||||
}
|
||||
}
|
||||
curl: (7) Failed to connect to auth.hyeonworks.com:443 after 0 ms: Could not connect to server
|
||||
=== external ===
|
||||
http=000 time=0.000165
|
||||
+55
@@ -0,0 +1,55 @@
|
||||
|
||||
=== before 4g save ===
|
||||
State: running
|
||||
Max memory: 5242880 KiB
|
||||
Used memory: 4194304 KiB
|
||||
actual 4194304
|
||||
swap_in 0
|
||||
swap_out 0
|
||||
major_fault 289
|
||||
minor_fault 44503
|
||||
unused 4899128
|
||||
available 5048068
|
||||
usable 4802116
|
||||
total used free shared buff/cache available
|
||||
Mem: 3905 1989 799 1 1352 1916
|
||||
Swap: 0 0 0
|
||||
|
||||
Domain 'kc-lab-1' saved to /var/lib/libvirt/save/kc-lab-1-reval-4g.save
|
||||
|
||||
save_sec=3.966730
|
||||
=== saved file ===
|
||||
size_bytes=3222304048 blocks=6293576 block_size=512
|
||||
3.1G /var/lib/libvirt/save/kc-lab-1-reval-4g.save
|
||||
shut off
|
||||
|
||||
Domain restored from /var/lib/libvirt/save/kc-lab-1-reval-4g.save
|
||||
|
||||
restore_sec=1.978473
|
||||
ssh: connect to host 192.168.122.11 port 22: Connection timed out
|
||||
kc-lab-1
|
||||
active
|
||||
=== restored 4g state ===
|
||||
State: running
|
||||
Max memory: 5242880 KiB
|
||||
Used memory: 4194304 KiB
|
||||
actual 4194304
|
||||
swap_in 0
|
||||
swap_out 0
|
||||
major_fault 289
|
||||
minor_fault 44503
|
||||
unused 4899128
|
||||
available 5048068
|
||||
usable 4802116
|
||||
|
||||
=== restored original memory ===
|
||||
State: running
|
||||
Max memory: 5242880 KiB
|
||||
Used memory: 5242880 KiB
|
||||
total used free shared buff/cache available
|
||||
Mem: 4929 1997 1815 1 1352 2932
|
||||
Swap: 0 0 0
|
||||
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
|
||||
kc-lab-1 Ready control-plane 159m v1.36.4+k3s1 192.168.122.11 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
kc-lab-2 Ready <none> 131m v1.36.4+k3s1 192.168.122.12 <none> Debian GNU/Linux 12 (bookworm) 6.1.0-53-cloud-amd64 (amd64) containerd://2.3.4-k3s1.36
|
||||
save_file_removed=yes
|
||||
+18
@@ -0,0 +1,18 @@
|
||||
--- current qemu network args ---
|
||||
-netdev
|
||||
'{"type":"tap","fd":"30","vhost":true,"vhostfd":"31","id":"hostnet0"}'
|
||||
'{"driver":"virtio-net-pci","netdev":"hostnet0","id":"net0","mac":"52:54:00:aa:bb:12","bus":"pci.1","addr":"0x0"}'
|
||||
--- direct request precheck ---
|
||||
code=200 time=0.002025
|
||||
--- load ---
|
||||
requests=2000
|
||||
concurrency=20
|
||||
elapsed_sec=0.826639
|
||||
throughput_rps=2419.437
|
||||
latency_avg_ms=8.070
|
||||
latency_p50_ms=7.114
|
||||
latency_p95_ms=15.065
|
||||
latency_p99_ms=26.880
|
||||
latency_max_ms=51.698
|
||||
codes={200: 2000}
|
||||
errors={}
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user