Kubernetes Alerting für gesunde, performante K8s-Cluster

Resilienz-Indikatoren

OOM

Out-of-Memory-Events treten in der Regel in folgenden Situationen auf:

• Das Memory-Limit für einen Pod ist zu niedrig gesetzt. Sobald die Speichernutzung des Pods das definierte Limit erreicht, wird ein Event ausgelöst.
• Ein Node steht unter Memory Pressure und versucht, einzelne Pods zu entfernen (Eviction). Offizielle Dokumentation

CPU Throttling

CPU Throttling tritt auf, wenn ein Pod sein definiertes CPU-Limit erreicht – das kann zu Latenzen in den Antwortzeiten Ihrer Anwendung führen.

Kubernetes nutzt den Quota-Mechanismus des CFS, um das Limit durchzusetzen. Die Quota basiert auf einem Zeitfenster, nicht auf der verfügbaren CPU-Leistung. cfs_period_us definiert das Zeitfenster und beträgt immer 100000us (100ms). Ein Container mit einem Limit von 1 Core wird beispielsweise auf einem Node mit 2 Cores nach 50ms gedrosselt, auf einem Node mit 4 Cores bereits nach 25ms – unabhängig davon, wie viele CPU-Cores tatsächlich verbraucht werden.

RestartsObserved

Häufige Neustarts deuten auf ein Problem hin, das das angestrebte SLA mit hoher Wahrscheinlichkeit gefährdet.

Eviction

Eine Eviction bezeichnet das erzwungene Beenden und Entfernen eines laufenden Pods von einem Node. Eviction-Events entstehen meist durch Memory oder CPU Pressure auf einem Node.

Offizielle Dokumentation

Wird eine Eviction festgestellt, wird sofort ein Alert ausgelöst, um die Nutzer zu informieren. Stellen Sie sicher, dass Sie das Integrationsprofil konfiguriert und dem Cluster zugewiesen haben, um zeitnahe Benachrichtigungen über einen Slack- oder MS Teams-Kanal zu erhalten.

HPAAtMaxReplicasObserved

Steigt die Nachfrage nach einem Service oder einer Anwendung, skaliert der HPA das System, indem er dynamisch weitere Replicas hinzufügt. Sobald die maximal konfigurierte Anzahl an Replicas erreicht ist, meldet PerfectScale den Indikator HPAAtMaxReplicasObserved – das System kann mit den bestehenden Einstellungen also nicht weiter skalieren.

Der Schweregrad des Indikators hängt davon ab, wie lange ein Workload mit maximaler Replica-Anzahl läuft: Je länger dieser Zustand anhält, desto höher der Schweregrad.

Indikatoren für nicht gesetzte Limits/Requests

CpuRequestNotSet

Korrekt gesetzte CPU requests helfen dem Kubernetes-Scheduler, jedem Container die richtige Menge an CPU zuzuweisen – und stellen sicher, dass die Kapazität der Cluster-Nodes den Bedarf deckt.

MemRequestNotSet

Korrekt gesetzte MEMORY requests helfen dem Kubernetes-Scheduler, jedem Container die richtige Menge an Speicher zuzuweisen – und stellen sicher, dass die Kapazität der Cluster-Nodes den Bedarf deckt.

MemLimitNotSet

Ein korrekt gesetztes MEMORY limit schützt Ihren Worker-Node vor OOM und verhindert das Risiko einer Speicher-Überallokation.

Anders als CPU (komprimierbar, alle 100ms ein neuer Zyklus) ist MEMORY nicht komprimierbar und kann nicht überallokiert werden.

UnderProvisioning-Indikatoren

UnderProvisionedCpuRequest

Korrekt gesetzte CPU requests helfen dem Kubernetes-Scheduler, jedem Container die richtige Menge an CPU zuzuweisen – und stellen sicher, dass die Kapazität der Cluster-Nodes den Bedarf deckt.

UnderProvisionedMemRequest

Korrekt gesetzte MEMORY requests helfen dem Kubernetes-Scheduler, jedem Container die richtige Menge an Speicher zuzuweisen – und stellen sicher, dass die Kapazität der Cluster-Nodes den Bedarf deckt.

UnderProvisionedMemLimit

Ein korrekt gesetztes MEMORY limit schützt Ihren Worker-Node vor OOM und verhindert das Risiko einer Speicher-Überallokation. Ein zu niedrig angesetztes MEMORY limit kann jedoch unerwünschte OOM-Events auf Pod-Ebene auslösen und damit das angestrebte SLA gefährden.