Optimiza Karpenter: más eficiencia y menos costos

Karpenter es el autoscaler nativo de Kubernetes diseñado para gestionar la eficiencia de los recursos en k8s. Aprovisiona nodos de forma dinámica en respuesta a los workloads pendientes, asegurando que las aplicaciones cuenten con los recursos necesarios justo cuando los necesitan. Con este enfoque se busca mejorar la eficiencia operativa y reducir el gasto en la nube.

Sin embargo, lograr eficiencia y ahorro al mismo tiempo con Karpenter no es tarea fácil. Aunque Karpenter ofrece capacidades muy potentes, su configuración por defecto y algunas de las buenas prácticas recomendadas pueden, sin quererlo, aumentar los costos, incluso si mejoran el rendimiento. Por eso es clave no solo seguir las pautas generales, sino también ajustarlas a las necesidades específicas de tus workloads y a tus consideraciones de costos.

En este artículo hablaremos de Karpenter, su arquitectura y las buenas prácticas de costo y eficiencia, y al final compartiremos nuestra experiencia sobre por qué las buenas prácticas deben adaptarse a tu entorno.

Buenas prácticas para optimizar Karpenter

Veamos las buenas prácticas para optimizar Karpenter:

1. Configurar la expiración de nodos: Configura el parámetro expireAfter para garantizar que los nodos se reemplacen periódicamente, incorporando los últimos parches de seguridad y mejoras de rendimiento. Este enfoque proactivo reduce el riesgo de drift a largo plazo y de posibles vulnerabilidades. Es esencial definir un tiempo de expiración adecuado según el tipo de workload para equilibrar la seguridad y el ahorro.

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: nodepool
spec:
  template:
    spec:
      expireAfter: 168h # 7 days

2. Definir el período de gracia de terminación: El parámetro terminationGracePeriod define el tiempo máximo que Karpenter esperará a que un nodo se drene antes de terminarlo de forma forzada. Un período de gracia bien configurado equilibra dar a los pods el tiempo suficiente para salir de forma ordenada y garantizar que los nodos se reciclen a tiempo para ahorrar costos. Si defines un período demasiado corto, puedes provocar terminaciones abruptas y poner en riesgo la estabilidad de los workloads, mientras que un período excesivamente largo puede retrasar el ahorro. Lo recomendable es calcular un período de gracia acorde a tu entorno.

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: nodepool
spec:
  template:
    spec:
      terminationGracePeriod: 30m

3. Usar la anotación karpenter.sh/do-not-disrupt: Aplica esta anotación a los pods críticos para evitar que sean desalojados durante las actividades de consolidación. Aunque protege los workloads esenciales, abusar de esta anotación puede bloquear la eliminación de nodos durante las renovaciones programadas, generando ineficiencias en los recursos. Reserva esta anotación para procesos realmente críticos y de corta duración o para trabajos interactivos, y evita aplicarla a servicios stateful de larga ejecución a menos que sea absolutamente necesario.

apiVersion: v1
kind: Node
metadata:
  annotations:
    karpenter.sh/do-not-disrupt: "true"  #Node -Level Control

4. Aplicar Pod Disruption Budgets (PDBs): Los PDBs garantizan la disponibilidad de las aplicaciones durante los eventos de disrupción de nodos al especificar el número mínimo de pods que deben permanecer disponibles durante las disrupciones. Al configurar los PDBs, hay que elegir entre las opciones minAvailable y maxUnavailable según los Service Level Agreements (SLAs) de tu workload. Conviene integrar los PDBs con Karpenter para permitir un drenado ordenado de los nodos y minimizar el downtime. También deberías actualizar los PDBs con regularidad para reflejar la dinámica del autoescalado y mantener su efectividad.

5. Configuración de NodePools y restricciones por capas: Puedes diseñar NodePools adaptados a distintos workloads para mejorar el uso de recursos y la resiliencia. Por ejemplo, NodePools separados para workloads stateful y stateless que permitan una selección optimizada de tipos de instancia, etc. También puedes usar node selectors, affinities y tolerations para refinar aún más el scheduling, asegurando que los workloads se ubiquen en los nodos adecuados sin comprometer la resiliencia.

6. Políticas de consolidación para optimizar costos: La función de consolidación de Karpenter optimiza el uso de recursos identificando nodos subutilizados y consolidando los workloads en menos nodos. Este proceso puede traducirse en ahorros gracias a un bin-packing eficiente y a la agregación de recursos. Sin embargo, es esencial equilibrar las posibles disrupciones durante la consolidación con los beneficios del ahorro y las mejoras de eficiencia operativa.

7. Equilibrar instancias Spot y On-Demand: Puedes usar una combinación de instancias Spot y On-Demand que te permita aprovechar los beneficios de costo mientras garantizas la estabilidad de los componentes críticos. Debes configurar los NodePools con la ponderación y los límites de instancia adecuados para alinearlos con tus commitments de Savings Plans. Esta estrategia te permite optimizar los costos sin comprometer la confiabilidad de los workloads esenciales.

Nuestra historia: cuando las buenas prácticas juegan en contra

                                                                                                                                                                                                                                                                                                                                                                         - Escrito por [Olexandr Veleten](https://www.linkedin.com/in/aleksandr-veleten/)

En nuestro caso, seguimos las buenas prácticas recomendadas de Karpenter. Configuramos los nodos con el parámetro expireAfter para garantizar una rotación regular.

Para nuestros workloads críticos, aplicamos la anotación karpenter.sh/do-not-disrupt para prevenir disrupciones durante las actividades de consolidación. En teoría, este enfoque parecía impecable.

Cuando los nodos llegaron a su expiración, Karpenter inició el aprovisionamiento de nuevos nodos como era de esperar. Pero surgió una complicación: los nodos existentes no podían terminarse porque la anotación do-not-disrupt impedía el desalojo de los pods críticos que alojaban. Esto generó un escenario temporal en el que los nodos antiguos y los nuevos se ejecutaban en paralelo, duplicando de hecho nuestra capacidad y, en consecuencia, nuestros costos.

Para resolverlo, configuramos el parámetro terminationGracePeriod, que define la duración máxima del drenado de un nodo antes de su terminación forzada. Si bien este parámetro garantiza que los nodos finalmente se den de baja, trae sus propios desafíos. Si se terminan varios nodos stateful al mismo tiempo sin Pod Disruption Budgets (PDBs) bien configurados, la estabilidad del clúster podría verse comprometida.

Ante estas complejidades, decidimos deshabilitar la configuración expireAfter para nuestros workloads stateful. En su lugar, optamos por actualizar estos nodos de forma manual durante las ventanas de mantenimiento programadas o junto con las actualizaciones de Kubernetes, aproximadamente cada seis meses. Este enfoque nos permitió mantener el control sobre los eventos del ciclo de vida de los nodos, garantizando tanto la eficiencia de costos como la estabilidad del clúster.

Esta experiencia nos dejó una lección crucial: las buenas prácticas son pautas valiosas, pero no son soluciones universales. Es imprescindible evaluar y adaptar las configuraciones a las demandas particulares de tus workloads y de tu entorno operativo. Al hacerlo, puedes aprovechar todo el potencial de herramientas como Karpenter sin consecuencias inesperadas.

Karpenter vs. Cluster Autoscaler

Karpenter representa un enfoque más moderno y flexible para escalar clústeres de Kubernetes, con tiempos de aprovisionamiento más rápidos y un uso más eficiente de los recursos. Es especialmente adecuado para entornos dinámicos con requisitos de workloads variables. Cluster Autoscaler, por su parte, es una solución más consolidada que funciona bien con grupos de nodos predefinidos y ofrece un soporte más amplio de proveedores de nube. Es una opción confiable para entornos más estáticos o cuando se trabaja con múltiples proveedores de nube.

>> Mira aquí cómo sacarle el máximo provecho a Karpenter con un right-sizing inteligente de pods.

Saca el máximo provecho de Karpenter con PerfectScale

Integrar Karpenter con PerfectScale puede mejorar significativamente la eficiencia de tu clúster de Kubernetes. Si bien Karpenter ofrece un aprovisionamiento de nodos inteligente y just-in-time, puede carecer de una visión profunda del uso histórico de recursos y de las necesidades de confiabilidad de tus workloads. PerfectScale cubre esa brecha analizando los patrones de los workloads y proponiendo recomendaciones de optimización. Esta sinergia ha permitido a los clientes lograr una reducción adicional de costos de entre el 30 y el 50% más allá de lo que ofrece Karpenter por sí solo. Por ejemplo, PerfectScale puede identificar escenarios en los que Karpenter podría sobreaprovisionar recursos y sugerir configuraciones para evitar costos innecesarios y posibles impactos en la confiabilidad. Prueba PerfectScale y descubre cómo puede potenciar tu clúster gestionado con Karpenter. Regístrate o agenda una demo para saber más.