PerfectScale
Le Sue GPU al massimo dell'efficienza con la visibilità di PerfectScale
Ottenga piena trasparenza sull'utilizzo delle GPU e attivi monitoraggio continuo, analisi e right-sizing dei workloads GPU per garantire l'efficienza dei cluster K8s.
Questa pagina è disponibile anche in English, Deutsch, Español, Français, 日本語 e Português.
Le GPU sono ormai una componente fondamentale della moderna infrastruttura cloud. Con l'adozione crescente di AI, machine learning e large language model (LLM) per far evolvere le proprie applicazioni, l'utilizzo delle GPU cresce rapidamente, e con esso i costi cloud di Kubernetes necessari a sostenere questi workloads. Questa tendenza introduce un nuovo livello di complessità nella gestione delle risorse Kubernetes: l'ottimizzazione dell'utilizzo delle GPU.
"A differenza delle altre risorse Kubernetes, le richieste di GPU vengono gestite in modo diverso: un pod ottiene l'accesso a un'intera GPU oppure a nessuna. Senza allocazione frazionata, le GPU risultano spesso sottoutilizzate, generando sprechi. Poiché le GPU possono arrivare a rappresentare fino al 75% dei costi orari dell'infrastruttura, qualsiasi inefficienza si traduce in un notevole spreco economico. Eliminare la sovrallocazione può quindi avere un impatto enorme, sbloccando risparmi significativi", ha dichiarato Eli Birger, CTO di PerfectScale by DoiT. "Senza visibilità sull'utilizzo effettivo delle GPU, gli Engineers non dispongono delle informazioni necessarie per fare right-sizing dei workloads, implementare strategie avanzate di scheduling dei pod e prendere decisioni infrastrutturali basate sui dati."
Per aiutare i team a superare queste sfide, siamo entusiasti di presentare GPU Visibility di PerfectScale by DoiT: la funzionalità che offre un quadro chiaro dell'utilizzo delle GPU nei cluster Kubernetes, aiutando a individuare le inefficienze, fare right-sizing dei workloads e sfruttare al massimo le risorse GPU.
Vediamo più da vicino come GPU Visibility aiuta a scoprire le inefficienze e a ottimizzare con facilità l'utilizzo delle GPU.
Cosa offre la visibilità sulle GPU?
La funzionalità GPU di PerfectScale è una soluzione potente che raccoglie le metriche di utilizzo delle GPU e offre una visibilità approfondita nel contesto dell'intero cluster. Questa vista consente un'analisi precisa dell'ambiente Kubernetes, abilitando un'ottimizzazione accurata e basata sui dati.
Acceda a Infrafit di PerfectScale per consultare informazioni dettagliate sull'utilizzo delle GPU nei Suoi node group. Il grafico di utilizzo offre una suddivisione chiara dell'uso e delle richieste di GPU in tutta l'infrastruttura. Questa vista è particolarmente utile per individuare rapidamente capacità GPU sottoutilizzata o inattiva, dare priorità agli interventi di ottimizzazione sulle aree più critiche, ridurre gli sprechi di GPU e migliorare l'efficienza complessiva dei costi.
Una volta individuata un'area problematica, basta fare clic sul node group corrispondente per accedere a una vista più dettagliata dell'infrastruttura. Questo livello di granularità offre una panoramica completa delle singole istanze all'interno del gruppo, insieme alle metriche chiave di ciascuna.
Dopo aver individuato il problema grazie alla visibilità offerta, il passo successivo è decidere come risolverlo. La piattaforma aiuta a capire cosa non funziona (GPU non pienamente utilizzate, workloads con più risorse allocate del necessario o istanze attive che fanno ben poco) e a scegliere la strategia giusta per intervenire. Ad esempio, può fare right-sizing delle istanze per adattarle meglio al workload, bilanciare il carico e migliorare il bin-packing, oppure spegnere le istanze non necessarie.
Alcuni scenari di utilizzo
Right-sizing delle istanze GPU
In molti casi i workloads non richiedono l'intera capacità della macchina GPU. Individuando le istanze sottoutilizzate, è possibile sostituire istanze costose con altre più piccole e convenienti, meglio adatte al compito. Questo aiuta a ridurre le spese superflue continuando a soddisfare i requisiti di prestazioni.
Per prendere decisioni sicure e basate sui dati, può sfruttare in tutta semplicità la visibilità GPU di PerfectScale e individuare dove questo intervento ha più senso.
Massimizzare l'utilizzo con lo splitting delle GPU
Sebbene passare a istanze GPU più piccole sia spesso un ottimo modo per ridurre i costi, non è sempre l'approccio migliore o più efficace.
Alcuni workloads, ad esempio le pipeline ML condivise, non scalano bene quando vengono suddivisi su macchine separate e potrebbero richiedere un controllo più rigoroso delle risorse. In questi casi, le sole istanze più piccole potrebbero non garantire le prestazioni, l'efficienza o la flessibilità desiderate.
È qui che può entrare in gioco la Multi-Instance GPU (MIG) di NVIDIA. MIG consente di suddividere una GPU fisica in più unità isolate di dimensioni ridotte, ciascuna con la propria capacità di calcolo, memoria e larghezza di banda. Queste partizioni si comportano come GPU separate, permettendo di eseguire più job piccoli o paralleli contemporaneamente senza conflitti.
Con PerfectScale è facile individuare le GPU sottoutilizzate che eseguono workloads che non richiedono la piena capacità. Invece di passare a una macchina più piccola, può mantenere la GPU più grande e suddividerla in istanze MIG, abbinando ogni partizione alle esigenze specifiche di ciascun workload.
Aumentare l'efficienza con KAI Scheduler
Alcune attività non hanno bisogno di una GPU in modo continuativo: pensiamo a workloads effimeri, job di CI/CD o fasi di training dei modelli con lunghe attese lato CPU. La utilizzano solo per brevi periodi, e assegnare a ciascuno di questi job una GPU dedicata comporta un notevole spreco di risorse e denaro.
Con la visibilità GPU di PerfectScale può individuare facilmente questi pattern, come i workloads che non sfruttano appieno la GPU assegnata. Una volta identificati, può implementare Kai-Scheduler per consolidare più job su una singola GPU, massimizzando l'utilizzo e riducendo i costi senza sacrificare le prestazioni.
Ha visto come PerfectScale aiuta a scoprire gli sprechi di GPU e ad applicare strategie di ottimizzazione intelligenti. Ora è il momento di mettere a frutto queste informazioni!
Per approfondire, consulti il nostro Documentation Portal oppure prenoti una sessione tecnica con il nostro team per ricevere assistenza da esperti.
Non utilizza ancora PerfectScale? Inizi gratuitamente oggi stesso e semplifichi il Suo percorso di ottimizzazione K8s.