DynamiaDynamia
Community

Jede GPU optimal nutzen: Dynamia teilt Praxis auf ContainerDays Singapore

DynamiaCommunity
Jede GPU optimal nutzen: Dynamia teilt Praxis auf ContainerDays SingaporeGemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

Auf ContainerDays & AI Context Singapore 2026 präsentierte Dynamia HAMi-Praktiken für GPU-Sharing und Scheduling in Kubernetes durch Hands-on-Labs und Produktionsfälle sowie GPU-Auslastungsoptimierung für Neocloud-Szenarien.

Auf dieser Seite

Am 27. Oktober eröffnete ContainerDays & AI Context Singapore 2026 im Suntec Singapore. Die Konferenz fokussierte Cloud Native, KI-Infrastruktur und Platform Engineering und zog Entwickler und Praktiker weltweit an.

Dynamia Open Source Ecosystem VP Jimmy Song und Global Marketing & Solutions Engineering Lead Reza Jelveh hielten zwei HAMi-Fokusvorträge — zu GPU-Sharing und Scheduling in Kubernetes sowie zu GPU-Auslastung in Neocloud-Szenarien.

Eine Session startete mit Hands-on-Labs, die andere mit Produktionsfällen. Gemeinsam zeigten die Speaker HAMis Fähigkeiten und Anwendung in KI-Infrastruktur aus unterschiedlichen Blickwinkeln.

ContainerDays Singapore 2026 Konferenzposter
Figure 1: ContainerDays Singapore 2026 Konferenzposter

Von null an: Hands-on GPU-Sharing und Scheduling

Vortragstitel: From Zero to Shared GPUs: Hands-on GPU Scheduling in Kubernetes with HAMi

Speaker: Reza Jelveh, Jimmy Song

Zeit: 27. Oktober, 12:30–13:15

Ort: Workshop Room

In Kubernetes werden GPUs oft als ganze Geräte zugewiesen. Workloads unterscheiden sich: manche brauchen wenig Speicher, andere eine volle GPU. Ganzgeräte-Zuweisung führt zu Belegung bei gleichzeitiger Unterauslastung.

Wie können mehrere Jobs eine GPU teilen und trotzdem den benötigten Speicher und die Rechenleistung erhalten?

In diesem 45-minütigen Workshop führten die Speaker durch die HAMi-Bereitstellung von Grund auf und vermittelten GPU-Sharing und Scheduling in Kubernetes durch Praxis.

Zur Senkung der Hürde nutzte das Workshop einen lokalen kind-Cluster mit simulierten GPUs. Ohne GPU-Laptop konnten Teilnehmer einen echten HAMi-Scheduler betreiben und GPU-Anfrage und -Zuweisung beobachten.

Das Lab startete mit HAMi-Installation, zeigte gemeinsame GPU-Nutzung mehrerer Pods und Scheduler-Verhalten, wenn ein Job mehr verlangt als eine GPU bietet.

Anschließend verglichen die Speaker Binpack und Spread sowie unterschiedliche Zuweisungsergebnisse.

  • Binpack packt Jobs eher auf weniger GPUs und lässt mehr intakte Kapazität für spätere große Jobs;
  • Spread verteilt Jobs auf verschiedene GPUs. Beide Policies passen zu unterschiedlichen Workloads und sollten nach realem Bedarf gewählt werden.

Über diese Labs sahen Teilnehmer, wie GPU-Ressourcen zugeteilt werden und wie Scheduling-Policies die Platzierung beeinflussen.

Workshop Live-Demo
Figure 2: Workshop Live-Demo

Über Basis-Labs hinaus behandelte das Workshop die Zusammenarbeit von HAMi mit Projekten wie KAI Scheduler und Volcano sowie die Richtung HAMi-DRA mit Kubernetes Dynamic Resource Allocation. In diesen Architekturen übernimmt der Scheduler Workload-Platzierung und Queue-Management, HAMi-core erzwingt GPU-Limits zur Laufzeit.

Jimmy Song und Reza Jelveh auf ContainerDays
Figure 3: Jimmy Song und Reza Jelveh auf ContainerDays

Von Ressourcenanfragen über Job-Scheduling bis zur Laufzeit-Isolation erhielten Teilnehmer ein konkreteres Bild von HAMis GPU-Ressourcenmanagement.

Neocloud-Compute-Auslastung optimieren

Vortragstitel: 10X Your Neocloud's GPU Utilization with HAMi

Speaker: Reza Jelveh

Zeit: 27. Oktober, 15:05–15:40

Ort: CDS Theatre

Das erste Workshop behandelte Funktionsweise von Sharing und Scheduling. Der zweite Vortrag richtete den Blick auf Neocloud und die Frage, wie GPU-Sharing in echter KI-Infrastruktur zu höherer Auslastung wird.

In Neocloud-Szenarien müssen GPUs Training, Inferenz, Entwicklungsumgebungen, Notebooks, Multi-Tenant-Zuweisung und Messung bedienen. Große Trainingsjobs brauchen ggf. eine volle GPU; kleine Inferenz und Dev-Tests oft nur einen Bruchteil.

Eine NVIDIA H200 mit 141 GB Speicher: nutzt ein Job nur ~1 GB und bekommt trotzdem die ganze Karte, bleibt viel Kapazität ungenutzt.

Der Vortrag beschrieb, wie HAMi feingranulare GPU-Zuweisung, Laufzeitlimits und Scheduling-Policies verschiedene Workloads auf Geräten teilen lässt — innerhalb der Ressourcengrenzen.

Höhere GPU-Auslastung heißt nicht, dass ein einzelner Job schneller wird — sondern dass zuvor freie Kapazität passendere Arbeit aufnehmen kann.

H200-Speicherzuweisungsdiagramm
Figure 4: H200-Speicherzuweisungsdiagramm

Eine GPU, mehr Inferenz-Workloads

Bei Inferenz-Serving nutzt eine Instanz oft keine volle GPU. Statt nur die Allokation einer Instanz zu vergrößern, können speicherbewusste Platzierung und Multi-Replica-Deployment Restkapazität effektiver nutzen.

Reza teilte Test- und Falldaten zu Auslastung und Serviceverhalten bei unterschiedlicher Replik-Anzahl pro GPU.

Ein Test zeigte: bei gleichem p95-Latenzniveau stieg die GPU-Compute-Auslastung mit mehr Inferenz-Replikas auf einer GPU — für kleinere, parallel geeignete Workloads können Sharing und Scheduling die Gerätekapazität erhöhen.

GPU-Sharing passt nicht zu jedem Szenario.

Großes Modelltraining und großes LLM-Serving können weiterhin besser auf einer vollen GPU laufen; bei strenger Multi-Tenant-Isolation können MIG oder exklusive Geräte nötig sein.

In der Praxis zuerst Ressourcenbedarf pro Workload verstehen, dann Sharing oder Exklusivität wählen — nicht blind feineres Slicing verfolgen.

Inferenz-Replikas und GPU-Auslastung
Figure 5: Inferenz-Replikas und GPU-Auslastung

Von einer GPU zu heterogenem Compute-Management

Mit mehr GPU-, NPU- und weiteren Gerätetypen wird heterogenes Ressourcenmanagement auf einer Plattform zentral für den Betrieb.

Der Vortrag behandelte HAMis Unterstützung für NVIDIA, AMD, Ascend und andere Beschleuniger sowie ein einheitliches Ressourcenanfrage-Modell mit hardwarespezifischen Limit-Mechanismen für flexibleres Gerätemanagement.

Darauf aufbauend arbeitet HAMi mit Volcano, Kueue, KAI Scheduler und ähnlichen Projekten für Batch, Queue-Scheduling und Multi-Tenant-Management.

Für Unternehmen heißt das: bestehenden Kubernetes-Stack behalten und GPU-Sharing, Scheduling und Ressourcenmanagement pro Szenario zusammensetzen — ohne jede Anforderung an eine einzelne Komponente zu binden.

Von Zuweisung zu feinerem Betrieb

Wichtig ist die Unterscheidung von zugewiesenen Ressourcen und tatsächlicher Nutzung.

Ein Mandant kann hohe GPU-Quota anfragen, zur Laufzeit aber nur einen Teil nutzen. Nur zugewiesene Kapazität zu messen, verzerrt die reale Last.

Der Vortrag behandelte getrenntes Monitoring von Zuweisung und Nutzung für Quoten, Messung und Kapazitätsplanung — plus Produktionsfälle zu Sharing, Scheduling und Autoscaling.

GPU-Optimierung lässt sich nicht aus einem Einzeljob-Test beurteilen; sie braucht Workload-Mix, Scheduling und Laufzeitmanagement der Plattform.

Verschiedene Workloads vs. Plattform-Optimierung
Figure 6: Verschiedene Workloads vs. Plattform-Optimierung

Von Piloten zu Skalierung: messbarer Wert für Enterprise-KI

Am 28. Oktober moderierte Reza Jelveh das Panel „Building Enterprise AI at Scale: From Pilots to Measurable Value.“

Diskutiert wurden Herausforderungen beim Übergang von Piloten zu skaliertem Einsatz — nachhaltige Produktion und Messung des Geschäftswerts von KI-Anwendungen.

Im Vergleich zu den technischen Vorträgen zu GPU-Sharing, Scheduling und Auslastung erweiterte das Panel den Blick auf Business-Bedarf und Wertbewertung.

ContainerDays Singapore Panel
Figure 7: ContainerDays Singapore Panel

Die beiden Vorträge starteten aus Praxis und Produktion und zeigten, wie HAMi GPU-Sharing und Scheduling in Kubernetes ermöglicht und auf Inferenz, heterogene Hardware und Multi-Tenant-Betrieb anwendet.

Während der Veranstaltung tauschten sich Team und Peers über reale Anforderungen und Praktiken im GPU-Ressourcenmanagement aus.

Als Initiator und Treiber des HAMi-Open-Source-Projekts wird Dynamia weiter zum Cloud-Native- und KI-Infrastruktur-Ökosystem beitragen — mit F&E und Open-Source-Zusammenarbeit zu GPU-Sharing, heterogenem Scheduling und Laufzeitmanagement, damit mehr Unternehmen vorhandene Compute flexibel und effizient nutzen.

KEEP READING

Weiterlesen

Alle Artikel
DynamiaEngineering
Modelle werden größer – warum brauchen Unternehmen trotzdem feingranulares Compute-Scheduling?Deep Dives und Engineering-Details
Dynamia · Open-Source-AI-Infrastruktur

Modelle werden größer – warum brauchen Unternehmen trotzdem feingranulares Compute-Scheduling?

In einem geteilten Ressourcenpool müssen Unternehmen Voll-GPU- und Multi-GPU-Deployments für große Modelle unterstützen und gleichzeitig On-Demand-Sharing für leichte Inferenz, F&E und Batch-Jobs ermöglichen. Anhand von Modellnutzungsdaten und Produktionscluster-Forschung erörtert dieser Beitrag, wie GPUs nach Workload-Bedarf zugewiesen und heterogenes Compute teamübergreifend geteilt werden kann.

Artikel lesen
DynamiaCommunity
Technischer Fortschritt und Praxis: HAMi auf der KubeCon NA 2026Gemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

Technischer Fortschritt und Praxis: HAMi auf der KubeCon NA 2026

Auf der KubeCon + CloudNativeCon North America 2026 diskutierte die HAMi-Community mit Red Hat GPU-Sharing und Inferenzarchitektur, Scheduling-Policies und Kubernetes-DRA-Fortschritt und führte Entwickler im ContribFest durch GPU-Virtualisierung.

Artikel lesen
DynamiaCommunity
Dynamia teilt vLLM-Cluster-Optimierungspraktiken, damit Compute Enterprise-KI besser stütztGemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

Dynamia teilt vLLM-Cluster-Optimierungspraktiken, damit Compute Enterprise-KI besser stützt

Auf dem 10. CSDI Summit teilte Dynamia-Mitgründer und CTO Mengxuan Li Praktiken zur vLLM-Inferenzcluster-Optimierung — darunter, wie Request-Routing, Cache-Management und GPU-Sharing zusammenwirken, um Inferenzerlebnis, Auslastung und Kosten auszubalancieren.

Artikel lesen
Bildansicht