DynamiaDynamia
Produkt

Dynamia und Biren Technology: BR166M-GPU-Anpassung für llm-d

DynamiaProdukt
Dynamia und Biren Technology: BR166M-GPU-Anpassung für llm-dProduktfähigkeiten und Release Notes
Dynamia · Open-Source-AI-Infrastruktur

Ein vollständiger Bereitstellungspfad für verteilte Inferenz auf chinesischer Rechenhardware

Auf dieser Seite

Dynamia hat kürzlich mit Biren Technology zusammengearbeitet und eine Anpassung für die Biren™ 166M (BR166M) an das Open-Source-Projekt für verteilte Inferenz llm-d beigesteuert – einschließlich Standard-Inferenz sowie Prefill/Decode- (PD-) getrennter Bereitstellungskonfigurationen. Die Zusammenarbeit konzentriert sich auf Bereitstellung von Inferenzinstanzen, Anfragenkoordination und Cache-Transfer zwischen Knoten und verbindet Biren-GPUs für allgemeine Zwecke mit cloud-nativen Inferenz-Frameworks. Sie liefert eine Bereitstellungsreferenz für Unternehmen, die verteilte Modelldienste auf chinesischer Rechenhardware aufbauen.

Diese Arbeit ist eine von Dynamias fortlaufenden Praktiken zur llm-d-Mehrhardware-Anpassung. Durch gemeinsame Anpassung mit Chipherstellern und Beiträge von Bereitstellungskonfigurationen sowie Dokumentation upstream hilft Dynamia weiterhin, mehr Hardwareplattformen an offene Inferenzinfrastruktur anzubinden.

Anpassung von Standard-Inferenz und PD-Trennung

Wenn Unternehmen große Modelle als dauerhaft laufende Dienste bereitstellen, müssen Inferenz-Engine, Anfragenrouting und Clusterressourcen zusammenspielen. Angesichts unterschiedlicher Software-Stacks und Kommunikationsbedingungen der Chips müssen Plattformteams außerdem festlegen, wie Inferenzinstanzen starten, wie Anfragen übergeben werden und wie aus der Berechnung erzeugter Cache zwischen Knoten übertragen wird.

llm-d ist ein Kubernetes-basiertes Open-Source-Projekt für verteilte Inferenz. Es bietet Anfragenrouting und Orchestrierung verteilter Dienste auf Basis von Inferenz-Engines wie vLLM. Bei PD-Trennung werden die Prefill-Phase (Eingabeverarbeitung) und die Decode-Phase (schrittweise Ausgabeerzeugung) getrennt bereitgestellt, sodass Plattformen Ressourcen unabhängig pro Lasttyp konfigurieren können.

Dieser Beitrag liefert sowohl Standard-Inferenz- als auch PD-getrennte Konfigurationen für die BR166M-GPU. Der PD-Pfad zielt auf die INT8-quantisierte Version von Qwen2.5-72B in einem Layout „1 Prefill + 1 Decode“: Die beiden Instanzen laufen auf verschiedenen Knoten, jede nutzt vier BR166M-GPUs mit Tensor-Parallelismus (TP=4), insgesamt acht GPUs.

Entlang dieses Pfads verarbeitet die Prefill-Instanz die Eingabe und erzeugt den KV-Cache für die nachfolgende Ausgabe; die Decode-Instanz empfängt den Cache und setzt die Generierung fort. Das Setup nutzt llm-ds Routing-Sidecar zur Anfragenkoordination und überträgt den KV-Cache via vLLM NixlConnector, sodass die beiden Knoten jeweils Eingabeverarbeitung bzw. Ausgabegenerierung übernehmen.

Die kommunikation zwischen Knoten nutzt InfiniBand RDMA über UCX mit einem CPU-Puffer für KV-Datenübertragung. Diese Konfigurationen dokumentieren den in der aktuellen Anpassung verwendeten Kommunikationspfad und bilden die Grundlage für spätere Performance-Validierung und Optimierung rund um Zielmodelle, Parallelität und Netzwerkumgebungen.

Anpassungsarbeit in die Community einbringen

Diese Zusammenarbeit verbindet Biren-BR166M-GPUs, den BIRENSUPA™-Software-Stack und die angepasste vLLM-Inferenzumgebung mit dem Bereitstellungsablauf von llm-d. Dynamia hat auf der llm-d-Seite beigetragen – Teammitglieder reichten Änderungen ein, die Inferenz-Image-Konfiguration, Bereitstellungsparameter, Beschleunigerdokumentation und eine PD-Trennungs-Anleitung abdecken.

Für Plattformteams, die Biren-GPUs für allgemeine Zwecke einführen wollen, bietet dieses Material einen konkreten Startpunkt: Welche Runtime erforderlich ist, wie Inferenzinstanzen organisiert werden und wie Cache übertragen wird, ist in Konfigurationen und Anleitungen dokumentiert. Die Verlagerung der Anpassung in die Upstream-Zusammenarbeit ermöglicht es Hardwareanbietern, Framework-Maintainern und Nutzern, an derselben Implementierung mit gemeinsamem Feedback zu iterieren.

Die Änderungen wurden als llm-d PR #2505 eingereicht, inklusive Maintainer-Informationen für den Anpassungspfad. Die PR wurde inzwischen von der Community gemergt.

Rechenoptionen durch offene Neutralität erweitern

Rund um llm-d wird Dynamia Anpassungspartnerschaften mit weiteren Chipherstellern ausbauen und verschiedenen Hardwareplattformen helfen, dem Open-Source-Ökosystem für verteilte Inferenz beizutreten. Die Verknüpfung von Runtime, Bereitstellungskonfigurationen und Kommunikationspfaden jeder Plattform mit bestehenden Community-Workflows gibt Unternehmen konkretere Implementierungsreferenzen bei der Bewertung von Rechenoptionen und eine Grundlage für gemeinsame Wartung und Optimierung durch Software- und Hardwarepartner.

Dynamia bleibt technisch neutral und arbeitet offen mit Chipherstellern, Open-Source-Communities und Plattformpartnern rund um reale Unternehmensbereitstellungsanforderungen. Künftig wird Dynamia gemeinsame Anpassung, Bereitstellungsvalidierung und Upstream-Beiträge mit Partnern vorantreiben, Kompatibilitäts- und Wartungsbedarfe bei Versionsentwicklung verfolgen und mehr Rechenplattformen dabei unterstützen, mit gängiger Open-Source-Infrastruktur zu arbeiten – damit Unternehmen Rechenleistung nach Geschäftsanforderungen und tatsächlichen Anpassungsbedingungen wählen können.

Vollständige Anpassungskonfigurationen und weitere Fortschritte finden Sie in dieser Anpassungs-PR.

KEEP READING

Weiterlesen

Alle Artikel
DynamiaEngineering
Modelle werden größer – warum brauchen Unternehmen trotzdem feingranulares Compute-Scheduling?Deep Dives und Engineering-Details
Dynamia · Open-Source-AI-Infrastruktur

Modelle werden größer – warum brauchen Unternehmen trotzdem feingranulares Compute-Scheduling?

In einem geteilten Ressourcenpool müssen Unternehmen Voll-GPU- und Multi-GPU-Deployments für große Modelle unterstützen und gleichzeitig On-Demand-Sharing für leichte Inferenz, F&E und Batch-Jobs ermöglichen. Anhand von Modellnutzungsdaten und Produktionscluster-Forschung erörtert dieser Beitrag, wie GPUs nach Workload-Bedarf zugewiesen und heterogenes Compute teamübergreifend geteilt werden kann.

Artikel lesen
DynamiaCommunity
Technischer Fortschritt und Praxis: HAMi auf der KubeCon NA 2026Gemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

Technischer Fortschritt und Praxis: HAMi auf der KubeCon NA 2026

Auf der KubeCon + CloudNativeCon North America 2026 diskutierte die HAMi-Community mit Red Hat GPU-Sharing und Inferenzarchitektur, Scheduling-Policies und Kubernetes-DRA-Fortschritt und führte Entwickler im ContribFest durch GPU-Virtualisierung.

Artikel lesen
DynamiaCommunity
Jede GPU optimal nutzen: Dynamia teilt Praxis auf ContainerDays SingaporeGemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

Jede GPU optimal nutzen: Dynamia teilt Praxis auf ContainerDays Singapore

Auf ContainerDays & AI Context Singapore 2026 präsentierte Dynamia HAMi-Praktiken für GPU-Sharing und Scheduling in Kubernetes durch Hands-on-Labs und Produktionsfälle sowie GPU-Auslastungsoptimierung für Neocloud-Szenarien.

Artikel lesen
Bildansicht