DynamiaDynamia
Integration & Ecosystem

Dynamia erweitert sein GPU-Ökosystem: llm-d-Integration mit Iluvatar CoreX

DynamiaIntegration & Ecosystem
Dynamia erweitert sein GPU-Ökosystem: llm-d-Integration mit Iluvatar CoreX
Dynamia · Open-Source-AI-Infrastruktur

Dynamia und Iluvatar CoreX haben die Integration und Ende-zu-Ende-Validierung einer getrennten Prefill/Decode-Bereitstellung von llm-d auf Produkten wie Tiangai 300 abgeschlossen. Die Änderungen umfassen Modellladen, verteiltes Scheduling und Inferenzausgabe und wurden an das Upstream-Projekt übermittelt.

Auf dieser Seite

Die Bereitstellung großer Sprachmodelle auf chinesischen GPU-Plattformen erfordert das Zusammenspiel von Hardware, Inferenz-Engines und Clusterverwaltung. Zuverlässiges Laden der Modelle, die Verteilung von Anfragen auf Inferenzinstanzen und der Datenaustausch zwischen diesen Instanzen gehören zu den konkreten Herausforderungen verteilter Inferenzdienste.

Für diese Anforderungen haben Dynamia und Iluvatar CoreX die Integration und Ende-zu-Ende-Validierung einer getrennten Prefill/Decode-Bereitstellung von llm-d auf Produkten wie Tiangai 300 abgeschlossen. Die Arbeiten decken den gesamten Ablauf vom Modellladen über das verteilte Scheduling bis zur Inferenzausgabe ab. Die entsprechenden Änderungen wurden an die Upstream-Community von llm-d übermittelt.

Durchgängige Bereitstellung für getrennte Prefill/Decode-Inferenz

llm-d ist ein auf Kubernetes basierendes Open-Source-Framework für verteilte Inferenz und ein CNCF-Sandbox-Projekt. Es ergänzt Inferenz-Engines um Anfragerouting, Inferenz-Scheduling und die Trennung von Prefill und Decode. Plattformteams können damit mehrere Inferenzinstanzen zu einem gemeinsam arbeitenden Modelldienst zusammenführen.

Die Prefill/Decode-Trennung teilt die LLM-Inferenz in zwei Phasen auf: Prefill verarbeitet die Eingabe, Decode erzeugt schrittweise die Ausgabe. Durch die getrennte Bereitstellung lassen sich Ressourcen unabhängig konfigurieren. Gleichzeitig müssen Anfragen koordiniert und KV-Caches zwischen Instanzen übertragen werden. Bei der Anpassung an neue Hardware sind diese Komponenten mit der Inferenz-Engine und ihrer Laufzeitumgebung zu verbinden.

Die Zusammenarbeit umfasste gemeinsame Fehlersuche und Validierung entlang dieses Ablaufs. Anhand von Qwen3.8-27B und DeepSeek V4 Flash wurden Modellladen, verteiltes Scheduling und Inferenzausgabe geprüft. Die Arbeiten binden die Hard- und Softwareumgebung von Iluvatar CoreX in die Bereitstellung von llm-d ein und schaffen eine Integrationsgrundlage für verteilte Modelldienste auf chinesischen GPUs.

Gemeinsame Implementierung, Validierung und Upstream-Integration

Dynamia übernahm die Implementierung auf der llm-d-Seite, die Ende-zu-Ende-Validierung und die laufende Abstimmung mit der Upstream-Community. Das Team arbeitete an der Bereitstellung von Inferenzinstanzen, Routingkonfiguration und Prefill/Decode-Koordination. Gemeinsam mit den Upstream-Mitwirkenden wurden die Änderungen geprüft und in den Hauptzweig übernommen.

Iluvatar CoreX stellte die Hardware-Laufzeitumgebung, Inferenz-Images und vollständige Softwareunterstützung bereit. Dazu gehörte die Abstimmung von Hardwaretreibern, Kommunikationsbibliotheken und Inferenz-Framework. Beide Teams brachten ihre Beiträge auf Framework- beziehungsweise Plattformseite ein und validierten gemeinsam den vollständigen Bereitstellungsablauf.

Code und Konfiguration wurden über llm-d PR #2381 in den Hauptzweig übernommen. Sie enthalten Beschreibungen des Beschleunigers, Konfigurationen für die getrennte Prefill/Decode-Bereitstellung und Angaben zu den Maintainers. Entwickler können die Implementierung prüfen, die Bereitstellungskonfigurationen nutzen und die weitere Pflege verfolgen.

Offene, neutrale Zusammenarbeit im Ökosystem

Inferenz-Frameworks, Modelle sowie Hard- und Softwarestacks entwickeln sich kontinuierlich weiter. Integrationen müssen daher mit neuen Versionen gepflegt werden. Beide Unternehmen haben technische Fachkräfte für die Wartung dieser Integration eingeplant, um Rückmeldungen der Community, Funktionserweiterungen und weitere Entwicklungsschritte zu begleiten.

Von der vorherigen Zusammenarbeit mit MetaX bis zur gemeinsamen Validierung mit Iluvatar CoreX verbindet Dynamia chinesische Rechenplattformen mit cloudnativen Inferenz-Frameworks. Im Sinne der offenen und neutralen Ausrichtung von Dynamia und HAMi arbeiten wir weiterhin mit Chipherstellern, Inferenz-Frameworks und Plattformpartnern an Integration, Bereitstellungsvalidierung und langfristiger Wartung. Das fördert die Zusammenarbeit von Hard- und Software und unterstützt Unternehmen dabei, Rechenressourcen nach ihren geschäftlichen Anforderungen auszuwählen und zu kombinieren.

Die Änderungen und weitere Fortschritte finden Sie im Integrations-Pull-Request. Informationen zum Framework und zur Bereitstellung stehen im llm-d-Projekt-Repository.

KEEP READING

Weiterlesen

Alle Artikel
DynamiaCommunity & Aktuelles
HAMi Positionierung in CNCF x PyTorch BasisGemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

HAMi Meetup Shanghai Station Depth Interpretation (I): Welches Problem löst Hami in der claud-native AI Basis von CNCF x PyTorch?

Keith Chan, Generaldirektor des China District, hielt eine Eröffnungsrede an der HAMMI Meetup Shanghai Station und gab eine strukturierte gemeinsame Idee, wie man eine Basis für die Entwicklung von claud-native AI zu schaffen: Hami befindet sich in Scheduling mit Ressourcenmanagement, vorausgesetzt die Rolle heterogenercompute Ressourcen teilen und verwalten.

Artikel lesen
DynamiaCommunity & Aktuelles
HAMi Community Round Table: Von Benutzern zu Co-ConstructorsGemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

HAMi Meetup Shanghai Station Depth Interpretation (vii): Von Benutzer zu Co-Builder, warum braucht ein Unternehmen eine nachhaltige HAMi Community?

Sobald ein Unternehmen Open Source Software in seiner Produktionsumgebung verwendet, werden die Bedenken allmählich über den Code hinausreichen: kann es reagiert werden, wenn Probleme aufgetreten sind? Wie kommen neue Bedürfnisse in öffentliche Wege? Die runde Tischdiskussion der Hami Meetup Shanghai Station dreht sich um reale Verwendung, Beitragsschwellen, KI ' s Haftungsgrenze für assistive Entwicklung und Community-Wissensablagerung, bietet eine andere Bewertung als Technologieauswahl.

Artikel lesen
DynamiaCommunity & Aktuelles
HAMi 2.10: Verstopfung, Scheduling und BeobachtungGemeinsam bauen · Austausch · Event-Notizen
Dynamia · Open-Source-AI-Infrastruktur

HAMi Meetup Shanghai Station Depth Interpretation (ii): Nach GPU-Sharing, wie entwickelt HAMi die Soloisierung, Schieduling und Beobachtung weiter?

Dynamia Mitbegründer und CTO, HAMi Mainlainer Mengxuan Li, am HAMi Meetup Shanghai Station, präsentierten den Fortschritt der V2.10 Fähigkeiten, DRA ökologisches Gerät und v2.11 Planung (Remote GPU, CPU NUMA Ausrichtung).

Artikel lesen
Bildansicht