Kooperation mit Nvidia

HPE entwirft integrierten KI-Stack

01.12.2023 von Martin Bayer
Mit vorkonfigurierten Komplettsystemen aus Hardware, Software und dazu passenden Services will HPE die passende Infrastruktur für das Training und den Betrieb großer KI-Modelle liefern.
Auch für HPE-Chef Antonio Neri dreht sich derzeit alles rund um das Thema KI.
Foto: HPE

Hewlett Packard Enterprise (HPE) arbeitet an KI-nativen Hybrid-Cloud-Architekturen, mit deren Hilfe Anwenderunternehmen KI-Modelle schneller entwickeln und ausrollen können sollen. Auf seiner Kundenkonferenz HPE Discover Ende November in Barcelona kündigte der IT-Anbieter eine Reihe von speziell auf KI-Anforderungen ausgelegten Lösungen an. Diese Pakete setzen sich aus verschiedenen Software- und Infrastrukturkomponenten zusammen, die HPE zufolge den kompletten KI-Lifecycle beschleunigen sollen. Der Anbieter spricht von "Full-Stack KI-nativen Lösungen", die Einstiegsbarrieren in die KI-Welt verringern und die Betriebe in die Lage versetzen sollen, ihre KI-Modelle effizient zu trainieren und zu tunen.

"Mit dem Aufkommen von GenAI haben viele Unternehmen erkannt, dass die Daten- und Compute-Anforderungen für den effektiven Betrieb von KI-Modellen einen grundlegend anderen Technologieansatz erfordern", sagte Antonio Neri, Präsident und CEO von HPE, zum Konferenzauftakt in der katalanischen Metropole. HPE werde seine Hybrid-Cloud-, Supercomputing- und KI-Fähigkeiten so ausbauen, dass Kunden eine KI-gestützte Transformation vornehmen könnten. Die HPE-Klientel werde ihre eigenen KI-Modelle sicher auf Basis Der eigenen Daten entwickeln können, versprach Neri.

Infrastrukturen brauchen KI-Tuning

GenAI-Workloads seien extrem rechenintensiv, beschrieben die HPE-Verantwortlichen die Herausforderung. Die dahinterliegenden Systeme müssten in der Lage sein, große Mengen an Daten schnell und effizient zu verarbeiten. Es gelte daher, die bestehenden Cloud-Infrastrukturen um einen KI-Ansatz auszubauen. Das reiche von den passenden Daten-Pipelines über eine hybride Grundstruktur, um KI an verschiedenen Stellen in der eigenen IT-Landschaft betreiben zu können, bis hin zu Supercomputing-Funktionen für das Training großer Modelle. Wichtig seien ferner Management-Software für den KI-Lifecycle und ein offeneS Ökosystem, um unterschiedliche Komponenten miteinander verknüpfen zu können.

HPE stellte zusammen mit Nvidia ein vorkonfiguriertes Komplettsystem für KI-Workloads vor. Anwender könnten damit vortrainierte Basismodelle mit eigenen Daten anpassen und in Betrieb nehmen, hieß es. Dabei verbesserten sogenannte RAG-Workstreams (Retrieval-Augmented Generation) die Datenqualität und Genauigkeit der KI-Anwendung.

Das neue System basiert HPE zufolge auf einer Rack-Scale-Architektur mit dem HPE ProLiant Server DL380a, der mit NVIDIA L40S GPUs, NVIDIA BlueField-3 DPUs und der NVIDIA Spectrum-X Ethernet Networking Platform bestückt ist. Ausgelegt ist das System mit 16 HPE-Servern und 64 Nvidia-GPUs für das Feintuning eines Llama-2-Modells mit 70 Milliarden Parametern.

Integriert wurde außerdem das HPE Machine Learning Development Environment. Anwender finden hier Funktionen zum schnelleren Prototyping und Testen von KI-Modellen. Darüber hinaus hat HPE seine Ezmeral Software um GPU-fähige Funktionen erweitert, die das Bereitstellen von KI-Modellen vereinfachen und die Datenvorbereitung für KI-Anwendungen in der Hybrid Cloud beschleunigen sollen. Für mehr Speed in der Entwicklung und Bereitstellung von KI-Produktionsumgebungen soll auch die Software NVIDIA AI Enterprise sorgen. Darin enthalten sind Nvidias NeMo-Framework, sogenannte Guardrailing-Toolkits für mehr Sicherheit und Stabilität sowie Werkzeuge für die Datenkuratierung und vortrainierte Modelle, um den GenAI-Einsatz im Unternehmen zu optimieren.

Ein weiterer Bestandteil von HPEs KI-Paketen ist HPE GreenLake for File Storage. Laut Anbieter handelt es sich dabei um eine All-Flash-Plattform für unstrukturierte Daten, die sich vor Ort betreiben, aber aus der Cloud verwalten lassen soll. Das System unterstützt jetzt NVMe SSDs mit 30 Terabyte und das InfiniBand-Netz NVIDIA Quantum-2. Das erhöhe die Kapazitätsdichte und den Datendurchsatz für KI-Anwendungen um den Faktor sieben, hieß es.

Software und Services für den KI-Einsatz

Rund um seine neuen Systeme arbeitet HPE auch an seinem Software- und Serviceangebot, das passgenau auf KI-Anforderungen zugeschnitten wurde. Beispielsweise könnten Anwender die HPE Machine Learning Development Environment Software künftig als Managed Service über verschiedene Cloud-Provider beziehen. Damit soll sich der gesamte Prozess vom Prototyping über das Testen bis hin zur Inbetriebnahme von KI-Modellen beschleunigen lassen. Die Software will HPE demnächst auch enger mit seiner Ezmeral-Suite verzahnen. Ezmeral ist vor allem dafür ausgelegt, das Daten-Handling zu verbessern und Analyse-Funktionen bereitzustellen. Dafür hat der Hersteller die Software eigenen Angaben zufolge an bestimmte GPU- und CPU-Architekturen angepasst.

Für seine KI-Architektur setzt HPE auch auf Kooperationen - vor allem mit dem GPU-Spezialisten Nvidia.
Foto: HPE

Sein Serviceportfolio hat HPE ebenfalls in Richtung KI ausgebaut. Das reicht von Beratungsdienstleistungen über Mitarbeiterschulungen bis hin zu kompletten Implementierungslösungen. Die neuen KI-Services sollen Kunden auf ihrer gesamten KI-Reise begleiten. Das fängt HPE zufolge damit an, dass Anwender GenAI und LLMs erkunden, anschließend Betriebsmodelle und Hybrid-Cloud-Datenstrategien entwickeln und letztendlich auch die passenden KI-Modelle implementieren können. Diese Dienstleistungen sollen durch neue Global Centers of Excellence für KI und Daten unterstützt werden, die HPE in Spanien, den Vereinigten Staaten, Bulgarien, Indien und Tunesien eröffnen will.

Greenlake als Basis für den neuen KI-Fokus

Die HPE-Verantwortlichen haben schon vor Monaten damit begonnen, ihren Fokus mehr und mehr in Richtung KI zu verschieben. Das Thema GreenLake scheint dagegen etwas weiter in den Hintergrund zu rücken. CEO Neri hatte 2019 angekündigt, das gesamte HPE-Angebot in einem As-a-Service-Modell anbieten zu wollen. Bis Ende 2022 sollten sämtliche Produkte nutzungsabhängig in einem Pay-per-Use-Modell zu beziehen sein.

Dreh- und Angelpunkt dieser Strategie ist HPEs Edge-to-Cloud-Plattform GreenLake. Damit sollen Unternehmen ihre hybriden IT-Infrastrukturen inklusive Workloads und Daten vom eigenen Rechenzentrum über die Cloud bis hin zum Netzwerkrand, dem sogenannten Edge, zentral orchestrieren und steuern können. HPE war mit GreenLake 2017 gestartet und hat die Plattform seitdem kontinuierlich ausgebaut.

In diesem Jahr kamen nun vor allem KI-Funktionen hinzu. Bereits im Juni kündigte HPE GreenLake for Large Language Models (LLMs) an. Der KI-Service läuft in der Supercomputer-Cloud des Anbieters. Kunden erhielten damit ein sofort einsatzfähiges LLM für Anwendungsfälle, die Text- und Bildverarbeitung sowie entsprechende Analysen erforderten. HPE kooperiert an dieser Stelle mit dem deutschen KI-Pionier Aleph Alpha.

Zentraler Bestandteil von HPE GreenLake for LLMs ist Luminous, ein vortrainiertes LLM von Aleph Alpha, das in mehreren Sprachen angeboten wird: Englisch, Französisch, Deutsch, Italienisch und Spanisch. Kunden könnten darauf aufsetzend ihre eigenen Daten nutzen, um individuelle Modelle zu trainieren und zu optimieren, versprachen die HPE-Verantwortlichen im Sommer 2023.

HPE stellt sich neu auf

Auch organisatorisch richtet sich HPE neu aus. Ende September 2023 hat der Konzern die Gründung einer neuen Hybrid-Cloud-Geschäftseinheit bekannt gegeben, die HPE Storage, HPE GreenLake Cloud Services Solutions sowie das "Office of the CTO" umfasst. "Diese neue Gruppe wird unsere Hybrid-Cloud-Strategie beschleunigen, indem wir ein Portfolio von Speicher-, Software-, Daten- und Cloud-Services auf der HPE GreenLake-Plattform anbieten", unterstrich Neri. Die Leitung der neuen Business Unit hat zum Start des neuen Geschäftsjahres 2024 Anfang November HPE-CTO Fidelma Russo übernommen.