Erfolgreich im Datenzeitalter - mit neuen Maßstäben bei Leistung, Flexibilität und Skalierbarkeit

Künstliche Intelligenz, Advanced Analytics, Cloud Computing und neue Storage-Technologien helfen Unternehmen bei der Problemlösung, Entscheidungsfindung und Skalierung. Erfahren Sie hier, wie Sie mit moderner, effizienter IT-Infrastruktur im Zeitalter der Daten erfolgreich sein können.

KI-Entwicklung

Die Rolle der Hardware bei KI-Anwendungen

21.09.2020
Auf KI-Applikationen und die Einsatzsituation abgestimmte Prozessoren und Storage-Systeme sind wichtige Bausteine, um KI-Projekte effizient und erfolgreich umzusetzen und in praktische Anwendungen zu integrieren.

Klassisches Machine Learning, Deep Learning, Neuronale Netze, Tensorflow, Pytorch - im KI-Umfeld ist viel von Methoden und Tools die Rede. Dabei sollte die Rolle von CPU, Storage und Co. in der KI nicht unterschätzt werden. Viele KI-Verfahren gehen mit extrem rechen- und datenintensiven Workloads einher, die für Rechenzentren enorme Herausforderungen darstellen können und die eine entsprechend leistungsfähige Hardware-Basis brauchen. IT-Verantwortliche sollten sich deshalb gut überlegen, was notwendig ist und auf was sie verzichten können.

Leistungsfähige KI-Hardware bringt die KI-Rechenleistung vom zentralen Rechenzentrum dorthin, wo die produktive Arbeit anfällt.
Leistungsfähige KI-Hardware bringt die KI-Rechenleistung vom zentralen Rechenzentrum dorthin, wo die produktive Arbeit anfällt.
Foto: Intel

Grundsätzlich gilt bei KI-Projekten: Die Anforderungen an die Hardware sind sehr vielfältig. Sie soll zum einen das klassische Machine Learning und in Fall von Deep Learning das Training und auch das Inferencing in den Rechenzentren effizienter, schneller und energiesparender machen. Zum anderen soll sie die KI-Rechenleistung bei Ende-zu-Ende-Lösungen aus den zentralen Data Centern raus und in die smarten Geräte hinein transferieren. Dabei muss vor allem auch das Inferencing unterstützt werden.

Training und Inferencing (Schlussfolgern) müssen bei Überlegungen zu KI-Hardware immer deutlich unterschieden werden. Beim Training lernt ein Machine-Learning-System aus vielen Beispieldaten. Die Algorithmen bauen dabei ein Modell auf, das auf den Trainingsdaten beruht, und verallgemeinern es. Beispielsweise kann ein Modell in der Fertigungsindustrie lernen, anhand von Fotos gute von schlechten Bauteilen zu unterscheiden.

Nach Abschluss der Lernphase kann das System neue Daten beurteilen. Dieses Inferencing besteht aus Schlussfolgerungen, die mit Hilfe eines fertigen Modells und eingehender Daten gezogen werden. Das trainierte Modell wird auf neue Daten angewendet, um Klassifizierungen oder Vorhersagen zu treffen. In der Produktion beispielsweise klassifiziert der trainierte Algorithmus die Teile in gute Produkte und Ausschussware.

Der richtige Mikroprozessor

Ein zentraler Baustein der KI-Infrastruktur ist der passende Mikroprozessor. Die vielen Algorithmen, die es auf dem Gebiet der KI gibt, haben unterschiedliche Verarbeitungsanforderungen. IT-Verantwortliche sollten deshalb erst die Anwendungsarten verstehen, die wahrscheinlich genutzt werden.

Das Marktforschungsunternehmen Tractica hat 11 Kriterien herausgearbeitet, anhand derer ein Mikroprozessor für KI-Anwendungen bewertet werden sollte. Der wichtigste Parameter ist die Performance-Statistik einer CPU. Sie umfasst Features wie Anzahl der Kerne, Grundfrequenz und maximal erreichbare Frequenz, Anzahl der gleichzeitig unterstützten Threads, Busgeschwindigkeit, Cache-Größe, Bandbreite und Durchsatz.

Performance spielt beim KI-Training zweifellos die zentrale Rolle, denn das Modelltraining erfordert eine hohe Rechenleistung. Beim Training von Deep-Learning-Netzen beispielsweise werden Daten kontinuierlich von der Eingabeschicht des Modells zur Ausgabeschicht und zurück iteriert. Die Zahl solcher Iterationen kann bei großen Datenmodellen in die Millionen gehen. Die Performance-Statistik ist daher in diesem Szenario von entscheidender Bedeutung.

Ein weiterer Aspekt: Das Training von KI-Anwendungen beinhaltet oft Multiplikationen von Matrizen. Diese Matrizen können sehr groß sein, und die Art und Weise, wie sie gefüllt werden, wirkt sich auf die Effizienz der zur Berechnung verwendeten Methode aus. Dicht besetzte Matrizen sind typischerweise in Neuronalen Netzen mit Deep Learning zu finden, und Mikroprozessoren der neuen Generation verfügen in der Regel über spezielle Hardware-Mechanismen zur Durchführung solcher Berechnungen.

KI-relevante CPU-Leistungswerte

Im Inferenzmodus wird das trainierte Modell in der Produktion eingesetzt, wobei neue Daten am Eingang des Modells erscheinen. Um die neuen Daten zu verarbeiten, ist nur ein einziger Vorwärtsdurchlauf durch das Modell erforderlich - was die Arbeitslast im Vergleich zum Training verringert. Allerdings steigt beim Inferencing die Rechenlast einerseits mit der Größe und Anzahl der Daten, andererseits durch die Tatsache, dass Inferencing im Vergleich zum Training viel häufiger stattfindet. Bei größeren Datenmengen und komplexen Daten kann die Gesamtrechenlast also auch beim Inferencing sehr hoch sein.

Die skalierbaren Intel Xeon Prozessoren der 2. Generation mit ihren bis zu 56 Kernen und zwölf unterstützten DDR4-Speicherkanälen sind eine gute Basis für KI-Entwicklung und -Feinjustierung auf höchstem Niveau.
Die skalierbaren Intel Xeon Prozessoren der 2. Generation mit ihren bis zu 56 Kernen und zwölf unterstützten DDR4-Speicherkanälen sind eine gute Basis für KI-Entwicklung und -Feinjustierung auf höchstem Niveau.
Foto: Intel

Performance ist ein sehr wichtiges Kriterium bei der Auswahl der CPU, doch es gibt noch eine Reihe weiterer Parameter, die zu beachten sind. Besonders ist zu berücksichtigen, dass in den häufigsten Fällen KI-Anwendungen nur einen Teil des gesamten Verarbeitungsvolumens im Rechenzentrum bilden. Wenn also ein signifikanter Anteil anderer Anwendungen auf denselben Systemen ablaufen, ist eine generische CPU von Vorteil. Zudem werden generische CPUs über Software-Updates und Hardware-Optimierungen immer besser für die Verarbeitung von KI-Workloads gerüstet. Dies ist beispielsweise bei den skalierbaren Intel® Xeon® Prozessoren der 2. Generation der Fall. Bei ihnen kann der Intel® Deep Learning Boost (Intel® DL Boost) mit Vector Neural Network Instruction (VNNI) die KI-Inferenzleistung steigern.

Wird die KI-Anwendung außerhalb des Rechenzentrums eingesetzt, kann die Energieeffizienz - ein weiterer zentraler CPU-Parameter - wichtig werden. Wird eine CPU in einer Produktionshalle, auf einem Schiff oder in einer Windanlage betrieben und soll sie vielleicht auch noch netzunabhängig arbeiten, sollte sie sehr sparsam im Verbrauch sein. Weitere wichtige Kriterien, die bei der CPU-Auswahl im KI-Umfeld bedacht werden sollten, sind Chip-Konnektivität, Speichereffizienz, Sicherheit und die Kosten.

KI-optimierte Storage-Technologien

Eine weitere Optimierungsmöglichkeit bietet sich bei KI-Anwendungen in Form der effizienten Speicherung der Daten. Herkömmliche Massenspeicher reagieren relativ langsam auf die Datenanforderungen moderner Prozessoren. Bei datenintensiven Anwendungen wirkt sich das negativ auf die Verarbeitungsgeschwindigkeit aus, weil dadurch die Leistungsfähigkeit des Prozessors nicht voll ausgeschöpft werden kann. Es ist daher sinnvoll, die Daten während der Verarbeitung möglichst nahe an der CPU bereitzuhalten, statt sie ständig zwischen RAM-Speicher und SSD hin und her zu schaufeln.

Intel setzt zu diesem Zweck in zweierlei Hinsicht auf Speichermedien mit schneller Intel Optane-Technologie. Zum einen können non-volatile Intel Optane DC Persistent Memory-Chips auf ein Dual-In-Line-Speichermodul (DIMM) platziert werden, das normalerweise mit volatilen DRAM-Medien bestückt ist. Intel-CPUs neueren Datums unterstützen diese Vorgehensweise. Zum anderen dient die Intel Optane-Technologie als Basis für extrem schnelle SSDs, die Server-Systeme zusätzlich beschleunigen.

Persistenter Speicher kann damit die Effizienz sowohl beim Training als auch beim Inferencing positiv beeinflussen. Komplexere Modelle erfordern mehr Schichten in den neuronalen Netzen, was wiederum mehr Anforderungen an den Speicher zur Folge hat. Beim Training können der High Random Read-Durchsatz und die geringe Latenz von Optane SSDs kritische Trainingsressourcen optimal nutzbar machen. Darüber hinaus können Optane-SSDs die Verarbeitung temporärer Daten während der Datenmodellierung beschleunigen.

Auch Inferencing zahlt sich mit Optane-Technologie aus. Dabei wird zunächst das durch das Training generierte Modell eingelesen und fürs Inferencing verwendet. Die Resultate des Inferencing werden teilweise anschließend als Trainingsdaten genutzt, um die Genauigkeit des Modells weiter zu verbessern. Dieser Vorgang stellt sehr hohe Ansprüche an die Leistungsfähigkeit der Speichertechnologie, besonders wenn es sich dabei um Echtzeit-Edge-Anwendungen handelt, die Reinforcement-Lernmethoden verwenden. Auch in diesem Fall bietet die Intel Optane-Technologie die notwendigen Leistungsdaten.

Fazit

Die passende Hardware ist ein wichtiger Faktor, um KI-Projekte erfolgreich umzusetzen und in produktive Anwendungen zu integrieren. Performante CPUs machen zum einen in den Rechenzentren das Training effizienter, schneller und energiesparender. Zum anderen bringen sie die KI-Rechenleistung aus den zentralen Data Centern in die Produktionshallen zu den Sensoren und Geräten, wo die Daten entstehen. Damit werden Edge-Computing-Anwendungen wie das beispielsweise bei der Qualitätssicherung von Audi in Neckarsulm möglich.

Das Thema Hardware ist aber nur ein Punkt, der die Effizienz und den Erfolg von KI-Projekten ausmacht. Die eventuell notwendige Hardware-Aufrüstung muss um ein KI-Ökosystem mit Frameworks und Tools wie TensorFlow oder PyTorch ergänzt werden, das auf die Hardware optimiert ist. Da viele SW-Werkzeuge Open Source sind, können interessierte Entwickler problemlos darauf zugreifen. Daneben sind auch optimierte Suiten mit aufeinander abgestimmten Software- und Hardware-Komponenten verfügbar, mit denen sich die Entwicklungszeit erheblich verkürzen lässt.