GPU-Architektur Volta

Nvidia tunt Grafikprozessoren für Künstliche Intelligenz

15.05.2017 von Martin Bayer
Mit Volta hat Nvidia eine neue Grafikchip-Architektur präsentiert. Mit 21 Milliarden Transistoren und 5120 Rechenkernen soll sich die neue GPU-Generation besonders für Aufgaben rund um KI und Machine Learning eignen.

"Künstliche Intelligenz treibt die größten technologischen Fortschritte in der Geschichte der Menschheit voran", sagte Jensen Huang, Gründer und CEO von Nvidia, anlässlich der Eröffnung der GPU Technology Conference (GTC) im kalifornischen San Jose. Um die dafür notwendige Rechenleistung bereitzustellen, arbeitet der Spezialist für Grafikprozessoren laufend daran, die Leistung seiner Graphic Processing Units (GPUs) entsprechend zu tunen.

Für Jensen Huang, Gründer und CEO von Nvidia, sind Themen wie Künstliche Intelligenz (KI) und Machine Learning (KL) die Zukunft.
Foto: Nvidia

Grafikprozessoren sind von ihrer Architektur her besser geeignet, Rechenaufgaben rund um KI und Machine Learning (ML) zu abzuarbeiten. Während herkömmliche CPU-Architekturen mit wenigen Recheneinheiten darauf ausgelegt sind, Aufgaben seriell hintereinander zu berechnen, warten GPUs mit einer massiv-parallelen Architektur auf, die mit vielen kleineren, aber effizient arbeitenden Compute-Einheiten Rechenaufgaben stark parallelisiert abwickeln können.

Tausende von Entwicklern arbeiteten drei Jahre an Volta

Dafür hat Nvidia auf der GTC mit "Volta" eine neue Chiparchitektur präsentiert. Diese biete laut Herstellerangaben deutlich mehr Rechenleistung als der Vorgänger "Pascal" und sei speziell für Aufgaben aus dem KI- und ML-Bereich zugeschnitten, hieß es. Die erste Volta GPU "GV100" hat der Hersteller auf der Rechenkarte "Tesla V100" verbaut. Tausende von Entwicklern hätten drei Jahre an Volta gearbeitet, berichtete Huang und ließ durchblicken, dass man mit der neuen Generation allmählich an die Grenzen des klassischen fotolithografischen Chipherstellungsverfahrens stoße.

Nvidias neue Grafikchip beinhaltet über 21 Milliarden Transistoren und 5120 Rechenkerne.
Foto: Nvidia

Nvidias neuer Grafikchip wird im 12-Nanometer-Verfahren gefertigt und besteht aus über 21 Milliarden Transistoren sowie 5120 CUDA-Rechenkernen. Zum Vergleich: Der Vorgänger Tesla P100 aus der Pascal-Serie bot etwa 15 Milliarden Transistoren sowie 3840 Rechen-Cores auf. Nvidia zufolge sei es den eigenen Entwicklern gelungen, die Volta-Architektur gegenüber der Vorgängergeneration um rund 50 Prozent effizienter zu machen. Demzufolge seien in der Tesla-V100-Karte 640 sogenannte "Tensor Cores" integriert, die speziell darauf ausgelegt seien, KI- und Machine-Learning-Workloads zu bearbeiten.

Eine Tesla-GPU kann hunderte CPUs ersetzen

Damit liefere der Grafikchip eine Leistung von 120 Teraflops, behaupten die Nvidia-Verantwortlichen, was der Leistung von rund 100 klassischen CPUs entspreche – ohne jedoch genauer zu spezifizieren, um welchen CPU-Typ es sich handle. Durch die Kopplung von CUDA-Kern mit dem neuen Volta Tensor Core innerhalb einer einheitlichen Architektur könne ein einzelner Server mit Tesla V100 GPUs Hunderte von herkömmlichen CPUs für traditionelle HPC ersetzen, verspricht der Hersteller.

Neben dem Chip selbst hat Nvidia auch an der Verbindung der neuen GPU-Architektur mit der weiteren Recheninfrastruktur gearbeitet. Die nächste NVLink-Generation 2.0 für die Verbindung verschiedener GPUs untereinander sowie zwischen GPU und CPU soll einen doppelt so hohen Datendurchsatz im Vergleich zur vorherigen NVLink-Version erreichen. Huang zufolge entsprächen Datenraten von 300 GB/s etwa dem zehnfachen, was Standard-PCIe-Verbindungen schafften. Außerdem verwendet Volta einen gemeinsam mit Samsung entwickelten HBM2-DRAM-Speicher, der mit 900 GB/s eine um 50 Prozent größere Memory-Bandbreite als die Vorgänger ermöglicht.

Volta soll Standard für High Performance Computing (HPC) werden

Die Erwartungen bei Nvidia an den neuen Hoffnungsträger sind hoch. Nach Einschätzung der Verantwortlichen gebe es eine große Nachfrage nach Beschleunigung von KI-Technologien. Entwickler, Datenwissenschaftler und Forscher würden zunehmend auf neuronale Netze setzen, um ihre nächsten Projekte beispielsweise bei der Bekämpfung von Krebs zu beschleunigen, um Transport-Vorgänge mit selbstfahrenden Fahrzeugen sicherer zu machen oder um neue intelligente Kundenerlebnisse zu bieten. In der Folge müssten Rechenzentren eine immer höhere Rechenleistung liefern, da diese Netzwerke immer komplexer würden. "Volta wird der neue Standard für High Performance Computing werden", gibt sich die Nvidia-Führung selbstbewusst.

Machine Learning - Technologien und Status quo
Bilderkennung ist wichtigstes Anwendungsgebiet für Machine Learning
Heute kommen Machine-Learning-Algorithmen vor allem im Bereich der Bildanalyse und -erkennung zum Einsatz. In Zukunft werden Spracherkennung und -verarbeitung wichtiger.
Machine Learning im Anwendungsbereich Customer Experience
Heute spielt Machine Learning im Bereich Customer Experience vor allem im Bereich der Kundensegmentierung eine Rolle (hellblau). In Zukunft wird die Spracherkennung wichtiger (dunkelblau).
Machine Learning in den Bereichen Produktion und Prozesse
Unternehmen erhoffen sich im Bereich Produktion/Prozesse heute und in Zukunft (hell-/dunkelblau) vor allem im Bereich Prozessoptimierung positive Effekte durch Machine Learning.
ML im Bereich Kundendienst und Support
Sentiment-Analysen werden eine Kerndisziplin für Machine Learning im Bereich Kundendienst und Support
Auch IT-Abteilungen profitieren
Schon heute wird Machine Learning für die E-Mail-Klassifizierung und Spam-Erkennung genutzt. In Zukunft (dunkelblau) werden Diagnosesysteme wichtiger.
Was Management, Finance und HR von Machine Learning erwarten
Heute und in Zukunft ist in diesem Bereich das Risikomanagement eine vorrangige ML-Disziplin. In Zukunft soll auch das Talent-Management beflügelt werden.
Massive Effekte für Einkauf und Supply Chain Management
Machine Learning wird sich auf verschiedenste Bereiche des Procurements und des Supply Managements auswirken (hellblau = heute; dunkelblau= in Zukunft)
Diese Lernstile sind bekannt
Beim bekanntesten Lernstil, dem Überwachten Lernen (Supervised Learning), werden Bildern oder Dokumenten von Hand eine gewisse Menge an Tags oder Labeln zugewiesen. So werden die ML-Algorithmen trainiert.
Diese Lernstile verwenden Branchen
Während Autobauer eher auf "Semi-supervised Learning" setzen, sammeln andere Branchen mit Supervised Learning Erfahrung.
Machine-Learning-Algorithmen
Die meisten Unternehmen setzen auf einen Mix von Verfahren, um ihre vielfältigen Aufgaben zu lösen.
Einsatz von Machine-Learning-Algorithmen nach Branchen
Neuronale-Netzwerk-Algorithmen finden vor allem im Automotive-Sektor Verwendung - und natürlich in der ITK-Branche selbst.
Diese Programmiersprachen und Frameworks kommen im ML-Umfeld zum Einsatz
Mit knapp 70 Prozent Einsatzgrad ist Java die führende Programmiersprache im Bereich ML. Allerdings holen speziellere Sprachen und Frameworks auf.
Deep-Learning- und Machine-Learning-Packages
DeepLearn Toolbox, Deeplearning4j, das Computational Network Toolkit und Gensim werden auf Dauer die führenden Pakete sein.
Zielinfrastruktur für ML-Workloads
Die Deployments von Machine Learning gehen zunehmend in die Breite und erreichen auch die Cloud und das Internet der Dinge. Auf die Unternehmen kommt mehr Komplexität zu.
Bedenken und Herausforderungen
Datenschutz und Compliance-Themen machen Anwender am meisten zu schaffen, geht es um den Einsatz von Machine Learning. Außerdem vermissen viele einen besseren Überblick über das Marktangebot.
Machine Learning ist Sache der BI- und Analytics-Spezialisten
Die organisatorische Einführung von ML obliegt meistens den BI- und IT-Profis. Viele Anwender holen sich aber auch externe Hilfe.
Wo Externe helfen
Datenexploration, Skill-Aufbau und Implementierung sind die Bereiche, in denen Machine-Learning-Anfänger am häufigsten externe Hilfe suchen.

Vorher muss Volta allerdings erst einmal den Weg in die Praxis finden. Das soll beispielsweise mit Nvidias neuem Supercomputer "DGX-1" gelingen. Mit acht Tesla-V100-Rechenkarten kommt das System auf insgesamt fast 41.000 Rechenkerne. Flankiert werden die GPUs von zwei auf 2,2 Gigahertz getakteten Intel-Xeon-Prozessoren. Außerdem verfügt der Rechner Herstellerangaben zufolge über vier SSDs mit jeweils knapp zwei Terabyte Speichervolumen und läuft unter Ubuntu Linux.

Der DGX-1 soll im dritten Quartal des Jahres auf den Markt kommen und 149.000 Dollar kosten. Geplant ist ferner eine abgespeckte Variante, die DGX Station, mit vier GPU-Einheiten, die 69.000 Dollar kosten soll und Nvidia zufolge im vierten Quartal 2017 verfügbar sein soll. Beide DGX-Supercomputer sollen mit verschiedenen High-Performance-Computing- sowie Deep-Learning-Frameworks zusammenarbeiten, beispielsweise mit dem Nvidia-eigenen CUDA sowie Tensor und Caffe2.

Nvidia bietet Entwicklern GPU-Cloud

Um die Entwicklung von KI- und ML-Anwendungen zu unterstützen, hat Nvidia darüber hinaus sein Software Development Kit (SDK) aus der CUDA-Familie mit entsprechenden Volta-tauglichen Tools, Libraries und Treibern ausgestattet. Entwickler sollen zudem ihre KI-Lösungen mit Hilfe des von Nvidia zur Verfügung gestellten „Isaac Robot Simulator“ schneller und effizienter trainieren können. Ebenfalls zur Unterstützung der Entwickler hat der Grafikchip-Spezialist die Nvidia GPU Cloud (NGC) vorgestellt. Auf dieser Cloud-Plattform erhielten Entwickler Zugriff auf eine Software-Suite zur Entwicklung von Deep-Learning-Technologien, hieß es.

Künstliche Intelligenz aus der Cloud
Microsoft Machine Learning
Azure Machine Learning ist ein vollständig verwalteter Cloud-Dienst, mit dem Anwender Predictive Analytics-Lösungen generieren und bereitstellen können.
Microsoft Cognitive Services
Die Cognitive Services von Microsoft enthalten unter anderem Dienste für Bildanalyse und Gesichtserkennung.
Amazon ML
Amazon Machine Learning unterstützt den Anwender bei der Fehleranalyse von Vorhersagemodellen.
Amazon Bot
Mit Amazon Lex können Chatbots beispielsweise für Verbraucheranfragen erstellt werden.
Google API
Über APIs lassen sich Google AI-Services in eigene Anwendungen integrieren.
Google Tensorflow
Das von Google stammende Open-Source Framework Tensorflow ist die Basis von Cloud ML.
IBM Bluemix
IBM bietet auf der Cloud-Plattform Bluemix zahlreiche Watson-basierte AI-Anwendungen.
IBM ML
IBM Machine Learning ermöglicht die Entwicklung und den Einsatz selbstlernender Analysemodelle in der Private Cloud.
HPE Haven
Mithilfe der Gesichtserkennungs-API von HPE können Entwickler in Fotos gefundene Daten importieren, extrahieren und analysieren.
Salesforce Einstein
Salesforce Einstein: Predictive Content liefert Kunden auf Basis von maschinellem Lernen eine individuelle Empfehlung für das beste Produkt.

Neben der Entwicklung eigener Lösungen setzt Nvidia auch auf Partnerschaften, um seine KI-Infrastruktur im Markt zu etablieren. Beispielsweise bündle man mit SAP die Kompetenzen in den Bereichen KI und Software, um neue Business-Applikationen zu entwickeln, hieß es von Seiten Nvidias. Erste Anwendungen seien bereits verfügbar. So könnten Unternehmen beispielsweise mit Hilfe von SAP "Brand Impact" durch die Auswertung von Bild- und Video-Daten hinsichtlich der Darstellung von Aufstellern, Plakaten und ähnlichem den Erfolg von Werbemaßnahmen messen. Was früher manuell erfasst und ausgewertet werden musste, lasse sich nun mit Hilfe von Bilderkennung und -analyse wesentlich schneller und genauer bearbeiten.

Darüber hinaus kooperiert Nvidia auch mit Hewlett Packard Enterprise (HPE). Demzufolge sollen die auf SGI-Technik basierenden Hochleistungsrechner Apollo 2000, Apollo 6500 und Proliant DL380 Nvidias neue Tesla-GPUs unterstützen. Beide Unternehmen wollen ferner verschiedene Center of Excellence einrichten, in denen Benchmarks, Software und Proof-of-Concept-Projekte entwickelt werden sollen.Geplante Standorte sind unter anderem Korea, Sydney, Grenoble, Bangalore und Houston.

Geschäfte gehen ab

Die jüngsten Geschäftszahlen belegen, dass die Strategie Nvidias offenbar aufgeht. Im ersten Quartal des Geschäftsjahrs 2018 steigerte der Hersteller seinen Umsatz im Vergleich zum Vorjahresquartal um 48 Prozent auf knapp 1,94 Milliarden Dollar. Der Profit summierte sich auf 507 Millionen Dollar. Im Vorjahresquartal waren es 208 Millionen Dollar.

Noch steuert das Geschäft mit herkömmlichen Grafikchips für PCs und Notebooks den Löwenanteil zum Nvidia-Geschäft bei. Doch der Datacenter-Anteil wächst, wie Shanker Trivedi, Senior Vice President für die Datacenter-Sparte berichtete – von 143 Millionen Dollar Umsatz im ersten Fiskalquartal 2017 auf 409 Millionen Dollar im jüngst abgelaufenen ersten Geschäftsquartal 2018. Mittlerweile würden alle großen Cloud-Betreiber von AWS über Google und IBM bis hin zu Microsoft mit Azure GPU as a Service anbieten. Trivedi taxierte den mit eigenen Enterprise-Lösungen adressierbaren Markt auf ein Volumen von zirka 30 Milliarden Dollar.