Cerebras Systems bringt KI-Supercomputer

Supercomputer mit 16 Chips in Tellergröße

16.11.2022
Von 
Jürgen Hill ist Chefreporter Future Technologies bei der COMPUTERWOCHE. Thematisch befasst sich der studierte Diplom-Journalist und Informatiker derzeit mit aktuellen IT-Trendthemen wie KI, Quantencomputing, Digital Twins, IoT, Digitalisierung etc. Zudem verfügt er über einen langjährigen Background im Bereich Communications mit all seinen Facetten (TK, Mobile, LAN, WAN). 
Mit Andromeda bringt Cerebras Systems einen KI-Supercomputer mit 13,5 Millionen Kernen. Seine Spezialität: Deep Learning.
Andromeda ist ein auf KI-Rechenleistung getrimmter Supercomputer.
Andromeda ist ein auf KI-Rechenleistung getrimmter Supercomputer.
Foto: Cerebras Systems

Für seinen neuen KI-Supercomputer Andromeda gibt Cerebras Systems ein KI-Rechenleistung von über 1 Exaflop bei halber 16-Bit-Präzision an. Zum Vergleich: Der derzeit schnellste Rechner der Welt, Frontier, befindet sich in den Oak Ridge National Labs und kann 1,103 Exaflops bei 64-Bit-Doppelpräzision leisten. Während der Bau dieses Computers rund 600 Millionen Dollar kostete, beziffert Cerebras die Kosten für Andromeda auf 35 Millionen Dollar. Andromeda steht in einem Rechenzentrum in Santa Clara, Kalifornien.

850.000 Kerne pro Chip

Andromeda selbst besteht aus einem Cluster von 16 miteinander verbundenen Cerebras-C-2-Computern. Jeder CS-2 enthält einen Wafer-Scale-Engine-Chip (oft als "WSE-2" bezeichnet), den derzeit größten jemals hergestellten Siliziumchip mit einer Größe von etwa 8,5 Zoll im Quadrat und 2,6 Billionen Transistoren, die in 850.000 Kernen organisiert sind.

In dem Supercomputer sind Chips in Tellergröße verbaut.
In dem Supercomputer sind Chips in Tellergröße verbaut.
Foto: Cerebras Systems

Der Supercomputer ist laut Cerebras für Anwendungen wie große Sprachmodelle konzipiert und wurde bereits für akademische und kommerzielle Arbeiten eingesetzt. Nach Darstellung von Cerebras offeriert Andromeda eine nahezu "perfekte Skalierung" durch einfache Datenparallelität über große Sprachmodelle der GPT-Klasse, einschließlich GPT-3, GPT-J und GPT-NeoX.

Pluspunkt Skalierbarkeit

Mit der Formulierung "nahezu perfekte Skalierung" will der Hersteller unterstreichen, dass sich die Trainingszeit für neuronale Netze verkürzt, wenn mehr CS-2-Computereinheiten zu Andromeda hinzufügt werden. Normalerweise würde die Skalierung eines Deep-Learning-Modells, so Ars Technica, durch das Hinzufügen von mehr Rechenleistung bei GPU-basierten Systemen mit steigenden Hardwarekosten zu einem abnehmenden Ertrag führen. Andromeda dagegen soll Aufgaben ausführen können, die GPU-basierte Systeme nicht beherrschen. Damit könnte der Cerebras-Supercomputer eine Alternative zu großen Nvidia-GPU-Clustern sein, die häufig in Unternehmen für Deep-Learning-Modelle genutzt werden.

Andromeda kann mehreren Benutzern remote genutzt werden. Erste User sind die kommerzielle Schreibhilfe JasperAI, das Argonne National Laboratory sowie die Universität Cambridge.