Schon in den achtziger Jahren bot die ehemalige Digital Equipment Corp. (DEC) ihren Kunden Vax-Cluster an. Damit stand eine einfach zu verwaltende und erweiterbare Rechnerleistung zur Verfügung. Die Cluster bestanden aus gekoppelten Minicomputern und entwickelten sich zu Arbeitspferden in den Forschungsabteilungen. DEC verband sie mit einem lokalen Hochgeschwindigkeitsnetz. Nach Betriebssystem-Erweiterungen in VMS für die Kommunikation teilten sich die Vax-Rechner Ressourcen und stellten sich nach außen als ein einziger Rechner dar. Damit attackierten die Vax-Cluster auch die großen Rechenzentren.
Middleware verteilt ProgrammeEtwa 1990 erhielten die Mitarbeiter in Forschungseinrichtungen, Hochschulen und Entwicklungsabteilungen der Industrie leistungsfähige Unix-Workstations. Die rechenhungrigen Wissenschaftler entdeckten bald, dass ihre Computer am Wochenende und nachts wenig oder gar nicht arbeiteten - die Rechenpower stand nutzlos herum.
In den USA starteten zu dieser Zeit Projekte zum Entwickeln einer Middleware, um Batch-Jobs auf die vernetzten Rechner zu verteilen und parallel abzuarbeiten. Ein Ergebnis war die Parallel Virtual Machine (PVM) von Vaidy Sundaram. Die freie Software basiert auf vernetzten, heterogenen Rechnern und lässt diese als ein Parallelrechnersystem erscheinen. Inzwischen ist PVM auch auf die Microsoft-Betriebssysteme portiert. 1992 präsentierten Entwickler einen Vorschlag für das Message Passing Interface (MPI) zur schnellen Kommunikation der Rechner. Sie verabschiedeten den Standard nach eineinhalb Jahren. Über MPI startet der Programmierer die Rechnerknoten mit Hilfe von Unterprogrammaufrufen, verteilt Programme und Daten auf sie, tauscht Daten zwischen ihnen aus und sammelt sie ein.
Eine weitere wichtige Komponente im Cluster-Umfeld ist die Lastverteilungssoftware. Sie kennt den Status und die Leistungsfähigkeit der einzelnen Workstations und schickt den ankommenden Batch-Job auf die geeignete Maschine. Die bekanntesten Systeme sind Gridware, von Sun Microsystems zum kostenlosen Herunterladen angeboten, und Load Sharing Facility (LFS) von der kanadischen Firma Platform Computing.
Die genannten Cluster bestanden aus vorhandenen, über das lokale Netz verbundenen Workstations - so genannten Network of Workstations (NOW). Mit den "Beowulf"-Clustern entstand 1994 eine neue Klasse von Systemen. Damals bauten Thomas Sterling und Don Becker aus Massenkomponenten das erste Beowulf-Cluster mit der Bezeichnung Commodity off the Shelf (Cots). Die Entwickler vernetzten 16 Intel-80486-PCs mit einem dualen 10-Mbit/s-Ethernet zu einem großen Rechner.
Beowulf-ClusterDie Beowulf-Cluster, in der Folge auch als Cluster of Workstations (COW) bezeichnet, bestehen aus Rechnerknoten, die ausschließlich zu diesem Verbund gehören. Die Knoten sind über ein internes Netzwerk verbunden und können daher schneller kommunizieren. Als Software werden offene und hardwareunabhängige Bausteine verwendet: Linux, GNU-Compiler, Werkzeuge und Bibliotheken wie PVM und MPI. Auf diesem Prinzip beruhen heute viele Cluster mit unterschiedlichen Prozessorarchitekturen. Inzwischen entwickelt und unterstützt beispielsweise die Firma Scyld Computing Corp. Hochleistungslösungen, die auf offenen Systemen wie dem Beowulf-Cluster beruhen.
Schon bald zeigte sich eine Schwäche dieses Systems: Die Kommunikationsleistung über Ethernet war für Programme mit regem Datenaustausch zwischen den Prozessoren zu schwach. Damit wurden schnelle interne Netze, also System Area Networks (SANs), erforderlich. Hier bieten inzwischen einige Unternehmen standardisierte oder eigenentwickelte Lösungen an. Dazu gehört etwa Myrinet von Myricom. Die Interface-Karten und -Treiber sind für PCs, Alpha- und Sun-Workstations verfügbar. Die Nominalbandbreite beträgt 160 MB/s. Der norwegische Hersteller Dolphin unterstützt Scalable Coherent Interface (SCI), einen IEEE-Standard, und verbindet bis zu 65 536 Knoten in beliebiger Topologie mit einer Bandbreite von 170 MB/s. Scali nutzt ebenfalls die Dolphin-Karten und offeriert fertige Systeme mit SMP-Knoten (SMP = Symmetrical Multiprocessing) aus Intel- oder Sparc-Prozessoren.
Große Cluster in DeutschlandErste Cluster-Forschungsprojekte begannen schon 1995 an deutschen Hochschulen. Zum Teil bauten Institute oder Rechenzentren die Cluster selbst auf, kauften sie ein oder bezogen nur die Komponenten bei Systemlieferanten. Das Cluster am Paderborn Center of Parallel Computing (PC2) etwa lieferte Fujitsu-Siemens Computers (FSC) im Frühjahr 1999. Damals war es mit 192 Pentium-II-Prozessoren (450 Megahertz) ausgestattet.
Da diese Intel-CPUs inzwischen veraltet sind, wollte das PC2 die Boards durch Pentium III mit 850 Megahertz ersetzen. Der Aachener Unix-Integrator ICT und FSC rüsteten 50 Prozent der Knoten aus. Das PC2 installierte zunächst die neuen Knoten und schickte die übrigen Rechner ebenfalls zum Nachrüsten. Nach vier Wochen erhielten die Wissenschaftler für etwa zehn Prozent des Neupreises fast eine Verdoppelung der Rechenleistung. Die gesamte Infrastruktur wie auch das SAN von Scali konnten weiterhin genutzt werden. Die Anwendungen arbeiteten um 60 bis 100 Prozent schneller, was auch auf größere Cache-Speicher zurückzuführen war.
Alpha-VerbundEin Beispiel für geclusterte Workstations bietet das Institut für angewandte Informatik der Universität Wuppertal. Im Herbst 1999 lieferte Compaq einen Alpha-Cluster mit Myrinet-Verbindung. Zunächst kamen 64 "DS10" - Workstations (466 Megahertz) zum Einsatz, später rüstete Compaq das System auf 128 Rechner mit 600-Megahertz-CPUs und 128 MB Speicher aus. Hier kostete das Netzwerk etwa ein Drittel des Gesamtpreises.
Die Universität Chemnitz installierte im Sommer 2000 das "Chemnitzer Linux Cluster" (Clic). Es ist derzeit das leistungsfähigste europäische System in der Top-500-Liste der Supercomputer. Zur Austattung gehören 528 Intel-Pentium-III Knoten: Jeder dieser Rechner arbeitet mit 800 Megahertz, 512 MB SDRAM und einer 20,4-GB-Festplatte. Zwei identische Server-Knoten mit1 GB SDRAM steuern den Rechner. Der Zugriff erfolgt über das Fast-Ethernet-Hochschulnetz. Als SAN nutzt das Cluster intern ein zweites Fast-Ethernet-System mit 100 Mbit/s Bandbreite.
Nach Angaben der Chemnitzer Systemverantwortlichen war dieses SAN fast so teuer wie das Cluster selbst. Insgesamt kostete der Rechner zweieinhalb Millionen Mark, bietet aber eine Spitzenleistung, die vergleichbar ist mit einem Supercomputer für zwölf bis 15 Millionen Mark. Laut der aktuellen Top-500-Liste von Professor Hans Meuer (http://clusters.top500.org) beträgt die Spitzenleistung 422 Gigaflops (Milliarden Rechenoperationen pro Sekunde). Der Linpack-Benchmark liegt bei 143,3 Gigaflops. Dieser Wert entspricht etwa einem 128-Prozessor-Supercomputer von NEC oder einer großen IBM-SP-Installation mit mehr als 250 Power-3-Prozessoren.
Die Betriebserfahrungen mit einem 528-Knoten-Cluster zeigten, dass Open-Source-Software nicht immer direkt einsetzbar war, sondern an die Situation in Chemnitz angepasst werden musste. Auch die kostenlosen Compiler brachten zunächst nicht die erwartete Leistung, daher untersucht das Zentrum derzeit kommerzielle Compiler. Das ostdeutsche Rechenzentrum nutzt aber auch Beowulf-Werkzeuge, beispielsweise zum Monitoring. (wh)
*Uwe Harms ist freier Journalist in München.
Linkshttp://clusters.top500.org
http://www.par-tec.com
http://www.dolphinics.com
http://www.giga-net.com
http://www.scali.com
http://www.myri.com
http://www.viarch.org
http://www.quadrics.com
http://www.beowulf.org
http://www.gnu.org
http://www.scyld.com
http://www.compaq.de
http://www.quantx.com
http://www.api-networks.com
http://www.hpcline.de
http://www.sun.com/gridwarec
ASP in der ForschungDer Sonderforschungsbereich SFB 382 an der Universität Tübingen baute ein 98-Knoten-Cluster mit Dual-Pentium-III-CPUs (650 Megahertz) und einem Gesamtspeicher von 100 GB. Der Rechner ist in ein Förderprojekt des Landes eingebunden und soll auch Application- Service-Providing (ASP) für technisch-wissenschaftliche Anwendungen mit der Industrie leisten. Die Knoten sind über Myrinet-Highspeed-Karten verbunden. In der jüngsten Top-500-Liste erreichte das System Platz 215 mit 96,2 Gigaflops im Linpack-Benchmark; die Spitzenleistung erreichte 127 Gigaflops.
Abb: Vereinte Rechnerkräfte
Das Chemnitzer Linux-Cluster (Clic) besteht aus 128 Rechnerknoten. Quelle: Harms