Prinzipiell arbeiten alle cc:Numa-Systeme nach dem gleichen Modell: Mehrprozessor-Knoten mit verteiltem Speicher werden zusammengebunden, wobei ein großer, gemeinsam genutzter Speicherraum entsteht. Alle Knoten teilen sich eine Kopie des Betriebssystems. Die einzelnen Hersteller unterscheiden sich jedoch insbesondere hinsichtlich des Verbindungsteils, der die Kommunikation zwischen den einzelnen Knoten regelt. Auch die verwendete Bus-Struktur zwischen den Prozessorknoten ist unterschiedlich aufgebaut.
Bereits 1981 wurde von BBN in den USA das erste System mit einem Non-Uniform Memory Access gebaut, das den schönen Namen "Butterfly" erhielt. An der Stanford University entwickelte 1992 ein Team die erste Cache-Coherent-Numa-Maschine, den "Dash"-Rechner mit 32 Prozessoren.
Data General nutzte das Verfahren als einer der ersten Hersteller kommerziell und liefert seit vergangenem Jahr cc:Numa-Systeme aus - auf Basis der RISC-Prozessoren "88K" von Motorola. Silicon Graphics verwendet für seine neuen "Origin-2000"-Rechner, die ebenfalls dem cc:Numa-Ansatz folgen, die RISC-Chips "R 10000" der Tochterfirma Mips. Und auch das von Siemens-Nixdorf übernommene Unternehmen Pyramid will für seine geplanten Numa-Systeme die Mips-Bausteine verwenden.
Intel hat der cc:Numa-Bewegung durch die Vermarktung der als "Quad"-Boards bezeichneten Standard-High-Volume-(SHV-) Prozessorplatinen mit jeweils vier Pentium-Pro-Chips einen weiteren Anstoß gegeben. Die vorgefertigten Boards erlauben es den Herstellern, relativ einfach größere SMP-Systeme zu bauen als bisher möglich. Da die Knoten jeweils nicht mehr nur aus einer, sondern aus vier CPUs bestehen, kann die Bus-Länge so kurz gehalten werden, daß sich trotz vieler Prozessoren akzeptable Antwortzeiten erreichen lassen.
Ein weiterer Vorteil von cc:Numa liegt darin, daß bestehende Unix-Programme ohne Änderung weiterverwendet werden können. Sie nutzen dabei aber die Vorteile der Architektur nicht aus.
Die Hardwarehersteller hoffen, daß zukünftig auch das boomende Betriebssystem Windows NT auf ihren Rechnern zum Einsatz kommen kann. Derzeit wartet die Industrie auf Microsofts "Wolfpack"-Cluster-Technik, mit der sich die Skalierbarkeit von NT erhöhen soll.
Sequent verwendet für seine "Numa-Q"-Architektur ebenfalls die Intel-Karten, die allerdings stark modifiziert wurden. So sind die Original-Quads in 13-Layer-Technik ausgelegt, Sequents Design basiert auf 18 Layern. Die modifizierten Boards arbeiten unter anderem mit doppelter Kühlung, Monitoring-Chip und kürzerem Bus zwischen den CPUs.
Vitesse liefert die Datenpumpe
Als Bus-System hat der Hersteller aus Beaverton, Oregon, zwei Ringe für I/O-und Prozessordaten implementiert. Die für den I/O-Verkehr zuständige Verbindung bewegt bis zu 500 MB in der Sekunde. Der Leitungsweg für die Hauptspeicherdaten ist doppelt so schnell (siehe Abbildung auf Seite 39).
Kernstück von Numa-Q ist die "IQ-Link"-Karte, über die die Daten aus den Quad-Boards auf den SMP-Bus gelangen. Sequent hat diese Karte, die einen Vier-Wege-Cache-Speicher mit 32 MB enthält, zusammen mit der französischen Firma Vitesse entwickelt. Die Franzosen steuerten insbesondere die "Datenpumpe" bei. Dieser Gallium-Arsenid-Chip auf der IQ-Link-Karte empfängt und verschickt die Datenpakete.
Der IQ-Link ist vor allem zuständig für die Cache-Kohärenz auf Basis der Scalable-Coherent-Interface-(SCI-)Spezifikationen des ANSI-Komitees. Er vergleicht Cache- und Speicherinformationen auf dem lokalen Bus mit den entsprechenden Informationen anderer Knoten und stellt die Datenkohärenz sicher. Außerdem fordert die Karte benötigte Daten aus anderen Knoten für den eigenen an.
Große Cache-Speicher verringern Datenverkehr
Da dem verarbeitenden Prozessor Daten aus seinem lokalen Speicher schneller zur Verfügung stehen als solche aus den Speichern der anderen CPUs des Knotens oder gar der entfernten Quad-Boards, versucht man die Systemleistung mit großen Cache- und Hauptspeichern zu optimieren. Damit soll der Datenverkehr auf dem Bus verringert werden, so daß nach Angaben des Herstellers die von herkömmlichen SMP-Systemen bekannte Beschränkung auf 16 bis 32 Prozessoren entfällt.
Sequent benennt für seine Architektur die theoretischen Grenzen. Danach lassen sich maximal 252 Prozessoren beziehungsweise 63 Quad-Boards mit insgesamt 64 GB Speicher koppeln. Die System-Bus-Bandbreite reicht bis zu 32 GB/s, die des I/O-Systems bis zu 16 GB/s. Die Kapazität der Massenspeicher liegt bei 100 TB, wobei gemischte Speichertypen und Verbindungen möglich sind, also SCSI und/oder Fiber Channel.
Nach Aussagen von Sequent liegt die ganze Funktionalität der Numa-Q-Systeme in der Hardware und dem Betriebssystem, die Anwendungsprogramme bleiben davon unberührt. Allerdings sollten auch diese - für eine optimale Ausnutzung der Hardware - angepaßt werden (siehe nebenstehendes Interview).
Die Ingenieure in Beaverton modifizierten das hauseigene Unix-Betriebssystem "Dynax/ ptx". Die Version 4.3 wurde speziell an die cc:Numa-Architektur angepaßt, ist allerdings nicht für andere Sequent-Maschinen geeignet.
Die Software sollte optimiert werden
Damit sich die Vorteile der Konfiguration überhaupt nutzten lassen, wurden beispielsweise die Scheduling-Prozesse für die Prozeßlokalität verbessert: Muß eine Berechnung öfter auf den Speicherbereich eines entfernten Quad-Boards zugreifen, wird der Prozeß dorthin verlegt, da die CPU die benötigten Daten schneller aus ihrem lokalen Speicher holen kann als aus einem entfernten. Diese Technik wurde als API auch den Datenbankanbietern Informix und Oracle zur Verfügung gestellt. Im zweiten Quartal 1997 soll die Version 4.4 als gemeinsames Betriebssystem für Numa-Q- und Symmetry-Systeme verfügbar sein. In Zukunft sollen sich beide Rechnerarten auch zu Clustern zusammenfassen lassen.