Die Bezeichnung LRDIMM steht für Load Reduced Dual Inline Memory Module. Dahinter verbirgt sich ein r Speicherstandard für Serversysteme. Ähnlich wie die FB-DIMM-Technologie, die Intel vor einigen Jahren für seine Serverplattformen entwickelt hat, basiert auch LRDIMM auf einem seriellen Bus-System. Die zentrale Komponente bildet dabei ein sogenannter Isolation Memory Buffer (iMB). Im Gegensatz zum AMB (Advanced Memory Buffer) des FB-DIMMs arbeitet dieser nicht mit einem speziellen Signalprotokoll, sondern funktioniert wie ein herkömmlicher Registered-DIMM-Speicher.
Die LRDIMM-Speichertechnologie will dem wachsenden Speicherbedarf im Serverumfeld begegnen, in dem es den maximalen Speicherausbau analog zum steigenden Speichertakt garantiert. Gerade in den aktuellen Serverplattformen - Romley von Intel und Interlagos von AMD -sind hohe Speicherkapazitäten und Speichertaktfrequenzen möglich. Allerdings kann man den Speicher mit herkömmlichen RDIMMs maximal ausbauen.
So besitzt zum Beispiel die Xeon-E5-2600-Familie von Intel einen Speicher-Controller mit vier DDR3-Channels, die mit Geschwindigkeiten von bis zu 1600 MHz arbeiten. Pro Speicherkanal lassen sich dabei maximal drei Module ansprechen. Allerdings garantiert der Hersteller die volle Speichergeschwindigkeit von 1600 MHz nur bei einer Bestückung mit zwei Modulen. Bei einem Ausbau mit drei DIMMs schaltet der Speichercontroller auf 1333 MHz zurück. Die maximale Speicherkapazität gibt Intel mit 768 GByte an.
Darüber hinaus ist mit DDR3-1600 die Entwicklungsfähigkeit der RDIMMs in Bezug auf Signalstabilität, Ausbaufähigkeit und Performance nahezu ausgeschöpft.
Unser Artikel erläutert ausführlich die technischen Details der LRDIMM-Speichertechnologie und informiert über die aktuelle Situation sowie die künftige Entwicklung des LRDIMM-Speichers. Darüber hinaus haben wir die Speichertechnologie in einem aktuellen System auf ihre Leistungsfähigkeit im Vergleich zum RDIMM getestet.
LRDIMM-Architektur
Foto: Inphi
Das LRDIMM unterstützt ausschließlich herkömmliche DDR3-Speicherbausteine. Jedes Modul besitzt neben den Speicherchips einen speziellen Isolation Memory Buffer (iMB). Dieser bildet einen zentralen Knotenpunkt auf dem Speichermodul. Über diesen Controller-Chip gelangen Steuer- und Adressinformationen und auch die Daten vom Speicher-Controller zu den Speichermodulen und umgekehrt.
Foto: Inphi
Auf einem Speichermodul sind bis zu 36 RAM-Bausteine zulässig. In der Regel befinden sich auf einem doppelseitig bestückten DIMM-Modul neben dem Buffer-Chip 2 x 18 Speicherbausteine. Somit kann zum Beispiel der Intel Xeon E5-2690 mit seinen vier integrierten Speicher-Controllern und dem Triple-Channel-Interface bis zu 432 Speicherbausteine ansteuern.
Die Abfrage der SPD-Informationen der Module und der Zugriff auf die Konfigurations- und Statusregister des iMB erfolgt auf dem herkömmlichen Wege über einen separaten SMBus. Die Informationen verwendet der Speicher-Controller, um den Datentransfer auf die jeweilige Konfiguration abzugleichen.
Elektrische Parameter
Nach aktuellen Angaben von Intel (Xeon E5-2600-Familie) beträgt die maximale Datenrate pro Speicherkanal 1600 MT/s. Dabei dürfen aber nur je maximal zwei Dual-Rank-Module von den vier Speicherkanälen angesteuert werden. Will man alle drei Speicher-Slots nutzen, schaltet der Speichercontroller auf 1333 MT/s zurück, da die Last von 2 x 2 auf 2 x 3 Lasteinheiten (Ansteuerung der Speicherchips) auf den Signalleitungen steigt. Dieses Manko haben LRDIMMs nicht, denn die Datenleitungen steuern pro Modul mit Quad-Rang-Bestückung mit dem iMB-Chip nur eine statt vier Lasten an.
Foto: Inphi
Daraus resultieren zwei Vorteile: Bei gleicher Taktrate kann der Anwender durch Verwenden von LRDIMMs die Speicherkapazität zwischen Faktor zwei und drei erhöhen. Umgekehrt betrachtet kann der Anwender durch Nutzung der LRDIMM-Technologie die Speicherkanäle mit der maximalen Speicherkapazität nutzen, ohne dass die Datentransferleistung reduziert werden muss.
Mittlerweile bieten viele namhafte Speichermodulhersteller LRDIMMs an. So kann man beispielsweise zwischen einer 1,5-Volt-Variante und einem sparsamen Low-Voltage-Modul mit einer Betriebsspannung von 1,35 V wählen. Die maximale Speichertransferleistung liegt bei den aktuellen Modulen bei 1600 MT/s. Versionen mit 1333 MT/s und 800 MT/s sind ebenfalls erhältlich. Die Vier-Rank-Module bieten dabei Speicherkapazitäten von 8, 16, 32 und 64 GByte pro Speicherriegel.
Mechanische Kenngrößen
Auf den ersten Blick unterscheidet sich ein doppelseitiges LRDIMM-Modul nur wenig von einem Registered-Speichermodul. Der Formfaktor beziehungsweise die Abmessungen sind identisch. Auch die Anzahl der Anschlusskontakte bleibt unverändert bei 240 Pins. Bei näherer Betrachtung stellt man fest, dass sich auf jeder Seite je 18 Speicherbausteine befinden. Darüber hinaus erkennt man auf einer Seite, dass der Chip mit Registerfunktion durch ein Buffer-IC ersetzt wurde, und auch ein SPD-EEPROM ist noch vorhanden. Die Kodierkerbe des Moduls ist trotz einer "anderen Speichertechnologie" gleich geblieben. In der folgenden Tabelle finden Sie die mechanischen Unterschiede zwischen einem herkömmlichen Registered-DIMM und dem Load-Reduced-DIMM aufgelistet:
|
Registered-DIMM |
Load Reduced DIMM |
|
|---|---|---|
|
Abmessungen [mm] |
133,5 x 30,5 |
133,5 x 30,5 |
|
Anzahl der Anschlusskontakte |
240 |
240 |
|
Kodierkerbe |
4 mm rechts von der Modulmitte |
4 mm rechts von der Modulmitte |
|
Anzahl der Speicherbausteine |
9, 18, 36 |
9, 18, 36 |
|
weitere Bauelemente |
1, 2 oder 4 Register, 1 PLL-Clock-Buffer, 1 SPD-EEPROM |
1 Isolation Memory Buffer (iMB), 1 SPD-EEPROM |
Um Temperaturprobleme von vornherein auszuschließen, haben die Entwickler dem iMB-Baustein auf einem Standard-LRDIMM eine Kühlmöglichkeit verpasst. Dieser Steuerbaustein benötigt je nach Auslastung mehr oder weniger elektrische Leistung und muss dann die entsprechende thermische Verlustleistung über ein Kühlsystem abführen. Dieses besteht hauptsächlich aus einem passiven Kühlkörper, der über einen Befestigungsclip und zwei Fixiernasen auf der DIMM-Platine angebracht wird.
Zukunft der LRDIMM-Technologie
Foto: Inphi
Wenn es um die Akzeptanz der LRDIMM-Speichertechnologie geht, spielen der Prozessorhersteller Intel und AMD eine Schlüsselrolle. Die Unternehmen unterstützen mit ihren aktuellen Serverprozessoren Sandy Bridge EP und Interlagos sowohl die herkömmliche RDIMM- als auch die neue LRDIMM-Speichertechnologie. Das JEDEC-Gremium unterstützt diese Technologie ebenfalls mit entsprechenden Standards. So ist es nicht weiter verwunderlich, das mittlerweile alle namhaften Hersteller entsprechende LRDIMMs in ihrem Portfolio haben. Eine derart breite Zustimmung hatte die gescheiterte FB-DIMM-Technologie seinerzeit nicht.
Aus technologischer Sicht hat LRDIMM durchaus das Potenzial, sich gegen RDIMMs durchzusetzen, denn die Vorteile überwiegen. Darüber hinaus gibt es neben dem Unternehmen Inphi mit iMB auch die Firma IDT mit MB3, die einen speziellen Buffer-Chip für das LRDIMM anbietet.
LRDIMM im Test
Als Testsystem verwenden wir den Dell PowerEdge R520. In diesem Gerät werkeln zwei Intel-Xeon-E5-2430-Prozessoren. Der 2U-Rackmount-Server verwendet als Chipsatz den Intel C600. Jedem Prozessor haben wir drei LRDIMMs DDR3-1333-DIMMs Samsung 2Rx4 PC3-10600R (M386B2K7-DM0-YH90) mit je 16 GByte Kapazität zur Verfügung gestellt. Insgesamt verfügt der Server dank der sechs eingesetzten DIMMs über 96 GByte RAM. Optional sind pro CPU sechs DIMMs (2 pro Channel) möglich. Als Gegenpart zur LRDIMM-Bestückung setzen wir 6 x 8 GByte RDIMMs von Samsung (M393B1K7DH0-CK0) ein.
Die Energieeffizienz der Serverplattformen überprüfen wir mit der Benchmark-Suite SPECpower_ssj2008 unter Windows Server 2008 R2 mit SP1. Der Test verwendet parallel laufende Java-Workloads mit aufwendigem XML-Processing. Der Benchmark gibt die gemittelte Performance pro Watt an, die über alle Lastzustände von 10 bis 100 Prozent gemessenen wird.
Als zweiten Benchmark setzen wir Linpack ein. Dieser speicherintensive Benchmark löst komplexe lineare Gleichungssysteme. Linpack dient als verbreitetes Tool zum Ermitteln der Floating-Point-Performance von Highend-Computern. Das Ergebnis wird in GFlops (Fließkomma-Operationen pro Sekunde) angegeben. Zusätzlich nutzen wir den STREAM-Benchmark (TRIAD), um die Speicher-Performance auszuloten.
|
LRDIMM 6 x 16 GByte |
LRDIMM 12 x 16 GByte |
RDIMM 6 x 8 GByte |
RDIMM 12 x 8 GByte |
|
|---|---|---|---|---|
|
SPECpower Overall Performance Ops / Watt |
2576 |
2281 |
2805 |
2590 |
|
SPECpower / Java-Performance ssj_ops |
706.073 |
708.215 |
715.199 |
716.268 |
|
Max. Leistungsaufnahme des Systems Watt |
222 |
249 |
209 |
227 |
|
STREAM (TRIAD) GFlops/s |
29,4 |
29,5 |
29,3 |
29,4 |
|
Linpack GByte/s |
206,8 |
210,8 |
211,6 |
213,4 |
In puncto Performance liegen die beiden Testkandidaten LRDIMM und RDIMM nahezu gleichauf. Die Differenz ist nicht größer als 2 Prozent und liegt im Rahmen der Messungenauigkeit. Performance-Vorteile von LRDIMMs werden damit erst in Servern mit hoher Speicherkapazität, etwa einem System mit zwei Intel-Xeon-E-2690-Prozessoren und 24 vollbestückten DIMM-Slots, deutlich zu erkennen sein. Denn in dieser Konfiguration muss der Speicher-Controller im Gegensatz zu LRDIMM die Taktfrequenz bei RDIMMs reduzieren, um die Signalintegrität zu gewährleisten. Wir werden das in einem weiteren Test überprüfen und ein Update nachliefern.
Allerdings ist bei der Leistungsaufnahme bei gleicher Anzahl von DIMMs deutlich zu erkennen, dass LRDIMM durch den iMB-Baustein 13 Watt beziehungsweise 22 Watt mehr benötigt. Vergleicht man dagegen nur die installierte Kapazität, ergeben sich 5 Watt Differenz zugunsten von LRDIMM.
Fazit und Ausblick
Ähnlich wie die gescheiterte FB-DIMM-Speichertechnologie ist das Load Reduced RDMM mit einem Buffer-Chip ausgestattet. Allerdings ist diese Technologie kompatibel zu herkömmlichen RDIMMs, die überwiegend im Serverumfeld eingesetzt werden. Der große Unterschied zwischen RDIMM und LRDIMM liegt indes darin, dass alle Adress-, Steuer und Datenleitungen über einen zentralen Steuerchip - den iMB - vom Speichercontroller der CPU zu den einzelnen Speicherchips geleitet werden. Das reduziert bei mehreren Speicherbänken pro Modul die Signallast auf nur einen "Lasteingang", sodass die Signalintegrität der Datenleitung davon deutlich profitiert.
Gegenüber der herkömmlichen Speichertechnologie bedeutet das in der Praxis: Es können pro Speicherkanal deutlich mehr LR-Speichermodule bei maximaler Taktfrequenz eingesetzt werden als bei Verwendung von RDIMM, da bei diesen die Datenleitungen zur jeder Speicherbank führen und so jedes Datensignal stark belastet wird.
Unser Test zeigt, dass bei gleicher Speicherkapazität - 6 x 16 GByte LRDIMM und 12 x 8 GByte RDIMM - die Performance- und Leitungsunterschiede im Rahmen der Messungenauigkeit und der eingesetzten Testplattform, wie erwartet, sehr gering sind. Dies sollte sich in Plattformen mit mehr Speicher-Slots pro Speicherkanal und bei Vollbestückung deutlich zugunsten von LRDIMM ändern, weil dabei der Speichertakt nicht heruntergeschaltet wird, wie es bei RDIMMs nötig ist.
Da mittlerweile sowohl Intel als auch AMD die LRDIMM-Technologie in ihren Plattformen unterstützen, scheint die Akzeptanz der neuen Module gesichert zu sein. Darüber hinaus bieten nahezu alle namhaften Hersteller entsprechende Speicherriegel an. Auch die Kompatibilität zu bestehenden Memory-Sockeln und der wachsende Bedarf an Hauptspeicher dals Folgeurch die Virtualisierungstechnologien in Servern werden zur Verbreitung von LRDIMMs beitragen.
Allerdings ist der Preis der 16-GByte-LRDIMMs gegenüber herkömmlichen 8-GByte-RDIMMS bei gleicher Kapazität aktuell etwa drei Mal so hoch. Doch in dem Umfeld, in denen diese Module eingesetzt werden, spielen die maximale Speicherkapazität und die Performance eine wichtigere Rolle als der Preis für die Speichermodule. (hal)
Dieser Artikel basiert auf einem Beitrag der CW-Schwesterpublikation TecChannel.