Hitzefrei in den Server-Räumen!

22.07.2005 von Ludger Schmitz
Immer mehr Rechenpower benötigt immer weniger Platz. Viele Anwender stellen sich neue Racks in die Server-Räume, bekommen aber mit der Abwärme der Rechner ein Problem. Doch es gibt Lösungen.

Kürzlich gab es einen TV-Werbespot von IBM, in dem ein Server verloren in einem Rechenzentrum stand. Die Konkurrenz spottet darüber: Die anderen Server hätten entfernt werden müssen, weil IBM Hitzeprobleme bekommen habe. Doch auch die Wettbewerber haben ihre Not. Um ein 46 Höheneinheiten hohes Rack voller "BX600"-Blades von Fujitsu-Siemens Computers zu kühlen, blasen die Lüfter pro Stunde 4738 Kubikmeter Luft durch das Regal. Klaus Fiege, Product Manager für "Primergy"-Rack-Server bei (FSC), gesteht: "Da kann man sich locker noch in zwei Meter Abstand die Haare trocknen."

Hier lesen Sie ...

  • wie schnell mit der Leistung der Rack-Server ihre Wärmeabgabe gestiegen ist;

  • welche Luftmengen zu ihrer Kühlung bewegt werden müssen;

  • welche Kardinalfehler bei der Klimatisierung gemacht werden;

  • wie sich mit einfachen und kostengünstigen Mitteln die Hitzeproblematik entschärfen lässt.

Erfahrungswerte sind überholt

DV-Spezialisten müssen einige thermische Gesetze beachten, um eine Überhitzung der Server zu verhindern. Quelle: Fujitsu-Siemens)

Server waren immer heiße Kisten. Zu Mainframe-Zeiten war Wasserkühlung gang und gäbe. Bei den ihnen folgenden Risc-Unix-Maschinen ließ sich das Wärmeproblem mit Luftkühlung lösen. Grob rechnete man in den 90er Jahren mit 500 bis 800 Watt Wärmeentwicklung pro Quadratmeter. Nur in Hochleistungsrechenzentren wurde mit 1200 Watt pro Quadratmeter kalkuliert. Doch dann kamen die flachen "Pizzabox"-Rack-Server mit Intel-Prozessoren in Mode. Jetzt halten hochkompakte Blade-Server in den Rechnerräumen Einzug. Und mit den Racks kam die Hitze.

Der Intel-Prozessor 80486 hatte noch eine Verlustleistung von 6,5 Watt. Mit dem Pentium Pro stieg die Wärmeabgabe in den 40-Watt-Bereich. Die einfache Xeon-CPU bringt es auf bis zu 70 Watt und der 64-Bit-Xeon "Nocona" auf 111 Watt. Etwas weniger heiß sind die Prozessoren von AMD. Der Standard-Opteron kommt auf 95 Watt.

Prozessoren sind jedoch nicht die einzigen Hitzefaktoren in den Servern, sondern für etwa die Hälfte der produzierten Wärme verantwortlich. Bei Intel kommt noch der Memory-Controller hinzu, der 22 Watt beiträgt. Auch die Chipsätze werden immer wärmer. Jeder moderne DIMM-RAM-Riegel verursacht weitere 20 Watt.

Hitze-Entwicklung pro Rack versechsfacht

Die Wärmebilanz der Rack-Server hat sich in wenigen Jahren dramatisch entwickelt. Der im Mai 1999 vorgestellte FSC-Server "Primergy 870" produzierte bei den damaligen 42U-Racks 3612 Watt ("U" = 4,4 Zentimeter). Im August 2004 brachte FSC den Blade-Server "BX600" auf den Markt. Er bringt es in den inzwischen 46U hohen Racks auf satte 23644 Watt. In rund fünf Jahren hat sich also die Hitzeentwicklung pro Rack mehr als versechsfacht.

Wärmeentwicklung und Kühlluft-Durchsatz einiger Primergy-Rack-Server von FSC

Die Hitze muss weg, sonst droht der Server-Kollaps. Die Rechnerhersteller schreiben Grenzwerte vor. Die empfohlene Betriebstemperatur beträgt in der Regel 25 Grad Celsius; maximal sind meistens 35 Grad zulässig. Die relative Luftfeuchtigkeit darf 30 Prozent nicht unterschreiten, sonst kommt es durch die trockene Luft zu statischen Aufladungen. Auf der anderen Seite sollte die relative Luftfeuchtigkeit nicht 55 Prozent überschreiten, um Korrosion zu verhindern.

Moderne Server haben eine Reihe von Sensoren, die sie ausschalten, sobald bestimmte Grenzwerte erreicht werden. Doch die Sicherungsmaßnahme führt dazu, dass Anwendungen ausfallen oder nicht mehr genug Rechenleistung bekommen. Dieser Faktor kommt die Unternehmen letztlich teuer zu stehen.

Ein ganz normaler Befund im Doppelboden: Kabelsalat behindert die gleichmäßige Durchströmung mit kalter Luft. (Foto: Stulz Klimatechnik)

Klimaanlagen sind daher längst übliche Geräte in den Server-Räumen. Doch oft werden sie mit der Hitzeentwicklung nicht fertig. Wohl alle Anwender haben in den letzten Jahren in ihren einst akzeptabel temperierten Rechnerräumen weitere Racks eingerichtet. "Da wurde erweitert nach der Frage: Wo hat das zusätzliche Rack noch Platz?" hat Kort-Hinrich Heumann, Vertriebsleiter Deutschland bei Stulz Klimatechnik in Hamburg, beobachtet. "Thermische Prinzipien haben die DV-Spezialisten oft einfach nicht beachtet."

Das Ergebnis sind bedrohliche Zustände in den Rechnerräumen. FSC-Spezialist Fiege: "Die Klimaanlagen arbeiten bei vielen Anwendern am Anschlag." Dabei ist ein Ende der Hitzewelle nicht abzusehen. "Die Rechen- und Abwärmeleistung pro Server wird in den nächsten Jahren erst einmal weiter um etwa 20 Prozent pro Jahr steigen", schätzt Fiege. Gleichzeitig setze sich der Trend zu immer höherer Rechnerdichte im Rack fort. "Dadurch wird die Wärmeleistung je Quadratmeter abermals steigen."

Hurrikan im Rechnerraum

Um die Hitze zu beheben, liegt eine Lösung nah: Der Luftdurchsatz muss erhöht werden. Doch bei massivem Einsatz von Rack-Servern entsteht eine Wärmeentwicklung, die laut Fiege "Hurrikan-ähnliche Windstärken"für die Luftkühlung erforderlich machen würde.

Es ist ebenfalls zwecklos, einfach kältere Luft in die Rechnerräume einströmen zu lassen. Diese hätte eine höhere relative Luftfeuchtigkeit. Der Effekt: Unterhalb des so genannten Taupunkts entsteht Nebel, der sich an den Rechnern in Bodennähe oder im Doppelboden als Wasser niederschlagen würde.

Zunächst scheinen jene Anwender gut dran zu sein, deren Rechnerräume einen Doppelboden haben. Durch diesen strömt von den Klimageräten kommende kalte Luft und entweicht über Schlitzplatten zu den Servern. Die von ihnen erhitzte Luft wird an der Decke wieder abgesaugt und zur Klimaanlage, dem "Computer Room Air Conditioner" (Crac), geführt. Doch in diesem Kreislauf gibt es Hindernisse und Abwege.

Kalte Luft kommt nicht an

Der erste Fehlerfaktor ist die Höhe des Doppelbodens. Diese wurde einmal berechnet für den Transport einer bestimmten Menge Luft, die zur Bauzeit für die Kühlung der Systeme benötigt wurde. Mit den Racks sind aber weit höhere Luftmengen erforderlich. Das Ergebnis ist ein heute stärkerer Luftstrom - mit Folgen: In der Nähe der Kühlsysteme ist die Luft noch so schnell, dass sie nicht aus den Gitterplatten hoch-, sondern an ihnen vorbeiströmt. Dabei zieht ihr Sog, der so genannte Bernoulli-Effekt, sogar warme Luft von oben in den Doppelboden, die sich dort mit der Kaltluft vermischt und die Kühlleistung mindert.

Wie eine Arterienverkalkung

Ob dieses Problem besteht, lässt sich einfach mit einem Blatt Papier testen. Über die Gitterplatten gehalten, sollte das Papier aufsteigen. Wenn es nach unten gesogen wird, muss diese Gitterplatte durch eine geschlossene Bodenplatte ersetzt werden. Folglich kann an dieser Stelle kein Server gekühlt werden. Genauso ist auf die häufig grob gesägten Ausschnitte in den Bodenplatten für Kabeldurchführungen zu achten. Sie müssen ebenso wie Spalte zwischen den Bodenplatten abgedichtet werden. Denn durch sie kann warme Luft angesogen werden oder kalte entweichen, obwohl an dieser Stelle keine Kühlung nötig ist.

Es lohnt sich, den "Untergrund" der Rechnerräume genauer zu untersuchen. In der Regel wird man auf einen beträchtlichen Kabelverhau stoßen, der die Luftdurchströmung behindert. "In der Medizin würde man von Arterienverkalkung reden", stellt Stulz-Manager Heumann fest. "Die Optimierung fängt im Doppelboden an."

Die Ausrichtung der Server zu kalten und heißen Gängen verbessert die Klimatisierung von Rechnerräumen.

Die Ursache des Chaos im Unterboden ist schnell ausgemacht. Pizzabox-Racks verlangen wegen der redundanten Auslegung mindestens zwei Strom- und zwei Netzwerkkabel pro Server. So kommen bei 1U-Servern für ein Rack 186 Strippen zusammen. Außerdem sind Kabelüberlängen aufgerollt, mehrere Kabel kreuzen sich über- statt nebeneinander, bei Server-Umbauten wurden die Kabel einfach abgeschnitten und im Boden liegen gelassen.

Einfache Sanierung wirkt

Hier kann man eine deutlich bessere Luftdurchführung und Kühlung ohne großen Aufwand erzielen: überflüssige Kabel entfernen, die Strippen kürzen und so verlegen, dass sie keine hohen Kreuzungen bilden. Hersteller wie IBM bieten Lösungen an, mit denen sich mehrere Kabel zu einem zusammenfassen lassen. Es ist nicht einmal zwingend erforderlich, die Kabel in Trassen zu führen. In der Regel ist es besser, sie am Boden liegen zu lassen, denn Kabeltrassen können den Luftaustritt an den Gitterplatten behindern.

Das nächste Problem ist die Positionierung der Schlitzplatten. Das DV-Personal neigt dazu, warme Areale im Server-Raum sofort dadurch zu bekämpfen, dass Kaltluftaustritte angebracht werden. Nichts ist falscher. Kalte Luft darf nur vor die Server geführt werden, niemals hinter sie.

Diese Fehlkonstruktion entsteht meistens dadurch, dass die Server falsch aufgestellt sind: Sie blicken alle in eine Richtung. Wenn jetzt jeweils vor den Servern Schlitzplatten angebracht sind, geschieht Folgendes: Der vorderste Server erhält genügend kalte Luft und gibt heiße nach hinten ab. Der nächste dahinter bekommt außer der Kaltluft aus dem Boden auch noch im oberen Teil einen Schwall heißer Luft vom "Vordermann". Der dritte in der Reihe ist am stärksten bedroht. Die Wirkung beschreibt Heumann: "Im oberen Drittel verrecken die meisten Server."

Server-Racks richtig anordnen

"Es ist grundfalsch, alle Racks in eine Richtung zu stellen", erklärt Paul Höcherl, IBM-Spezialist für Hochleistungs-Racks. Das richtige Prinzip heißt: "Kalter Gang, heißer Gang". (In manchen Quellen ist auch von "warmer Gang" die Rede.) Dabei stehen die Racks mit gehörigem Zwischenraum Rücken an Rücken.

Weil vorne auch noch Platz gebraucht wird, um Pizzaboxen oder Blades auszutauschen, kommt man auf einen Raumbedarf von etwa drei Quadratmetern pro Rack. Im kalten Gang erhalten die Server kühle Luft aus den Gitterböden. In den Rechnern erhitzt, wird die Luft in den heißen Gang geblasen, wo sie über genau platzierte Deckenentlüftungen zu den Klimageräten abgesaugt wird.

Doch dieses System funktioniert nur, wenn einige Regeln und Maßnahmen beachtet werden. Die sind allerdings sehr einfach und verursachen keine großen Kosten.

Zuerst ist die richtige Größe der Schlitzplatten wichtig. Zwei Faktoren spielen dabei eine Rolle: die nötige Luftmenge und die Geschwindigkeit der Luft nach dem Austritt aus dem Boden. Wenn die Schlitzplatte zu klein ist, erhöht sich die Geschwindigkeit der Luft so, dass sie an den unteren Servern vorbeiströmt, ohne angesaugt werden zu können. Nur die oberen Systeme bekommen genügend Luft.

Heiße Systeme verteilen

Ist die Schlitzplatte zu groß, sinkt die Luftgeschwindigkeit, und die oberen Server erhalten keine Kühlung. Durch einfache Temperaturmessung auf verschiedenen Höhen vor und hinter den Racks lässt sich feststellen, ob die Kaltluftzuführung über die ganze Höhe innerhalb der Sollwerte liegt.

Der nächste Punkt ist die Verteilung der Systeme. Die Hersteller machen in den Handbüchern genaue Vorschriften, welche Mindestabstände zu einem gleichen oder ähnlich heißen Server einzuhalten sind. Das Mischen von kalten und heißen Servern bringt eine gleichmäßigere Verteilung der Hitze, was die Kühlung vereinfacht.

Der Hitze keine Lücke lassen

Beim Aufstellungsprinzip kalte und heiße Gänge sollten Server in geschlossenen Reihen stehen. Lücken für eventuelle spätere Erweiterungen hebeln das Kühlungsprinzip aus: Die heiße Luft wird von der Rückseite wegen des Unterdrucks an der Vorderseite durch die Lücken nach vorne strömen. Es kommt zu einem so genannten thermischen Kurzschluss. Der lässt sich verhindern, indem die Lücken einfach mit einem Blech geschlossen werden. Der Luftbewegung oberhalb der Racks muss ebenfalls Beachtung geschenkt werden. Wenn Luft aus der heißen in die kalte Zone strömt, kommt es zu einem thermischen Kurzschluss bei den oberen Servern.

Auch innerhalb der Racks darf es keine Lücken geben. Es ist eine verbreitete, aber völlig falsche Annahme, man könne die Pizzaboxen besser kühlen, indem man zwischen ihnen Räume freilässt. Wenn nicht alle Höheneinheiten besetzt sind, strömt die heiße Luft durch diese Lücken nach vorn und wird dort wieder eingesogen. Gegen diese Form des thermischen Kurzschlusses wirken "Blanking Panels", einfache Dichtungsbleche.

Wenn diese Maßnahmen nicht ausreichen, hilft nur noch, was eigentlich der Alptraum jedes DV-Verantwortlichen ist: Wasser. Im Gegensatz zu den hier beschriebenen Verbesserungsme- thoden sind Lösungen, welche die Hitze mit Wasser von den Servern abführen, kostspieliger, und häufig verlangen sie bauliche Veränderungen.

Tücken der Klimatisierung

Besonders problematisch ist die Klimatisierung für all jene Anwender, die in ihren Rechnerräumen keine Doppelböden haben. Das ist vor allem bei kleinen und mittelständischen Unternehmen die Regel. Dort hängen Klimageräte an den Wänden und an der Decke, die auf der einen Seite Kaltluft nach unten drücken und auf der anderen Seite Warmluft ansaugen. Das führt zu Luftverwirbelungen, die schwer zu kalkulieren sind.

Schon die Klimageräte sind ein Problem. Die angegebene Wattleistung steht keineswegs für die Kühlung zur Verfügung. Ein Teil wird nämlich für die Regulierung der Luftfeuchtigkeit verbraucht. Noch schlechter wird es dadurch, dass häufig die Filter verstopft sind. Besonders Deckengeräte, so Stulz-Experte Heumann, sind oft ineffektiv, weil sie einen Teil der Kühlluft gleich wieder ansaugen. Die Anbringung ist wichtig: Die Geräte sollten natürlich nicht die heiße Rückseite der Server, sondern ihre Vorderseite mit kalter Luft bestreichen.

Unter solchen Umständen ist der Abstand zwischen den Racks und anderen Servern besonders wichtig. Das einfachste Mittel gegen Hitzeprobleme besteht darin, die Zahl der Server in einem Raum zu reduzieren. Das erfordert natürlich einen weiteren Rechnerraum. Der nächste Schritt besteht in einer sauberen seitlichen Führung der Kabel an der Rückseite der Pizzabox-Racks. Der dort oft zu beobachtende Kabelsalat führt zu einem so genannten Kabelschleier und stört die Luftabführung.

Ohne Kühlung durch den Doppelboden ist das Prinzip der heißen und kalten Gänge nicht zu realisieren. Umso wichtiger ist die Verteilung der Rechner, ihre Vereinzelung. Dabei muss man sich zunutze machen, dass manche Server kälter arbeiten als andere. Auf keinen Fall dürfen heiße Server in einem Teil des Rechnerraums konzentriert sein. Vielmehr sind sie über den Raum zu verteilen. Die Server sind meistens dedizierten Applikationen zugeordnet, die zu unterschiedlichen Tageszeiten mehr Rechenleistung benötigen. Ein nur am Vormittag heißer Server darf relativ nahe an einem Rechner stehen, der nur am Nachmittag unter Volllast arbeitet.

Doch letztlich ist man ohne Doppelboden angesichts der Wärmeentwicklung moderner Racks "mit seinem Latein ziemlich schnell am Ende", wie FSC-Spezialist Fiege sagt. "Man muss auf Wasserkühlung ausweichen."