Vorübergehende Lösung

Die beschriebene jährliche Duplizierung der zu verarbeitenden Datenmengen konnte in manchen Fällen eine Zeitlang abgefedert werden, indem Q2Web seine Applikationen entsprechend weiterentwickelte und optimierte. Allerdings war in vielen anderen Fällen eindeutig absehbar, dass künftig zu erwartende Datenmengen mit der aktuell eingesetzten Hard- und Softwaretechnologie nicht mehr zu bewältigen sein werden. Für alle Beteiligten war somit auch klar, dass nur durch Investitionen in Höhe von mehreren Millionen Euro künftig die benötigte Rechenleistung noch zur Verfügung gestellt werden könnte.

Ausweg aus dem Dilemma

Um eine Lösung für dieses Dilemma zu finden, untersuchten die Projektverantwortlichen bei Q2Web verschiedene Ansätze und überdachten Trends, die geeignet zu sein schienen, die Herausforderungen der Zukunft in einem angemessenen Kostenrahmen zu bewältigen. Drei wesentliche Trends wurden dabei ins Auge gefasst:

NOSQL-Datenbanken (NOSQL = not only SQL). Hier stehen Optionen wie "Hadoop", "CouchDB", "MongoDB", "Cassandra" usw. prinzipiell zur Verfügung;

SOC-Prozessoren (SOC = System on a Chip), wie sie aktuell massiv vom US-amerikanischen Umweltministerium DOE (Department of Energie) gefördert und von Intel und ARM realisiert werden.

Grafikprozessoren als Geschwindigkeitsbeschleuniger. Sie haben insbesondere durch ihre Nutzung in chinesischen Supercomputern Beachtung gefunden.