Formatedschungel

Wissenschaftler suchen neue Wege für Umgang mit Big Data

07.10.2014
Die ständig wachsende Zahl von Dateiformaten stellt die Wissenschaft vor große Probleme bei der Analyse und Speicherung von Forschungsergebnissen.

"Jeden Tag kommen neue Dateiformate heraus", sagte der NASA-Softwareexperte Chris Mattmann am Dienstag in Karlsruhe zum Auftakt einer Tagung über "Big Data" in der Wissenschaft. Im Internet seien mehr als 18.000 unterschiedliche Dateiformate verbreitet. "Wir brauchen intelligentere Technologien, um sinnvoll mit dieser Vielfalt von Dateiformaten zumzugehen", sagte Mattmann vom Jet Propulsion Laboratory (JPL) der NASA in Pasadena im US-Staat Kalifornien.

Die meisten Datenmengen fallen zurzeit bei der Erkundung des Weltraums, in der Klima- und Energieforschung sowie in der Medizin an. Damit stehen Wissenschaftler vor der Herausforderung, sinnvoll mit diesen ständig wachsenden Datenbergen umzugehen. Das derzeit entwickelte Radioteleskop Square Kilometre Array werde pro Sekunde 700 Terabyte an Daten erzeugen, sagte Mattmann. Für deren Auswertung sei ein völlig neues Big-Data-Konzept erforderlich, das von der Hardware über die Echtzeit-Analyse bis zur effizienten Speichersystemen reiche. Die Software dafür müsse nach dem Open-Source-Prinzip für alle Wissenschaftler frei verfügbar sein.

Veranstalter der Tagung am Karlsruher Institut für Technologie (KIT) ist das LSDMA-Projekt (Large-Scale Data Management and Analysis) der Helmholtz-Gesellschaft. In diesem Vorhaben verfolgen die Universitäten Hamburg, Ulm, Heidelberg, Berlin, Dresden und Frankfurt zusammen mit dem KIT und drei weiteren Forschungszentren der Helmholtz-Gemeinschaft das Ziel, den Umgang mit großen Datenmengen in der Wissenschaft zu verbessern. (dpa/tc)