Der Deutsche Wetterdienst macht seine Datenspeicher mit neuem Band-Bibliothekssystem fit für die Zukunft
 
 

Der Deutsche Wetterdienst macht seine Datenspeicher mit neuem Band-Bibliothekssystem fit für die Zukunft

Der Deutsche Wetterdienst (DWD) ist der nationale meteorologische Dienst Deutschlands. Im Rahmen der Daseinsvorsorge stellt er Wetter- und Klimainformationen für die Allgemeinheit zur Verfügung. Zu seinen Aufgaben gehören auch die meteorologische Sicherung der Luft- und Schifffahrt sowie Warnungen vor meteorologischen Gefahren. In der Zentrale in Offenbach, sowie  in zahlreichen Niederlassungen sind insgesamt 2.350 Personen beschäftigt. Der Gesamt-Etat liegt bei rund 250 Millionen Euro. Auf der Basis von etwa 2000 DWD-Messstellen sowie Mess- und Beobachtungsdaten aus aller Welt generiert die Behörde u.a. 90.000 allgemeine Wettervorhersagen, 20.000 Wetterwarnungen und 500.000 Flugwetterberichte pro Jahr.

In der Zentrale des DWD in Offenbach laufen die Messdaten der bundesweit erhobenen meteorologischen Informationssysteme zusammen. Pro Tag werden mehr als 30 Terabyte (TB) Neudaten gespeichert, die in permanentem Zugriff bleiben müssen. Die Systeme sichern sowohl die automatisch erhobenen Messdaten als auch die Vorhersagedaten, also die Produkte, die der DWD an seine Kunden vertreibt. Zusätzlich unterhält der Dienst einen intensiven Forschungsbetrieb, dessen Ergebnisse ebenfalls mit Hilfe von Band-Bibliotheken im Rechenzentrum gespeichert werden. Um die Daten zuverlässig zu sichern setzt der DWD das modulare Bibliotheksystem Oracle StorageTek SL8500 ein.

 
 

 
 

Challenges

A word from Deutscher Wetterdienst

  • „StorageTek SL8500 ist ein sehr solides Bibliotheksystem mit ausgereifter Technologie, das ausgesprochen zuverlässig läuft. Wir sind mit der Oracle Lösung sehr zufrieden: Sie tut einfach, was sie soll.“ – Dr. Henning Weber, Leiter der Systembetreuung, Deutscher Wetterdienst

  • Die vorhandenen Bandlaufwerk-Bibliotheken sollten im laufenden Betrieb aktualisiert werden. Täglich treffen 30 TB neue Daten von den Wetterstationen ein, die bei der Migration auf neue Hardware zwischengespeichert und nachträglich in den Datenbestand integriert werden müssen. Wegen der hohen täglich auftretenden Datenmenge durfte die Migration höchstens zwei Wochen dauern
  • Investitionen mussten geschützt werden, da der bereits vorhandene umfassende Datenbestand ins neue Bibliotheksystem integriert werden sollte: Große Datenbestände befinden sich bereits in Bestand auf Oracle Technologie. Sie müssen weiterhin für schnellen Zugriff zur Verfügung stehen.
  • Da neue Generationen von Wetterbeobachtungssatelliten und Hochleistungsrechnern immer größere Datenmengen liefern werden, wird das täglich zu sichernde Datenaufkommen in absehbarer Zeit von derzeit 30 TB auf bis zu 100 TB pro Tag steigen. Diesem steigenden Bedarf muss auch in Zukunft Rechnung getragen werden
  • Es handelt sich um ein operationelles Rechenzentrum. Deshalb musste die Downtime bei der Migration möglichst kurz sein.
  • Das Bibliotheksystem darf nicht zu groß sein, da die verfügbare Fläche im Rechenzentrum begrenzt ist.
  • Die neuen Module müssen zur bestehenden Lösung kompatibel sein.

Solutions

  • Der Umzug von der alten Lösung auf StorageTek SL8500 gelang in nur 5 Tagen: 13.000 Bandkassetten mit Wetter-, Vorhersage- und Forschungsdaten wurden ins neue Dienstgebäude gebracht und in das neue modulare Bibliothekssystem eingebaut.
  • Eine vertraglich festgelegte Verfügbarkeitsgarantie gewährleistet kurze Ausfallzeiten.
  • „Sanfter Migrationsweg“ und einfache Bedienbarkeit sorgen für schnellen und unkomplizierten Umstieg auf neue Generation, da die Komponenten, die ACSLS Manager Software sowie die darunterliegenden Sparc Server und Solaris Systeme bekannt sind und der vorhandene Datenbestand ins neue System integriert werden konnte. Da die Maschinen gegenüber den Vorgängermodellen zwar modernisiert, aber nicht komplett umgestaltet wurden, konnte der DWD überdies den finanziellen Aufwand für Onsite-Schulungen gering halten.
  • StorageTek SL8500 bringt 20.000 Stellplätze auf wenigen Quadratmetern unter. Mit ihrer hohen Packungsdichte stellen die zwei StorageTek SL 8500 und 56 StorageTek T10000 Laufwerke bei Vollausbau 20.000 Stellplätze zur Verfügung. Durch kontinuierliches Erweitern der Kapazitäten und frühzeitigen Einsatz der jeweils neuen Laufwerk-Generationen können auch die steigenden Datenmengen in der Zukunft bewältigt werden: Das Rechenzentrum des DWD ist auf einen Anstieg der Datenmenge in den kommenden Jahren auf bis zu 100 TB pro Tag vorbereitet.
  • Derzeit beinhaltet die Bibliothek 8 Petabyte (PB) Daten. Durch den Ausbau des Bibliotheksystems sollen künftig bis zu 100 Petabyte untergebracht werden können
  • StorageTek SL8500 ermöglichte einfachen Umzug, da bereits verwendete StorageTek T10000-A-Laufwerke in das StorageTek SL8500 umgezogen werden konnten (Investitionsschutz). Wegen der Zuverlässigkeit und guten Verfügbarkeit der StorageTek Systeme fiel die Entscheidung, bei diesem System zu bleiben und es weiter auszubauen.
  • Vielseitigkeit des StorageTek SL8500 von Oracle gewährleistet die Integration des vorhandenen Datenbestandes
  • Die Bauweise des StorageTek SL 8500 und sein modularer Aufbau ermöglichten es, die beiden neuen StorageTek SL 8500 Systeme in Rekordzeit aufzubauen und in Betrieb zu nehmen.
  • Schneller Datenzugriff und hohe System Performance können mit SPARC Enterprise T5120 und dem Betriebssystem Oracle Solaris 10 gewährleistet werden.

Why Oracle

Für seinen High-End-Datenspeicher setzt der DWD auf bewährte Oracle Technologie. Mit dem StorageTek SL8500 Bibliotheksystem steht dem Unternehmen ein modular ausbaufähiges System zur Verfügung, das die beste derzeit auf dem Markt verfügbare Technik repräsentiert. Der DWD verfolgt das Ziel, die Storage-Systeme ständig auf dem aktuellen Stand zu halten. Die Vielseitigkeit der StorageTek Bibliothek ermöglicht es der Behörde, ältere Komponenten im laufenden Betrieb auszutauschen und durch aktuelle Generationen zu ersetzen.

Das StorageTek System spart zudem Kosten. Eine Bandkassette kostet 100 Euro. Bei 13.000 verbauten Kassetten spart sich der DWD 1,3 Millionen Euro, wenn er vorhandene Kassetten weiterverwenden kann. Der Einsatz eines Systems eines anderen Herstellers hätte überdies bedeutet, dass alte Datenbestände auf das neue System kopiert werden müssen. Dieser Prozess hätte etwa zwölf Monate Zeit in Anspruch genommen und unnötig Ressourcen gekostet, da der DWD alte und neue Technologie in dieser Zeit parallel hätte betreiben müssen.

Zudem zeichnet sich das StorageTek SL8500 System durch seinen geringen Platzbedarf aus: Da die räumlichen Kapazitäten im Rechenzentrum begrenzt sind, durfte die neue Lösung nur wenig Stellplatz beanspruchen. Evaluierte Lösungen der Mitbewerber hätten mehr Stellfläche benötigt und kamen daher für den DWD nicht in Frage.