Felix Kleinert hat im Rahmen des KI-Forums beim Deutschen Wetterdienst heute einen Gastvortrag zum Thema “MLAir & IntelliO3: Stationsbasierte Zeitreihenvorhersagen mittels Neuronaler Netze” gehalten. Darin wurde das in der Entwicklung befindliche Python-Framework für stationsbasierte Zeitreihenvorhersage, MLAir, vorgestellt und für bodennahe Ozonkonzentrationen angewendet.
Heute wurde das letzte Byte von mehr als 439 Terabyte Wettermodelldaten aus dem Ensemblevorhersagesystem COSMO des Deutschen Wetterdienstes DWD empfangen und im Jülicher Supercomputing Centre gespeichert. Dem DeepRain-Team stehen nun 7 Jahre stündliche Wetterdaten von 20 Ensemblemitgliedern zur Verfügung. Diese Daten sind eine wesentliche Grundlage für das Projekt. Sie werden verwendet, um die an der Universität Osnabrück entwickelten advanced neuronal networks zu trainieren und um die Vorhersagekraft des maschinellen Lernverfahrens an der Universität Bonn zu evaluieren.
Bing Gong, Amirpash Mozaffari und Jan Vogelsang nahmen vom 3. bis 6. Dezember 2019 am ESiWACE2 Container-Hackathon für Modellierer im Schweizer National Supercomputer Center (CSCS) in Lugano, Schweiz, teil.
Die Containerisierung ist eine Methode, um eine Anwendung zusammen mit allen zugehörigen Konfigurationsdateien, Bibliotheken und Abhängigkeiten zu bündeln, die für einen effizienten und fehlerfreien Betrieb in verschiedenen Computerumgebungen erforderlich sind.
In drei Tagen haben sie an der Containerisierung des Workflows des maschinellen Lernens auf einem lokalen Rechner gearbeitet und später die Skripte für die Ausführung auf HPC portiert (siehe Anwendungsdetails: https://github.com/eth-cscs/ContainerHackathon/tree/wfppdl/wfppdl). Am CSCS steht der Rechner Piz Daint, der zur Zeit schnellste Supercomputers Europas, und der sechstschnellste der Welt Unser Team hat es geschafft, den Workflow zu containerisieren, das Skript erfolgreich auf Piz Daint auszuführen und den Skalierungstest zu bestehen.
Das DeepRain-Team hat sich zu seiner dritten Projektbesprechung am Institut für Geowissenschaften der Universität Bonn getroffen. Passend zum Projektthema und zur Jahreszeit maß der Regensammler im Hinterhof des Instituts 8 mm Niederschlag während der 3 Tage der Sitzung.
(Quelle: https://www.ifgeo.uni-bonn.de/abteilungen/meteorologie/messdaten/wetterdaten-bonn-endenich/messwerte).
Nach dem ersten Projektjahr wurde viel erreicht, was die Verwaltung der riesigen Datenmengen betrifft, die im Projekt benötigt werden, aber auch die Erforschung geeigneter maschineller Lernstrategien und statistischer Methoden.
Das Projekttreffen bot eine gute Gelegenheit, all diese Informationen zusammenzubringen und die Strategie für die kommenden Monate zu diskutieren. Niederschläge vorherzusagen ist schwierig (wir wussten das von Anfang an), aber es ist auch schwierig zu verstehen, ob und wann eine Niederschlagsvorhersage tatsächlich “gut” ist und was das bedeutet. Selbst eine einfache Frage wie “Regen oder kein Regen?” ist aufgrund von Mess- und Modellunsicherheiten eigentlich nicht leicht zu beantworten. Es wird daher noch einige Zeit dauern, bis DeepRain seine ersten aussagekräftigen Datenprodukte generieren kann.
Der DeepRain-Vortrag von Martin Schultz auf der Konferenz der Europäischen Geowissenschaftlichen Union in Wien wurde gut aufgenommen. Maschinelle Lernverfahren erregen nun große Aufmerksamkeit im Forschungsbereich Wetter und Klima. Dem Vortrag folgten fruchtbare Diskussionen, die zu zukünftigen Kooperationen führen können.
Das DeepRain-Team hat gerade sein zweites Projekttreffen abgeschlossen, und die Projektpartner kehren in ihre Heimatinstitutionen zurück. Das Treffen wurde am Institut für Kognitionswissenschaften der Universität Osnabrück organisiert und beinhaltete ein kurzes Tutorium über Deep Learning, was die Expertise der Forschungsgruppe von Prof. Gordon Pipa ist. Das Team von Prof. Pipa stellte seine Pläne für neuronale Netzwerkarchitekturen vor, die zum Lernen von Niederschlagsmustern aus dem Ensemblemodell des Deutschen Wetterdienstes verwendet werden sollen. Die DeepRain-Partner setzten ihre Diskussionen über das Datenmanagement auf der Terabyte-Skala fort und diskutierten über Validierungsmethoden und Fehlercharakteristika und wie diese die Leistung der neuronalen Netze beeinflussen können. Die sorgfältige Analyse von Fehlern und das Verständnis der Vorzüge und Grenzen des deep learning im Kontext von Wetterdaten sind die Hauptziele des DeepRain-Projekts.
Die DeepRain-Kooperationsvereinbarung ist abgeschlossen und von allen Projektpartnern unterzeichnet worden. Sie bildet die formale Grundlage für eine fruchtbare Zusammenarbeit zwischen dem Forschungszentrum Jülich als Koordinator, dem Deutschen Wetterdienst (DWD), den Universitäten Osnabrück und Bonn sowie der Jacobs University in Bremen. “Das DeepRain-Projekt übernimmt die Prinzipien von Open Science und Open Data. Daher legt die Kooperationsvereinbarung so wenig Einschränkungen wie möglich fest, aber einige Regeln sind notwendig”, sagt Dr. Martin Schultz, der das Projekt koordiniert.
Das DeepRain-Projekt wird auf der Generalversammlung der Europäischen Geophysikalischen Union in Wien vorgestellt. Dr. Martin Schultz, der Projektkoordinator, hält einen Vortrag am Donnerstag, den11. April 2019 um 16:15 Uhr in der Session über maschinelles Lernen für die Modellierung des Erdsystems.
Zurück vom Rasdaman-Trainingsworkshop auf dem Campus der Jacobs University in Bremen, klingt der DeepRain-Koordinator Dr. Martin Schultz recht zufrieden: “Dieser Workshop war für alle zehn Teilnehmer sehr hilfreich. Wir haben nicht nur viel über die erstaunliche Technologie hinter Rasdaman und das gründliche Designkonzept gelernt, das tatsächlich Standards für die geografische Datenverarbeitung setzt, sondern es war auch gut, ein wenig Zeit zu finden, um praktisch an Proben aus den tatsächlichen Daten zu arbeiten, die während des Projekts verwendet werden. Es war großartig zu erfahren, dass wir noch mehr Daten vom DWD erhalten können, als wir anfangs gedacht hatten. Im JSC müssen wir nun unsere Köpfe zusammenstecken, um den Transfer und die Verwaltung eines halben Petabyte an Wettermodelldaten zu organisieren. DeepRain ist eindeutig eines der aufregendsten Projekte, an denen ich in meiner Karriere gearbeitet habe.
Auf der DACH-Konferenz in Garmisch-Partenkirchen wird Dr. Rita Glowienka-Hense von der Universität Bonn den ersten Vortrag halten, der mit dem DeepRain-Projekt verbunden ist. Der Titel ihres Vortrags am 22. März 2019 um 11:50 Uhr lautet “Partial correlation the natural correlation skill score“.
Gestern trafen sich die Partner des DeepRain-Projekts im Forschungszentrum Jülich zu ihrem Kickoff-Treffen. Zwei Monate nach Projektbeginn hatten die Partner bereits eine Reihe von E-Mails ausgetauscht und Fragen zur Auswahl und Verwaltung der Daten, zur Wahl der Methoden des Tiefenlernens, zu statistischen Ansätzen und anderen Themen diskutiert. Einige Vorarbeiten haben begonnen, und alle waren gespannt darauf, das Projekt auf den Weg zu bringen. Das DeepRain-Team besteht aus Wissenschaftlern mit recht unterschiedlichem Hintergrund, die alle begeistert sind, bei diesem herausfordernden Unterfangen zusammenzuarbeiten. Es war schwierig, das Treffen pünktlich zu halten, weil so viele interessante Diskussionen angestoßen wurden.
Neben der Klärung einer Reihe von formalen Fragen des Projektmanagements wurden auch einige Vereinbarungen getroffen, wie die nächsten Schritte angegangen werden sollen. Als gemeinsamer Testfall, der die meisten Aspekte abdeckt, die während des Projekts behandelt werden müssen, werden wir uns im Herbst auf die Harzregion konzentrieren. Diese Wahl wurde getroffen, da der Harz eine Region mit variabler Orographie darstellt und Daten aus früheren Downscaling-Studien vorliegen. Außerdem werden die Regenfälle im Herbst vor allem durch großräumige Wetterphänomene getrieben, was den Einstieg in die tiefen Lernnetze erleichtert. Schließlich ist der Harz durch Radardaten gut abgedeckt und wird eine Analyse der Auswirkungen einer überlappenden Radarerfassung ermöglichen. Zunächst werden wir an der Etablierung der notwendigen Datenströme und der Neuformatierung arbeiten und dabei die Rasdaman-Datenbanktechnologie nutzen. Parallel dazu werden einige erste Test-Neuronale Netze entworfen und Entscheidungen über die Bewertungsmetriken und -methoden getroffen. Die Projektpartner werden sich im Januar 2019 zu einem Rasdaman-Schulungsworkshop in Bremen wieder treffen. Das nächste Projekttreffen findet im März 2019 in Osnabrück statt.
