News

Abschlußbericht des DeepRain Projektes

Das DeepRain-Projekt zielte auf die Entwicklung neuer AnsĂ€tze fĂŒr die Kombination aus modernen Methoden des maschinellen Lernens mit leistungsstarken IT-Systemen fĂŒr die Datenverarbeitung und -verbreitung kombinieren, um verbesserte hochauflösende rĂ€umliche Karten des Niederschlags ĂŒber Deutschland zu erstellen. Grundlage fĂŒr dieses Projekt war das mehrjĂ€hrige Archiv von Ensemble-Modellvorhersagen des numerischen Wettermodells COSMO des Deutschen Wetterdienstes (DWD).

Sechs transdisziplinĂ€re Forschungseinrichtungen arbeiteten in DeepRain zusammen, um eine durchgĂ€ngige Verarbeitungskette zu entwickeln, die potenziell in der zukĂŒnftigen operationellen Wettervorhersage eingesetzt werden kann. Der Projektantrag hatte mehrere Herausforderungen identifiziert, die es in diesem Zusammenhang zu bewĂ€ltigen galt. Neben den technischen Herausforderungen bei der Schaffung einer neuartigen Datenfusion von recht unterschiedlichen DatensĂ€tzen (numerische Modelldaten, Radardaten, Beobachtungen von Bodenstationen), dem Aufbau skalierbarer maschineller Lernlösungen und der Optimierung der Leistung der Datenverarbeitung und des maschinellen Lernens gab es verschiedene wissenschaftliche Herausforderungen im Zusammenhang 1. mit den kleinrĂ€umigen Strukturen von Niederschlagsereignissen, 2. Schwierigkeiten bei der Suche nach robusten Bewertungsmethoden fĂŒr Niederschlagsvorhersagen und 3. den nichtnormalverteilten Niederschlagsstatistiken in Verbindung mit stark unausgewogenen DatensĂ€tzen.


Zum Projektstart von DeepRain war die Anwendung von maschinellem Lernen auf Wetter und Klimadaten noch sehr neu und es gab kaum Veröffentlichungen oder Softwarecodes, auf denen man aufbauen konnte. DeepRain leistete somit Pionierarbeit bei der Anwendung moderner Deep-Learning-Modelle im Bereich der Wettervorhersage. Gleichzeitig konnte man in den letzten drei Jahren einen exponentiellen Anstieg der Zahl der Veröffentlichungen in diesem neuen Bereich beobachten. Sehr oft handelte es sich dabei um Studien, die in Nordamerika oder China durchgefĂŒhrt wurden. Globale Unternehmen wie Google, Amazon, NVidia oder Microsoft haben inzwischen Gruppen von Wissenschaftlern und Ingenieuren gegrĂŒndet, um die Forschung zu “Wetter-KI” voranzutreiben und marktfĂ€hige Wetter- und
Klimaanwendungen mit Deep Learning zu entwickeln. Daher kam das DeepRain-Projekt zur rechten Zeit, da es eine Basis fĂŒr maschinelles Lernen im Bereich Wetter und Klima in Deutschland geschaffen hat. DeepRain ermöglichte es dem Konsortium, das Potenzial von Deep Learning im Zusammenhang mit der erforderlichen gigantischen Datenverarbeitung zu erforschen und mit den internationalen Entwicklungen in diesem schnell wachsenden Forschungsbereich Schritt zu halten.
DeepRain konnte das geplante Ergebnis, d. h. den Bau eines Prototyps fĂŒr einen durchgĂ€ngigen Arbeitsablauf fĂŒr hochauflösende Niederschlagsvorhersagen auf der Grundlage von Deep Learning, zwar nicht vollstĂ€ndig erzielen, aber es wurden alle damit verbundenen Forschungsfragen beantwortet und alle erforderlichen Bausteine fĂŒr einen solchen Arbeitsablauf wurden entwickelt. Beispielsweise wurde die moderne DatenwĂŒrfel-Technologie erfolgreich eingesetzt, um vier- bis sechsdimensionale atmosphĂ€rische
SimulationsdatenwĂŒrfel auf der Basis von DWD-Daten fĂŒr die Extraktion und Analyse bereitzustellen.


ZusĂ€tzlich zu den oben beschriebenen erwarteten Herausforderungen traten wĂ€hrend des Projekts die folgenden schwerwiegenden Probleme auf: 1. ein weitreichender Datenverlust aufgrund von HardwareausfĂ€llen im FrĂŒhjahr 2021, 2. die Covid-19-Pandemie von MĂ€rz 2020 bis heute und 3. Schwierigkeiten, hochqualifiziertes Personal zu finden – insbesondere in Zeiten, in denen die meiste Arbeit im Home-Office erledigt werden musste.

Die wichtigsten Ergebnisse von DeepRain sind:

  • Datentransfer im Petabyte-Bereich von archivierten COSMO-DE-EPS-Vorhersagen von Bandlaufwerken des DWD und des RADKLIM-Datensatzes vom OpenData-Server zum Dateisystem JUST am JSC/FZ JĂŒlich, Organisation und Bereinigung dieser Daten und GewĂ€hrleistung des Datenzugangs fĂŒr alle Projektpartner,
  • Parallelisierte Verarbeitung von COSMO-EPS- und RADKLIM-Daten (Ensemblestatistik, Remapping fĂŒr Datenfusion und fĂŒr das EinfĂŒgen in Rasdaman),
  • Implementierung von Rasdaman DatenwĂŒrfel Array Datenbankservern am FZ JĂŒlich und Ingestion von mehreren TBytes an Wetterdaten,
  • Aufnahme des JĂŒlicher Rasdaman-Servers in den EarthServer-DatenwĂŒrfel-Verbund,
  • Weiterentwicklung von Rasdaman zur Beschleunigung des DateneinfĂŒgens und -abrufs, Definition neuer benutzerdefinierter Funktionen fĂŒr die Analyse topographischer Daten, Definition eines neuen Koordinatenreferenzsystems fĂŒr gedrehte Polkoordinaten und Vorbereitung der Anbindung von Prozessierungsketten fĂŒr maschinelles Lernen,
  • Entwicklung von statistischen Downscaling-Techniken und maschinellen Lernmodellen, um:
    • dichotomen und quantitativen Niederschlagsvorhersagen an Stationsstandorten zu generieren und
    • Gebietsvorhersagen in der Auflösung der RADKLIM-Radardaten zu erzeugen,
  • Erforschung neuer Verifikationsstatistiken auf der Grundlage partieller Korrelationen und des Regression Boostings.


In diesem Bericht geben wir einen detaillierten Überblick ĂŒber die Arbeit und das Erreichte im Rahmen des DeepRain-Projekts. Dieser Bericht ist in fĂŒnf Abschnitte gegliedert: In Abschnitt 1 stellen wir den Arbeitsplan aus dem Projektantrag vor und geben Informationen ĂŒber den Stand der Erbringung jeder einzelnen Aufgabe, um einen kompakten Vergleich zwischen dem Projektplan und seinen Ergebnissen zu ermöglichen. In Abschnitt 2 werden dann die im Rahmen des Projekts durchgefĂŒhrten Arbeiten fĂŒr jedes einzelne Arbeitspaket detailliert beschrieben. In Abschnitt 3 werden die Projektergebnisse und deren mögliche kĂŒnftige Nutzung erörtert. In Abschnitt 4 geben wir einen allgemeinen Überblick ĂŒber die außerhalb des Projektes erfolgten Fortschritte in den Forschungsbereichen, die mit DeepRain in Verbindung stehen. Im Einzelnen sind dies: maschinelles Lernen fĂŒr die Niederschlagsvorhersage, Methoden zur Bewertung von Niederschlagsvorhersagen, Umgang mit Big Data und FAIR-Datenpraktiken. Schließlich werden in Abschnitt 5 alle Zeitschriftenveröffentlichungen, DatensĂ€tze und Softwarepakete sowie geplante Einreichungen aufgefĂŒhrt, die aus dem DeepRain-Projekt hervorgegangen sind.

Abschnitt 6 beinhaltet das Literaturverzeichnis.

Link zum vollstÀndigen Abschlussbericht: https://hdl.handle.net/2128/33144

Fortschritte in der Machine Learning Sektion des Projekts!

Nach der Erstellung einer Ensemblestatistik ĂŒber die numerische Wettervorhersage von COSMO-DE EPS, haben wir kĂŒnstliche neuronale Netze und lineare Regression als Post-Processing-Modelle fĂŒr den Niederschlag an mehreren Wetterstationen verglichen. Nach dem Testen zahlreicher verschiedener möglicher neuronaler Netzwerkarchitekturen hat sich gezeigt, dass diese die lineare Regression im Vergleich durchweg ĂŒbertreffen und das Ergebnis der numerischen Wettervorhersage deutlich verbessern können. Die Ergebnisse werden gerade in einer Veroeffentlichung aufgearbeitet.

Artikel zu “Kann Deep Learning die numerische Wettervorhersage schlagen?” veröffentlicht

Der Open-Access-Artikel von Martin Schultz et.al. ist heute in den Philosophical Transactions of the Royal Societ A veröffentlicht worden. Das Paper diskutiert die Frage, ob es möglich ist, die aktuellen numerischen Wettermodelle und Datenassimilationssysteme vollstĂ€ndig durch Deep-Learning-AnsĂ€tze zu ersetzen. Es ist verfĂŒgbar unter https://royalsocietypublishing.org/doi/10.1098/rsta.2020.0097.

FĂŒnftes Deep-Rain Projekttreffen

In diesem Projekttreffen, das wieder virtuell stattfand, wurden die Projektfortschritte der vergangenen Monate diskutiert. Hierbei gab es einige erfreuliche Fortschritte zu verzeichnen, obwohl sich die interdisziplinÀre Zusammenarbeit aufgrund der Pandemie-Situation teilweise schwieriger gestaltete als erhofft.

  • Die UniversitĂ€t Bonn hat eine Analyse durchgefĂŒhrt, wie sich die großrĂ€umigen Wetterdaten auf das Auftreten von NiederschlĂ€ge an den Messstationen MĂŒnster und OsnabrĂŒck auswirken. Dazu wurde eine sogenannte logistische Regression benutzt. Je nach Jahreszeit ergibt sich aus diesem Ansatz eine deutliche Verbesserung gegenĂŒber einer rein lokalen Vorhersage.
  • Der DWD hat unterschiedliche AnsĂ€tze fĂŒr eine Regression mit einem generalisierten linearen Modell getestet und dabei vor allem untersucht, inwieweit es einen Unterschied macht, ob die Auswahl der Input-Variablen fĂŒr jede Messstation getrennt oder fĂŒr alle gemeinsam vorgenommen wird. TatsĂ€chlich können auch mit einem generalisierten Ansatz Ă€hnlich gute Ergebnisse fĂŒr die SchĂ€tzung der Niederschlagsmenge erzielt werden wie bei dem getrennten Verfahren. Allerdings wird die ja-nein Entscheidung, ob es regnen wird oder nicht, an manchen Stationen weniger genau.
  • Die Jacobs University hat anhand von Jupyter Notebooks demonstriert, wie Abfragen der Rasdaman-Datenbank in Datenanalyse und Machine Learning Workflows integriert werden können. Ferner wurde JĂŒlich dabei unterstĂŒtzt, der Datenförderation im Earth Server DatenwĂŒrfel beizutreten.
  • Das Forschungszentrum JĂŒlich berichtete ĂŒber Fortschritte bei der Entwicklung von machine learning workflows, die inzwischen zu einem großen Teil parallelisiert worden sind, was den Durchsatz von Daten und Rechnungen erheblich steigert. Das Datenmanagement fĂŒr die riesige Menge an Wetterdaten ist nun weitgehend konsolidiert; in der Hauptsache mĂŒssen noch Radardaten fertig prozessiert werden.
  • Die UniversitĂ€t OsnabrĂŒck setzte erfolgreich neuronale Netze ein, um an einem kleinen Satz von Messstationen den Zusammenhang zwischen den Niederschlagsmengen des nĂ€chsten Tages und den aktuellen Wetterdaten zu lernen. Die neuronalen Netze ĂŒbertrafen die klassische Regression. Die Implementierung des maschinellen Lernprozesses auf dem JĂŒlicher Supercomputer stellte einige Herausforderungen dar, da ein effizientes und flexibles Datenverarbeitungswerkzeug benötigt wurde, das mit der riesigen Menge an Rohdaten, die im Projekt zur VerfĂŒgung stehen, arbeiten kann.

Gastvortrag beim DWD zu stationsbasierten Zeitreihenvorhersagen

Felix Kleinert hat im Rahmen des KI-Forums beim Deutschen Wetterdienst heute einen Gastvortrag zum Thema “MLAir & IntelliO3: Stationsbasierte Zeitreihenvorhersagen mittels Neuronaler Netze” gehalten. Darin wurde das in der Entwicklung befindliche Python-Framework fĂŒr stationsbasierte Zeitreihenvorhersage, MLAir, vorgestellt und fĂŒr bodennahe Ozonkonzentrationen angewendet.

DeepRain Projekt Fortschritt

Aufgrund der anhaltenden Covid-19 Situation fĂŒhrt das DeepRain Team jetzt monatliche Online-Projekttreffen durch. FĂŒr spezielle wissenschaftliche und technische Fragen gibt es zudem kleinere Treffen, die wöchentlich abgehalten werden. Am JSC wurde im Lauf des letzten Monats der Datenimport der COSMO-Wettermodelldaten verbessert und die Benchmarking-Tests zur Dateneingabe und Datenextraktion wurden erfolgreich abgeschlossen. Neue Instanzen der Rasdaman Array-Datenbank (sogenannte „data cubes“) wurden auf JSC-Ressourcen installiert. Darunter auch eine Enterprise Instanz, die bald zu einem Knoten in einer internationalen Daten-Föderation werden soll. Das JSC Team unterstĂŒtzte außerdem das Team der UniversitĂ€t OsnabrĂŒck bei der Implementierung ihrer Maschinenlernprogramme auf den JĂŒlicher Superrechnern.

Regenvorhersage mit DeepLearning

Die Vorhersage von Niederschlag basiert auf einer Vielzahl von Faktoren die durch Wettermodelle produziert werden. Der Einfluss dieser Faktoren auf die Menge und die Wahrscheinlichkeit fĂŒr Niederschlag ist komplex, nicht linear und im Detail oft unbekannt. Um die GĂŒte der Vorhersage zu verbessern nutzt das DeepRain Projekt neuronale Netzwerke, die lernen, diese Faktoren der Wettermodelle durch nicht lineare Kombinationen ĂŒber mehrere Lagen des Netzwerkes hinweg zu kombinieren. Als Ergebnis des Projektes DeepRain konnten wir nun zeigen, dass dieser deep learning Ansatz besser als klassische Methoden der linearen Kombination sein kann. Dazu nutzen und vergleichen wir neuronale Netze mit verschiedenen Tiefen (‚Anzahl und Lagen‘) und verschieden KomplexitĂ€ten in Bezug auf die Anzahl der Neuronen des neuronalen Netzes. Die beste Performance konnten wir mit einem Netzwerk, welches 3 Lagen nutzt, erreichen. Das Ergebnis zeigt, dass die nicht lineare Kombination von Faktoren von Wettermodellen eine bessere Vorhersage-QualitĂ€t fĂŒr den Niederschlag ermöglicht.

Viertes DeepRain-Projekttreffen

Icon Virtual Meeting
Icon Virtual Meeting
Icons made by surang from www.flaticon.com

Aufgrund der Covid-19-Situation musste das 4. DeepRain-Projekttreffen, das vom 10. bis 12. MĂ€rz 2020 stattfinden sollte, in eine Reihe von Web-Meetings mit den Projektpartnern umgewandelt werden. Der Schwerpunkt des Treffens lag auf der Vorbereitung von Input fĂŒr den kommenden Projektbericht im April und der Planung konkreter Aktionen fĂŒr die nĂ€chsten 6 Monate. In den letzten Monaten wurden viele Fortschritte in Bezug auf die Datenaufbereitung und die Machine Learning Workflows erzielt, aber es bleiben noch einige Fragen hinsichtlich der Implementierung dieser AblĂ€ufe auf dem JSC-Supercomputersystem. Dies hat das Projekt bisher daran gehindert, durch Machine Learning aussagekrĂ€ftige Niederschlagsvorhersagen zu erstellen. Alle Projektpartner arbeiten zusammen, um diese ArbeitsablĂ€ufe in Gang zu bringen, und wir sind optimistisch, dass es, sobald diese Probleme gelöst sind, relativ einfach sein wird, die Lösungen auf viel grĂ¶ĂŸere DatensĂ€tze zu skalieren. Im nĂ€chsten Monat wird der Schwerpunkt auf Leistungsverbesserungen beim Datenimport, auf der Anwendung des Machine Learning auf Stations-Zeitreihendaten und auf der Nutzung der Parallelisierung auf allen Ebenen liegen, um ArbeitsablĂ€ufe, Werkzeuge und Datenverarbeitung auf dem HPC-System zu optimieren.

Datentransfer des DWD-Ensemble-Wettermodells nach JĂŒlich abgeschlossen

Heute wurde das letzte Byte von mehr als 439 Terabyte Wettermodelldaten aus dem Ensemblevorhersagesystem COSMO des Deutschen Wetterdienstes DWD empfangen und im JĂŒlicher Supercomputing Centre gespeichert. Dem DeepRain-Team stehen nun 7 Jahre stĂŒndliche Wetterdaten von 20 Ensemblemitgliedern zur VerfĂŒgung. Diese Daten sind eine wesentliche Grundlage fĂŒr das Projekt. Sie werden verwendet, um die an der UniversitĂ€t OsnabrĂŒck entwickelten advanced neuronal networks zu trainieren und um die Vorhersagekraft des maschinellen Lernverfahrens an der UniversitĂ€t Bonn zu evaluieren.

Teilnahme am ESiWACE2 container hackathon

Von links: Amirpasha Mozaffari (JSC), Tomas Aliaga (CSCS), Jan Vogelsang (JSC), Bing Gong (JSC) vor dem Switzerland National Supercomputer Center (CSCS). 

Bing Gong, Amirpash Mozaffari und Jan Vogelsang nahmen vom 3. bis 6. Dezember 2019 am ESiWACE2 Container-Hackathon fĂŒr Modellierer im Schweizer National Supercomputer Center (CSCS) in Lugano, Schweiz, teil. 

Die Containerisierung ist eine Methode, um eine Anwendung zusammen mit allen zugehörigen Konfigurationsdateien, Bibliotheken und AbhĂ€ngigkeiten zu bĂŒndeln, die fĂŒr einen effizienten und fehlerfreien Betrieb in verschiedenen Computerumgebungen erforderlich sind.

In drei Tagen haben sie an der Containerisierung des Workflows des maschinellen Lernens auf einem lokalen Rechner gearbeitet und spĂ€ter die Skripte fĂŒr die AusfĂŒhrung auf HPC portiert (siehe Anwendungsdetails: https://github.com/eth-cscs/ContainerHackathon/tree/wfppdl/wfppdl). Am CSCS steht der Rechner Piz Daint, der zur Zeit schnellste Supercomputers Europas, und der sechstschnellste der Welt  Unser Team hat es geschafft, den Workflow zu containerisieren, das Skript erfolgreich auf Piz Daint auszufĂŒhren und den Skalierungstest zu bestehen. 

DeepRain drittes Projekttreffen

Treffen mit Teilnehmern hinter einem Regensammler im Hinterhof des Instituts fĂŒr Geowissenschaften an der UniversitĂ€t Bonn.

Das DeepRain-Team hat sich zu seiner dritten Projektbesprechung am Institut fĂŒr Geowissenschaften der UniversitĂ€t Bonn getroffen. Passend zum Projektthema und zur Jahreszeit maß der Regensammler im Hinterhof des Instituts 8 mm Niederschlag wĂ€hrend der 3 Tage der Sitzung.
(Quelle: https://www.ifgeo.uni-bonn.de/abteilungen/meteorologie/messdaten/wetterdaten-bonn-endenich/messwerte).
Nach dem ersten Projektjahr wurde viel erreicht, was die Verwaltung der riesigen Datenmengen betrifft, die im Projekt benötigt werden, aber auch die Erforschung geeigneter maschineller Lernstrategien und statistischer Methoden.

Das Projekttreffen bot eine gute Gelegenheit, all diese Informationen zusammenzubringen und die Strategie fĂŒr die kommenden Monate zu diskutieren. NiederschlĂ€ge vorherzusagen ist schwierig (wir wussten das von Anfang an), aber es ist auch schwierig zu verstehen, ob und wann eine Niederschlagsvorhersage tatsĂ€chlich “gut” ist und was das bedeutet. Selbst eine einfache Frage wie “Regen oder kein Regen?” ist aufgrund von Mess- und Modellunsicherheiten eigentlich nicht leicht zu beantworten. Es wird daher noch einige Zeit dauern, bis DeepRain seine ersten aussagekrĂ€ftigen Datenprodukte generieren kann.

Workshop “Machine Learning in weather and climate modelling” in Oxford

Martin Schultz und Lukas Leufen besuchten einen Workshop zum Thema “Machine Learning in weather and climate modeling” am Corpus Christi College in Oxford. Dieser Workshop fĂŒhrte mehr als 100 hochkarĂ€tige Klimawissenschaftler und Experten fĂŒr HPC-Computerwissenschaft und maschinelles Lernen zusammen, um die laufenden Arbeiten vorzustellen und das weitere Vorgehen zu diskutieren. Von Anfang an wurde deutlich, dass maschinelles Lernen in fast allen Phasen eines Wetter- und Klimamodellierungs-Workflows eine wichtige Rolle spielen kann. Viel diskutierte Themen waren die wahrgenommene Notwendigkeit, den Algorithmen des maschinellen Lernens physische EinschrĂ€nkungen aufzuerlegen und Unsicherheiten zu quantifizieren. Martin Schultz’ PrĂ€sentation zu den Projekten IntelliAQ und DeepRain wurde gut angenommen und die positive Resonanz bestĂ€tigte die Forschungsstrategie dieser Projekte.

Masterarbeit “Deep Hyperresolution for Weather Forecasting”

An der UniversitĂ€t OsnabrĂŒck schloss Jonas Rebstadt sein Studium mit einer Masterarbeit zum Thema “Deep Hyperresolution for Weather Forecasting” erfolgreich ab. Ziel ist es, ein System zu entwickeln, das in der Lage ist, die Genauigkeit der Regenvorhersage ohne exorbitanten höheren Rechenaufwand zu erhöhen. Der in dieser Arbeit vorgestellte Ansatz versucht, die rĂ€umliche Auflösung eines aktuell produktiv genutzten Prognosemodells des Deutschen Wetterdienstes (DWD) zu erhöhen, indem er ein neuronales Netzwerk trainiert, das auf höherauflösenden Radarbildern als Ziel basiert.

Meilenstein bei der DatenĂŒbertragung: 100. Terabyte

Fortschritte beim Datentransfer: Ein wesentlicher Aspekt des DeepRain-Projekts ist die große Datenmenge, die fĂŒr die Schulung und Bewertung von Methoden des maschinellen Lernens verwendet wird. Insgesamt werden derzeit ĂŒber 430 Terabyte Daten vom Deutschen Wetterdienst an das Forschungszentrum JĂŒlich ĂŒbertragen, um sie auf JSC-Supercomputern fĂŒr Deep Learning zu nutzen. Heute wurde das 100. Terabyte erfolgreich ĂŒbertragen und in die Speichersysteme der JSC integriert. Dies ist ein wichtiger Meilenstein, da nun genĂŒgend Daten zur VerfĂŒgung stehen, um die ersten sinnvollen tiefen Erkenntnisse und Analysen durchzufĂŒhren.

Datenspeicher beim JSC zugeteilt

Das JĂŒlicher Supercomputing Center (JSC) hat fĂŒr das DeepRain-Projekt zwei große Datenprojekte mit einem Volumen von mehreren hundert Terabyte vergeben.

Die ersten 30 TByte meteorologischer Modelldaten wurden erfolgreich vom Deutschen Wetterdienst an die JSC ĂŒbertragen und ein prototypischer Workflow zur Verarbeitung dieser Daten wurde etabliert.

Konferenz der EuropÀischen Geowissenschaftlichen Union

Der DeepRain-Vortrag von Martin Schultz auf der Konferenz der EuropĂ€ischen Geowissenschaftlichen Union in Wien wurde gut aufgenommen. Maschinelle Lernverfahren erregen nun große Aufmerksamkeit im Forschungsbereich Wetter und Klima. Dem Vortrag folgten fruchtbare Diskussionen, die zu zukĂŒnftigen Kooperationen fĂŒhren können.

Zweites DeepRain Projekttreffen

Das DeepRain-Team hat gerade sein zweites Projekttreffen abgeschlossen, und die Projektpartner kehren in ihre Heimatinstitutionen zurĂŒck. Das Treffen wurde am Institut fĂŒr Kognitionswissenschaften der UniversitĂ€t OsnabrĂŒck organisiert und beinhaltete ein kurzes Tutorium ĂŒber Deep Learning, was die Expertise der Forschungsgruppe von Prof. Gordon Pipa ist. Das Team von Prof. Pipa stellte seine PlĂ€ne fĂŒr neuronale Netzwerkarchitekturen vor, die zum Lernen von Niederschlagsmustern aus dem Ensemblemodell des Deutschen Wetterdienstes verwendet werden sollen. Die DeepRain-Partner setzten ihre Diskussionen ĂŒber das Datenmanagement auf der Terabyte-Skala fort und diskutierten ĂŒber Validierungsmethoden und Fehlercharakteristika und wie diese die Leistung der neuronalen Netze beeinflussen können. Die sorgfĂ€ltige Analyse von Fehlern und das VerstĂ€ndnis der VorzĂŒge und Grenzen des deep learning im Kontext von Wetterdaten sind die Hauptziele des DeepRain-Projekts.

Die DeepRain-Kooperationsvereinbarung ist abgeschlossen

Die DeepRain-Kooperationsvereinbarung ist abgeschlossen und von allen Projektpartnern unterzeichnet worden. Sie bildet die formale Grundlage fĂŒr eine fruchtbare Zusammenarbeit zwischen dem Forschungszentrum JĂŒlich als Koordinator, dem Deutschen Wetterdienst (DWD), den UniversitĂ€ten OsnabrĂŒck und Bonn sowie der Jacobs University in Bremen. “Das DeepRain-Projekt ĂŒbernimmt die Prinzipien von Open Science und Open Data. Daher legt die Kooperationsvereinbarung so wenig EinschrĂ€nkungen wie möglich fest, aber einige Regeln sind notwendig”, sagt Dr. Martin Schultz, der das Projekt koordiniert.

Rasdaman-Trainingsworkshop

ZurĂŒck vom Rasdaman-Trainingsworkshop auf dem Campus der Jacobs University in Bremen, klingt der DeepRain-Koordinator Dr. Martin Schultz recht zufrieden: “Dieser Workshop war fĂŒr alle zehn Teilnehmer sehr hilfreich. Wir haben nicht nur viel ĂŒber die erstaunliche Technologie hinter Rasdaman und das grĂŒndliche Designkonzept gelernt, das tatsĂ€chlich Standards fĂŒr die geografische Datenverarbeitung setzt, sondern es war auch gut, ein wenig Zeit zu finden, um praktisch an Proben aus den tatsĂ€chlichen Daten zu arbeiten, die wĂ€hrend des Projekts verwendet werden. Es war großartig zu erfahren, dass wir noch mehr Daten vom DWD erhalten können, als wir anfangs gedacht hatten. Im JSC mĂŒssen wir nun unsere Köpfe zusammenstecken, um den Transfer und die Verwaltung eines halben Petabyte an Wettermodelldaten zu organisieren. DeepRain ist eindeutig eines der aufregendsten Projekte, an denen ich in meiner Karriere gearbeitet habe.