Datenprüfung

Eine erste Prüfung erfolgt automatisch in Echtzeit. Diese stellt sicher, dass keine groben Fehler ins System weitergetragen bzw. keine unplausiblen Werte veröffentlicht werden. Die hauptsächliche Prüfung erfolgt mit der Softwareapplikation Austria Quality Service- kurz AQUAS. Nach der Prüfung werden die Datensätze in die Klimadatenbank eingespielt und stehen der öffentlichen und kommerziellen Nutzung sowie für Projekte bzw. Klimavariabilitätsstudien zur Verfügung. 

Denn - um Klimaveränderungen zu untersuchen bzw. Klimafolgenforschung betreiben zu können- bedarf es einen qualitätsgeprüften und korrekten Datensatz. Insbesondere in Hinblick auf Extremwertanalysen werden langjährige Datensätze in hoher zeitlicher Auflösung, zumindest auf Tagesbasis, benötigt.

Prüfung historischer Daten: Vom Papierdatenschatz zum geprüften Klimadatensatz

„Mathematischer Turm“ des Stifts Kremsmünster (© ZAMG).

Die älteste kontinuierliche Klimareihe besitzt Österreich in den Messdaten des Stiftes Kremsmünster in Oberösterreich. 1762 begann hier Placidus Fixlmillner, Direktor des astronomischen Observatoriums, mit den meteorologischen Aufzeichnungen und diese werden bis heute weitergeführt.

Die Beobachtungen der wichtigsten meteorologischen Kenngrößen wie Temperatur, Druck, Niederschlag und Feuchte wurden täglich von Beobachtern – anfangs noch zu den Mannheimer Stunden – erfasst. Nach einem Eintrag ins Klimabuch erfolgte eine Abschrift auf den Klimabogen, welcher monatlich auf Postweg an die Zentralanstalt in Wien gesendet und überprüft wurde.

Nach der Übermittlung der österreichischen Klimabögen an den Deutschen Reichswetterdienst in Berlin im Jahr 1944 wurden sie im Bombenhagel auf die Stadt unwiederbringlich zerstört. Nur wenige Duplikate – und damit absolut schützenswertes Kulturgut – blieben an der ZAMG erhalten (z.B. Wien-Hohe Warte, Salzburg, Graz, Innsbruck, Sonnblick). Angesichts dieser Tatsache beginnen viele tägliche Aufzeichnungen erst im Jahr 1948.

1970 wurde erstmals ein Versuch gestartet, die analogen Klimadaten in Form von Lochkarten zu digitalisieren. Zu dieser Zeit erfolgte aber keine Art von Plausibilitäts- oder gar Vollständigkeitsprüfung. Erst ab 1984, mit der Einführung einer allgemein gültigen Prüfroutine sowie einer Erweiterung der Datenprüfgruppe, kann man von gut geprüften Datensätzen sprechen.

Zu den derzeitigen Aufgabengebieten der Abteilung Datenprüfung zählen u.a. die Digitalisierung verbleibender Klimabögen und die Endprüfung der bestehenden historischen sowie aktuellen Datensätze. Ziel ist es alle Klimadaten auf einen einheitlichen, höchstmöglichen Qualitätsstandard zu setzen. Die Abteilung Datenprüfung arbeitet jetzt schon seit Mitte der 1990er-Jahre daran, diese anspruchsvolle Aufgabe in mühevoller Kleinarbeit umzusetzen.

Anfangs lag es in der Zuständigkeit der Adjunkten bzw. Assistenten Datenmaterial wie Klimabögen zu sichten, korrigieren und dann zu archivieren. Heute prüfen MitarbeiterInnen der Abteilung Datenprüfung historische sowie aktuelle Datensätze (© ZAMG).

Climate Data Rescue Projekte setzen genau an diesem Punkt an: Mit der Digitalisierung historischer Aufzeichnun­gen. Die bekannteste Initiative ist das DARE Projekt der WMO, zu dem auch die ZAMG einen wichtigen Beitrag leistet.

Im Rahmen der Projektinitiative Austrian Climate Data Rescue im Jahr 2008 konnten alle im Archiv gelagerten Klimabögen, welche Tages- bzw. Termindaten vieler aussagekräftiger meteorologischer Kenngrößen beinhalten, digital erfasst werden.

Die Digitalisierung der historischen Klimaaufzeichnungen geht dabei über das simple Abfotografieren, Scannen bzw. Eintippen hinaus und kann als sehr komplex eingestuft werden. Der Bearbeiter muss einerseits selbstständig im Rahmen einer Vorprüfung entscheiden, welche Elemente eingegeben werden, die nicht einheitlichen und von Fall zu Fall unterschiedlichen Verschlüsselungen verstehen bzw. decodieren und anhand der Werte entscheiden, ob die Eingabe sinnvoll ist.

Das Archiv der ZAMG enthält u. a. historische, bis zu 150 Jahre alte Klimabögen aus dem In- und Ausland und sichert somit Kulturgut, welches als besonders schützenswert angesehen werden muss (WMO-Richtlinie). (© ZAMG).

Die Prüfung und Korrektur erfolgt mit der Prüfapplikation Data Correction Tool (DCT). Dabei wird nach einem Mehrstufenprüfsystem vorgegangen:

1. Vollständigkeitsprüfung
2. innere Konsistenzprüfung
3. klimatologische Konsistenzprüfung
4. zeitliche Konsistenzprüfung
5. räumliche Konsistenzprüfung
6. statistische Konsistenzprüfung

NEWS:

März 2017: Zusammenstellung aller verfügbaren Metadaten und komplette Datenbestandsaufnahme unserer ZAMG Jahrbücher (1851-1948)

Prüfung aktueller Messdaten: Automatisiert - doch die letzte Instanz ist der Mensch

AQUAS ist ein System zur Prüfung meteorologischer Daten. Die einzelnen Systemkomponenten sind auf eine sofortige Prüfung eingehender Werte ausgelegt. Jeder Parameter kann für sich autonom verarbeitet werden, unabhängig von den anderen Messgrößen einer Wetterstation. Eine Erweiterung des Datenumfangs um Spezialmessungen, wie beispielsweise am Gipfelobservatorium Sonnblick oder Daten aus Partnernetzen wird dadurch ermöglicht.

Das Gipfelobservatorium am Sonnblick in 3105m Seehöhe. Die Prüfung der Messdaten erweist sich hier meist als sehr diffizil. (© Hermann Scheer)

Die Datengrundlage stellen die Messdaten der vollautomatischen (VAMES), teilautomatischen (TAWES) Wetterstationen sowie Messwerte von Partnernetzen, wie die der MA22 oder Ö3 Stationen, dar. Diese stehen in 10-minütiger Auflösung (beim Niederschlag sogar auf Minutenbasis) zur Verfügung. Die automatische Prüfung und Erstkorrektur erfolgt in real-time. Im Rahmen dieser können nicht plausible Werte aus dem Datensatz gelöscht oder für die Weiterverarbeitung gekennzeichnet werden. Die letztendliche Entscheidung über die Plausibilität eines Wertes verifiziert der/die PrüferIn anhand logischer Rückschlüsse und erweiterter Hilfsmittel.

Mitarbeiter bei der Prüfung der Fehler-/Warningliste mit dem System AQUAS. Die Bearbeitung erfolgt im Allgemeinen am nächsten Tag, spätestens drei bis vier Werktage im Nachhinein. (© ZAMG).

Nach eingehender Prüfung und Korrektur der Mess- und Beobachtungsdaten der Stationen werden diese in die Klima-Datenbank eingespielt und somit archiviert. Ziel ist die Bereitstellung von geprüften Messwerten für die öffentliche sowie kommerzielle Nutzung:

  digitales Jahrbuch der ZAMG 

  tägliche oder monatliche Übermittlung an kommerzielle Nutzer

  klimabezogene Produkte und Services für kommerzielle, öffentliche und private Kunden

  Grundlage der Klimaforschung

  Monatsübersicht

PUBLIKATIONEN

Auer I., Böhm R., Schöner W. (2001): Austrian long-term climate 1767–2000. Multiple instrumental climate time series from Central Europe. Österreichische Beiträge zu Meteorologie und Geophysik 25. Wien: Zentralanstalt für Meteorologie und Geodynamik, doi:10.1002/joc.754 

http://onlinelibrary.wiley.com/doi/10.1002/joc.754/abstract

Tan L.S., Burton S., Crouthamel R., van Engelen A., Hutchinson R., Nicodemus L., Peterson T.C., Rahimzadeh F. (2004): Guidelines on Climate Data Rescue. WMO/TD No. 1210, 11 Seiten (PDF-Datei; 1,9 MB)  
http://www.wmo.int/pages/prog/wcp/wcdmp/documents/WCDMP-55.pdf

LINKS

WMO (2010): Data Rescue (DARE) Project.

https://www.idare-portal.org/

Sonnblick-Verein

http://www.sonnblick.net/portal/content/view/25/135/lang,de/