Bayesian model verification

Abstract

Forecasts of convective precipitation have significant uncertainties. Among the main reasons for these uncertainties are the non-linear dynamics of the atmosphere and approximations within the equations of the numerical weather prediction (NWP) models by unresolved physical processes, which have to be parametrized, and imperfect simulation of resolved physical processes. To account for the forecast uncertainties of convection permitting models, a convection permitting ensemble prediction system (EPS) based on the consortium for small-scale modeling (COSMO) model with a horizontal resolution of 2.8 km covering whole Germany is being developed by the Deutscher Wetterdienst (DWD). The deterministic model is named COSMO-DE.<br /> The potential of convective instability is affected by the vertical structures of temperature and humidity. These vertical profiles of the COSMO-DE-EPS and further ensembles will be investigated in this work. For verification of the vertical model profiles radiosonde observations are used. However, the observations are uncertain by themselves due to the well-known limits in observing the atmosphere.<br /> The focus is to present a probabilistic method to verify and compare ensembles. The approach considers explicitly the observation error as well as the model uncertainty to validate multidimensional state vectors of temperature and equivalent potential temperature profiles of the COSMO-DE-EPS and of two meso-scale ensembles with horizontal resolution of 10 km and parametrized convection. The meso-scale ensembles are the COSMO short-range EPS (COSMO-SREPS) and the COSMO limited-area EPS (COSMO-LEPS).<br /> The approach is based on Bayesian statistics and allows for both verification and comparison of ensembles. Both investigated variables define the dry and moist static stability of the atmosphere, and therefore they determine the necessary conditions of convection. The equivalent potential temperature contains the effect of the humidity, which cannot directly investigated, because the humidity is non-Gaussian. Since the temperature and equivalent potential temperature can be assumed to be Gaussian distributed, the Bayesian approach is solved analytically. Finally, the probabilistic approach gives an "evidence" for the ensemble under investigation in relation to a reference ensemble. This evidence is classified depending on the application either comparison or verification of ensembles.<br /> The investigation period comprises the August 2007 for a comparison of the COSMO-DE-EPS with the COSMO-SREPS and the entire convective and orographically-induced precipitation study (COPS) period 2007 for a verification of the COSMO-SREPS and COSMO-LEPS against COSMO-EU analyses. It is shown that the temperature profiles modeled by the COSMO-DE-EPS have a higher evidence in view of the observations than those of the COSMO-SREPS. Furthermore, the evidence for the equivalent potential temperature is weaker due to the larger uncertainty of this variable in the model as well as in the observed state. This shows the importance of the observation uncertainty. Nevertheless, it seems that the COSMO-DE-EPS as a short range convection permitting ensemble is a suitable approach to consider the uncertainties in forecasting convection. The verification of two meso-scale ensembles COSMO-SREPS and COSMO-LEPS show a linear decrease of the probability (evidence) of the vertical temperature and equivalent potential temperature structure with increased forecast lead time. Furthermore, it is shown that the predictability of the convective conditions are up to 5 days. However, it is to consider that the typical time scale of convection is about hours, and beyond it is difficult to predict convection.<br /> As a general result, the statistical model described in this study is appropriate to compare ensemble systems with each other. The score proposed in this work is a generalization of the Ignorance score taking additionally into account the uncertainty of the observations as well as the spatial correlation structure of the verified forecasts. The approach based on Bayesian statistics allows for a comprehensive evaluation of the forecast quality of three-dimensional samples by using just one score.

Vorhersagen von konvektiven Niederschlägen beinhalten erhebliche Unsicherheiten. Gründe hierfür sind die nicht-lineare Dynamik der Atmosphäre und die Näherungen in den Gleichungen der numerischen Modelle für die Wettervorhersage sowie durch nicht aufgelöste physikalische Prozesse, die parametrisiert werden müssen und weiter durch fehlerhafte Modellierung von physikalischen Prozessen. Zur Berücksichtigung der Unsicherheiten bei der Vorhersage von konvektions-erlaubenden Modellen entwickelt der Deutschen Wetterdienst (DWD) ein Ensemble-Vorhersage-System (Ensemble prediction system - EPS) für die Kurzfrist-Vorhersage, basierend auf dem COSMO-DE. Das deterministische COSMO-DE hat eine Auflösung von 2.8 km und umfasst ganz Deutschland. Das Potenzial der konvektiven Instabilität wird dabei durch die vertikalen Strukturen von Temperatur und Luftfeuchtigkeit bestimmt. Diese vertikalen Profile des COSMO-DE-EPS und weiterer Ensembles werden in dieser Arbeit untersucht. Für die Verifizierung der vertikalen Profile werden Radiosondenbeobachtungen verwendet. Diese Beobachtungen sind allerdings selbst auch unsicher aufgrund der bekannten Grenzen der Beobachtungen der Atmosphäre.<br /> Das Hauptziel dieser Arbeit ist die Präsentation einer probabilistischen Methode zur Verifikation und zum Vergleich von Ensemble-Vorhersagen. Dieser Ansatz berücksichtigt explizit die Beobachtungs-Fehler sowie die Modellunsicherheit für die Validierung mehrdimensionaler Zustandsvektoren der Temperatur und der Äquivalent-potentiellen Temperaturprofile des COSMO-DE-EPS und zweier mesoskaligen Ensembles mit einer Auflösung von 10 km und parametrisierter Konvektion. Die mesoskaligen Ensembles sind das COSMO short-range EPS (COSMO-SREPS) und das COSMO limited-area EPS (COSMO-LEPS). Der Ansatz basiert auf der Bayesischen-Statistik und ermöglicht sowohl eine Verifizierung als auch einen Vergleich der Ensembles. Beide untersuchten Variablen definieren die Stabilität der Atmosphäre und bestimmen die Bedingungen für Konvektion. Die Äquivalente-potentielle Temperatur enthält zudem die Wirkung der Luftfeuchtigkeit, welche nicht direkt untersucht werden kann, da die Luftfeuchtigkeit nicht Gauss-Verteilt ist. Die Temperatur und die Äquivalente-potentielle Temperatur dagegen können als Gauss-Verteilt angenommen werden, so dass der Bayesische-Ansatz analytisch gelöst werden kann. Schliesslich ergibt der probabilistische Ansatz einen "evidence" für das zu untersuchende Ensemble in Bezug auf ein Referenz-Ensemble. Dieser "evidence" wird klassifiziert, wobei die Klassifizierung dabei von der Anwendung entweder Vergleich oder Verifizierung des Ensembles abhängt.<br /> Der Untersuchungszeitraum für den Vergleich des COSMO-DE-EPS mit dem COSMO-SREPS umfasst den August 2007 und den gesamten Zeitraum der konvektiv und orographisch induzierte Niederschlags-Studie (COPS) von 2007 für die Verifikation des COSMO-SREPS und des COSMO-LEPS gegen COSMO-EU Analysen. Es wird gezeigt, dass die Temperatur-Profile des COSMO-DE-EPS viel wahrscheinlicher sind (Sie haben einen höheren Beweis im Hinblick auf die Beobachtungen) als die des COSMO-SREPS. Ferner ist der Beweis für die Äquivalente-potentielle Temperatur schwächer aufgrund der grösseren Unsicherheiten dieser Variablen im Modell als auch in den Beobachtungen. Dies zeigt zudem die Bedeutung der Beobachtungs-Unsicherheiten. Dennoch scheint es, dass das COSMO-DE-EPS als konvektions-erlaubendes kürzestfrist Ensemble dazu geeignet ist, um die Unsicherheiten bei der Vorhersage von Konvektion zu berücksichtigen. Die Verifikation der zwei mesoskaligen Ensembles COSMO-SREPS und COSMO-LEPS zeigt eine lineare Abnahme der Wahrscheinlichkeit (evidence) der vertikalen Temperatur- und Äquivalente-potentielle Temperatur-Profile mit der Vorhersagezeit. Es wird zudem gezeigt, dass die Vorhersagbarkeit von Konvektion nach etwa 5 Tagen endet, da zu diesem Zeitpunkt die Vorhersage die gleiche Wahrscheinlichkeit wie die von Persistenz-Vorhersagen erreicht. Dabei ist zu berücksichtigen, dass die typische Zeit-Skala von Konvektion im Bereich von Stunden liegt und es darüber hinaus schwierig ist Konvektion quantitative vorherzusagen.<br /> Es wird gezeigt, dass das statistische Modell, welches in dieser Studie beschrieben wird, geeignet ist Ensemble-Systeme miteinander zu vergleichen. Der Score, der in dieser Arbeit vorgeschlagen wird, ist eine Verallgemeinerung des Ignorance-Scores unter der zusätzlichen Berücksichtigung der Unsicherheiten der Beobachtungen sowie der räumlichen Korrelation. Der Bayes-Faktor ermöglicht dabei eine umfassende Auswertung der Prognosegüte mit einem einzigen Score.