a multiple point statistics approach to generate rainfall maps at high temporal resolution merging...

A Multiple-Point Statistics Approach to Generate Rainfall Maps at High Temporal Resolution Merging Radar and Rain-Gauge Measurements

EPFL – LTE , 19.03.2016 - Gionata Ghiggi

A Multiple-Point Statistics Approach to Improve Precipitation Estimation by Merging Radar and Rain-Gauge Measurements

Contents Introduction Data available MPS & Direct Sampling Validation Results Conclusion References


• Rain gauges provide direct measurements of rainfall intensity but unfortunately with limited spatial representativity.

• Weather radar systems cover extended areas with high spatial and temporal but the indirect estimates of rain rate that these systems provide are affected by significant uncertainties and bias.

Conversion of radar reflectivity into rain rate (Z-R relationship). Non-uniform vertical profiles of reflectivity & wind drift Hail scattering Bright band

Introduction


Why do we not use geostatistical method ? The variogram takes into account the autocorrelation

between only two points in a while The variogram has to be fitted robustly In case of non-linear continuity (e.g. intermittency of

precipitation) it can not distinguish different pattern of heterogeneity

The variogram is an incomplete measure of uncertainty in complex pattern structure

What do we try to do ? Use of a set of training images (TI) instead of a variogram TIs provide information about structures and patterns MPS characterize the spatial structure by considering the

configuration of several points within the TI and hence enable the reproduction of complex patterns.

Use of hard data (rain-gauge measurements) to condition the simulation and limit the range of possible patterns

(Sideris et al., 2014)

Multiple-Points Statistics (MPS)


• MeteoSwiss radar composite (4 C-band )

• 200 rain-gauges

• MeteoSwiss CombiPrecip Product

Data Available

Temporal resolution : 2.5 min Spatial resolution : 1 km

Temporal resolution : 10 min Tip resolution : 0.1 mm

Hourly precipitation estimates (Sideris et al., 2014)


Training image: Flaubert - Bouvard et Pecuchet

CHAPITRE I Comme il faisait une chaleur de 33 degrés, le boulevard Bourdon se trouvait absolument désert. Plus bas le canal Saint-Martin, fermé par les deux écluses étalait en ligne droite son eau couleur d'encre. Il y avait au milieu, un bateau plein de bois, et sur la berge deux rangs de barriques. Au delà du canal, entre les maisons que séparent des chantiers le grand ciel pur se découpait en plaques d'outremer, et sous la réverbération du soleil, les façades blanches, les toits d'ardoises, les quais de granit éblouissaient. Une rumeur confuse montait du loin dans l'atmosphère tiède ; et tout semblait engourdi par le désœuvrement du dimanche et la tristesse des jours d'été. Deux hommes parurent. L'un venait de la Bastille, l'autre du Jardin des Plantes. Le plus grand, vêtu de toile, marchait le chapeau en arrière, le gilet déboutonné et sa cravate à la main. Le plus petit, dont le corps disparaissait dans une redingote marron, baissait la tête sous une casquette à visière pointue. Quand ils furent arrivés au milieu du boulevard, ils s'assirent à la même minute, sur le même banc.

Generation of a stochastic text


• All 256 ASCII characters in the text are counted• Probability to get any of these characters is estimated • 2560 = 1 histogram has to be created • P(b)= 0.0098, P(e)= 0.1355, P(z)= 0.0011

Statistics at «order 0»


ine :nla slnic mnnarué pnctl!r aLedevmtcalean e e ,sv so ocurinalu sth tamsoa"selS àa lvn ame-uu ocleti ox nene :ab eèê a éb o sh tcie er oof cse ti, p ienetlsyoe?tfluui'is "leag e un lrti evs-apen, ssdisne in lui reNaé unn'apiioe am numib cgiled-ar esel és' tl eem"utt oticéà rmes os s n'u ua sgot.eut e- tthsnlsa.heiai e irsedsa uier P,ouun tnsaèrvnuru nxeucsnsr e " ur eul fue.anv pm!Aoasraéise ta 'tru'uaorlluonenm s i.nb s i eeédas ènSlp uersbu iFreueuat umnr fduehr e?uéulertnauar sdmspussedifée a geoeugalsa h'quré.oea,omvuon yitSc dneole mef ounB ea escnli;in ,e.nl at t a it,iumcdulieelS!l trl do. élmns d" "s h moxç sl-fda ivlo" nnlosnelenlv ;e flcurrsrtiildooa eut rie li a lhsatagenralnuat-,,éc uut emur' " l n-u éSl rlsetaurit dot omo-aepsa Me rrsaoni!thsCsn-neasuaeetniotantd mbesad d t elx e u etmusouseé nueurtiim t elemnsev ntoler,'tUeotés po ,è enraeeiedegce è'toiudeoheu" ,tms.lre .eemfenha lsuditstsdoshuv nen-fateaau s éli,ab iam vmien siodB crdatfe lssi-rou ,ienAsc ihamtaQv diecasllstuèod iissaîa o nbcsepopi"rnuiea csueaea o d s non aruea ee 'u c, o ef ?ovaaeeneeeul siu aod uinneuirqnuescnsieetlaso yuse oeeisu anva's' as rlc rdur st,iden cmy e uar sPtarc de?e

Simulation at «order 0»


Statistics at «order 1»• The text can be used to analyze all the pairs of letters and compute conditional

probabilities :

P(…|a) , P(…|b) , …, P(…|z) 2561 = 256 histograms have to be computed

P(…|a)

P(…|z)

• For each letters, we have an histogram (probability distribution) that gives us the probability of the next letter to occur

• Starting from 1 random letter, we simulate the text !



e, pai couau acotsetablerons fande dan mes pls t d'out aiongt délitit pt cournglchangerorèse lenore. a de Uns !" s cuns jerbresuvelile s Pécadetoût mba ? ye diranadouvette cuve les ; ns ; p ses letes, à s pauts de. les Ilil'auin seçaprrsavarércontes cona ns aimaile t Le courine, lis, qu'étont s l eonux ; écèrge danerdépora !. bau t quvouyan t, ca Kaye ; à ur l'ares, " dentabourommabemaient ulavrole panscyère, laie, paire, onde unce se Pévaniqug det prespout oue ffan me dembiotentret d'âchâchérd'A lébr mandes lentt pâchentrengelencengus."me foi conoue. à Lale, d'ont lache cyles pardenoitutot u l Engaui ent ! cèrçant chandis A iens Ill, sst de ? macheux lens. he - - l Bonte m'ut ienet Il lurvan es, e fenot des, poit merusybr encez auréteruces, a Bin ; deneva inttirezau lanchitrane d'uvis un poir et vailu"Ilt enisort - u'u soma pplon plautaiqusulari chemarais de -- caie à De t, VIntroutress pr. dalsitux ue à ait r, duaurile etes re s argrésor ue lérs, dioun'alà jufraur Potr phe à sa et Ila s me Voges!" voidétrr à !" blis comalit !. - foiré à ! ? es pe d'hesoucoucrens trouenéppans fre rgls, p cutra mêts min e antu'oie aienfind'éeu dux fs me Ahellu'itaiere aux lin. eunt chare pi Bon bi-t à chou marus, ls. poût, qucoues dre Bes " bbbone, dele



Statistics at «order 2»• The text can be used to analyze all the pairs of letters and compute conditional

probabilities :

P(…|aa) , P(…|ab) , P(…|ac),… 2562 = 65’536 histograms have to be computed

P(…|aa)

P(…|ab)

• For any 2 letters, we have an histogram (probability distribution) that gives us the probability of the next letter to occur

• Starting from 2 (random) letter, we simulate the text !



la fermais un habins, -- "Elle bles on des grancer son portir par lent tenaientage de Providus piècles idéraite, soixant l'Arc donna de tenant, une me qu'on coulagabols têtes bient obtils reprent, à l'eau, cautre qu'à dontenir, il ne de plus dévorige d'en relle peu pationale gra une, et ils ils teris, contrages, criand ils se dans un chez riculiacrit, ils foisent, ou bibliquartituellemy soinspossemait que doit en caché : "trande. Mais autre, l'allaient. Pécuchel hausaille gaux les peleurescent les closophagonçait. Servire bation ne bandemer sur puis ne marchéton, ils vait soupes. Marer, qui offiniste... c'est qui pas d'inquinstra, manchismes coeuvers. Cepensait pendie, était de l'imposés jamair des type de plaient-Pierre de se traire ; et le cel, chose. Le mons les caste faire-joncevant l'éclarapuchet. -- et après des descoton ! Bouvard "encomme ces avec son a purent dans -- "Ils bais ce commanglour de les partir enfuir, il lui amouche le bapt des repris bonnaître des de lui vait avec sait un crit fraînerais son bonde ; -- "Eh bien attre livragage amoucher l'Espartire. Avec dence pas troit sembrique d'un caloppela choses plaqui le de pour avec découvaient lour en sédecin démois se défautre besoir. L'Absouvard,



MEMORY ERROR !!!2567= 72’057’594’037’927’936 (potential) combinations

Simulation of order 7


• We sample outcomes directly from a training image (TI) without computing histograms of conditional probabilities

• Use of a distance function between conditioning data and TI data to found matching patterns

We are not interested in the probability of a data event to occur, but only in one representative outcome of it.

No need to store probabilities !!!

The Direct Sampling (Mariethoz et al., 2010)



p a

Direct Sampling Simulation of order 2




p a



r

p a



p a r




p a r



t


p a r t




p a r t



i


p a r t i



e


p a r t i e



… and so on


ur toutes les affections et indique les pièces de vers qu'il faut imaginer pour se reconnaître son inférieur. L'abbé ripostait par la lettre du roi Abgar, les Actes de Pilate et le témoignage de la conscience, à la tradition des peuples, au besoin d'un peu de champagne, dont les détritus amèneraient d'autres ouvrages, Montgaillard, Prudhomme, Gallois, Lacretelle, etc. ; et les contradictions de ces livres ne valant pas une observation pour Josué -- et quant aux Juges, l'auteur nous prévient qu'à l'époque dont il fait l'histoire, particulièrement la féculerie et un nouveau genre de fromages. Pécuchet se mit à réfléchir -- La fenêtre était ouverte, la nuit tranquille. Enfin, avec les plus grandes formaient au loin comme une falaise surplombant la campagne. Puis le notaire tenant à son étude, Foureau fut choisi -- un rustre, un crétin. Le docteur s'en indigna. Fruit sec des concours, il regrettait Mélie, et le pastel de la dame en robe Louis XV, le gênait avec son décolletage. Il l'enferma dans une armoire. Les vantaux en étaient retenues ; ne sachant que dire. -- "C'est infernal, une vie pareille ; j'aime mieux l'athée qui blasphème que le sceptique qui ergote !" Puis il les regarda d'un air de commandement, alla "tirer de la boisson" et revint



AND NOW ?

How does it work?

… to start … make it easy !

Simulation grid

Training image


Simulating node


Simulation grid

Training image

How does it work?


Search neighborhood (conditioning data)

The data event is constituted of the n closest conditioning data. It adapts automatically with the density of informed grid nodes.


Simulation grid

Training image

How does it work?



Simulation grid

Training image



How does it work?



Simulation grid

Training image




How does it work?



Simulation grid

Training imageSearch neighborhood

(conditioning data)


How does it work?


Training image ()Simulation grid ()

Distance threshold function :

Allow to determine (automatically) if a good matching pattern is found !!!



How does it work?





Distance threshold function :

Allow to determine (automatically) if a good matching pattern is found !!!

How does it work?





As soon as one good configuration is found, the value at the central pixel is assigned to the simulated node.

How does it work?


… and then do sequential simulations


Simulation grid () Training image ()

How does it work?





Different simulation’s outcomes are possible !

How does it work?



How does it work ?



Different simulation’s outcomes are possible !


… from a different perspective …

How does it work ?



Main steps of the algorithm:ya

1) .2) 3)

The training image (TI) is composed by a large number of rainfall maps generated by the superimposition of a wide range of bias over the spatial structure of precipitation derived from the radar estimate.

How does it work … in more details

.

We search preferably for a precipitation pattern in the same area but with different intensity to correct the possible local radar bias.

Validation

Cross-validation scheme (CV)

• Based on removing (in turn) any rain-gauge location from the conditioning data.• Comparison of the estimate of several sequential simulations of the algorithm to

the value registered by the removed gauge.• 104 rain-gauges uniformly distributed over the Swiss territory .

Cross-comparison scheme (CC)

• The algorithm uses all the 104 rain-gauges of MeteoSwiss to estimate precipitation over the whole Switzerland.

• The final estimation is compared to a validation dataset composed of 90 rain-gauges, highly clustered in Wallis

Both validation approaches imply the assumption that rain-gauge values are error-free.


Results – Event 1• MPS agrees well with CombiPrecip estimates• MPS estimates seems to be less sensitive to

erroneous gauge data than CombiPrecip when simulating at 10 min. and then aggregating.

Agg. time ME [mm] Bias [dB] MAE [mm] RMSE [mm] MAD [mm] Scatter[mm] Correlation [%]Radar 10 min -0.07 -1.09 0.14 0.19 0.1 0.14 58.27MPS CV 10 min -0.01 -0.5 0.12 0.16 0.08 0.13 66.47MPS CC 10 min 0.02 -0.53 0.12 0.17 0.09 0.13 66.23Radar 60 min -0.35 -0.88 0.74 1.03 0.48 0.79 60.04MPS CV 60 min -0.04 -0.27 0.55 0.83 0.34 0.55 67.22MPS CC 60 min 0.03 -0.47 0.56 0.81 0.38 0.65 76.61

Results – Event 1• MPS agrees well with CombiPrecip estimates• MPS estimates seems to be less sensitive to

erroneous gauge data than CombiPrecip when simulating at 10 min. and then aggregating.

• Bias are halved • Mean error is smaller than the tip resolution of

the rain-gauges.• Hourly estimates shows better skills than 10

minutes estimates


• Better representation of convective cells compared to kriging methods (less smoothing).

• MPS can indirectly account of wind drift of precipitation.

• Accuracy of the estimates is influenced by gauge density and quality of radar composite.

Results – Event 2

MPS Hourly Estimation (Agg. 10 min)

Conclusion• The MPS approach allows to partially correct errors and

biases present in radar images.• MPS seems to be a valid alternative to classical geostatistical

approaches and do not require the definition of a spatial variability model (correlogram or variogram).

MPS is simple to parametrize and a « solution » to the interpolation is always found !• High resolution cumulated rainfall maps can be generated

with customized temporal resolutions from 1 day up to 10 minutes, with interesting applications in hydrology such as flash flood forecasting !

THANK YOU FOR YOUR ATTENTIONEPFL – LTE , 19.03.2016 - Gionata Ghiggi

• Guardiano, F.B., Srivastava, R.M., 1993.Multivariate Geostatistics: Beyond Bivariate Moments. Geostatistics-Troia, Vol. 1, 133–144.

• Mariethoz, G., Renard, P., Straubhaar, J., 2010.The Direct Sampling method to perform multiple-point geostatistical simulations. Water Resources Research 46.

• Haberlandt, U., 2007. Geostatistical interpolation of hourly precipitation from rain-gauges and radar for a large-scale extreme rainfall event.

• Velasco-Forero, C.A., Sempere-Torres, D., Cassiraga, E.F., 2008.A non-parametric automatic blending methodology to estimate rainfall fields from rain gauge and radar data. Advanced Water Resources 32, 986–1002.

• Goudenhoofdt, E., Delobbe, L., 2009. Evaluation of radar-gauge merging methods for quantitative precipitation estimates. Hydrology and Earth System Sciences 13, 195–203.

• Sideris, I. V., Gabella M., Erdin, R., Germann U., 2014 : Real-time radar-rain-gauge merging using spatio-temporal co-kriging with external drift in the alpine terrain of Switzerland. Q.J.R. Meteorological Society 140, 1097-1111.

References
