Summary
Uncertainty of model output predictions is an often neglected but very important aspect of modelling. Moreover, the need for a unified approach to quantify this uncertainty arose recently in the field of wastewater treatment plant modelling. In this thesis, a rigorous methodology to quantify output uncertainty resulting from different uncertainty sources is developed. The proposed tool consists of following consequent steps: parameter selection (based on local sensitivity analysis), parameter estimation (with local Simplex optimisation), parameter estimate confidence interval determination (with the Nelder-and-Mead method based on the Hessian matrix) and uncertainty propagation to the model output (by means of Monte Carlo simulations). The developed tool was tested on a complex biosystem model, i.e. the full-scale Eindhoven wastewater treatment plant model, in order to investigate the impact of data frequency and model structure on output uncertainty. The tool revealed to be useful in the determination of the impact of data frequency on the model output i.e. when less calibration and/or input data are fed to the model, parameter estimates deviate more from the default values, parameter estimate confidence intervals become wider and output uncertainty boundaries exhibit the same trend. The impact of different model structures could not be determined for the case tested (using three different aeration models). Moreover, it is believed that this is also attributed to the fact that the procedure is only tested under stable, dry weather conditions. It is expected that differences between a simple and a more realistic and extended aeration model would appear when the procedure is executed under varying conditions. However, some bottlenecks in the procedure still need to be cured, of which the most important one seems to be the coupling of the parameter estimate confidence intervals with the uncertainty propagation. Indeed, it was found that these confidence intervals are still quite small and are expected to be larger as predicted output uncertainty is very small. When the observed problems are solved, which seems realistically feasible, the proposed procedure could be a good step in the direction of a well-defined, scientifically based and still practical methodology to quantify output uncertainty resulting from different uncertainty sources. Indeed, the procedure is relatively easy to handle and can determine output uncertainties resulting from different uncertainty sources, even for complex biosystem models. In the end this should lead to more reliable models for WWTP with significantly reduced calibration effort.

Samenvatting
Onzekerheden op modelvoorspellingen is een vaak verwaarloosd, maar zeer belangrijk aspect van modelleren. Ook in het toepassingsgebied van de waterzuiveringsmodellering rees onlangs de vraag naar een uniforme methodologie om deze onzekerheden te kwantificeren. In deze thesis, werd een nauwgezette methodologie opgesteld om de onzekerheden op de modelvoorspellingen, veroorzaakt door verschillende onzekerheidsbronnen, te kwantificeren. De bronnen kunnen zowel onzekerheid in de input van het model zijn (input data en parameterwaarden) als in de modelstructuur. De voorgestelde procedure bestaat uit volgende stappen: parameter selectie (o.b.v. een lokale gevoeligheidsanalyse), parameterschatting (d.m.v. een lokaal Simplex algoritme), bepaling van de onzekerheidsintervallen op de geschatte parameterwaarden (met de Nelder-en-Mead methode op basis van de Hessiaan) en onzekerheidspropagatie naar de uitgang van het model (door middel van Monte Carlo simulaties). De ontwikkelde tool werd getest op een complex biosysteemmodel, namelijk het waterzuiveringsmodel van de RWZI te Eindhoven en de impact van datafrequentie en modelstructuur op de onzekerheid van de modelvoorspellingen werd onderzocht. De tool bleek reeds bruikbaar bij de bepaling van de impact van datafrequentie. Er werd vastgesteld dat het voeden van minder kalibratie- en/of input data aan het model leidt tot parameterwaarden die meer afwijken van de standaardwaarden, grotere onzekerheidsintervallen van de geschatte parameterwaarden en bijgevolg ook meer onzekerheid over de modelvoorspellingen. De impact van een realistischere modelstructuur kon niet vastgesteld worden in de testcase, die de vergelijking van drie verschillende aeratiemodellen inhield. Dit wordt echter ook deels toegeschreven aan het feit dat de procedure enkel getest is onder stabiele omstandigheden (vijf opeenvolgende dagen met droog weer). Het is echter te verwachten dat de verschillen tussen een eenvoudig en een uitgebreider, realistischer beluchtingsmodel wel zichtbaar zouden worden wanneer de procedure getest wordt onder variërende omstandigheden. De voorgestelde procedure bevat echter nog een aantal knelpunten, waarvan het belangrijkste de koppeling van de onzekerheidsintervallen op de geschatte parameterwaarden met de onzekerheidspropagatie d.m.v. de Monte Carlo simulaties lijkt te zijn. Wanneer de vastgestelde problemen opgelost worden (en dat lijkt realistisch), kan de voorgestelde procedure een goede stap in de richting van een duidelijk gedefinieerde, wetenschappelijk onderbouwde en praktisch uitvoerbare methodologie zijn. Inderdaad, de procedure is relatief eenvoudig en kan de onzekerheden op modelvoorspellingen afkomstig van verschillende onzekerheidsbronnen kwantificeren en dit zelfs voor complexe biosysteem modellen. Uiteindelijk zal de vooropgestelde methodologie leiden tot betrouwbaardere modellen voor RWZIs en een eenvoudigere en minder tijdrovende calibratie van deze modellen.

Faculteit Bio-ingenieurswetenschappen
Academiejaar 2009 – 2010

Promotor: Prof. dr. ir. Ingmar Nopens
Tutor: ir. Salvatore Plano
Masterproef voorgedragen tot het behalen van de graad van
Master in de bio-ingenieurswetenschappen: milieutechnologie