HYDROLIB: een softwarebibliotheek voor gezamenlijke automatisering van waterysteemmodellen

De processen rondom data en simulatiemodellen bij watervraagstukken worden in toenemende mate geautomatiseerd. Deltares heeft daarom met dertien partners het initiatief genomen voor HYDROLIB, een gezamenlijke softwarebibliotheek.

Download hier de pdf van dit artikel

Geschreven door Arthur van Dam, Ruben Dahm, Rinske Hutten (Deltares), het HYDROLIB-consortium

Om gezamenlijk te werken aan tools voor de automatisering van watersysteemmodellen, heeft een consortium van zes waterschappen, zes adviesbureaus en Wageningen UR, onder aansturing van Deltares, in de periode 2020-2022 het initiatief genomen voor het TKI-project HYDROLIB [1]. Een TKI-project (Topconsortium voor Kennis en Innovatie) bestaat uit publiek-private samenwerking bij kennis- en innovatievraagstukken. Het project is inmiddels afgerond en nu ondersteunt het Nationaal Hydrologisch Instrumentarium (NHI) de HYDROLIB-(ontwikkel)community. Dit artikel geeft een overzicht van het project en het proces van gezamenlijk aan de automatisering van watersysteemmodellen werken.

De HYDROLIB-community heeft als doel samen een softwarebibliotheek te ontwikkelen en beheren voor een geautomatiseerde werkwijze voor hydrologische en hydrodynamische modellering. Deze bibliotheek komt beschikbaar in een open community van ontwikkelaars, modelleurs en gebruikers. Met HYDROLIB wordt gebouwd aan een softwarebibliotheek die gebruikers in staat stelt om:

• aandacht te blijven geven aan de kwaliteit van brondata,
• reproduceerbaar te werken,
• de kans op fouten te verkleinen,
• een snellere modelleer-workflow toe te passen,
• te voorkomen dat het wiel (code of tooltje) steeds opnieuw wordt uitgevonden,
• oplossingen die ontwikkeld zijn met publieke middelen ook publiek te delen.

Dit levert uiteindelijk meer tijd op om daadwerkelijk oplossingen voor de (hydrologische) vraagstukken te bedenken en analyseren, in plaats van aan code of modellen te werken.

Momenteel bevat HYDROLIB een set kernalgoritmes en tools in de programmeertaal Python voor interactie met de D-HYDRO Suite 1D2D voor oppervlaktewater, riolering en de HyDAMO-datastandaard. Met HYDROLIB kunnen adviesbureaus deze algoritmes en tools direct met de gebruikers ontwikkelen en hoeven zij het werk niet zelfstandig en dubbelop te doen. Voor overheden geeft een gestandaardiseerde toolset boven op de datastandaarden meer duidelijkheid in hun modelleertrein. De adviesbureaus kunnen in geavanceerdere tools voor watermanagement en analyse van toekomstscenario’s voortbouwen op deze toolset.

Ervaren hoe gezamenlijke automatisering werkt
Essentieel voor HYDROLIB is het creëren en ondersteunen van de community. Welke vragen spelen bij welke partner en hoe kan daar een gedeeld antwoord op worden geformuleerd? Tijdens de opstartfase werd daarom een serie lunchlezingen georganiseerd over onderwerpen waar het consortium wel een keuze over moest maken, maar waarvan partners aangeven dat ze nog niet over gelijkwaardige of voldoende kennis beschikten.

Te denken valt aan licentie-keuzes en eigendomsrechten; onder welke voorwaarden willen we de scripts delen? Hoe ontwikkelen we samen code en tools op een platform als GitHub? Of hoe durven we te delen met oog voor zowel publieke doelen als commerciële activiteiten? Gedurende het project werden keuzes gemaakt, die ook werkbaar bleken, werden de vragen verfijnd en onderwerpen als beheer en onderhoud behandeld.

Afbeelding 1. Samenwerkdag met alle consortiumpartners. Een van de deelnemers geeft een presentatie over een beschikbaar gestelde tool

Architectuur: het hart en de schil
Uit deze eerste verkenningen kwam ook de noodzaak naar voren van een gelaagde structuur van de softwarearchitectuur. Er is onderscheid gemaakt tussen HYDROLIB-core en HYDROLIB zelf. HYDROLIB-core is het hart van die structuur en is in beheer bij Deltares. Het bestaat uit een Python-bibliotheek met code om eenvoudig aanpassingen aan D-HYDRO Suite 1D2D-modellen te maken: input- en outputbestanden en de aansturing van de rekenkern [2]. Hieromheen begint de schil waar andere organisaties afgeleide en meer geavanceerde scripts kunnen ontwikkelen: HYDROLIB [3].

Momenteel worden deze tools voornamelijk ontwikkeld door diverse Nederlandse adviesbureaus. Door deze modulaire opzet sluiten de afgeleide scripts in de HYDROLIB-schil (onder andere voor modelgeneratie, modelruns en resultaatanalyse) beter en gemakkelijker aan op D-HYDRO Suite 1D2D. Daarnaast kunnen nieuwe functionaliteiten makkelijker toegevoegd worden, die ook beter blijven werken met toekomstige versies van D-HYDRO Suite 1D2D.

Aan de slag met HYDROLIB-tools
Tegenwoordig kan bij de ontwikkeling van algoritmes voor watersysteemanalyses worden uitgegaan van brondata conform de HyDAMO-datastandaard, ongeacht voor welk waterschap de toepassing is. HyDAMO zorgt zodoende dat de community in HYDROLIB efficiënt nieuwe tools kan ontwikkelen. Met de HyDAMO-validatietool kunnen deze brondata gevalideerd worden voordat een model gegenereerd wordt [4]. Met de HYDROLIB-releaseversie 0.2.0 is dan ook een eerste set tools beschikbaar: modelgenerator D-HyDAMO, de Nieuwe StochastenTool, de Profile Optimizer en meerdere pre- en postprocessingscripts.

D-HyDAMO is een door HKV ontwikkelde modelgenerator waarmee een oppervlaktewatermodel met voor het Nederlandse waterbeheer gebruikelijke parameters kan worden gegenereerd voor D-HYDRO Suite 1D2D [5]. D-HyDAMO genereert een volledige schematisatie van het oppervlaktewatersysteem (1D), sturing van kunstwerken, het overstroomde maaiveld en het neerslag-afvoerproces (zie het voorbeeld in afbeelding 2).

Tijdens het project is dit getest in samenwerking met de waterschappen Limburg en Rivierenland, en ondertussen wordt deze modelgeneratie al veel breder toegepast. De invoer voor de oppervlaktewaterschematisatie is het HyDAMO DAMO 2.2 geopackage-formaat, dat door het Waterschapshuis wordt ondersteund. Momenteel werken dertien waterschappen aan het beschikbaar stellen van hun data in dit formaat.

Afbeelding 2. Voorbeeld Python-notebooks waarin twee van de HYDROLIB-tools gedemonstreerd worden: modelgeneratie inclusief real-time control

Om een volledige stochastenanalyse te kunnen uitvoeren met D-HYDRO Suite 1D2D heeft Hydroconsult de Stochastentool doorontwikkeld en open source beschikbaar gesteld. Waterschap Drents Overijsselse Delta heeft deze vervolgens samen met ARCADIS getest voor het stroomgebied van de Soestwetering. D2Hydro heeft een op Python gebaseerde casemanagementtool ontwikkeld onder HYDROLIB. Hiermee kunnen onder andere eenvoudig meerdere cases voor D-HYDRO Suite 1D2D-modellen worden gemaakt en verschillende scenario’s parallel worden gesimuleerd.

RoyalHaskoningDHV heeft een profieloptimalisatiescript toegevoegd aan HYDROLIB. De kern van een optimalisatie is om de output van een modelberekening als input te gebruiken voor nieuwe modelberekeningen. Door deze iteraties doet de computer het werk. Met de Profile Optimizer kan het dwarsprofiel van een geselecteerd gebied worden aangepast en getoetst aan een criterium (de stroomsnelheid). De tool kan onder andere ingezet worden om een optimale bodembreedte te zoeken voor de watergang bij beekherstelprojecten. Een en ander is getest in samenwerking met waterschap Vallei en Veluwe.

Arcadis en HydroLogic hebben gewerkt aan allerlei scripts rondom de pre- en postprocessing van watersysteemmodellen (zie het voorbeeld in afbeelding 3). Arcadis heeft scripts ontwikkeld om een watersysteemanalyse in D-HYDRO Suite 1D2D te vergemakkelijken. Het gaat hierbij onder andere over het kalibreren van het model en het genereren van variaties op een al opgesteld model. Dit kan dan vanuit een geo-informatiesysteem (GIS) gebeuren, zonder dat het model volledig opnieuw gegenereerd hoeft te worden.

Hierdoor kan gestructureerd en herleidbaar gewerkt worden, zonder dat handmatige optimalisaties in het model verloren gaan. HydroLogic heeft nabewerkingsscripts ontwikkeld voor het omzetten van ongestructureerde roosters naar een gestructureerd rooster en het bepalen van overstromingskarakteristieken, zoals aankomsttijden en stijgsnelheden. Deze scripts zijn onder andere gemaakt om het uploaden van overstromingssimulaties met D-HYDRO Suite 1D2D naar de Landelijke Database Overstromingen (LDO) te vergemakkelijken.

Afbeelding 3. Voorbeeld Python-notebooks waarin twee van de HYDROLIB-tools gedemonstreerd worden: visualisatie van waterdieptes bij calamiteiten

Keuzes in automatisering
Onderzoekers van Wageningen UR hebben de partners in het HYDROLIB-consortium geïnterviewd over de opnemen van automatisering in het modelleren van watersystemen [6]. Hoe houdt een hydroloog controle over de modellering als er alsmaar meer geautomatiseerd wordt? Ze reikten verschillende handvatten aan om impliciete en expliciete keuzes in de scripts beter te documenteren, zodat de keuzes die een hydroloog-modelleur nu maakt, later niet alleen in de bestanden terug te vinden is, maar ook toegelicht staat. Het vastleggen van keuzes in scripts is namelijk essentieel voor zowel reproduceerbaarheid als interpretatie van de modelresultaten.

Het opleveren van scripts op een gestandaardiseerde wijze, inclusief review, kan echter uitdagend zijn wanneer projectdruk en deadlines leidend zijn. Met het langetermijnbelang in het achterhoofd om gezamenlijk, zowel publiek als privaat, aan automatisering te werken is een goede oplevering van projectscripts wel degelijk de extra tijd en investering waard. HYDROLIB beoogt met het beschikbaar stellen van een generieke kern en met de gedeelde ontwikkelrichtlijnen, ook dat proces te vereenvoudigen.

Vooruitblik: een groeiende bibliotheek met watertools
De betrokken adviesbureaus, waterschappen en kennisinstellingen werken verder aan HYDROLIB. Nu de basis van de bibliotheek staat en de eerste pilots zijn uitgevoerd, gaat de aandacht de komende periode uit naar het integreren van scripts en het laagdrempelig maken van de (ontwikkel)community.

De deelnemende waterschappen verkennen ook hoe de standaardisering en automatisering die kenmerkend is voor HYDROLIB een rol kan spelen in uitvragen voor offertes. In toenemende mate maken waterschappen gebruik van workflows en scripting. Het is belangrijk om aan de voorkant na te denken over de manier waarop deze workflows en scripts opgeleverd en ontsloten worden bij de afronding van een opdracht. Hiervoor is onder andere een handvat opgesteld [7], dat bijvoorbeeld gebruikt kan worden bij uitvragen. Op die manier kunnen andere partijen de ontwikkelde tools oppakken en/of aanvullen als dit wenselijk is. Dit voorkomt dat het wiel iedere keer opnieuw wordt uitgevonden.

In 2023 zijn twee nieuwe activiteiten gestart. In het project ‘HYDROLIB 2.0’ sluit Deltares bestaande Python- en MATLAB-toolboxen voor rivier- en kustmodellering aan op de HYDROLIB-omgeving. Deze breiden de toepasbaarheid uit naar 2D- en 3D-toepassingen. Tegelijkertijd zijn diverse functionaliteiten ook generiek en onafhankelijk van gebruik in 1D, 2D of 3D. Zo komen de ontwikkelingen in verschillende toepassingsdomeinen alsnog elkaar ten goede. Op het gebied van pre-processing komen onder andere scripts voor randvoorwaardengeneratie, bodem en ruwheden en grid-snapping naar ongestructureerde roosters beschikbaar. Wat betreft post-processing worden scripts voor bijvoorbeeld het maken van dwarsdoorsnedes (zout / temperatuur) toegevoegd.

In het ‘NHI community building’-project worden samenwerkdagen georganiseerd met consultants en waterschappen, waar een bestaande tool of script wordt verbeterd op codeniveau en documentatie, om zo aan HYDROLIB toegevoegd te kunnen worden. Tijdens een van die samenwerkdagen werkten HydroLogic en waterschap Vallei en Veluwe al aan scripts in HYDROLIB die maximale waterdieptes en stroomsnelheden kunnen visualiseren, en deze ook geschikt maken als input voor een schadeberekening. Daarnaast werd gewerkt aan LDO-metadatageneratie vanuit modelinvoer. In hetzelfde project staan online HYDROLIB-trainingen gepland en zal een ‘train de reviewer’-cursus worden gegeven.

Met de opgedane ervaringen van deze projecten wordt samen met de community gekeken hoe HYDROLIB verder vorm gaat krijgen. Zo wordt gezamenlijk gewerkt aan automatisering om zodoende de beleidsvorming, uitvoering en toetsing beter te ondersteunen.

Het HYDROLYB-consortium bestaat uit Wageningen University & Research, Hoogheemraadschap de Stichtse Rijnlanden, waterschap Drents Overijsselse Delta, waterschap Limburg, waterschap Rijn en IJssel, waterschap Vallei en Veluwe, waterschap Rivierenland, Arcadis, Deltares, D2Hydro, HKV Lijn in Water, Hydrologic, Siebe Bosch Hydroconsult en RoyalHaskoningDHV.

REFERENTIES
1. TKI Deltatechnologie (2023). HYDROLIB. https://tkideltatechnologie.nl/project/hydrolib/
2. Deltares (2023). HYDROLIB core. https://deltares.github.io/HYDROLIB-core/
3. Deltares (2023). HYDROLIB documentation. https://deltares.github.io/HYDROLIB/
4. Het Waterschapshuis (2023). HyDAMO Validatietool. http://34.116.186.212/
5. D-HyDAMO wiki: https://hkvconfluence.atlassian.net/wiki/spaces/DHYD/overview
6. Remmers, J.O.E., et al. (2023). 'Power to the programmer: Modeller’s perspective on automating the setup of hydraulic models for Dutch water authorities'. (in review)
7. Deltares (2023). HYDROLIB projectresultaten.
https://publicwiki.deltares.nl/display/TKIP/HYDROLIB+Projectresultaten?preview=/213124144/238191750/handvat_HYDROLIB_v04.pdf