HYDROLIB

Samenvatting project

Voor overheden, adviesbureaus en kennisinstituten zijn data,
hydrologische en hydrodynamische simulatiemodellen essentieel bij hun
werk aan watervraagstukken. De processen rondom data en
simulatiemodellen worden in toenemende mate geautomatiseerd. Deze
automatisering versnelt het proces, vraagt (hernieuwde) aandacht voor
kwaliteit van brondata, voorkomt (menselijke) fouten en maakt
optimalisatie mogelijk. Deze ontwikkelingen vormen de kern van project
HYDROLIB.
Het doel van HYDROLIB is het realiseren van een gedeelde
softwarebibliotheek voor een geautomatiseerde workflow van
hydrologische en hydrodynamische modellering, beschikbaar in een open
community van ontwikkelaars en gebruikers.
Een set kernalgoritmes en tools voor interactie met de D-HYDRO Suite
1D2D voor oppervlaktewater en de HyDAMO-datastandaard, zorgen dat
adviesbureaus deze ontwikkelingen niet zelfstandig en dubbelop hoeven te
doen. Voor overheden geeft een gestandaardiseerde toolset bovenop de
datastandaarden meer duidelijkheid in hun modelleertrein. De
adviesbureaus kunnen voortbouwen op deze toolset in geavanceerdere
tools voor watermanagement en analyse van toekomstscenario’s.
HYDROLIB gaat op Python gebaseerde data- en softwaretools bevatten
voor:
- Consistentie en validatie modelinvoer;
- Modelgeneratie vanuit HyDAMO-brondata;
- Snel en automatisch simuleren (stochastische reeksen of optimalisatie),
lokaal of in een cloud;
- Reproduceerbare uitkomsten en nabewerking.
Ook wordt onderzoek gedaan naar de plaats van menselijke
modelleerkeuzes binnen geautomatiseerde workflows. Tenslotte wordt
een HPC-versie van D-HYDRO Suite 1D2D ontwikkeld.

Doel van het project

Het doel van HYDROLIB is het realiseren van een gedeelde softwarebibliotheek voor een geautomatiseerde workflow van hydrologische en hydrodynamische modellering beschikbaar in een open community van ontwikkelaars en gebruikers.Een set kernalgoritmes en tools voor interacties met D-HYDRO Suite 1D2D en onder andere ook de HyDAMO-datastandaard zorgen dat adviesbureaus deze ontwikkelingen niet zelfstandig en dubbelop hoeven te doen. Voor overheden geeft een gestandaardiseerde toolset bovenop de vastgelegde datastandaarden ook meer duidelijkheid in hun modelleertrein. Binnen en buiten het project zullen de private partners ook voortbouwen op deze toolset in afgeleide en meer geavanceerde tools voor watermanagement en analyse van toekomstscenario’s. Deze projectdoelstellingen dragen direct bij aan de doelstellingen van MMIP F3 “Nederland Digitaal Waterland”.In meer detail gaat HYDROLIB op Python gebaseerde data- en softwaretools bevatten voor:- Consistentie en validatie modelinvoer ook in relatie met de brondata3- Modelgeneratie vanuit HyDAMO-brondata- Snel en automatisch simuleren (bijv. toetsing stochastische reeksen of optimalisatie) lokaal of in een cloud-omgeving- Reproduceerbare uitkomsten en nabewerking (zoals statistiek en visualisatie)Deze tools voor de keten data-modelgeneratie-modelsimulaties-resultatenanalyse past daarmee goed in het MMIP F3 deelprogramma “Modellering en scenario-building”.

Motivatie

Voor overheden adviesbureaus en kennisinstituten zijn data en hydrologische en hydrodynamische simulatiemodellen essentieel bij hun werk aan watervraagstukken. Dit geld zowel voor klimaatbestendig zijn en blijven (KIA Landbouw Water Voedel missie C “Klimaatbestendig landelijk en stedelijk gebied”) als voor beschermd zijn en blijven tegen extreme gebeurtenissen (KIA Landbouw Water Voedsel missie F “Nederland best beschermde delta”).De processen rondom de data en simulatiemodules worden in toenemende mate geautomatiseerd. Deze automatisering versnelt het proces vraagt (hernieuwde) aandacht voor de kwaliteit van o.a. brondata voorkomt (menselijke) fouten en maakt optimalisatie mogelijk. Deze automatisering draagt direct bij aan MMIP F3 “Nederland Digitaal Waterland”.Natuurlijk is deze automatisering deels generiek en deels projectspecifiek. Met de ingebruikname van de nieuwe D-HYDRO Suite 1D2D modules voor oppervlaktewater is dit het moment om de handen ineen te slaan en samen verder te werken aan gevalideerde en goed ondersteunde automatisering van D-HYDRO Suite 1D2D modellering. Uiteraard voortbouwend op de relevante bestaande data- en modelleerstandaarden zoals o.a. HyDAMO (afkomstig uit het Nederlands Hydrologisch Instrumentarium).Deltares neemt daarom samen met publieke en private partners het initiatief voor HYDROLIB: een softwarebibliotheek ter automatisering van hydrologische en hydrodynamische dataverwerking en modellering.

Locatie

Delft

Uitgevoerde acties

De geplande acties zijn in zes werkpakketten verdeeld (WP1 t/m WP6).Samengevat over alle werkpakketten: in de begroting wordt aanspraak gemaakt op 50% tki-toeslag voor de onderzoeks- en ontwikkelonderdelen van het type “Industrieel onderzoek” en 25% tki-toeslag voor het onderdeel Pilots (type “Experimentele ontwikkeling”). De pilots in dit onderzoeksvoorstel (WP3) omvatten een relatief beperkt deel van het project hierdoor komen we in totaal uit op een reëel geschat maximaal percentage van 43% voor de TKI-toeslag zie onderstaande Tabel 1.Onderdeel - Projectbegroting - TKI-toeslag - TKI-toeslag als % van begrotingOnderzoek & ontwikkeling (industrieel onderzoek) - € 769.526 - € 384.763 - 50% Pilotstudies (experimentele ontwikkeling) - € 275.736 - € 68.934 - 25%TOTAAL € 1.045.262 - € 453.697 - 43%

Verwachtte resultaten

1 - Way-of-working documentatie voor open source samenwerkingsplatform (uit WP1 – Open source community). - 20212 - Architectuur-ontwerp HYDROLIB (uit WP2 – Architectuur). - 20213 - HYDROLIB-releases bevattende de kernscripts (inclusief API-documentatie) D-HyDAMO en verder te ontwikkelen tools (uit WP3 – Scripting). - 2021 20224 - Publicaties in een vakblad over pilotstudies (uit WP4 – Pilots). - 20225 - 1 vakpublicatie en 2 peer-reviewed wetenschappelijke publicaties (submitted) (uit WP5 – Modelleerkeuzes en automatisering). - 20226 - Bèta-projectversie van D-HYDRO Suite 1D2D waarin de parallellisatie en rekenhartverbeteringen uit WP6 zijn opgenomen. Indien dit TKI-project gegund wordt zal dezelfde functionaliteit ook onderdeel worden van de eerstvolgende General Availability (GA)-release van de D-Hydro Suite 1D2D (open source). - 2021

Innovativiteit

Startpunt van dit project “HYDROLIB” is de D-HYDRO Suite 1D2D die in recente jaren al uitgebreid doorontwikkeld is voor inzetbaarheid op landelijke en stedelijke watertoepassingen.Binnen dit project wordt onder andere ook een High Performance Computing (HPC)-uitbreiding op D-HYDRO Suite 1D2D ontwikkeld voor distributed-memory rekenclusters.Daarnaast wordt gewerkt aan automatische modelgeneratie vanuit brondata volgens de HyDAMO-datastandaard. De datastandaard is gereed (vanuit het Nederlands Hydrologisch Instrumentarium4) nu is de volgende stap het automatisch opbouwen van de modelschematisaties. In samenwerking met Wageningen Universiteit wordt hierbij ook onderzoek gedaan naar de positie van menselijke expert-keuzes in deze meer geautomatiseerde werkwijze: waar vindt de hydrologische modelleerkennis zijn plek in deze workflow?Ook gaat gewerkt wordt aan stochastische reeksberekeningen van hydrologische oppervlaktewatermodellen. Nieuw is dat dit uitgebreid gaat worden met de nieuwe geïntegreerde D-HYDRO Suite 1D2D modules. Onder andere wordt ook onderzocht hoe deze berekeningen in de cloud uitgevoerd kunnen worden waarbij gelet moet worden op de API van het rekenhart en de mogelijke keuze voor remote nabewerken van de data.

Valorisatie

Niet ingevuld

Hoe gaan de participanten van het project om met intellectueel eigendom dat voorkomt uit deze projecten?

Alle partijen krijgen alle resultaten van het Project ter beschikking. De resultaten van de samenwerking kunnen breed verspreid worden. Partijen kunnen over deze resultaten vrijelijk publiceren. De resultaten zullen volledig openbaar beschikbaar zijn, met uitzondering van ter beschikking gestelde achtergrondkennis.

Op welke wijze wordt de informatie over dit project op eenvoudige wijze voor het algemene publiek kenbaar gemaakt (beschrijving van het onderzoek, deelnemers en de planning en voortgang)?

De informatie over dit project wordt kenbaar gemaakt via de website van de TKI Deltatechnologie (projectbeschrijving) en de projectwiki van Deltares (projectvoortgang en resultaten).

Projectvoorwaarden

Na de datum waarop deze Overeenkomst in werking is getreden, maar uiterlijk tot een jaar voor de beoogde datum waarop het Project zal zijn voltooid, kunnen ondernemers en/of onderzoeksinstellingen, die op het terrein van het relevante subsidieprogramma van het TKI werkzaam zijn alsnog als Partij toetreden. Een later toetredende Partij zal een nader overeen te komen bijdrage in kind en/of in cash moeten leveren die in redelijke verhouding staat tot zijn relatief aandeel in het Project na toetreding. De overige Partijen ontvangen vervolgens naar rato een terugbetaling en/ of gedeeltelijke vrijstellingen van hun nog te leveren bijdrage in kind, voor zover niet besloten wordt de bijdrage van de later toetredende Partij aan het projectbudget toe te voegen.

Projecteigenaar en projectleider(s)

Projecteigenaar:
Hans Groot
Projectleider(s):
Arthur van Dam

Partners

  • Arcadis Nederland B.V.
  • D2Hydro
  • HaskoningDHV Nederland B.V.
  • HKV Lijn in Water B.V.
  • Hoogheemraadschap De Stichtse Rijnlanden
  • Hydroconsult
  • HydroLogic B.V.
  • Stichting Deltares (Delft)
  • Stichting Wageningen Research
  • TKI Deltatechnologie
  • Waterschap Drents Overijsselse Delta
  • Waterschap Limburg
  • Waterschap Rijn en IJssel
  • Waterschap Rivierenland
  • Waterschap Vallei en Veluwe

Resultaten

HYDROLIB-2023-4

Resultaat type
Product-/Proces Deliverables
Omschrijving

Alle producten en publicaties zijn te vinden op https://publicwiki.deltares.nl/display/TKIP/HYDROLIB+Projectresultaten

Wetenschappelijke publicatie?

HYDROLIB-2022-4

Resultaat type
Product-/Proces Deliverables
Omschrijving

Hydrolib-core 0.4 is het centrale Python pakket, waarin nu uitgebreide ondersteuning is voor de D-HYDRO Suite 1D2D inputformaten. Op de website staan ook tutorials en ander trainings materiaal.
Hydrolib-0.1.2 is de eerste publieke release van de omliggende HYDROLIB toolbox, met daarin onder andere een nieuwe D-HyDAMO release, die nu aangesloten is op de centrale hydrolib-core functionaliteit, en ook het DAMO 2.2 formaat uit de waterschapswereld volledig ondersteunt.

Wetenschappelijke publicatie?

HYDROLIB-2022-3

Resultaat type
Product-/Proces Deliverables
Omschrijving

Hydrolib-core 0.4 is het centrale Python pakket, waarin nu uitgebreide ondersteuning is voor de D-HYDRO Suite 1D2D inputformaten. Op de website staan ook tutorials en ander trainings materiaal.
Hydrolib-0.1.2 is de eerste publieke release van de omliggende HYDROLIB toolbox, met daarin onder andere een nieuwe D-HyDAMO release, die nu aangesloten is op de centrale hydrolib-core functionaliteit, en ook het DAMO 2.2 formaat uit de waterschapswereld volledig ondersteunt.

Wetenschappelijke publicatie?

HYDROLIB-2021-4

Resultaat type
Publicatie(s) niet peer reviewed
Aantal
2
Omschrijving

MSc thesis Lieverse, J.M. (2021) Comparitive assessment of sobek2 and D-HYDRO Suite 1d2d for regional inundation modelling - http://essay.utwente.nl/88019/
MSc thesis Noppen, van , T.E. (2022) Automatic Extraction of Ridge Lines from Digital Elevation Models - http://resolver.tudelft.nl/uuid:ab59f7b6-ba98-4717-991b-18b2c9143f78

Wetenschappelijke publicatie?

HYDROLIB-2021-4

Resultaat type
Publicatie(s) niet peer reviewed
Aantal
1
Omschrijving

Afstudeerverslag:
MSc thesis Lieverse, J.M. (2021) Comparitive assessment of sobek2 and D-HYDRO Suite 1d2d for regional inundation modelling - http://essay.utwente.nl/88019/

Wetenschappelijke publicatie?