D-HYDRO GUI Visualisatie & Cloud

Samenvatting project

In de afgelopen jaren heeft Deltares samen met publieke en private
partners intensief gewerkt aan de ontwikkeling aan de D-HYDRO Suite
1D2D. Dit is de nieuwe (open source) hydrodynamische simulatiesoftware
voor regionale en stedelijke toepassingen. Tevens des beoogd opvolger van
de veel gebruikte, maar verouderde SOBEK simulatiesoftware. Met dit
project beogen we GUI componenten te ontsluiten in de D-HYDRO Suite
1D2D zodat integrale gebiedsstudies voor regionale en stedelijke
toepassingen kunnen worden uitgevoerd conform de eisen en wensen van
deze tijd
Bij de eisen en wensen van deze tijd hoort ook het geschikt maken van de
software voor High Performance Computing om grote en complexe
modellen te kunnen doorrekenen. Een belangrijke ontwikkeling daarin is
het kunnen aanbieden van HPC in een publieke Cloud omgeving. Dit biedt
voordelen t.o.v. een eigen rekencluster op het gebied van kosten,
opschaling en toegankelijkheid. Daarnaast bestaat de behoefte bij zowel de
publieke als de private gebruikers van D-HYDRO Suite 1D2D om
simulatieresultaten op zowel een inzichtelijke als een visueel geavanceerde
manier (3D, AR/VR) te kunnen weergegeven. Zodat simulatieresultaten
voor de modelleur evenals voor een breed publiek inzichtelijk en
begrijpelijk gemaakt kunnen worden.
Het doel van het project D-HYDRO GUI, Visualisatie & Cloud is om GUI
essentiële componenten te ontwikkelen voor de modules van de D-HYDRO
Suite 1D2D, nieuwe vormen van visualisatietechnieken te ontwikkelen voor
de D-HYDRO Suite 1D2D simulatieresultaten én om een workflow te
ontwikkelen waarmee D-HYDRO Suite 1D2D simulatieberekeningen
tezamen met de juiste voor- en nabewerking “cloud ready” worden.
Binnen dit project worden de volgende werkzaamheden uitgevoerd:
1. Ontwikkelen van vereiste GUI componenten voor visualisatie en
inspectie functionaliteiten voor de modules in de D-HYDRO Suite 1D2D.
2.Het ontwikkelen van een AR/VR visualisatie toepassings-tool voor
weergave van D-HYDRO Suite 1D2D resultaten.
3. Het ontwikkelen van een DFX versie voor 3D (web) animaties van DHYDRO Suite 1D2D resultaten.
4. Het ontwerp en opzet van een “how to” workflow voor het modelleren
in een publieke cloud omgeving met D-HYDRO Suite 1D2D .
5. Pilots waarin de nieuwe GUI functionaliteiten van de D-HYDRO Suite
1D2D, de Visualisatie en de Cloud ontwikkelingen worden toegepast door
de partners in dit project

Doel van het project

Het doel van het project D-HYDRO GUI Visualisatie & Cloud is om GUI componenten te ontwikkelen voor de modules binnen de D-HYDRO Suite 1D2D daarnaast nieuwe vormen van visualisatietechnieken te ontwikkelen voor de D-HYDRO Suite 1D2D simulatieresultaten én om een workflow te ontwikkelen waarmee D-HYDRO Suite 1D2D simulatieberekeningen tezamen met de juiste voor- en nabewerking “cloud ready” worden. Dit past in een overkoepelend doel om de integrale hydrologische modelanalyses te kunnen uitvoeren voor het regionale waterbeheer die aansluiten bij de eisen en wensen van deze tijd en met in Nederland ontwikkelde hydrologische en hydrodynamische simulatiesoftware toonaangevend te blijven zijn in het internationale waterbeheer. interfacing scripts van de D-HYDRO Suite 1D2D modules. Dit betreft essentiële modules zoals D-Flow FM D-Hydrology en D-RTC die we via de grafische userinterface (GUI) van D-HYDRO Suite 1D2D voor de eindgebruiker toegankelijk maken. De visualisatietechnieken die we in dit project willen ontwikkelen bestaan uit innovatieve visualisatietools waaronder 3D web visualisatie en AR/VR weergave van modelresultaten van D-HYDRO Suite 1D2D. Daarnaast breiden we huidige visualisatie en inspectiefunctionaliteiten uit in de D-HYDRO Suite 1D2D GUI. Met de ontwikkelingen rondom het “cloud ready” maken verkennen we de essentiële bouwstenen om D-HYDRO Suite 1D2D technisch geschikt te maken voor Cloud simulaties. Figuur 1 toont 6 bouwstenen die noodzakelijk zijn voor een succesvolleinzet van D-HYDRO Suite 1D2D in een cloud omgeving. Voor elk van deze aspecten verkennen we de configuratieruimte voor optimale inzet van de simulatiesoftware. Dit vereist gedetailleerde analyse van het functioneren van D-HYDRO Suite 1D2D in een publieke cloud omgeving en een kader om zorgvuldig een afweging te maken tussen bijvoorbeeld kostenbeheersing versus performance. In dit kader stelt Amazon technische kennis ter beschikking om de specifieke e

Motivatie

Voor overheden adviesbureaus en kennisinstituten zijn data en hydrologische en hydrodynamische modellen essentieel bij hun werk aan watervraagstukken. In de afgelopen jaren heeft Deltares samen met publieke en private partners intensief gewerkt aan de ontwikkeling aan de D-HYDRO Suite 1D2D de nieuwe (open source) hydrodynamische simulatiesoftware voor regionale en stedelijke toepassingen als beoogd opvolger van het veel gebruikte maar verouderde SOBEK. De focus van deze ontwikkelingen lag vooral op de basis van den D-HYDRO Suite 1D2D: een geheel vernieuwd hydrodynamisch rekenhart (D-Flow FM) waarmee eendimensionale tweedimensionale en driedimensionale hydrodynamische simulaties gemaakt kunnen worden op ongestructureerde rekenroosters. Dit biedt meer flexibiliteit en een betere nauwkeurigheid van de modelsimulatie. Het D-Flow FM rekenhart maakt tevensoptimaal gebruik van multi-core processoren en is geschikt voor het draaien op grote rekenclusters (‘high performance computing clusters’). Dit alles levert een sterk verbeterde prestatie op in termen van rekensnelheid en nauwkeurigheid. Dit biedt grote meerwaarde ten opzichte van SOBEK en zorgt ervoor dat met de D-HYDRO Suite 1D2D integrale gebiedsstudies kunnen worden uitgevoerd conform de eisen en wensen van deze tijd aan simulatiesoftware. Echter om de D-HYDRO Suite 1D2D effectief te kunnen inzetten moeten essentiële rekenhart componenten ontsloten worden via de grafische user-interface (GUI) van D-HYDRO Suite 1D2D. Bij de eisen en wensen van deze tijd hoort ook de mogelijkheid om modellen en simulatieresultaten op zowel een inzichtelijke als een visueel geavanceerde manier in3D en met Augmented Reality (AR) of Virtual Reality (VR) te kunnen weergegeven. Zodat modellen en simulatieresultaten voor de modelleur evenals voor een breed publiek inzichtelijk en begrijpelijk gemaakt kunnen worden. Dit is van belang voor interne en externe communicatie in het waterbeheer en dient ter ond

Locatie

Delft

Uitgevoerde acties

Binnen dit project zijn de werkzaamheden verdeeld in vier werkpakketten (WP1 t/m WP4) Figuur 2. De werkpakketten van het TKI GUI Visualisatie & Cloud project Het eerste werkpakket valt onder een mix van industrieel en experimenteel onderzoek en daarvoor is aanspraak gemaakt op 37.5% subsidie (de waarde tussen 25% en 50%). Op het 2e en 3e werkpakket (D-HYDRO D-HYDRO Visuals en Cloud computing) wordt aanspraak gemaakt op 50% tki-toeslag voor de onderzoeks- en ontwikkelonderdelen van het type “Industrieel onderzoek”. Op werkpakket 4 hetwerkpakket Pilots wordt aanspraak gemaakt op 25% tki-toeslag omdat dit onderdeel valt onder experimentele ontwikkeling.

Verwachtte resultaten

2021 2022D-HYDRO Suite 1D2D GA versie waarin de ontwikkelingen aan de GUI (uit WP1) zijn opgenomen.2021 2022AR/VR visualisatie toepassings-tool voor weergave van D-HYDRO Suite 1D2D resultaten.(uit WP2)2021 2022DFX project versie voor 3D (web) animaties van D-HYDRO Suite 1D2D resultaten (uit WP2)2021 2022Een prototype werkwijze opgezet met de workflow engine Argo inclusief handleiding (‘how-to’) en essentiële python scripts om DHYDRO Suite 1D2D modellen in een cloud omgeving te simuleren en run-administratie. Software analyse gerelateerd aan de bouwstenen (Figuur 1) om D-HYDRO Suite 1D2D efficiënt in een cloud omgeving in te zetten.2022Publicaties in vakbladen als H2O en Stromingen over de conclusies en lessen van de pilotstudies (uit WP4 – Pilots).

Innovativiteit

Startpunt van dit project is de D-HYDRO Suite 1D2D bèta software waaraan afgelopen jaren is ontwikkeld en zich onderscheid met voorgaande simulatiesoftware door het geheel vernieuwd hydrodynamisch rekenhart D-Flow FM (zie ook aanleiding). D-Flow FM kan in de D-HYDRO Suite 1D2D gekoppeld worden aan de modules D-Hydrology(voor hydrologische neerslag afvoerberekeningen) en D-RTC (voor complexe sturing van hydraulische kunstwerken). Dit maakt het mogelijk om integrale hydrologische modelanalyses te kunnen uitvoeren met state of the art software.Bij de ontwikkelingen van nieuwe visualisatieopties werken we aan innovatieve technieken voor communicatie aan een breed publiek. Hierbij willen we D-HYDRO Suite 1D2D resultaten kunnen ontsluiten in nieuwe vormen van visualisatie zoals Virtual Reality (VR) en Augmented Reality (AR). 3D visualisaties van D-HYDRO Suite 1D2D resultaten willen we webbased kunnen aanbieden via een web-export van de DFX tool waarmee we modelresultaten op een snelle eenvoudige en begrijpelijke wijze gedeeld kunnen worden met andere stakeholders en een breder publiek.Het nieuwe D-Flow FM rekenhart biedt de mogelijkheid om effectief ingezet te worden op High Performance Computing clusters. In dit project gaan we deze toepassing uitbreiden voor de regionale toepassing waarbij integrale modellen met de modules D-Flow FM(1D2D) D-Hydrology en D-RTC binnen de D-HYDRO Suite 1D2D geschiktmaken voor Cloud Computing. Dit vereist nieuwe ontwikkelingen aan de API van het rekenhart.

Valorisatie

Niet ingevuld

Hoe gaan de participanten van het project om met intellectueel eigendom dat voorkomt uit deze projecten?

Alle partijen krijgen alle resultaten van het Project ter beschikking. De resultaten van de samenwerking kunnen breed verspreid worden. Partijen kunnen over deze resultaten vrijelijk publiceren. De resultaten zullen volledig openbaar beschikbaar zijn, met uitzondering van ter beschikking gestelde achtergrondkennis.

Op welke wijze wordt de informatie over dit project op eenvoudige wijze voor het algemene publiek kenbaar gemaakt (beschrijving van het onderzoek, deelnemers en de planning en voortgang)?

De informatie over dit project wordt kenbaar gemaakt via de website van de TKI Deltatechnologie (projectbeschrijving) en de projectwiki van Deltares (projectvoortgang en resultaten).

Projectvoorwaarden

Na de datum waarop deze Overeenkomst in werking is getreden, maar uiterlijk tot een jaar voor de beoogde datum waarop het Project zal zijn voltooid, kunnen ondernemers en/of onderzoeksinstellingen, die op het terrein van het relevante subsidieprogramma van het TKI werkzaam zijn alsnog als Partij toetreden. Een later toetredende Partij zal een nader overeen te komen bijdrage in kind en/of in cash moeten leveren die in redelijke verhouding staat tot zijn relatief aandeel in het Project na toetreding. De overige Partijen ontvangen vervolgens naar rato een terugbetaling en/ of gedeeltelijke vrijstellingen van hun nog te leveren bijdrage in kind, voor zover niet besloten wordt de bijdrage van de later toetredende Partij aan het projectbudget toe te voegen.

Projecteigenaar en projectleider(s)

Projecteigenaar:
Hans Groot
Projectleider(s):
Ruben Dahm

Partners

  • Arcadis Nederland B.V.
  • HaskoningDHV Nederland B.V.
  • Het Waterschapshuis
  • HKV Lijn in Water B.V.
  • Hoogheemraadschap Delfland
  • Hydroconsult
  • HydroLogic B.V.
  • Stichting Deltares (Delft)
  • Stichting Waternet
  • TKI Deltatechnologie
  • Waterschap Brabantse Delta
  • Waterschap Noorderzijlvest
  • Witteveen en Bos International B.V.

Resultaten

D-HYDRO GUI Visualisatie & Cloud-2023-1

Resultaat type
Product-/Proces Deliverables
Omschrijving

WP GUI: In 2022 zijn diverse sprints uitgevoerd om GUI-issues te implementeren in de D-HYDRO software. In Q1-2023 hebben alle DEL138 TKI-partners issues aangedragen die in Q2 in de software worden geïmplementeerd.

WP visualisatie: in Q2-2023 werken we aan een demo om D-HYDRO Suite 1D2D resultaten beschikbaar te maken via immersive technologien zoals AR/VR in samenwerking met het bedrijf Connec2

WP Cloud compute: Twee adviesbureaus hebben inmiddels 2 MSc-afstudeeronderzoeken begeleidt over cloud computing en D-HYDRO simulaties. Daarnaast is inmiddels 1 voorbeeld-workflow ontworpen voor horizontale schaling en ontwikkelen we in april en mei nog enkele workflows.

WP Pilots: de pilots met waterschappen en adviesbureaus om de nieuwe ontwikkelingen met D-HYDRO te verkennen, zijn inmiddels bijna klaar of al afgerond. De eindpresentatie van die resultaten heeft al in Q1-2023 plaatsgevonden.

Wetenschappelijke publicatie?

D-HYDRO GUI Visualisatie & Cloud-2021-4

Resultaat type
Prototype
Aantal
1
Omschrijving

D-HYDRO Suite 1D2D GA versie waarin de ontwikkelingen aan de GUI (uit WP1) zijn opgenomen

Wetenschappelijke publicatie?