Innovatiepilots Data & Analytics bij een groot Ministerie

In een innovatieve samenwerking met een groot ministerie startte CIMSOLUTIONS drie pilots om de kracht van data en analytics te benutten. De pilots richtten zich op het creëren van geavanceerde dashboards die cruciale inzichten zouden bieden in energieregelingen, prijsplafonds, de elektriciteitsmarkt, Media Analyse, Satelliet AI en AI SDG (Sustainable Development Goals). Het doel was om een robuust en schaalbaar MVP te ontwikkelen op het Azure Cloud platform, met regelmatige updates uit diverse databronnen.

Bijdrage

CIMSOLUTIONS leverde expertises in diverse rollen, waaronder Data Engineer, Data Platform Engineer, AI Engineer, Cloud Engineer en Solution Architect AI. Om de dashboards actueel te houden, is er behoefte aan meerdere data pipelines op het (Azure) Cloud platform die regelmatig nieuwe data ophalen en verwerken uit zowel openbare databronnen (CBS, RVO, ACM) als betaalde APIs (TenneT, KNMI, NetAnders, LexisNexis).

CIMSOLUTIONS heeft in deze pilots o.a. als Data (Platform) Engineer meerdere business requirements van eindgebruikers geanalyseerd en toegepast op meerdere dataproducten (datapipelines voor de klantdashboards). Daarnaast heeft CIMSOLUTIONS het data (platform) solution architectuur (medaille-lakehousearchitectuur) voor de respectieve pilots opgesteld en gerealiseerd, de benodigde ETL (Extract, Transform en Load) componenten van de data pipelines (o.a. voor data annotatie) ingericht en geconfigureerd op basis van diverse pipeline triggers, monitoring van Cloud resources verbruik en -prestatie opgezet en alle deliverables volledig gedocumenteerd.

Methoden en Technieken

Het team gebruikte geavanceerde technologieën zoals MS Azure Cloud, MS Azure DevOps, MS Entra ID, ADLS Gen 2, Azure KeyVault, Azure Virtual Network, Private Endpoints, Hub-Spoke network topology, Azure Firewall, Network Security Groups, Azure Data Factory (V2), Azure Batch Account, Azure Functions (V2), App Service Environment (V3), Azure Virtual Desktop, MS Power BI Desktop 2, Versadoc, ArcGIS Pro 3.0, SAS Viya 2022.09+, Python 3.8+, Agile / Kanban.

Resultaten

• Dashboard Energieregelingen: subsidieregelingen over het energiedomein;
• Dashboard Prijsplafond: ontwikkelingen van de consumentenprijs van gas en elektriciteit;
• Dashboard Elektriciteitsmarkt: factoren die van invloed zijn op het functioneren van de elektriciteitsmarkt (elektriciteit verbruik / opwek);
• Dashboard Media Analyse: semantische analyse van de mediaberichten;
• Dashboard Satelliet AI: objectherkenning op satellietfoto’s;
• Dashboard AI SDG: toekenning van de SDG (Sustainable Development Goals) bijdrage(n) op basis van projectbeschrijvingen.