Een Analytisch Data Platform Metadata gedreven en schaalbaarheid
Mehmet migreerde een on-premises dataoplossing naar Azure SQL, waarbij hij handmatige SQL-scripts
automatiseerde en een schaalbaar Analytic Data Platform creëerde. Dit platform, dat gebruikmaakt van Azure Data Factory, DevOps CI/CD Pipelines, Power Automate en Power Bl, verzamelt en verwerkt CRM-, gebruikers-, sales-, klant- en distributeurdata. De migratie omvatte ook coaching en kennisdeling, waardoor de Akzo Nobel SESA organisatie nu beschikt over een robuust data platform en meer ervaren data engineers.
Opdracht:
Mehmet kreeg de opdracht om de bestaande dataoplossing, een on-premises omgeving, te migreren naar Azure SQL. Deze omgeving verzamelde sales-, klant- en distributeur-gerelateerde data via verschillende kanalen (SharePoint Excel-bestanden, e-mail aanleveringen en Windows Netwerkschijven). De omgeving werd voornamelijk handmatig bijgewerkt met diverse SQL-scripts. De wens was om de handmatige SQL-scripts te automatiseren en te migreren naar Azure SQL. Daarnaast was er behoefte aan coaching en kennisdeling op het gebied van Data Engineering en Modellering.
Aanpak:
1. Haalbaarheidsstudie:
Mehmet begon met een haalbaarheidsstudie om de automatisering van de SQL-scripts te onderzoeken. Het 1-op-1 kopiëren van on-premises naar Azure bleek eenvoudig (simpele data pipeline die alle tabellen kopieerde naar Azure SQL). De conclusie was dat automatisering van bestaande scripts beperkt mogelijk was en veel tijd zou kosten, omdat er geen vaste volgorde was en de scripts dagelijks werden aangepast om te blijven werken. Daarnaast werden bestanden handmatig ingeladen buiten de scripts om.
2. Demo en Voorstel:
Na het delen van deze conclusie werd besloten dat Mehmet een demo zou geven van een eerder gebouwde oplossing voor AkzoNobel Global aan managers en developers, en hoe deze aangepast kon worden voor SESA. Na de demo werd besloten om voor de nieuwe aanpak te gaan. De oplossing bestond uit twee Azure SQL-databases (voor de metadata een general purpose en voor de data een hyperscale), twee Azure Blob Storage Containers (externe aanlevering en interne bestanden), Power Automate (voor het automatisch kopiëren van bestanden uit e-mail aanleveringen naar Blob Containers) en Power BI als dashboardtooling.
3. Ontwerp en Implementatie:
Mehmet legde een hoogwaardig ontwerp neer ter goedkeuring en documentatie. Azure Data Factory (ADF) werd gebruikt voor het laden en transformeren van datasets, waarbij generieke data pipelines werden gebouwd. In DevOps Pipelines werd een CI/CD release pipeline voorgesteld voor de deployment naar verschillende omgevingen. Twee Git Repositories werden voorgesteld: één voor Microsoft Visual Studio Solution/projecten voor de database data en metadata, en één voor Azure Data Factory. Azure Key Vault werd voorgesteld voor het opslaan van geheimen.
4. Migratieplanning:
Er werd een migratieplan opgesteld, waarbij onderzocht werd welke dashboards welke data (transformaties) gebruikten. Prioritering vanuit de business was van belang om te bepalen welke dashboards het belangrijkst en
meest gebruikt waren. Na het in kaart brengen van deze informatie kon een ruwe planning worden afgegeven.
5. Coaching en Kennisdeling:
Er werd een opleidingsplan voorgesteld voor de developers, bestaande uit basiskennis (online video’s/cursussen) op het gebied van data modellering, data engineering, Azure algemeen en specifiek de componenten die in de oplossing werden gebruikt.
Resultaat:
1. Analytic Data Platform:
De voorgestelde oplossing werd geïmplementeerd en CI/CD release pipelines werden ingesteld. Alle bekende bronnen werden opgenomen in de metadata definities. In ADF werden dagelijks alle datasets bijgewerkt met adequate logging. Data transformaties werden volledig automatisch uitgevoerd zonder dat ADF voor elke nieuwe transformatie aangepast hoefde te worden. Het testen van een data pipeline werd vereenvoudigd tot het aanroepen van de “test”-data-pipeline met één parameter. Documentatie werd automatisch gegenereerd en bijgewerkt in de Git Repository.
2. Migratie van Bestaande Data:
CRM-, gebruikers- Sales-, klant- en distributeur datasets werden succesvol gemigreerd naar Azure SQL Database, uitgevoerd en gevalideerd door de developers en begeleid door Mehmet.
3. Automatisering van E-mail Aanleveringen:
Met Power Automate werden flows gebouwd om automatisch databestanden uit e-mails naar Azure Blob Storage te kopiëren. Bestanden werden van een timestamp voorzien voor de juiste verwerkingsvolgorde door ADF.
4. Concrete Waarde:
De Akzo Nobel SESA organisatie heeft nu een schaalbaar Analytic Data Platform. De meer ervaren ontwikkelaars (nu data engineers) hebben meer kennis van data engineering en modellering, en zijn niet meer bezig met het inladen van data, waardoor er tijd is voor uitbreiding van nieuwe datasets en meer inzicht uit de data gehaald kan worden.
