Projectomschrijving

Bij Van Oord, een maritieme contractor, werkte ik als Analytics Engineer aan de modernisering van de data-infrastructuur. Het project omvat de ontwikkeling van een moderne data warehouse oplossing met dbt (data build tool) en migratie naar Azure Databricks.

Mijn rol

Data Modeling & Engineering

• Ontwikkeling van dbt datamodellen voor enterprise systemen:
  • OneStream: financieel consolidatie systeem voor groepsrapportages
  • EBS (Oracle): HR systeem met historische data en time-travel functionaliteit
  • Dynamics: projectmanagement en financiële data
  • ServiceNow: ticket systeem en project administratie
• Implementatie van slowly changing dimensions (SCD) voor historische analyses
• Dimensioneel modelleren volgens Kimball
• Data quality checks en validaties in dbt

DevOps & CI/CD

• Implementatie van CI/CD pipelines voor data warehouse releases
• Geautomatiseerd testen van dbt modellen (schema tests, data tests)
• Automatische deployment met Azure Container Registry en Azure Container App Jobs
• Implementatie van version control strategie voor datamodellen

Migratie

• Migratie van dbt project van SQL Server naar Azure Databricks
• Python tool ontwikkeld om ervoor te zorgen dat de data volledig en juist zijn overgezet
• Validatie van datatransformaties en business logic na migratie

Power BI Governance

• Opzetten van Power BI repository voor semantische modellen
• Version control voor .pbix bestanden en datasets
• Deployment pipelines voor Power BI
• Documentatie en governance processen

Technologie & Tools

• Data Warehouse: Azure SQL Server, Azure Databricks (Delta Lake)
• Transformation: dbt (data build tool), SQL, Python
• DevOps: Azure DevOps, GitHub Actions, Docker
• Cloud: Azure CLI, Azure services
• BI Platform: Power BI

Resultaat

• Snellere inzichten door geautomatiseerde data pipelines
• Volledige migratie van datawarehouse in SQL Server naar Azure Databricks
• Hogere datakwaliteit door geautomatiseerde testen (CI/CD)
• Historische analyses met time-travel functionaliteit
• Betere performance na migratie naar Databricks
• Verbeterde governance voor Power BI assets
• Schaalbare architectuur voor toekomstige groei

Een modern, onderhoudbaar dataplatform dat de basis vormt voor data-gedreven werken binnen Van Oord.