Data Engineer

Rol: Data Engineer (ETL, Python)

Locatie: Delft

Start: asap

Periode: 12 mnd+

Opdrachtomschrijving

Implementeren van het metadata model

– Harvesting van metadata en het aanpassen van het bestaande metadatamodel.

– Diverse integratiewerkzaamheden, zoals gebruikersaccounts etc.

Technisch ondersteunen POC Datacentrische Beveiliging (DCB)

Activiteiten daarvoor (niet uitputtend) zijn:

• Installeren en documenteren installatie DCB
• Technisch beheer van de omgeving.

Geïmplementeerde kwaliteitsparameters metadata binnen D360

Dit product betreft het implementeren van de eerste subset aan kwaliteitsregels van de Metadata-APK toets als pilot in Data360 (Analyze). Deze uitbesteding dient de volgende producten op te leveren:

• Configuratie en scheduling van de eerste subset (plm. 20) aan kwaliteitsregels van de Metadata-APK toets als pilotimplementatie in Data360 (Analyze)
• Gerealiseerde bepaling/berekening van metadata-kwaliteitsster per databron o.b.v. de toetsresultaten en wegingsfactoren
• Visualisatie van metadata-kwaliteitsster per databron en van achterliggend dashboard over de toetsresultaten per databron (dashboard mogelijk niet in Data360, maar in SAS of Splunk)

Configuratie van workflows in Data360 voor het genereren van verbeteracties o.b.v. de toetsresultaten op de kwaliteitsregels richting de juiste gebruikersrol (brondatabeheerder resp. datasteward).

Functie eisen

• Kennis en ervaring met ETL tools, bij voorkeur Data360, FME en Python scripting.
• Kennis van SAS en de RWS organisatie zijn een pré.
• Kennis van Databases SQL