Vi letar efter 1-2 seniora data engineers med nedan kompetenser till vår kund Arbetsförmedlingen. Konsulten kommer att ingå i ett Agilt team som arbetar med att implementera en Data lake. Konsulten ska ha minst 2 års erfarenhet av Dataförsörjning till Datalake baserat på Hadoop/Hortonworks.

Arbetsuppgifter kommer bland annat innebära:

– Ladda data in i Data Lake.
– Upptäck förändringar på källsystemet och hantera CDC-processer.
– Sätta riktlinjer för dataintagprocessen
– Coacha och vidareutveckla juniora utvecklare
– Kunna skriva tekniska kravspecifikationer och ha dialog med arkitekter, produktägare ansvariga för källsystemen samt andra intressenter.
– Konfiguration av Kafka
Primärt används teknik som:
– Apache Hadoop (Hive, HDFS, YARN, Sqoop, Ambari)
– Apache Spark (SQL, Scala, Python, R)
– Apache NiFi
– Apache Kafka
– Apache Ranger och Atlas

– SQL, logisk databashantering och dimensionsmodellering

Start: Januari 2020

Slut: Juni 2020

Option på förlängning 1 år

Pris: Offererbart