De data-engineer is bezig aan een opmerkelijke opmars. Waar hij vroeger vooral achter de schermen werkte aan dataverwerking en -integratie, wordt hij nu een strategische spil in het ai-tijdperk. Al neemt hiermee ook de werkdruk toe.
Dat de data-engineer hot is, wisten we al. Hij duikt ook meermaals op in de lijst van meest gevraagde it-jobs. Het aantal projecten en de hoeveelheid nieuwe code neemt alsmaar toe.
En dan is er nog de impact van de job. Nieuw onderzoek van MIT Technology Review Insights in samenwerking met Snowflake toont aan dat 72 procent van de technologieleiders data-engineers als essentieel beschouwt voor het succes van hun organisatie. Bij bedrijven met een jaaromzet van meer dan 10 miljard dollar loopt dat zelfs op tot 86 procent.
Functie verandert
De rol van de data-engineer evolueert bovendien snel. ‘Ze worden steeds vaker gezien als strategische partners die helpen bij het vormgeven van bedrijfsstrategie en het stimuleren van concrete resultaten’, stelt Chris Child, vice president product data engineering bij Snowflake.
De evolutie rond ai is nauw verbonden met de job. 81 procent van de ondervraagde leidinggevenden geeft aan dat de functieomschrijving van data-engineers in hun organisatie is veranderd door de opkomst van ai. De gemiddelde tijd die data-engineers aan ai-projecten besteden, steeg sinds 2023 van 19 procent naar 37 procent en zal naar verwachting 61 procent bedragen in 2027.
Meer werkdruk én strategischer
Die nieuwe positie brengt ook meer verantwoordelijkheid met zich mee. 77 procent van de organisaties meldt dat ook de werkdruk stijgt, omdat het belang van het beheer van ongestructureerde data en real-time datastromen groeit.
Tegelijk opent ai de deur naar meer strategisch werk. ‘Naarmate AI-agents meer werk overnemen, zullen data-engineers minder tijd besteden aan extractie, transformatie en laadprocessen (etl) en juist meer aan een data- en ai-strategie die de organisatie verder brengt’, aldus Child.
Child ziet drie manieren waarop data-engineers hun waarde verder kunnen vergroten: door zich te ontwikkelen tot echte AI-experts, door nauwer aan te sluiten bij de strategische doelstellingen van het bedrijf en door helder te communiceren met andere afdelingen. ‘Wie technische expertise combineert met de vaardigheid om samen te werken, te luisteren en te overtuigen, is straks van onschatbare waarde.’
