Data engineer
Fiche métier M1811
Domaine professionnel : Systèmes d'information et de télécommunication
Secteur d'activité Recherche Informatique
Riasec Majeur : I | Riasec Mineur : C
| Voir Comparateur
Domaine professionnel : Systèmes d'information et de télécommunication
Secteur d'activité Recherche Informatique
Riasec Majeur : I | Riasec Mineur : C
| Voir Comparateur
Architecte de bases de données
Analyste qualité des données
Architecte big data
Big data engineer
Data engineer
Docteur big data
Expert / Experte big data
Expert / Experte technique big data
Ingénieur / Ingénieure big data
Ingénieur / Ingénieure dataviz
Ingénieur / Ingénieure données
Ingénieur / Ingénieure en développement big data
Responsable architecture conception data
Responsable big data
Développeur / Développeuse data
Analyste scientifique des données
Data manager
Architecte de données informatiques
Les missions principales du métier de Data engineer
Collecte et analyse des volumes importants de données, tout en garantissant la sécurité de celles-ci.
Développe des solutions de traitement et d'industrialisation de ces données en mobilisant son expertise technique (technologies du Big Data, langages, ..) en lien avec les équipes qui les analysent et les équipes métier.
Déploie et maintient la solution sur son cycle de vie.
Comment devenir Data engineer ?
Ce métier est accessible avec un diplôme de niveau Bac+5 , Master 2 en informatique, en data science ou en statistique, ou école d'ingénieur. Il est également accessible avec un niveau bac + 2 et une expérience professionnelle en développement et manipulation de données.
Certifications et diplômes :- Data engineer
- Master mention Méthodes Informatiques Appliquées à la Gestion des Entreprises - MIAGE
- Mastère Spécialisé Expert Big Data engineer
Les Compétences Recherchées pour le métier de Data engineer
Ce qu'il faut savoir faire
Production, Construction, Qualité, Logistique (12%)
- Assurer la maintenance préventive et les améliorations des infrastructures numériques
- Piloter des opérations de tests informatiques
Maintenance, Réparation
- Anticiper des coûts
- Anticiper les risques de cybersécurité
- Déterminer des mesures correctives
- Surveiller le fonctionnement d'applicatifs et logiciels
Prévention des risques
Développement économique (15%)
- Mettre en place des mesures d'optimisation de l'activité d'une production
- Mobiliser une vision stratégique et d'anticipation
- Concevoir et gérer un projet
- Mettre en place des solutions d'amélioration de la performance
- Piloter le déploiement et l'intégration d'outils d'optimisation au sein des processus métiers
- Planifier les étapes d'un projet
Stratégie de développement
Communication, Création, Innovation, Nouvelles technologies (46%)
- Animer une démarche agile et innovante
- Gérer et maitriser des bases de données (SQL/NoSQL)
- Modéliser une base de données
- Piloter le déploiement de solutions innovantes
- Concevoir et développer une solution digitale
- Créer, élaborer et identifier des concepts innovants
- Définir les solutions de stockage et de structuration des données
- Proposer des pistes d'amélioration des solutions
- Réaliser une veille technique ou technologique pour anticiper les évolutions
- Rédiger des documents d'ingénierie (rédaction des spécifications fonctionnelles et livrables techniques des solutions)
- Superviser et coordonner les réalisations, études ou développements informatiques (collaborateurs, sous-traitants)
Recherche, Innovation
- Déployer, intégrer un logiciel, un système d'informations, une application
- Réaliser une analyse ou modélisation statistique de données
- Analyser / traiter l'information à des fins d'anticipation
- Analyser, exploiter, structurer des données
- Développer une application en lien avec une base de données
- Paramétrer un logiciel métier et l'interfacer à d'autres applicatifs
- Piloter des évolutions ou des paramétrages à apporter aux composants
- Sélectionner, assembler et intégrer des composants informatiques (progiciels, bases de données, développements spécifiques, ...)
- Tester un logiciel, un système d'informations, une application
- Vérifier la compatibilité des développements produits avec les spécifications
- Intégrer des outils IA/Data Science
Data et Nouvelles technologies
- Rédiger le contenu d'un support de communication
- Rédiger un cahier des charges, des spécifications techniques
Communication, Multimédia
Management, Social, Soin (2%)
- Accompagner l'appropriation d'un outil par ses utilisateurs
Conseil, Transmission
Coopération, organisation et développement de ses compétences (25%)
- Se conformer aux normes et à la réglementation
- Enrichir une base de données
- Expliquer et faire respecter les règles et procédures
- Gérer une architecture technique
- Gérer des données massives
Organisation
- Collaborer dans un groupe pour réaliser un projet
- Promouvoir une proposition, un projet
- Communiquer à l'écrit de façon appropriée
- Convaincre en argumentant avec un ou plusieurs interlocuteurs (interne et externe)
- Rendre compte de son activité
- Utiliser l'anglais en contexte professionnel
Communication
- Actualiser régulièrement ses connaissances
- Identifier ses axes de progrès
Développement des compétences
Les savoir-être professionnels
Faire preuve d'autonomie Faire preuve de créativité, d'inventivité Faire preuve de rigueur et de précision Organiser son travail selon les priorités et les objectifs Prendre des initiatives et être force de propositionCe qu'il faut savoir
Domaines d'expertise
- Algorithmique
- Anglais technique
- Architecture web
- Business Intelligence (BI) / Informatique décisionnelle
- Cloud computing
- Cryptologie
- Domaine informatique client-serveur
- Génie logiciel
- Informatique de gestion
- Informatique scientifique et technique
- Intelligence artificielle
- Java
- Langages de programmation informatique
- Maîtrise d’un outil de gestion de flux (Kafka, Flink…)
- Programmation logicielle
- Python
- Système d'exploitation Linux
- Systèmes d'exploitation informatique
- Technologies HADOOP
- Technologies SPARK (Framework)
Les contextes de travail propes au métier de Data engineer
Thèmes
- Métiers de l'ingénierie
Les centres d'intérêts associés au métier de Data engineer
J'aime manier les chiffresJe suis passionné / passionnée par les nouvelles technologies
Les soft skills nécessaires pour le métier de Data engineer
Quels sont les métiers proches de Data engineer ?
Par compétences communes:- Développeur / Développeuse web (26 compétences en commmun)
- Intégrateur / Intégratrice logiciels métiers (17 compétences en commmun)
- Ingénieur / Ingénieure système informatique (14 compétences en commmun)
- Data scientist (10 compétences en commmun)
- Ingénieur / Ingénieure télécoms (8 compétences en commmun)
- Responsable de la Sécurité des Systèmes d'Information (RSSI) (7 compétences en commmun)
- Administrateur / Administratrice réseau informatique (6 compétences en commmun)
- Chargé / Chargée d'études socio-économiques (6 compétences en commmun)
- Cartographe (5 compétences en commmun)
- Product Owner (5 compétences en commmun)
Par centres d'intérêts :
Je suis passionné / passionnée par les nouvelles technologies Voir les métiers
- Administrateur / Administratrice réseau informatique
- Animateur / Animatrice 3D - films d'animation
- Automaticien / Automaticienne en bureau d'études
- Chargé / Chargée d'études socio-économiques
- Coloriste en industrie
- Concepteur / Conceptrice de contenus multimedia
- Concepteur / Conceptrice numérique en bijouterie joaillerie
- Data scientist
- Directeur / Directrice des services informatiques -DSI-
- Développeur / Développeuse web
- Enquêteur / Enquêtrice sondage
- Graphiste
- Ingénieur / Ingénieure système informatique
- Ingénieur / Ingénieure télécoms
- Intégrateur / Intégratrice logiciels métiers
- Média planneur / planneuse
- Opérateur / Opératrice de prépresse
- Opérateur / Opératrice de saisie
- Opérateur / Opératrice télécom aux armées
- Product Owner
- Reprographe
- Responsable de la Sécurité des Systèmes d'Information (RSSI)
- Technicien / Technicienne des industries graphiques
- Technicien / Technicienne informatique
- UX - UI Designer
- Acheteur / Acheteuse
- Actuaire
- Agent / Agente de constatation des douanes
- Agent général / Agente générale d'assurance
- Analyste de crédits et risques bancaires
- Analyste de la performance sportive
- Analyste financier / financière
- Assistant / Assistante géomètre
- Biostatisticien / Biostatisticienne
- Cartographe
- Chargé / Chargée d'affaires bancaires entreprise
- Chargé / Chargée d'indemnisations en assurances
- Chargé / Chargée d'études socio-économiques
- Chargé / Chargée de produit en assurances
- Chef / Cheffe de culture responsable d'unité de production agricole
- Chef / Cheffe des ventes
- Chef comptable
- Comptable
- Conseiller / Conseillère en assurances
- Conseiller / Conseillère en gestion de patrimoine
- Contrôleur / Contrôleuse de gestion
- Contrôleur / Contrôleuse des impôts
- Courtier / Courtière en assurance
- Courtier / Courtière en banque
- Data scientist
- Directeur administratif et financier / Directrice administrative et financière -DAF-
- Expert / Experte risques en assurances
- Expert-comptable / Experte-comptable
- Gestionnaire de produits bancaires
- Gestionnaire des opérations sur les marchés financiers
- Gestionnaire en assurances
- Géomètre-topographe
- Gérant / Gérante de portefeuille financier
- Ingénieur / Ingénieure R&D en industrie
- Ingénieur / Ingénieure agronome
- Ingénieur / Ingénieure d'études BTP
- Ingénieur / Ingénieure méthodes et process
- Mandataire en assurance
- Média planneur / planneuse
- Métreur / Métreuse
- Météorologue
- Opérateur / Opératrice de saisie
- Planneur / Planneuse stratégique
- Responsable d'enquêtes
- Responsable de l'administration des ventes
- Responsable des achats
- Régisseur / Régisseuse de recettes
- Secrétaire comptable
- Secrétaire de mairie
- Technico-commercial / Technico-commerciale
- Trader
- Trésorier / Trésorière
Dans le secteur d'activité Informatique (Informatique et télécommunication) :
Dans le secteur d'activité Recherche () :