Orientation
Le métier d’ingénieur de données
Vous hésitez à vous lancer. Cette page décrit le métier, son quotidien et ses outils. Elle dit aussi pour qui il est fait, et pour qui il ne l’est pas.
6 questions, sans compte. Vos réponses restent dans votre navigateur.
Le métier
Il rend les données d’une entreprise exploitables.
L’ingénieur de données reçoit les données d’une entreprise, les stocke, les traite et les rend exploitables. Exploitables veut dire prêtes à répondre à une question, par exemple : dans quels quartiers les livraisons arrivent-elles en retard ?
- Stocker : choisir où conserver chaque donnée, selon sa forme et son usage.
- Déplacer : construire des pipelines qui transfèrent les données chaque jour, sans copie manuelle.
- Traiter : supprimer les doublons, harmoniser les formats et vérifier les chiffres.
- Analyser vient ensuite : l’analyste ou le data scientist exploite des données déjà fiables.
-- Une commande reçue 2 fois ne doit compter qu’une fois.
CREATE TABLE commandes AS
SELECT DISTINCT commande_id, client_id, montant, date_commande
FROM commandes_brutes;
Au quotidien
Surveiller, corriger, construire.
Le quotidien varie selon l’entreprise et la taille de l’équipe. Voici des tâches typiques d’une semaine de travail.
- Vérifier le matin que les chargements de la nuit ont réussi.
- Trouver pourquoi un pipeline a échoué, puis le corriger.
- Écrire les requêtes SQL qui transforment les données brutes.
- Concevoir une nouvelle table avec l’équipe qui en a besoin.
- Répondre à un analyste dont le chiffre semble faux.
test_chargement_de_la_nuit : réussi
test_commandes_sans_doublon : réussi
test_dates_au_meme_format : échoué
12 lignes ont une date au format JJ/MM/AAAA : harmonisez-les avant le chargement.
Les outils
Les outils du métier, et où les apprendre ici.
- SQL : interroger et transformer les données d’une base. Vous l’apprenez dans le parcours « Ingénieur de données : les bases en SQL ».
- PostgreSQL : la base de données relationnelle des exercices. Vous l’apprenez dans le parcours « Ingénieur de données : les bases en SQL ».
- Python : automatiser l’ingestion, le nettoyage et les tests des données. Vous l’apprenez dans le parcours « Ingénieur de données en Python ». Bientôt disponible
- Spark et Delta Lake : traiter de gros volumes de données sur Databricks. Vous l’apprenez dans le parcours « Ingénieur de données associé sur Databricks ». Bientôt disponible
- Orchestration : lancer les pipelines dans le bon ordre et surveiller leur santé. Vous l’apprenez dans le parcours « Ingénieur de données professionnel en Python ». Bientôt disponible
- pgvector : préparer les données d’une IA et rechercher par le sens. Vous l’apprenez dans le parcours « Ingénieur de données : l'IA en production ». Bientôt disponible
Votre chemin
Commencez par le SQL, puis avancez parcours par parcours.
Le premier parcours se publie chapitre par chapitre. Les 4 suivants sont en préparation.
Les parcours, dans l’ordre
- Ingénieur de données : les bases en SQL
- Ingénieur de données en PythonBientôt disponible
- Ingénieur de données associé sur DatabricksBientôt disponible
- Ingénieur de données professionnel en PythonBientôt disponible
- Ingénieur de données : l'IA en productionBientôt disponible
Le premier parcours ne demande aucune base technique. Les suivants s’appuient sur son SQL.
Pour qui
Pour qui ce métier est fait, et pour qui il ne l’est pas.
FAQ
Les questions avant de se lancer.
Encore un doute ? Le test vous donne un point de départ.
6 questions, sans compte, et une recommandation honnête.
Faire le test de positionnement