Voici un bref aperçu des tâches et des responsabilités qui vous incomberont :

- Concevoir, développer, maintenir et optimiser des pipelines ETL/ELT robustes et évolutifs pour des données structurées, semi-structurées et non structurées provenant de multiples sources, notamment des bases de données, API REST, fichiers, documents et systèmes externes;
- Développer des pipelines fiables et résilients en appliquant les principaux modèles d’ingénierie de données, notamment les traitements incrémentaux, l’idempotence, la déduplication, le backfill, la gestion des changements de schéma et la reprise après incident;
- Orchestrer des pipelines de données à l’aide de Dagster et de dlt en appliquant des principes de modularité, de réutilisabilité, de gestion des dépendances et d’observabilité;
- Intégrer des données provenant de diverses sources dans des plateformes centralisées telles que des lacs de données, des architectures lakehouse et des entrepôts de données;
- Contribuer à la conception et à l’évolution d’architectures de données modernes dans des environnements infonuagiques, principalement AWS et Azure;
- Concevoir et maintenir des modèles de données répondant aux besoins analytiques, opérationnels, d’intelligence d’affaires et d’intelligence artificielle;
- Collaborer avec les scientifiques de données, les spécialistes en intelligence artificielle et les conseillers en architecture afin de développer les composantes et pipelines de données requis pour les solutions analytiques et d’intelligence artificielle;
- Assurer la disponibilité, la qualité, la traçabilité et la reproductibilité des données utilisées par les solutions analytiques et d’intelligence artificielle;
- Optimiser les performances des pipelines et des plateformes de données en tenant compte des volumes, des modèles d’accès, des ressources de calcul et des coûts;
- Mettre en place des mécanismes de qualité, de tests et d’observabilité permettant de détecter les anomalies, les bris de pipelines, les changements de schéma et les problèmes de fraîcheur des données;
- Appliquer les bonnes pratiques de développement logiciel à l’ingénierie de données, notamment Git, les revues de code, les tests automatisés, la gestion des dépendances et les pratiques CI/CD;
- Participer à l’exploitation des solutions de données en production, au diagnostic des incidents et à l’implantation de correctifs visant à améliorer leur fiabilité;
- Contribuer à la conception technique de solutions de données de bout en bout, de l’intégration des sources jusqu’à leur mise en production;
- Évaluer les options technologiques et participer aux choix de conception en fonction des besoins et des contraintes des projets;
- Créer des composants réutilisables, des API,



des connecteurs et des scripts d’automatisation afin de réduire les interventions manuelles et de standardiser les pratiques;
- Veiller à l’application des bonnes pratiques de sécurité et de confidentialité des données, notamment en matière de gestion des accès, des secrets et des données sensibles;
- Documenter les pipelines, les modèles de données, les architectures et les décisions techniques;
- Participer aux revues techniques, au partage des connaissances et à l’amélioration continue des pratiques d’ingénierie de données;
- Travailler en étroite collaboration avec les scientifiques de données, les spécialistes en intelligence artificielle, les analystes, les développeurs et les équipes d’affaires afin de transformer leurs besoins en solutions de données robustes.

Le Profil Recherché Est Le Suivant

- Détenir un baccalauréat en informatique, en génie logiciel ou dans un domaine connexe, ou posséder une combinaison équivalente de formation et d’expérience professionnelle;
- Cumuler de 3 à 5 ans d’expérience pertinente en ingénierie de données ou dans un rôle connexe, acquise dans plusieurs projets ou environnements technologiques;
- Maîtriser Python appliqué à l’ingénierie de données, notamment pour le développement de pipelines, l’intégration d’API, l’automatisation et les tests;
- Posséder une excellente maîtrise de SQL ainsi qu’une bonne compréhension des bases de données relationnelles et analytiques;
- Concevoir, développer, déployer et exploiter des pipelines ETL/ELT en environnement de production;
- Comprendre les principaux modèles d’ingénierie de données, notamment le traitement incrémental, l’idempotence, la déduplication, le backfill, la reprise après incident et l’évolution des schémas;
- Utiliser Dagster ou un orchestrateur comparable pour le développement et l’orchestration de pipelines de données;
- Exploiter dlt ou un outil comparable pour le développement de pipelines d’ingestion de données;
- Intégrer des données provenant de diverses sources, incluant des API REST, des bases de données, des fichiers structurés et semi-structurés ainsi que des systèmes externes;
- Appliquer les bonnes pratiques de qualité, de surveillance et d’observabilité des pipelines de données en production;
- Mettre en œuvre les pratiques de développement logiciel adaptées aux solutions de données, notamment Git, les tests automatisés, la gestion des dépendances, la livraison continue et le déploiement continu;




- Connaître les principes de modélisation de données;
- Collaborer avec des profils plus sénior ou des conseillers en architecture tout en contribuant de façon autonome à la réalisation de solutions de données;
- Utiliser Linux et les environnements conteneurisés, notamment Docker;
- Comprendre le cycle de vie des solutions d’intelligence artificielle et d’apprentissage automatique ainsi que les besoins de données associés au développement, à l’entraînement et à l’exploitation des modèles;
- Démontrer une expérience pratique avec au moins une plateforme infonuagique majeure, idéalement AWS ou Azure;
- Posséder une expérience avec une seconde plateforme infonuagique telle qu’AWS, Azure ou GCP (un atout);
- Mettre en œuvre l’infrastructure comme code à l’aide de Terraform, Ansible ou d’outils équivalents (un atout);
- Utiliser dbt ou d’autres outils modernes de transformation et de modélisation des données (un atout);
- Exploiter Spark, PySpark, Databricks ou d’autres technologies de traitement distribué (un atout);
- Déployer et administrer Kubernetes ou une plateforme équivalente d’orchestration de charges de travail conteneurisées (un atout);
- Utiliser MLflow, DVC ou d’autres outils liés au cycle de vie des modèles et aux pratiques MLOps (un atout);
- Concevoir des architectures de données destinées aux solutions d’intelligence artificielle générative, incluant l’ingestion documentaire, les métadonnées, les embeddings, les bases vectorielles et les pipelines RAG (un atout);
- Connaître les formats et technologies modernes de stockage de données tels que Parquet, Delta Lake ou les architectures de type lakehouse (un atout);
- Exploiter des systèmes de diffusion de données ou d’intégration événementielle comme Kafka, Event Hubs, Kinesis ou des solutions équivalentes (un atout);
- Participer à la modernisation ou à la migration de plateformes de données vers des architectures infonuagiques modernes (un atout);
- Détenir une certification AWS, Azure ou GCP (un atout);
- Faire preuve d’autonomie dans la réalisation technique et savoir solliciter l’expertise requise lorsque nécessaire;
- Analyser, diagnostiquer et résoudre des problématiques complexes de façon efficace;
- Développer rapidement de nouvelles compétences techniques grâce à une forte capacité d’apprentissage et à une curiosité soutenue;
- Traduire des besoins d’affaires ou techniques en solutions concrètes, durables et maintenables;
- Communiquer efficacement avec des publics techniques et non techniques;
- S’adapter rapidement à différents projets, contextes clients et environnements technologiques;
- Favoriser la collaboration, l’orientation client et la qualité des solutions livrées;
- Évoluer efficacement dans des contextes comportant un niveau élevé d’incertitude.

📌 Spécialiste en ingénierie de données (Montreal)
🏢 COFOMO
📍 Montreal